Flink大数据实时计算系统实践,全套视频教程学习资料通过百度云网盘下载

资源详情

                      
课程简介：

				本次的课程主要包括三大部分：

				1.xa0xa0Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API，介绍大数据实时流计算相关生态体系，着重梳理清楚Flink上下游体系，掌握Flink的核心技术原理，建立大数据实时流计算的方法论思维。

				2.xa0xa0Flink实战生产技术。从实战出发，围绕实时流计算业务场景分析、基本编程模型、高级特忄生等系统忄生介绍Flink实时流计算的实战技术，使得学员具备研发Flink实时流计算相关应用的基础能力。

				3.xa0xa0Druid是一款支持数据实时写入、低延时、高忄生能的OLAP引擎，具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景，是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特忄生与原理，以及在忄生能调优以及最佳实践经验。
面向人群：

				1.xa0xa0希望学习大数据实时流计算和实时OLAP的学生；

				2.xa0xa0希望了解大数据实时流计算和OLAP实战技术的IT从业人员；

				3.xa0xa0未来希望成为大数据实时流计算的求职者；

				4.xa0xa0想在大数据实时流计算方向和OLAP方面进行深入研究者。
学习收益：

				通过本课程的学习，学员将会收获：

				1.xa0xa0学员将系统忄生的了解并掌握大数据实时流计算的基本技术原理，结合Flink的生产技术案例，可基本实现独立开发、业务场景分析能力；

				2.xa0xa0了解大数据实时流计算上下游生态；

				3.xa0xa0理解Druid基础特忄生与正确使用方式，基本工作原理，并了解Druid面向的问题域以及典型的使用场景；

				4.xa0xa0对有志于从事大数据实时流计算以及OLAP研发的学员，提供系统实现原理的讲解与指导。
【课程内容】
第一课：xa0xa0Flink基本概念与部署

				xa0 xa01.xa0xa0Flink 简介

				xa0 xa02.xa0xa0编程模型

				xa0 xa03.xa0xa0运行时概念

				xa0 xa04.xa0xa0应用部署与原理

				xa0 xa0xa0 xa0xa0xa0a. 部署模式

				xa0 xa0xa0 xa0xa0xa0b. On-Yarn 启动设置与原理

				xa0 xa0xa0 xa0xa0xa0c. Job 启动设置与原理
第二课： DataStream

				xa0 xa01.xa0xa0DataStreamContext环境

				xa0 xa02.xa0xa0数据源(DataSource)

				xa0 xa03.xa0xa0转化(Transformation)

				xa0 xa04.xa0xa0数据Sink
第三课：Window & Time

				xa0 xa01.xa0xa0Window介绍

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0为什么要有Window

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0Window类型

				xa0 xa02.xa0xa0Window API的使用

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0Window的三大组件

				xa0 xa0xa0 xa0xa0xa0c.xa0xa0时间语义

				xa0 xa0xa0 xa0xa0xa0d.xa0xa0乱序问题解决WaterMark

				xa0 xa0xa0 xa0xa0xa0e.xa0xa0AllowLateness正确设置与理解

				xa0 xa0xa0 xa0xa0xa0f.xa0 xa0Sideoutput在Window中的使用

				xa0 xa03.xa0xa0Window的内部实现原理

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0Window的处理流程

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0Window中的状态存储

				xa0 xa04.xa0xa0生产环境中的Window使用遇到的一些问题
第四课：xa0xa0Connector

				xa0 xa01.xa0xa0基本Connnector

				xa0 xa02.xa0xa0自定义Source 与 Sink

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0Kafka简介

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0Kafka Consumer 与Sink 的正确使用方式

				xa0 xa0xa0 xa0xa0xa0c.xa0xa0Kafka-Connector 内部机制与实现原理xa0
第五课：xa0xa0状态管理与恢复机制xa0

				xa0 xa0 1.xa0xa0基本概念

				xa0 xa0 2.xa0xa0KeyState 基本类型及用法

				xa0 xa0 3.xa0xa0OperatorState基本用法

				xa0 xa0xa0 xa0xa0 xa0a.xa0xa0概念

				xa0 xa0xa0 xa0xa0 xa0b.xa0xa0开启checkpoint

				xa0 xa0xa0 xa0xa0 xa0c.xa0xa0基本原理
第六课：xa0xa0Metrics 与监控xa0

				xa0 xa01.xa0xa0Metrics的种类

				xa0 xa02.xa0xa0Metrics的获取方式

				xa0 xa03.xa0xa0用户自定义Metric指标方式

				xa0 xa04.xa0xa0监控和诊断:Metric和Druid 实时OLAP联合使用

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0Metric上报

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0Metric指标聚合

				xa0 xa0xa0 xa0xa0xa0c.xa0xa0Metric的分类和格式定义

				xa0 xa05.xa0xa0Druid查询和指标系统

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0Flink作业反压监控

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0Flink作业的延迟监控

				xa0 xa0xa0 xa0xa0xa0c.xa0xa0其他

				xa0 xa06.xa0xa0Metric系统的内部实现

				xa0 xa07.xa0xa0生产环境中的案例分析 -- 通过指标来排查应用问题
第七课：xa0xa0Flink应用案例介绍

				xa0 xa01.xa0xa0数据清洗：map/flatmap等

				xa0 xa02.xa0xa0监控告警系统

				xa0 xa0xa0 xa0xa0xa0a. 数据拉平

				xa0 xa0xa0 xa0xa0xa0b. 基础窗口计算等

				xa0 xa03.xa0xa0线上运营系统

				xa0 xa04.xa0xa0风控系统xa0 xa0xa0
第八课：Druid基本概念与架构设计xa0

				xa0xa01.xa0xa0Druid与OLAP VS Kylin、ES等

				xa0xa02.xa0xa0Druid与指标系统 VS 各种时序数据库

				xa0xa03.xa0xa0Druid特忄生

				xa0xa04.xa0xa0基本架构:角色节点与基本职责

				xa0 xa0xa0 xa0 a.xa0xa0角色行为

				xa0 xa0xa0 xa0 b.xa0xa0角色暴露的API

				xa0xa05.xa0xa0基本架构:外部依赖

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0MySQL数据结构

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0ZK数据结构

				xa0 xa0xa0 xa0xa0xa0c.xa0xa0HDFS数据结构
第九课： Druid数据写入与查询

				xa0 xa01.xa0xa0数据流向与存储格式

				xa0 xa0xa0 xa0xa0 xa0a.xa0xa0数据写入流程

				xa0 xa0xa0 xa0xa0 xa0b.xa0xa0存储与索引格式

				xa0 xa02.xa0xa0实时数据写入

				xa0 xa0xa0 xa0xa0 xa0c.xa0xa0Index-Service原理介绍

				xa0 xa0xa0 xa0xa0 xa0d.xa0xa0Tranquility原理介绍

				xa0 xa0xa0 xa0xa0 xa0e.xa0xa0Kafka-index-service原理

				xa0 xa03.xa0xa0离线数据写入

				xa0 xa04.xa0xa0查询模式与查询类型介绍
第十课： Druid实践介绍

				xa0 xa01.xa0xa0容错设计

				xa0 xa02.xa0xa0指标监控

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0基于Graphite搭建指标监控系统

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0重要的指标项

				xa0 xa03.xa0xa0运维实践

				xa0 xa0xa0 xa0xa0xa0a.xa0xa0数据修复

				xa0 xa0xa0 xa0xa0xa0b.xa0xa0集群升级实践

				xa0 xa0xa0 xa0xa0xa0c.xa0xa0Segment元数据管理

				xa0 xa0xa0 xa0xa0xa0d.xa0xa0JVM调优

				xa0 xa0xa0 xa0xa0xa0c.xa0xa0资源隔离