本课程全方位讲述流式计算技术知识, 通过对 Apache Beam 项目的分析,全面了解流式计算知识, 再深入剖析 Flink 项目,掌握流式计算的开发和部署运行, 并了解其他相关流处理项目。
时间2~3天。
流式计算
- 概念
- 大数据处理
- 批式处理差异
Apache Beam
- Beam 项目介绍
- 四要素 What,Where,When,How
- 水印和处理窗口
- 正好处理一次
- 状态和持久化
- 基于 Beam API 开发
- 不同 Runner 上运行
Flink 核心
- 项目概念
- 运行时架构
- 部署模型
- DataStream API
- 数据处理函数
- 时间窗口
- 有状态管理
- 批量处理
- SQL API
Flink 技术生态
- 优化配置
- ML 能力
- 复杂事件处理
相关流技术
- Kafka Stream
- Spring Data Stream