Flink流式计算和EDA

本课程全方位讲述流式计算技术知识, 通过对 Apache Beam 项目的分析,全面了解流式计算知识, 再深入剖析 Flink 项目,掌握流式计算的开发和部署运行, 并了解其他相关流处理项目。

时间2~3天。

流式计算

  • 概念
  • 大数据处理
  • 批式处理差异

Apache Beam

  • Beam 项目介绍
  • 四要素 What,Where,When,How
  • 水印和处理窗口
  • 正好处理一次
  • 状态和持久化
  • 基于 Beam API 开发
  • 不同 Runner 上运行
  • 项目概念
  • 运行时架构
  • 部署模型
  • DataStream API
  • 数据处理函数
  • 时间窗口
  • 有状态管理
  • 批量处理
  • SQL API
  • 优化配置
  • ML 能力
  • 复杂事件处理

相关流技术

  • Kafka Stream
  • Spring Data Stream