Amazon Managed Service for Apache Flink 考试频率 ⭐⭐⭐

Amazon Managed Service for Apache Flink

Amazon Managed Service for Apache Flink

analyticsAmazon Managed Service for Apache FlinkAWS
最終整理

Kinesis Data Streams または Kafka/MSK の連続データに Stateful な Real-time 計算を行う。

基本情報

項目内容
英語 / 正式名称Amazon Managed Service for Apache Flink
中国語托管实时流处理
日本語マネージドリアルタイムストリーム処理
復習優先度考试频率 ⭐⭐⭐
混同しやすい項目Kinesis Data Streams / Amazon Data Firehose / Glue Streaming ETL

一言で理解

Kinesis Data Streams または Kafka/MSK の連続データに Stateful な Real-time 計算を行う。

要点整理

Java、Scala、SQL の Flink Application を Managed 実行し、Window 集約、Live Metric、異常検知、継続変換に使う。

学習ポイント

  • Data Streams/MSK は Stream を保持・転送し、Flink は計算する。
  • Firehose は Buffer と Delivery を担当し、汎用の複雑な Stream 処理 Engine ではない。
  • Firehose を Flink の直接 Source にはできない。
  • Checkpoint と Snapshot で State Recovery を支援する。

よくある誤解

  • 旧名称は Kinesis Data Analytics for Apache Flink。
  • Studio Notebook、Flink Application、Legacy SQL Application を混同しない。

重要ポイント

Stream は道路、Firehose は配送、Flink は Real-time 加工工場。