【Flink 30天】Day1-2 核心架构深度解析:JobManager/TaskManager/并行度/Operator Chain

Day 1-2:Flink 核心架构

目标:看懂 Flink UI 里的一切。


1. Flink 是什么

Apache Flink 是一个有状态的流处理框架,核心特性:

  • 真流处理:逐条处理,不是微批(对比 Spark Streaming)
  • 有状态:算子可以记住历史数据
  • 精准一次:通过 Checkpoint 保证 Exactly-once 语义
  • 低延迟高吞吐:毫秒级延迟,百万级 QPS

2. 核心组件

2.1 JobManager(主节点)

负责作业调度和协调,内部包含三个组件:

JobManager
├── Dispatcher      接收作业提交,创建 JobMaster
├── JobMaster       管理单个 Job 的生命周期、调度 Task、协调 Checkpoint
└── ResourceManager 管理 TaskManager Slot 资源

关键点

  • 一个集群只有一个 JobManager(HA 下有多个,但只有一个 Active)
  • 挂了会触发 Failover(HA 模式下自动切换)

2.2 TaskManager(工作节点)

负责执行计算任务,每个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值