本文详述了DS调度实时任务的现状，分析了其代码，特别是master的轮询更新和worker的任务状态更新。针对ds调度占用大量线程的问题，提出了改造方案，即在Flink任务提交成功后直接在ds上设置任务状态为成功，以避免不必要的线程轮询，优化资源使用。
《DS调度实时任务优化》详细设计
需求背景：
由于ds的主从结构，且在了解ds的相关运行原理后，发现ds会占用大量的线程
尤其是实时任务会一直占用线程轮询yarn上flink任务的执行状态，而我们的最终方案是直接通过yarn获取任务的执行状态，换言之，不需要ds上保存flink任务的执行状态。所以这里的改造方案：当flink任务提交成功后，直接将ds上该任务的状态置为成功，则ds不会持续轮询。
一、DS调度实时任务现状
1、ds调度任务的总体流程：
2、ds调度实时任务的代码分析：
2.1 master轮询更新状态：
2.2 worker中任务的状态更新：
二、DS调度实时任务的改造方案：
1、目前调用链：
2、改造后调用链：
扫一扫
5334
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
