超级会员免费看
本文统计了Flink作业在Yarn上启动时，不同TaskManager槽位数量下的耗时情况。实验显示，即使在最理想情况下，启动时间也超过10秒，并且随着TaskManager数量增加，启动时间缓慢增长。测试环境受限，仅覆盖部分数据，同时指出TM和JM在单个Container中占用内存超过10GB。
本次统计分为两行，第一行表示每个 TaskManager 含有 1 个 Slot，第二行表示每个 TaskManager 含有 5 个 Slot，分别统计在拉起不同 TM 数量的所需耗时，单位是秒。
统计方法为当 flink 作业被提交到 Yarn 上为开始时间（startTime），当作业初始化完毕相应的 TaskManager 个数为结束时间（在 flink web ui 上可见为准，endTime），耗时 duration = endTime - startTime。
通过表格可以发现，在 Flink Application 模式调度下最短时间也需要 10 秒以上，并随着所需要拉起 TM 个数的增加而缓慢增加，增长趋势较缓。
PS：因测试环境资源和配置问题有限，只测试部分数据
TM 和 JM 单个 Container 所占内存较多， 10 G 以上
扫一扫
710
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
