Flink_Flink On Yarn_flink资源slots 与 Yarn中container, 以及 cores 之间的关系

Based on Flink 1.10.1

本文主要讲解下 flink 中 flink-conf.yaml 中有关 slots 的 配置，与 Yarn 中 container 以及 cores 的相应关系。

主要涉及以下两个参数

# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.

taskmanager.numberOfTaskSlots: 2

解释：每个 TaskManager 中 slots 的数量。 该 slot 数量 与 YARN 中 core 一一对应。

# The parallelism used for programs that did not specify and other parallelism.

parallelism.default: 2

解释：当不做指定的时候，默认启动的slot 的数量

在 yarn 中 (1.flink single job   2. flink session ）提交一个 flink 任务, container 数量计算方式如下

container.num ==  taskmanager.num ==  ( parallelism.default  /  taskmanager.numberOfTaskSlots )

taskmanager.numberOfTaskSlots: 1

parallelism.default: 2<