本文详细解释了分区数和并行度的概念及其关系。分区数反映数据源分布，较为固定；并行度则根据计算引擎资源动态调整，描述计算引擎同时处理的分区数。并行度设置合理能提高处理效率。
分区数和并行度的关系
分区数：是一个相对静态的概念，这个值的初始大小由数据源的分布情况决定（如果是内存数据，分区数和设置的并行度一致），比如读取hdfs，此时有10个block块，那么你的分区数就是10，加入读取kafka，topic的partition数为8，那么这个时候分区数就为8。
并行度：是一个相对动态的概念，是根据当前计算引擎可用资源来动态决定的，它的值是小于等于分区数。
举个例子：假如你要处理一个有10个block的hdfs数据集，这个时候你的分区数10是固定的，并行度可以设置为小于等于10，比如你就设置为10，这个时候是最高效的，一次就行执行完成，如果你把并行度设置为5，那就要处理两次，依次类推，如果你设置并行度为100，那么多余的90个会浪费掉。
总结
1.分区数描述的是数据源，是个相对静态的概念
2.并行度描述的是计算引擎一次要同时处理的分区数，是根据资源情况临时决定的
3.并行度小于等于分区数
扫一扫
2283
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
