SparkCore系列-10、Spark 内核调度

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

传送门：大数据系列文章目录

官方网址：http://spark.apache.org/、https://databricks.com/spark/about

回顾

上篇文章介绍了Spark的共享变量，使用共享变量能够提升效率，解决内存。

Spark core的内核调度介绍

Spark的核心是根据RDD来实现的， Spark Scheduler则为Spark核心实现的重要一环，其作用
就是任务调度。 Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依
赖关系构建DAG，基于DAG划分Stage，将每个Stage中的任务发到指定节点运行。基于Spark的任
务调度原理，可以合理规划资源利用，做到尽可能用最少的资源高效地完成任务计算。

以词频统计WordCount程序为例， Job执行是DAG图：

RDD依赖

RDD 的容错机制是通过将 RDD 间转移操作构建成有向无环图来实现的。从抽象的角度看，
RDD 间存在着血统继承关系，其本质上是 RDD之间的依赖（Dependency）关系。

从图的角度看， RDD 为节点，在一次转换操作中，创建得到的新 RDD 称为子 RDD，同时会
产生新的边，即依赖关系，子 RDD 依赖向上依赖的 RDD 便是父 RDD，可能会存在多个父 RDD。
可以将这种依赖关系进一步分为两类，分别是窄依赖（NarrowD