Spark 核心之 Standalone-Cluster 模式：原理、流程与源码级深度拆解

摘要：如果说 Client 模式是开发者的"调试利器"，那么 Cluster 模式就是生产环境的"定海神针"。Driver 不再运行在你的笔记本上，而是被 Master 调度到集群 Worker 节点——spark-submit 提交完即可退出，应用完全脱离客户端独立运行。本文从整体架构、11 步启动流程、ClientApp 短连接机制、supervise 自动重启四个维度，配合 2 张原创深色架构图和完整源码分析，带你彻底吃透 Standalone-Cluster 模式的每一个细节。

关键词：Spark Standalone, Cluster 模式, DriverWrapper, ClientApp, Master, Worker, Executor, supervise, 生产环境调度

一、开篇：为什么你需要 Cluster 模式？

在上一篇文章中，我们深度拆解了 Client 模式。如果你还记得的话，Client 模式有一个致命缺陷：

spark-submit 进程不能退出——因为它就是 Driver。

这意味着：

• 你的笔记本合上盖子 → 任务中断
• 网络断开 → 任务中断
• 终端被关闭 → 任务中断

在生产环境、定时任务、CI/CD 流水线中，这是完全不可接受的。

# Cluster 模式：提交完即可退出
spark-submit \
  --master spark://master:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 4G \
  --total-executor-cores 8 \
  my-app.jar
# ← 提交完成后 spark-submit 进程立即退出
# ← Driver 在集群 Worker 节点上独立运行
# ← 你的笔记本可以关机了

Cluster 模式的核心哲学是：将 Driver 的运行也交给集群管理，实现完全的去客户端化。本文将详细讲解这一模式的设计原理、启动流程和最佳实践。

二、Cluster 模式整体架构

2.1 角色模型

Cluster 模式新增了一个关键角色——ClientApp，同时改变了 Driver 的生命周期管理模式：

2.2 整体架构图

三个关键设计要点：

1. ClientApp 是短连接进程：它只负责向 Master 注册应用、等待 Driver 启动成功，收到成功通知后立即退出。与之对应，Client 模式的 spark-submit 需要全程存活。

2. DriverWrapper 是 Worker 托管进程：Master 选择一个满足条件的 Worker，指令其 fork 出 DriverWrapper JVM 进程。这个进程内部初始化 SparkContext，扮演 Driver 角色。

3. spark-submit → ClientApp → Master → Worker → DriverWrapper 是一条完整的责任链，任何一环失败都会导致应用提交失败。

三、Cluster 模式 vs Client 模式：一张表彻底搞清

四、Cluster 模式启动流程：12 步深度拆解

这是本文最核心的章节。我们用一张完整的消息时序图 + 12 步源码追踪来拆解。

4.1 Phase 1：spark-submit fork ClientApp

Step 1 — spark-submit 判断 deployMode

// 源码：SparkSubmit.scala
if (args.isStandaloneCluster