Spark集群部署实战：reference-apps生产环境spark-submit指南

Spark集群部署实战：reference-apps生产环境spark-submit指南

【免费下载链接】reference-apps Spark reference applications 项目地址: https://gitcode.com/gh_mirrors/re/reference-apps

本文是一份面向新手与运维/数据工程师的 Spark集群部署实战 指南，以 Databricks 官方开源的 Spark reference applications（reference-apps）项目为教材，手把手演示如何通过 spark-submit 将 Spark 作业提交到本地集群与生产集群。reference-apps 收录了日志分析、Twitter 流式语言分类、天气时间序列等完整参考应用，覆盖批处理、Spark SQL、Spark Streaming 与 MLlib 全场景，是你学习生产环境 spark-submit 提交任务 的最佳范例。读完本文，你将掌握 spark-submit 核心参数、部署模式选型与常见故障排查思路。

一、reference-apps 项目里有哪些可实战的 Spark 应用？

reference-apps 是 Spark 官方推荐的参考应用集合，每个子项目都配有完整源码、构建脚本与运行说明，非常适合新手对照学习。项目主要包含三大参考应用：

以日志分析应用为例，它的 MVP 架构如下：新日志文件进入指定目录后，由 Spark Streaming 摄入并计算统计指标，最终输出为定时刷新的 HTML 报表，主类位于 logs_analyzer/app/java8/src/main/java/com/databricks/apps/logs/LogAnalyzerAppMain.java。

二、生产环境 spark-submit 必懂的 5 个核心参数

spark-submit 是 Spark 官方提供的统一作业提交入口，无论本地调试还是生产集群运行都靠它。掌握下面 5 个参数，你就掌握了 spark-submit 参数详解 的 80%：

1. --class：指定应用入口主类，如 com.databricks.apps.logs.LogAnalyzerAppMain，这是提交任务的前提；
2. --master：指定集群地址，如 local[*]、spark://YOUR_SPARK_MASTER 或 yarn，决定作业跑在哪里；
3. --deploy-mode：指定部署模式，client 模式在提交机运行 Driver，cluster 模式在集群内运行 Driver，生产环境常选后者；
4. --conf：注入运行配置，如 --conf spark.executor.memory=4g --conf spark.executor.cores=2，是资源调优的主要手段；
5. --jars / --packages：附加第三方依赖，连接 Kafka、Cassandra 等外部系统时几乎必用。

三、快速验证：本地模式 spark-submit 提交第一个作业

上手最快的路径是在本机用 local[*] 模式先跑通一个作业，验证代码与环境无误。以第一章的 Scala 版 LogAnalyzer 为例，参考 logs_analyzer/chapter1/scala/README.md 中的说明，先执行 sbt package 打包，再用 spark-submit 提交：

${YOUR_SPARK_HOME}/bin/spark-submit \
  --class "com.databricks.apps.logs.chapter1.LogAnalyzer" \
  --master local[*] \
  target/scala-2.11/spark-logs-analyzer_2.11-2.0.jar \
  ../../data/apache.access.log

本地模式跑通后，作业逻辑就无需再怀疑，接下来只需把 --master 换成集群地址即可，这也是 Spark集群spark-submit配置 中最重要的一步切换。

四、生产集群部署：standalone 模式提交日志分析应用

进入生产环境后，建议使用 Standalone 或 YARN 集群，并给作业传入完整的业务参数。下面这段命令来自 logs_analyzer/app/java8/README.md，演示了如何把日志分析应用提交到生产集群并持续监听日志目录：

${YOUR_SPARK_HOME}/bin/spark-submit \
  --class "com.databricks.apps.logs.LogAnalyzerAppMain" \
  --master spark://YOUR_SPARK_MASTER \
  target/uber-log-analyzer-2.0.jar \
  --logs-directory /tmp/logs \
  --output-html-file /tmp/log_stats.html \
  --window-length 30 \
  --slide-interval 5 \
  --checkpoint-directory /tmp/log-analyzer-streaming

这里 --checkpoint-directory 是流式应用的保命参数：它保存应用状态与偏移量，作业因故障重启后可以从断点恢复，是 生产环境spark-submit实战 中不可省略的一环。运行后，把新的 Apache 访问日志丢进 --logs-directory 目录，打开 --output-html-file 指向的 HTML 页面即可看到实时统计结果。

五、流式作业部署：Kafka + Spark Streaming + Cassandra 生产方案

如果业务对时效性要求高，推荐参考时间序列天气应用（timeseries/scala/timeseries-weather/）的架构：Kafka 负责日志与数据的缓冲削峰，Spark Streaming 完成窗口计算与聚合，Apache Cassandra 承担时序数据的存储与查询。三者通过 spark-submit 组合起来，就形成了一条完整的实时数据管道，如下图所示：

部署时注意两点：一是尽量让 Spark 与 Cassandra 节点同机部署（co-locate），利用数据本地性减少网络开销、降低延迟；二是提前用 --jars 引入 Kafka 与 Cassandra 连接器，避免运行时才报 ClassNotFound。Twitter 分类器应用（主类 com.databricks.apps.twitter_classifier.ExamineAndTrain）的提交方式与之类似，可参考 twitter_classifier/run_part2.md 中的命令模板。

六、spark-submit 提交任务失败的 4 个常见原因

新手在生产环境用 spark-submit 提交任务，最容易踩中以下四个坑：

1. 主类找不到：--class 拼写或包名错误，可先用 jar tf 你的jar包.jar 核对类全名；
2. 依赖缺失：外部连接器未打入 jar，记得用 --jars 显式附加，或构建 uber/assembly 包；
3. Driver 与 Executor 内存不足：日志 OOM 时，通过 --conf spark.executor.memory 与 --conf spark.driver.memory 调大内存；
4. 检查点目录权限问题：流式作业写入 HDFS 或本地目录失败，先确认目录存在且用户有写权限。

七、总结

从 local[*] 本地验证，到 Standalone/YARN 生产集群提交，再到 Kafka + Spark Streaming + Cassandra 的流式管道，reference-apps 项目几乎覆盖了 Spark 生产部署的全部典型场景。想动手实践的话，执行 git clone https://gitcode.com/gh_mirrors/re/reference-apps 拉取项目，参照各子目录 README 中现成的 spark-submit 命令，把你的第一个 Spark 作业跑上生产集群吧！👍

【免费下载链接】reference-apps Spark reference applications 项目地址: https://gitcode.com/gh_mirrors/re/reference-apps