部署zeppelin时遇到的spark on yarn的submit方式问题

最新推荐文章于 2022-11-11 14:19:22 发布

原创

最新推荐文章于 2022-11-11 14:19:22 发布 · 4.9k 阅读

标签

#spark

收录于

在部署Zeppelin过程中，遇到了一个关于Spark on YARN提交方式的问题，错误提示表明应用按照yarn-cluster模式提交，但在当前环境下不被支持。解决方案是使用yarn-client模式。通过分析SparkInterpreter.java的createSparkContext()方法，可以发现Yarn上仅支持yarn-client模式。Stack Overflow上有更多关于在Web App中Spark提交方式的讨论。

部署zeppelin时候遇到的一个跟spark submit application模式相关的问题
具体stacktrace 打印如下:

org.apache.spark.SparkException: Detected yarn-cluster mode, but isn't running on a cluster. 
Deployment to YARN is not supported directly by SparkContext. Please use spark-submit.
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:411)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:339)
    at org.apa