spark-submit报错

最新推荐文章于 2026-05-05 05:52:56 发布

原创最新推荐文章于 2026-05-05 05:52:56 发布 · 794 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

scala 同时被 2 个专栏收录

2 篇文章

订阅专栏

spark

1 篇文章

订阅专栏

本文详细解析了在使用sbtpackage编译wordcount时遇到的Spark与Scala版本不匹配问题，介绍了如何通过检查$SPARK_HOME/bin下的scala版本，下载正确版本的Scala并更新build.sbt文件中的scala-version来解决此问题。

sbt package编译了一个wordcount，但是spark-submit时候一直报错

Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp

原因：安装的scala版本和spark带的scala版本不匹配，重新安装正确的scala版本

解决方法：

ls $SPARK_HOME/bin | grep scala

查看正确的scala版本，并到scala官网下载正确的scala包安装，然后修改build.sbt的scala-version信息，重新编译

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mruoli

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark权限问题：Spark-submit运行报错 Permission denied user=deploy

九师兄

10-09

4481

1.视界 2.背景 Spark权限问题：Spark-submit运行报错 Permission denied user=deploy 这个问题是权限问题，只需要修改一下hdfs路径的权限就好了原本的权限 # hdfs dfs -ls /user/spark/ drwxr-xr-x - spark spark /user/spark/applicationHistory drwxr-xr...

参与评论您还未登录，请先登录后发表或查看评论

spark-submit以集群方式提交应用报错：Exception in thread "main" java.sql.SQLException: No suitable driver

GulfMoon

05-15

1853

一、问题背景因现场项目临近上线，在现场测试环境部署后台程序时候出现各种奇怪的问题，这些都是在公司内部测试环境都没有遇到过的，很有记录下来的必要。 Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中，以yarn-client模式提交执行报错： Exception in thread "main" java.sql.SQLException: No suitable ...

SparkSubmit提交任务到yarn及报错解决方案

刘大猫

01-12

3305

一、提交任务代码 @Override public Response submitApplication(String[] args) throws IOException, InterruptedException { log.info("spark任务传入参数args:{}", args); args[0] = args[0].replace("}}", "} }").replace("{{", "{ {"); SparkLauncher ha.

别再傻傻用QQ密码了！JavaMail发送邮件保姆级教程（附QQ邮箱授权码获取全流程）

最新发布

weixin_30340819的博客

05-05

735

本文详细介绍了如何使用JavaMail发送QQ邮件，重点讲解了QQ邮箱授权码的获取流程和JavaMail的核心配置。通过授权码机制，开发者可以安全地集成邮件发送功能，避免使用QQ密码导致的安全风险。文章还提供了常见问题排查指南和性能优化建议，帮助开发者快速实现邮件发送功能。

Spark-submit报错:Exception in thread “main“ java.io.IOException: Cannot run program ““: error=2

Milv_xx的博客

09-10

486

然后 source /etc/profile生效。/etc/profile文件添加如下代码(

spark-submit上的报错Exception in thread “main“ java.io.IOException: Cannot run program “python3“: Create

铁血军的小博客

05-19

1009

主要是因为，一般我们在window上安装好对应的python版本之后，只有python.exe，并没有python3.exe。Exception in thread “main” java.io.IOException: Cannot run program “python3”: CreateProcess error=2, 系统找不到指定的文件。Caused by: java.io.IOException: CreateProcess error=2, 系统找不到指定的文件。

关于spark-submit之后，报错NoClassDefFoundError

Hiwes的博客

05-07

3025

NoClassDefFoundError：org.apache.hadoop.hdfs.server.namenode.NameNode这个问题，困扰了我五天时间，之前使用Eclispe打包之后，在云服务器上面运行。首先报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是：将$HB...

spark-submit 报错：NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$sp

qq_36835255的博客

05-08

3111

spark版本：2.4.0 用 spark-submit 提交任务到 yarn 报错：错误显示是 scala 环境中找不到某个类，应该是 jar 包的 scala 编译环境和 spark 的 scala 环境版本不一致。 spark 的 scala 版本为： 2.11.12 而我的 sbt 编译的 scala 版本为： 2.12 那么把 sbt 的 scala 版本改为 2.11.1...

spark-submit 提交报错

langzi_hadoop的博客

12-29

1630

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 解决方法代码中的spark版本依赖必须和集群spark版本一致否则报如上错误。我的服务器有两套不一样的spark集群版本因此命令有两个如下： spark-submit \ --class com.picc.cn.Spark2Hdfs \ --master ya

spark-submit提交应用程序出现的错误

04-27

4948

错误1 18/04/20 20:51:54 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: '2' at org.apache.spark.SparkContext$.org$apache$spar...

spark-submit 提交时报错：Exception in thread “main“ java.lang.StackOverflowError

weixin_43992185的博客

09-11

494

堆栈溢出解决方案进入spark安装目录下的conf文件夹 cd /opt/spark/conf/ cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf spark.driver.extraJavaOptions="-Xss30M"

spark-submit报错:Application application_1529650293575_0148 finished with failed status

主要分享大数据相关的知识，如Spark、Hudi

07-11

1万+

记录spark-submit提交Spark程序出现的一个异常，以供第一次出现这种异常且不知道原因，该怎么解决的的同学参考。

spark-submit提交任务报错：java.sql.SQLException:No suitable driver

AnameJL的博客

04-13

2471

提交spark任务时一直报错:No suitable driver 提交任务命令如下 spark-submit \ --driver-class-path /opt/sparkJob/mysql-connector-java-5.1.47.jar \ --master yarn \ --deploy-memory cluster \ --driver-memory 4G \ --executor-memory 2G \ --total-executor-cores 12 \ --class com.xxx.

spark-submit提交程序遇到错误，纠正记录

ChengYanan的博客

10-14

2009

时间：2019年10月14日 spark程序按照如下提交任务后报错 ./spark-submit --class com.idengyun.HiveToEs2 \ --conf spark.yarn.executor.memoryOverhead=6144 \ --conf spark.shuffle.io.maxRetries=100 \ --conf spark.shuffle.io.retr...

执行spark-submit脚本报错

进阶的spark

08-01

977

java.lang.IllegalArgumentException: System memory 101384192 must be at least 4.718592E8. Please use a larger heap size. at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryMana

Spark submit执行WordCount报错: cannot assign instance of scala.collection.immutable.List$S

03-11

6501

使用Spark写的WordCount程序如下： package rdd import org.apache.spark.{SparkConf, SparkContext} /** * Created by leboop on 2019/3/11. */ object WordCount { private val hdfsUrl="hdfs://bigdata111:900...

Spark或Hadoop提交任务出现java.net.ConnectException

ThisisWilli

11-21

1180

场景为：要实现将spark的运行目录写入hdfs中，但是出现了如下问题具体问题如下 2019-11-21 10:17:18 ERROR SparkContext:91 - Error initializing SparkContext. java.net.ConnectException: Call From node04/192.168.68.34 to node01:9000 failed ...

spark用submit提交程序遇到的错误（机器内存较小）