Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object...

最新推荐文章于 2025-01-08 21:24:54 发布

转载最新推荐文章于 2025-01-08 21:24:54 发布 · 664 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

原文链接：http://www.cnblogs.com/QuestionsZhang/p/10150074.html

标签

#scala #大数据 #java

收录于

本文详细解析了在使用Apache Spark进行大数据处理时遇到的Scala版本不匹配问题。具体表现为因Maven导入的Spark依赖与本地Scala SDK版本不一致导致的NoSuchMethodError错误。文章提供了将依赖的Scala SDK版本从2.12修改为2.11的解决方案，成功解决了问题。

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1440)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:76)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:117)
at com.ajin.practice.WebsiteTopN$.main(WebsiteTopN.scala:19)
at com.ajin.practice.WebsiteTopN.main(WebsiteTopN.scala)

Process finished with exit code 1

原因Maven导入的spark依赖的是Scala2.11 而实际本地是2.12
<!-- 导入spark的依赖 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>${spark.version}</version>
</dependency>

修改依赖的scala sdk版本到2.11 解决问题

转载于:https://www.cnblogs.com/QuestionsZhang/p/10150074.html