Spark IDEA环境搭建

原创已于 2023-05-18 18:36:52 修改 · 1.7k 阅读

14 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark #scala #大数据

于 2023-03-02 21:26:08 首次发布

Spark 专栏收录该内容

12 篇文章

订阅专栏

创建Maven项目，删除src目录后，为工程添加Scala框架支持，确保使用Scala2.12版本。引入SparkCore和Janino依赖，设置Spark基本连接配置，如master为local，应用名为WordCount，并演示了如何启动和关闭Spark框架。

创建 Maven 项目

创建新的maven

删除src目录

创建spark.core工程文件

增加 Scala 插件

Spark 由 Scala 语言开发的，所以本课件接下来的开发所使用的语言也为 Scala，咱们当前使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12，所以后续开发时。我们依然采用这个版本。开发前请保证 IDEA 开发工具中含有 Scala 开发插件

先提前准备好scala2.12的编译

如果未采用可以看之前的流程进行：

初探Scala_open_test01的博客-CSDN博客

查看框架支持

选择scala框架支持

测试环境

添加依赖关系

<dependencies>
 <dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-core_2.12</artifactId>
 <version>3.0.0</version>
 </dependency>
 <dependency>
    <groupId>org.codehaus.janino</groupId>
    <artifactId>janino</artifactId>
    <version>3.0.12</version>
 </dependency>
</dependencies>

基本连接与关闭

  def main(args: Array[String]): Unit = {
    //建立spark框架连接
      //基本配置
    val sparkConf = new SparkConf().setMaster("local").setAppName("WordCount")
        //sparkConf基础配置对象 sparkConf环境 local本地环境 应用名称：WordCount
    val sc = new SparkContext(sparkConf) //将sparkConf传入核心对象中


    //关闭spark框架连接
    sc.stop()
  }

运行查看日志信息