Spark入门-用Scala编写

1.需要安装 jdk scala 有版本要求

2.下载 解压 配置环境变量

scala 测试

1.查看版本

2.进入 scala 计算 1+1

 

3.spark 配置

1.进入 conf 修改文件

2.编辑该文件 添加配置

SPARK_MASTER_IP :

SPARK_WORKER_MEMORY : 工作节点内存大小

 

4.启动

1.直接执行 start-all.sh 和 hdfs 启动冲突,会启动 hdfs

2.需要进入 spark sbin 目录去执行  start-all.sh

5.访问 WEB 页面

也可以 linux 访问  curl http://ruojian01:8080

 

6.启动 spark shell 窗口 : 执行 spark-shell

 

7.计算 1+1 底层使用的 scala

8.编写 wordCount 程序 使用算子 先创建 txt 文件

hello java

hello spark

hello scala

 

sc // sparkContext : 上下文(内置对象)

.textFile("/ruojian/hello.txt") // 读取文件

用一个RDD来接收,把文件转为了RDD

.foreach(println(_)) // 遍历打印

 

将文件内容拆分 分组 求和 转为数组

sc.textFile("/ruojian/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

排序

将结果存储到本地文件

sc.textFile("/ruojian/hello.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2).saveAsTextFile("/ruojian/hello_out.txt")

 

9.IDEA 创建 scala 项目 选择指定骨架

 

10.给 spark01项目 添加 scala sdk

 

 

 

11.创建文件的时候 选择 Object

 

/**

  * @Classname LiuYin

  * @Date 2021/3/31 17:15

  * @Description

  */

object HelloSpark {

 

  def main(args: Array[String]): Unit = {

    println("hello world")

  }

}

 

12.运行 报错

修改 jvm编译版本 原来是1.5(后面运行报错说1.8不是好的选择我换成了1.7)

重新运行

13.创建计算单词数 job

报错显示没有这个方法(参数不对),发现 Maven 依赖中 scala 版本是2.10 我之前安装的是 2.13

重新创建 2.10 的sdk

打开刚刚在 Linux 上安装使用的包,把里面的文件夹复制出来,我放到了D盘下

 

 

删除原先的包,点击 +

 

 

 

 

 

运行