Spark local模式安装

最新推荐文章于 2026-05-21 23:33:45 发布

原创最新推荐文章于 2026-05-21 23:33:45 发布 · 1.7k 阅读

5 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark #scala #local模式

大数据专栏收录该内容

3 篇文章

订阅专栏

本文档详细介绍了如何在Linux环境下安装Spark 2.2.0的Local模式。首先创建/data/spark1目录并下载Spark及Scala安装包，接着解压并配置环境变量，最后通过启动spark-shell验证安装成功。

1、首先在linux上创建目录/data/spark1，用于存储所需文件。

mkdir -p /data/spark1

2、下载spark以及scala

切换目录到/data/spark1目录，分别在官网上下载所需的Spark安装包spark-2.2.0-bin-hadoop2.7以及scala安装包scala-2.10.6。

Spark官网：http://spark.apache.org/downloads.html

点击以前版本选择spark-2.2.0,下载spark-2.2.0-bin-hadoop2.7.tgz

scala官方网址：https://www.scala-lang.org/download/2.10.6.html，下载scala-2.10.6.tgz

3、安装spark以及scala

分别解压scala-2.10.6.tgz及spark-2.2.0-bin-hadoop2.7.tgz到/apps/目录下

tar -xzvf scala-2.10.6.tgz -C /apps/

tar -xzvf spark-2.2.0-bin-hadoop2.7.tgz -C /apps/

配置环境变量

# 使用vim 打开/etc/profile文件

vim /etc/profile

# 在文件末尾追加如下命令



# SPARK_HOME

export SPARK_HOME=/apps/spark-2.2.0-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin



# SCALA_HOME

export SCALA_HOME=/apps/scala-2.10.6

export PATH=$PATH:$SCALA_HOME/bin

如下图：

让环境变量生效

source /etc/profile

4、使用spark-shell进行任务处理

切换目录到/apps/spark-2.2.0-bin-hadoop2.7/bin目录下，启动spark-shell,验证安装完的spark是否可用

cd /apps/spark-2.2.0-bin-hadoop2.7/bin/ spark-shell 
#或者使用spark-shell local 可以启动本地模式

5、执行测试

在Spark Shell中，使用Scala加载Saprk安装目录下，文件README.md，并转变为rdd

val rdd = sc.textFile("/apps/spark-2.2.0-bin-hadoop2.7/README.md") 
# 对rdd进行算子操作，统计文件的行数。 
rdd.count()
# 可以看到输出为：
scala> rdd.count()
res0: Long = 103

表明安装正确，完整效果如下图：

使用：quit退出

scala> :quit

到此Spark Local模式已经安装完成！