Spark-3.0.3 安装与配置

原创

已于 2023-08-08 21:00:28 修改 · 813 阅读

标签

#spark #大数据

于 2023-07-21 17:02:25 首次发布

文章详细介绍了如何搭建Spark的Standalone集群，包括下载安装包、配置节点、启动集群以及验证运行。接着，讲述了Standalone的高可用(HA)模式，涉及Zookeeper的使用。最后，讨论了Spark在Yarn上的运行模式，强调了配置要点和提交应用的命令。

Spark安装包下载地址

百度网盘下载地址（平台搭建全套安装包）：
链接：https://pan.baidu.com/s/11HyrxVKevgvJc-rI6bFLjA
提取码：sybk

Standalone模式

Standalone模式,使用的是Spark自带的资源调动引擎，构建一个由 Master + Slave 构成的Spark集群，Spark运行在集群中。

这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助其他的框架。是相对于Yarn和Mesos来说的。

解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone

[root@bigdata1 software]# tar -zxvf spark-3.0.3-bin-hadoop3.2.tgz -C /opt/module/
[root@bigdata1 module]# mv spark-3.0.3-bin-hadoop3.2/ spark-standalone

配置集群节点

[root@bigdata1 conf]# mv slaves.template slaves
[root@bigdata1 conf]# vim slaves
bigdata01
bigdata02
bigdata03

修改spark-env.sh文件，添加master节点

[root@bigdata1 conf]# mv spark-env.sh.template spark-env.sh
[root@bigdata1 conf]# vim spark-env.sh
SPARK_MASTER_HOST=bigdata1
SPARK_MASTER_PORT=7077

向其他机器分发spark-standalone包

在其他机器创建spark-standalone目录。
[root@bigdata1 spark-standalone]# scp -r /opt/module/spark-standalone/ bigdata2:/opt/module
[root@bigdata1 spark-standalone]# scp -r /opt/module/spark-standalone/ bigdata3:/opt/module

启动spark集群（注意执行路径）

[root@bigdata1 spark-standalone]# sbin/start-all.sh

#jps 检查是否有master（bigdata01）和woker（bigdata01、bigdata0

最低0.47元/天解锁文章