Spark[01]Spark集群安装以及配置

最新推荐文章于 2025-06-16 17:30:26 发布
原创 最新推荐文章于 2025-06-16 17:30:26 发布 · 488 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Spark

当前文章被收录于：

Spark
4 篇文章 1 人学习

Spark基础

订阅专栏 查看详情
本文详细介绍了如何在多台虚拟机上安装配置Spark集群，并覆盖从基本集群配置到高级历史服务配置、高可用配置及YARN模式配置的全过程。

Spark[01]Spark集群安装以及配置

目录

准备环境

Hadoop2.0

准备多台虚拟机并配置hadoop2.0环境，安装hadoop2.0和zookeeper，启动DFS和ZKFC服务
详见链接：Hadoop[03]启动DFS和Zookeeper（Hadoop2.0）

设置时间同步
详见链接：Linux(CentOS6)设置同步网络时间

创建hadoop链接，方便后续hadoop命令语句操作

虚拟机①、②、③
ln -sf /root/hadoop-2.6.5/bin/hadoop /root/hadoop-2.6.5/sbin/hadoop

虚拟机①、②、③

多台虚拟机部分数据如下

编号主机名主机域名ip地址
①ToozkyToozky192.168.64.220
②Toozky2Toozky2192.168.64.221
③Toozky3Toozky3192.168.64.222

资源列表

软件/工具版本
VMwareVMware® Workstation 16 Pro
Xshell6
filezilla3.7.3
sparkspark-2.1.1-bin-hadoop2.6.tgz

一、spark集群配置

解压spark

虚拟机①
cd
tar -zxvf spark-2.1.1-bin-hadoop2.6.tgz
ln -sf /root/spark-2.1.1-bin-hadoop2.6 /home/spark2.1.1

修改配置

slaves

虚拟机①
cd /home/spark2.1.1/conf/
cp slaves.template slaves
vi slaves

按insert编辑，将
localhost改为

Toozky
Toozky2
Toozky3

按esc退出编辑，输入:wq保存退出

spark-env.sh

虚拟机①
cp spark-env.sh.template spark-env.sh
vi spark-env.sh

G end insert enter

export JAVA_HOME=/root/jdk1.8.0_192
SPARK_MASTER_HOST=Toozky
SPARK_MASTER_PORT=7077

按esc退出编辑，输入:wq保存退出

profile

虚拟机①
vi /etc/profile

G end insert enter

#Spark
export SPARK_HOME=/root/spark-2.1.1-bin-hadoop2.6
export PATH=:$PATH:$SPARK_HOME/sbin:$PATH:$SPARK_HOME/bin

esc :wq
刷新环境变量

source /etc/profile

发送相关文件到②、③

虚拟机①
scp /etc/profile root@Toozky2:/etc/profile
scp /etc/profile root@Toozky3:/etc/profile
scp -r /root/spark-2.1.1-bin-hadoop2.6 root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6
scp -r /root/spark-2.1.1-bin-hadoop2.6 root@Toozky3:/root/spark-2.1.1-bin-hadoop2.6
虚拟机②、③

刷新环境变量

source /etc/profile

设置spark-start-all.sh、spark-stop-all.sh链接

cd /home/spark2.1.1/sbin
ln -sf start-all.sh spark-start-all.sh
ln -sf stop-all.sh spark-stop-all.sh

./start-all.sh  ==  spark-start-all.sh

spark首页
http://Toozky:8080/

启动顺序

虚拟机①、②、③
zkServer.sh start
虚拟机①
cd
start-all.sh
spark-start-all.sh

关闭顺序

虚拟机①
cd
spark-stop-all.sh
stop-all.sh
虚拟机①、②、③
zkServer.sh stop

测试运行计算PI程序

本地模式（local）

虚拟机①
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[1] \
/root/spark-2.1.1-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.1.1.jar \
10

集群模式（standalone）

虚拟机①
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://Toozky:7077 \
/root/spark-2.1.1-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.1.1.jar \
10

二、配置历史服务

准备环境

部署hadoop2.0

时间同步ntpdate time.nist.gov

创建hadoop链接

虚拟机①、②、③
ln -sf /root/hadoop-2.6.5/bin/hadoop /root/hadoop-2.6.5/sbin/hadoop
虚拟机①

创建hdfs目录/directory
用于存储历史日志的hdfs目录

hadoop dfs -mkdir /directory

修改配置

spark-defaults.conf

虚拟机①
cd /home/spark2.1.1/conf/
cp spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf

G end insert enter

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://Toozky:8020/directory

esc :wq

spark-env.sh

虚拟机①
vi spark-env.sh

G end insert enter

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://Toozky:8020/directory
-Dspark.history.retainedApplications=30"

esc :wq

发送相关文件到②、③

scp spark-defaults.conf root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-defaults.conf root@Toozky3:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-env.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-env.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/

spark首页
http://Toozky:8080/
历史服务首页
http://Toozky:18080/

启动顺序

虚拟机①、②、③
zkServer.sh start
虚拟机①
cd
start-all.sh
spark-start-all.sh
start-history-server.sh

关闭顺序

虚拟机①
cd
stop-history-server.sh
spark-stop-all.sh
stop-all.sh
虚拟机①、②、③
zkServer.sh stop

测试运行计算PI程序

虚拟机①
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://Toozky:7077 \
/root/spark-2.1.1-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.1.1.jar \
10

三、配置历史服务（高可用）

修改配置

spark-defaults.conf

虚拟机①
cd /home/spark2.1.1/conf/
cp spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf

G end insert enter

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://dfbz/directory

esc :wq

注意，这里的dfbz是hadoop安装目录中，
例如 /root/hadoop-2.6.5/etc/hadoop/hdfs-site.xml

指定dfs.nameservices为dfbz（可以自定义命名，后续均以dfbz命名，且不再解释）

spark-env.sh

虚拟机①
vi spark-env.sh

G end insert enter

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://dfbz/directory
-Dspark.history.retainedApplications=30"

esc :wq

发送相关文件到②、③

scp spark-defaults.conf root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-defaults.conf root@Toozky3:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-env.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-env.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/

spark-config.sh

虚拟机①
cd /root/spark-2.1.1-bin-hadoop2.6/sbin
vi spark-config.sh

G end insert enter

export JAVA_HOME=/root/jdk1.8.0_192

esc :wq

发送相关文件到②、③

scp spark-config.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/sbin
scp spark-config.sh root@Toozky3:/root/spark-2.1.1-bin-hadoop2.6/sbin

spark首页
http://Toozky:8080/
历史服务首页
http://Toozky:18080/

启动顺序

虚拟机①、②、③
zkServer.sh start
虚拟机①
cd
start-all.sh
spark-start-all.sh
start-history-server.sh

关闭顺序

虚拟机①
cd
stop-history-server.sh
spark-stop-all.sh
stop-all.sh
虚拟机①、②、③
zkServer.sh stop

测试运行计算PI程序

虚拟机①
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master hdfs://dfbz \
/root/spark-2.1.1-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.1.1.jar \
10

四、配置高可用

修改配置

spark-env.sh

虚拟机①
cd /home/spark2.1.1/conf
vi spark-env.sh

insert
注释SPARK_MASTER_HOST、SPARK_MASTER_PORT行
添加如下内容

#SPARK_MASTER_HOST=Toozky
#SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=Toozky,Toozky2,Toozky3
-Dspark.deploy.zookeeper.dir=/spark"

esc :wq

发送相关文件到②、③

scp spark-env.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-env.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/

添加启动/关闭master的链接

虚拟机②
cd /home/spark2.1.1/sbin
ln -sf start-master.sh spark-start-master.sh
ln -sf stop-master.sh spark-stop-master.sh

spark首页
http://Toozky:8989/
http://Toozky2:8989/
历史服务首页
http://Toozky:18080/

启动顺序

虚拟机①、②、③
zkServer.sh start
虚拟机①
cd
start-all.sh
spark-start-all.sh
虚拟机②
spark-start-master.sh

关闭顺序

虚拟机②
spark-stop-master.sh
虚拟机①
cd
spark-stop-all.sh
stop-all.sh
虚拟机①、②、③
zkServer.sh stop

测试运行计算PI程序

虚拟机①
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://Toozky:7077,Toozky2:7077 \
/root/spark-2.1.1-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.1.1.jar \
10

五、yarn模式配置

修改配置

yarn-site.xml

虚拟机①
cd /home/hadoop2.6/etc/hadoop
vi yarn-site.xml

insert
configuration标签中添加

  <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
  <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
  </property>
  <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>

esc :wq

发送相关文件到②、③

scp yarn-site.xml root@Toozky2:/root/hadoop-2.6.5/etc/hadoop
scp yarn-site.xml root@Toozky3:/root/hadoop-2.6.5/etc/hadoop

spark-env.sh

虚拟机①
cd /home/spark2.1.1/conf
vi spark-env.sh

insert

export JAVA_HOME=/root/jdk1.8.0_192
YARN_CONF_DIR=/root/hadoop-2.6.5/etc/hadoop

esc :wq

spark-defaults.conf

虚拟机①
vi spark-defaults.conf

insert

spark.yarn.historyServer.address=dfbz
spark.history.ui.port=18080

esc :wq

发送相关文件到②、③

scp spark-env.sh root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-env.sh root@Toozky3:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-defaults.conf root@Toozky2:/root/spark-2.1.1-bin-hadoop2.6/conf/
scp spark-defaults.conf root@Toozky3:/root/spark-2.1.1-bin-hadoop2.6/conf/

添加启动/关闭master的链接

虚拟机②
cd /home/spark2.1.1/sbin
ln -sf start-master.sh spark-start-master.sh
ln -sf stop-master.sh spark-stop-master.sh

查看进程页面
http://Toozky:8088/
历史服务首页
http://Toozky:18080/

启动顺序

虚拟机①、②、③
zkServer.sh start
虚拟机①
cd
start-all.sh
start-history-server.sh

关闭顺序

虚拟机①
cd
stop-history-server.sh
stop-all.sh
虚拟机①、②、③
zkServer.sh stop

测试运行计算PI程序

虚拟机①
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--total-executor-cores 2 \
/root/spark-2.1.1-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.1.1.jar \
10

补充：local、standalone、yarn模式依附进程对比

模式Spark安装机器数需启动的进程所属者应用场景
Local1无Spark测试
StandalonenMaster、WorkerSpark单独部署
Yarn1Yarn、HdfsHadoop混合部署

以上就是本期总结的全部内容，愿大家相互学习，共同进步！

标签
#spark #hdfs #hadoop #大数据 #linux
踩坑ubuntu24.04 编译vtk9.3.1的安卓版本
zhangyihu321的专栏
04-03 1849
NDK官方明确废弃了旧版 armeabi ABI，强制使用armeabi-v7a或arm64-v8a。错误信息显示你的构建系统仍在使用超级构建（superbuild）模式，并且内部引用了已不再支持的。生成的合并库: $(pwd)/libvtk_combined.a"超级构建过程可能内部未充分考虑现代NDK变化导致内部配置ARM老ABI，重复失败。echo "正在提取所有.o文件..."echo "合并前所有库的总大小:"# 提取所有.a文件中的.o文件。echo "创建合并库..."
Python代码加密与发布方案详解
数据知道的博客
05-20 1万+
本文详细介绍了多种Python代码保护方案，从基础加密到高级混淆，以及商业化发布的最佳实践。基础加密方案包括编译为字节码和使用PyArmor基础加密，适合临时保护和小项目。商业级加密方案如Cython编译和Nuitka完整打包，提供更高的保护强度和执行效率。高级混淆方案涉及控制流混淆、字符串加密和完整混淆工具链，进一步增加逆向难度。商业化发布方案则强调许可证系统集成、硬件绑定保护和完整发布流程。此外，文章还探讨了反逆向技术、最佳实践建议和常见问题解决方法。通过组合使用这些技术，可以构建出适合不同安全需求的P
Spark集群安装部署
momo898821的博客
03-25 1437
Spark安装部署
阿拉善盟各乡镇行政区划shp文件
内蒙古，阿拉善盟，乡镇街道级别行政区划shp文件，矢量地图，GIS
spark的安装与部署
热门推荐
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
大数据技术——spark集群搭建
qq_53142796的博客
04-13 5656
Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大规模数据。Spark支持多种数据处理方式，包括批处理、流处理、机器学习和图计算等。Spark的生态系统非常丰富，包括Spark SQL、Spark Streaming、MLlitGraphX等组件，可以满足不同场景下的数据处理需求。
Spark运行环境搭建
weixin_52112640的博客
06-07 3432
（2）启动Local环境 进入解压缩后的路径，执行一下命令
小白学习Spark01-配置环境（从centos7安装——Spark集群高可用）
chanweiliang7439的博客
03-27 444
文章目录Spark集群高可用01.配置Linux操作系统集群（Centos7）（1）准备原料（2）安装Centos7（3）构建NAT网络集群02.安装Spark集群（1）准备原料（2）安装jdk和spark（3）安装Spark集群03.Spark集群高可用（1）准备原料（2）安装和配置zookeeper（3）配置Spark集群高可用 Spark集群高可用 01.配置Linux操作系统集群（Cent...
Spark集群搭建
qq_73339471的博客
07-17 2021
现有机器：master01，master02，worker01。
zookeeper安装（详细)
人性丶的博客
07-04 181
1.上传解压软件压缩包 1| tar -zxvf /opt/zookeeper-3.4.6.tar.gz -C /usr/local 2.修改Zookeeper配置文件 /usr /local/zookeeper-3.4.6/conf/zoo_sample.cfg重名为zoo.cfg。 1 | mv zoo_sample.cfg zoo.cfg ...
Spark Standalone集群部署
最新发布
2501_90817086的博客
06-16 913
摘要：本文详细介绍了在三台CentOS7虚拟机上搭建Spark2.4.8独立集群的全过程。主要内容包括：1)准备工作：确认JDK8和Hadoop已安装，完成SSH免密配置；2)在vm01节点安装Spark并配置环境变量；3)修改关键配置文件spark-env.sh和workers；4)将Spark分发到vm02和vm03节点；5)启动集群并验证Master和Worker进程；6)通过WebUI(http://vm01:8080)监控集群；7)测试提交圆周率计算任务。最后提供了Worker节点未显示和WebU
Spark-2.4.5搭建
m0_73905064的博客
07-18 449
【代码】Spark-2.4.5搭建。
spark
2301_80793400的博客
05-12 278
因为 YARN 中运行 Spark 需要用到 Spark 的一些类和方法，如果不上传到 HDFS，每次运行 YARN 都要重新上传一次，速度较慢。将log4j.properties.template重命名为log4j.properties，并修改日志级别为 WARN，减少打印的日志数量，提高系统性能。这些配置用于启用事件日志记录、指定日志存储位置和压缩方式，以及设置 YARN 历史服务器地址和 Spark 相关的 JAR 包路径。这一步骤确保在搭建新的 YARN 集群时，不会受到旧集群的干扰。
搭建Spark开发环境
qq_53325156的博客
04-13 487
搭建Spark开发环境
SPARK 2.2.1 YARN安装部署
diaciji1782的博客
02-23 251
1、安装scala： 在SparkNode01~03节点安装： cd /opt tar xzvf scala-2.11.12.tgz mv scala-2.11.12 scala scp -r scala @SparkNode03:/opt vi /etc/profile SCALA_HOME=/opt/scala PATH=$PATH:$SCALA_HOME/bin ...
Spark的高可用机制HA
自由幻想的博客
01-28 849
1.安装zookeeper集群，修改配置文件，之后启动zookeeper的服务。 之后使用命令zkServer.sh start分别启动你的每台机器上面的zk服务。可以使用命令zkServer.sh status查看状态。 2.已经安装好spark集群。在配置文件中修改一些配置，将master的信息注册在你的zookeeper的集群上。 具体的命令是： export SPA
全国职业院校技能大赛（GZ033大数据赛项 第01套）模块A 环境搭建
colinAugus的博客
03-13 1760
Hadoop 完全分布式安装配置、Spark on Yarn安装配置、HBase分布式安装配置
Spark安装步骤及第一次启动failed to launch: nice -n 0错误
C_time的博客
08-22 1万+
基本条件:同步时间、免密登录、关闭防火墙、安装JDK1.8 在安装spark之前 emmm 我有三台虚拟机 hadoop01 hadoop02 hadoop03 然后jdk1.7 就是因为这个 我第一启动时failed to launch: nice -n 0错误 哦 对了 网上好多说配置 /root/.bashrc 文件 在后面加上 export JAVA_HOME= /usr/local/jd...
Spark总结1
art_code的博客
09-15 92
Spark总结1 安装jdk 下载spark安装包 解压 重点来了： 配置 spark： 进入 conf ----》 spark-env.sh.template文件 cd conf/ mv spark-env.sh.template spark-env.sh vi spark-env.sh ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值