Spark 环境搭建-Standalone HA

最新推荐文章于 2025-12-16 17:00:47 发布
原创 最新推荐文章于 2025-12-16 17:00:47 发布 · 487 阅读 · 0
标签
#scala #spark
本文详细介绍了如何在三台服务器上搭建Spark Standalone高可用（HA）模式，包括环境准备、安装配置、启动测试等步骤。通过Zookeeper实现Master的故障切换，确保集群稳定性。同时，还进行了主备切换的测试以及提交Job验证。

Spark 环境搭建-Standalone HA

基情链接

Spark 环境搭建-Local

Spark 环境搭建-Standalone

Spark 环境搭建-Standalone HA

环境搭建-Spark on YARN

模式说明

Spark Standalone Mode - Spark 2.4.5 Documentation (apache.org)

Spark Standalone 集群是 Master-Slaves 架构的集群模式，和大部分的 Master-Slaves 结构集群一样，存在着 Master 单点故障的问题，该模式基于 Zookeeper 实现 HA

当 Active 的 Master 出现故障时，另外的一个 Standby Master 会被选举出来。由于集群的信息，包括 Worker， Driver 和 Application 的信息都已经持久化到文件系统，因此在切换的过程中只会影响新 Job 的提交，对于正在进行的 Job 没有任何的影响
在这里插入图片描述

搭建准备

环境准备

云服务器 3 台

node1/172.17.0.8 node2/172.17.30.12 node3/172.17.30.26
主
最低0.47元/天 解锁文章
Spark环境搭建（Stand alone模式 && Stand alone HA模式）
m0_48639280的博客
12-28 2105
Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。开启两个任务，就会在master进程中开启两个对应的 Driver，对应的Executor各自汇报给对应的Driver，Executor数量根据你任务情况而定。在 standalone 模式下， master进程和 worker进程是固定的。
Spark 本地模式 和 standalone集群模式 高可用（HA）部署以及案例测试
shuyv的博客
04-03 1676
文章目录Spark 本地模式Spark-shellwordcount 程序案例监控页面运行圆周率程序案例Spark Standalone 集群模式Standalone 架构在这里插入图片描述Standalone 集群模式部署解压、环境变量Workers主机名称配置Master、Workers、HistoryServer创建EventLogs存储目录配置Spark应用保存EventLogs设置日志级别分发到集群所有机器启动服务进程 创建软链接，方便后期升级 ln -s /usr/spark/spark-2.
spark集群搭建（Stand alone（非HA）、Stand alone（HA））
2202_75347029的博客
09-16 328
由于集群的信息，包括worker、driver和application的信息都已经持久化到文件系统，因此在切换的过程中只会影响job的提交，对应正在进行的job没有任何影响。Spark Stand alone集群式Master-Slaves架构的集群模式i，和大多数的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。启动history（在spark的sbin目录下运行start-history-server.sh）配置spark-env.sh文件。
Spark StandAlone HA 环境搭建
m0_73905064的博客
01-09 446
主要是宕机问题基于前面博客搭建好hadoop, zookeeper,并且启动。
Spark基础入门-第四章：Spark环境搭建-StandAlone-HA
黑马程序员官方博客
09-06 484
Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。下面就带大家来学习今天的内容！
105-Spark之Standalone HA环境搭建过程
最新发布
12-16 737
的，其他的都是Standby。当Active的Master出现故障时，另外的一个StandbyMaster会被选举出来。，包括Worker，Driver和Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新job的提交，对。原因: 配置文件中固定master是谁, 那么就无法用到zookeeper的动态切换master功能了.2.7在node1节点上启动Master 同时读取worker的配置去启动worker。【如果没有配置过zookeeper的同学可以看我的上一篇文章】
Spark环境搭建③ standalone-HA高可用模式
大数据记录
04-04 9671
原理 Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。 2.基于zooke...
contOS7 Spark StandAlone HA 环境搭建
m0_50641264的博客
01-13 928
1.确定环境是否安装好 搭建环境之前先确定自己的环境是否做好 1.jdk 1.8版本 2.HDFS MapReduce Hadoop 3.2.1 + 3.zookeeper 4.python 环境 3.8+ 点击直接查看 1,23,4操作: Hadoop jdk python 环境配置教程. 2.先在spark-env.sh中, 删除: SPARK_MASTER_HOST=node1 原因: 配置文件中固定master是谁, 那么就无法用到zk的动态切换master功能了. 在spark-env.s
Spark快速入门系列(6) | Spark环境搭建—standalone(3) 配置HA高可用模式
不温卜火
07-17 5855
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/   此篇为大家带来的是Spark环境搭建—standalone(3).
HA-Spark集群环境搭建(Standalone模式)
广彐水厂
06-01 475
前置准备 CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7 想要完成本期视频中所有操作，需要以下准备： Linux下jdk的安装 Scala环境搭建-视频教程 大数据常用shell脚本之分发脚本编写-视频教程 大数据常用shell脚本之ha-hadoop脚本编写-视频教程 大数据常用shell脚本之zk脚本编写-视频教程 Hadoop单机伪分布式-视频教程 Hadoop完全分布式集群环境搭建-视频教程 HA(高可用)
Spark环境搭建之Standalone-HA
大数据跟我学i
03-16 198
文章目录原理操作测试 原理 操作 启动zk 修改配置 vim /export/server/spark/conf/spark-env.sh 注释：#SPARK_MASTER_HOST=node1 增加： SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.d
Spark Standalone模式HA环境搭建
weixin_30888413的博客
07-10 66
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA 本篇只介绍基于ZK的HA环境搭建： $SPARK_HOME/conf/spark-env.sh 添加SPARK_DAEMON_JAVA_OPTS的配置信息： export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOK...
spark在不同环境下的搭建|安装|local|standalone|yarn|HA|
weixin_30492601的博客
02-17 217
spark的集群环境安装搭建 1、spark local模式运行环境搭建 常用于本地开发测试，本地还分为local单线程和local-cluster多线程; 该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试，通常用来验证开发出来的应用程序逻辑上有没有问题。 　　其中N代表可以使用N个线程，每个线程拥有一...
Spark环境搭建教程
xgb2018的博客
03-27 4523
Spark环境搭建 Spark Local本地模式 Standalone-独立集群 Standalone-HA Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
大数据Spark（八）：环境搭建集群模式 Standalone HA
Lansonli（蓝深李）的博客
04-11 1270
是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着的问题。如何解决这个单点故障的问题，Spark提供了两种方案：1.基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。2.基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)--可以用于生产环境。
Spark深入解析（三）：Spark基础解析之Spark环境搭建（不同模式）
wzc8961661的博客
04-21 2375
学习目标Local本地模式安装启动spark-shell初体验-读取本地文件初体验-读取HDFS文件Standalone集群模式集群角色介绍集群规划修改配置并分发启动和停止查看web界面Standalone-HA高可用模式原理配置HA启动Zookeeper集群启动Spark集群测试HAOn Yarn集群模式准备工作Cluster模式Client模式两种模式的区别 需要资源包，可私信博主！ 以下代码...
Spark1.6.1集群环境搭建——Standalone模式HA
辉哥大数据
05-02 2739
机器准备 笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。 192.168.200.11 hadoop11 192.168.200.12 hadoop12 192.168.200.13 hadoop13 安装scala http://blog.csdn.net/silentwolfyh/article/details/512970
Spark运行环境搭建
weixin_52112640的博客
06-07 3394
（2）启动Local环境 进入解压缩后的路径，执行一下命令
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值