Spark的Cluster模式架构图

最新推荐文章于 2026-08-05 09:00:00 发布
原创 最新推荐文章于 2026-08-05 09:00:00 发布 · 1k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Spark

当前文章被收录于：

Spark
9 篇文章 0 人学习
订阅专栏 查看详情
Spark 原理介绍

当前文章被收录于：

Spark 原理介绍
3 篇文章 0 人学习
订阅专栏 查看详情
本文介绍了Spark的Cluster模式架构，详细阐述了Driver Program的作用及其与SparkContext的关系，解释了ClusterManager如何管理和分配资源，并概述了WorkerNode上的Executor如何执行任务。

一、在Spark的官网文件中，可以看到Spark的Cluster模式架构图，

浏览器输入:https://spark.apache.org/docs/latest/cluster-overview.html

（1）DriverProgram 就是程序员设计的Spark程序，在Spark中必须定义SparkContext，它是开发Spark应用程序的入口

（2）SparkContext是通过Cluster Manager管理整个集群，集群中包含多个Worker Node，程序运行时，一个worker启动Driver，其他Worker Node启动Executor负责执行任务

（3）executor是真正执行作业的地方，一个集群包含多个Executor，每个Executor接受Driver的命令执行task，一个Executor可以执行一到多个Task

标签
#Spark
Python Spark的介绍与安装
SanFancsgo的博客
09-07 4955
Spark的Cluster模式架构图 摘自Apache官网： 其中 DriverProgram为设计的Spark程序，在Spark程序中必须定义SparkContext（开发Spark应用程序的入口）。 SparkContext通过Cluster Manager管理整个集群，集群中包含多个Worker Node，在每个Worker Node中都有Executor负责执行任务 Spa...
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
明哥的IT随笔
06-20 1005
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
spark cluster和spark client的区别---转载
z7one
08-05 3253
Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(Yarn ResourceManager,Mesos master,Spark standalone)来决定哪些应用可以运行以及在哪什么时候运行，Slave服务(Yarn NodeManger)运行在每个节点上，节点上实际运行着Executor进程，此外还监控着它们的运行状态以及资源的消耗 Spark On Yarn模式，又分cluster和client模式。cluster和client的最大区别在于
spark中local模式与cluster模式使用场景_详细总结spark基于standalone、yarn集群提交作业流程...
weixin_39673184的博客
11-19 616
最近总结了一些关于spark core的内容，今天先来和大家分享一下spark的运行模式。spark运行模式（1）local：在本地eclipse、IDEA中写spark代码运行程序，一般用于测试（2）standalone：spark自带的资源调度框架，支持分布式集群搭建。Spark可以运行在standalone集群上（3）Yarn：Hadoop生态圈中的资源调度框架，spark可以基于Yarn运...
spark中local模式与cluster模式使用场景_Spark源码分析 之 Driver和Excutor是怎么跑起来的?(2.2.0版本)...
weixin_39892460的博客
11-19 214
今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。Spark作为目前最流行的大数据计算框架，已经发展了几个年头了。版本也从我刚接触的1.6升级到了2.2.1。由于目前工作使用的是2.2.0，所以这次的分析也就从2.2.0版本入手了。涉及的内容主要有：St...
Cluster（集群）模式
拐柒的博客
06-26 3502
Cluster（集群）模式（一）Cluster（集群）模式存在问题分布式和集群一致性hash算法hash算法应用场景集群时钟同步问题 Cluster（集群）模式 存在问题 1、hash算法 2、集群时钟同步问题 3、分布式id问题 4、分布式调度问题（定时任务的分布式执行） 5、session共享问题 接下来会分多篇文章进行问题的描述以及问题的解决。 分布式和集群 分布式一定是集群，集群不一定是分布式。 分布式是把一个系统拆分为多个子系统，每个子系统负责各自的功能，独立部署。 集群是多个实例共同工作，例如：
redis 集群三 · cluster模式
疯飙的蜗牛
11-29 2080
sentinel模式基本可以满足一般生产的需求，具备高可用性。 但是当数量过大到一台服务器存放不下时，主从模式或者sentinel模式就不能满足需求了。 这个时候就需要对存储的数据进行分片，将数据存储到多个redis实例中。cluster模式的出现就是为了解决容量有限问题。 Cluster可以说是sentinel和主从模式的结合体，通过cluster可以实现主从和master重选功能，所以如果配置两个副本三个分片的话，就需要6个redis实例。 Cluster要求至少需要3个Master才能组成一个集群，同
Spark yarn-cluster和yarn-client模式架构
qq_41733481的博客
08-01 213
Spark 核心之 Cluster 模式提交命令和特点分析
最新发布
https://starzy1990.github.io/
08-05 868
要点一句话总结cluster让 Driver 运行在集群中，spark-submit 可退出HA 机制Standalone 用，YARN 用日志Standalone 用--status，YARN 用yarn logs生产首选YARN-Cluster = 资源隔离 + 多租户 + HDFS 亲和 + Driver HA金句不是参数的改变，而是运维哲学的升级——从"我盯着任务跑完"到"我提交完就走了"。作者：starzy | AI Data Engineer / 大数据技术实践者。
spark on yarn 完全分布式_「大数据」（七十一）Spark之架构介绍
weixin_39716160的博客
11-26 333
【导读：数据是二十一世纪的石油，蕴含巨大价值，这是·情报通·大数据技术系列第[71]篇文章，欢迎阅读和收藏】1 基本概念Spark 架构采用了分布式计算中的 Master-Slave 模型。 Master 是对应集群中的含有 Master 进程的节点， Slave 是集群中含有 Worker 进程的节点。 Master 作为整个集群的控制器，负责整个集群的正常运行； Worker 相当于计算节点，...
Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
赤兔胭脂小吕布的博客
03-08 611
目录Spark Standalone -- 独立集群模式Standalone 架构图Standalone 的搭建1、上传、解压、重命名2、配置环境变量3、修改配置文件 conf4、同步到其他节点5、启动、关闭访问 spark web 界面Spark 提交任务的两种模式standalone client模式 日志在本地输出，一般用于上线前测试(bin/下执行)standalone cluste...
Spark 核心之 YARN-Cluster 模式：原理、流程与源码级深度拆解
https://starzy1990.github.io/
08-03 552
要点一句话总结YARN-Cluster 的 AM 是完整 Driver，非轻量 Launcher去客户端化spark-submit 提交后可退出，Driver 在 YARN 中托管资源隔离AM + Executor 全部在 Container 中运行生产首选唯一推荐的生产部署模式日志金句：如果说 YARN-Client 的 Driver 是你手中的风筝，那么 YARN-Cluster 的 Driver 就是放飞到云端的无人机——它完全自主飞行，而你的终端早已关闭。
Spark 核心之 Standalone-Cluster 模式：原理、流程与源码级深度拆解
https://starzy1990.github.io/
08-02 339
要点一句话总结Driver 位置Cluster 在 Worker 节点 DriverWrapper，Client 在提交客户端ClientAppCluster 专属短连接代理，负责注册 + 等待结果后退出Cluster 模式提交后退出；Client 模式全程存活–superviseCluster 专属 Driver 自动重启，确定性 Bug 不适用启动链路后续流程Driver 就绪后与 Client 模式完全相同金句。
Spark on Yarn-cluster 和 Yarn-client 区别
cllblogs
10-16 337
Yarn-cluster 和 Yarn-client 区别 SparkContext 初始化不同，这也导致了 Driver 所在的位置不同，Yarn-cluster 的 Driver 是在集群的某一台 NodeManager 上，但是 Yarn-client 是在 Driver 所在的机器上 Driver 会和 Executors 进行通信，这也导致了 Yarn-cluster 在提交a...
spark中local模式与cluster模式使用场景_Spark的基本概念
weixin_39945679的博客
11-19 284
Spark的基本构成基本组成Spark是一个分布式系统，也是集多个功能模块于一身的统一平台。它基于一个内核模块衍生出机器学习，实时流计算，OLAP，和图数据处理等模块，如图1-1-1所示。本书主要介绍Spark内核模块的实现原理。图1 spark功能模块从图1中可以看出Spark内核模块是基础层，它是所有上层功能模块的基础。所有上层的功能模块都使用Spark内核模块提供的接口来实现其功能。Spar...
spark运行架构及核心组件介绍
认真学代码的shell
05-11 1829
组件功能适用场景Spark Core提供分布式计算的基础功能所有场景Spark SQL支持结构化数据的查询和操作数据仓库、ETL、BI支持实时数据处理日志分析、实时监控MLlib提供分布式机器学习算法大规模机器学习GraphX支持图数据处理社交网络分析、图计算。
【Spark】Spark 运行架构--YARN 运行模式
w1992wishes的博客
04-11 497
本篇结构： 运行架构组成 运行模式介绍 两个重要类 TaskScheduler 和 SchedulerBackend yarn 运行模式 一、运行架构组成 Spark 运行架构主要由三部分组成： SparkContext：Spark 运行上下文，通常可以认为是 Driver 端，负责与 ClusterManager 通信，进行资源申请、认为分配和监控，负责作业执行的全部生命周期。 Clust...
Spark的Yarn CLuster与Yarn Client区别
weixin_39400271的博客
10-24 353
一、Yarn Cluster模式 二、Yarn Client模式 对比两种模式的架构图，可以看出，两者的本质区别：AM进程的区别。 Cluster模式下，driver运行在AM中，负责向Yarn（RM）申请资源，并监督Application的运行情况，当Client（这里的Client指的是Master节点）提交作业后，就会关掉Client，作业会继续...
Spark on YARN两种运行模式
04-28 1523
1 官网地址 链接 2 Spark on Yarn的两种运行模式 Spark on Yarn的两种运行模式：cluster和client; 一句话概述两种的区别就是Spark driver到底运行再什么地方，带着这个问题来学习两种的区别； In cluster mode：Driver运行在NodeManage的AM(Application Master)中，它负责向YARN申请资源，并监督...
spark 四种运行模式、driver
weixin_30553837的博客
01-21 584
spark的四种分布式运行模式 如图所示，上方为spark的架构图，spark的组件可以分为四个部分，driver、cluster Manager、worker和executor根据clusterManager的不同，spark可以分成四种不同的运行模式，standalone、local cluster、spark on yarn 和spark on mesos standalo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值