yarn分布式缓存策略

最新推荐文章于 2025-09-29 00:20:22 发布
原创 最新推荐文章于 2025-09-29 00:20:22 发布 · 895 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文探讨了在Spark环境中加载第三方jar包的具体步骤及遇到的问题。张某在使用zip压缩的第三方jar包时，通过修改配置使Spark能够识别并使用其中的文件。然而，在实际运行中发现了文件未被正确识别的问题。通过对yarn的executor container的排查，找到了job的缓存路径，并调整了配置路径，最终解决了问题。

 

张某 提交的第三方jar /home/zhang/r_igraph.zip ，

config[["spark.yarn.dist.archives"]] <- "/home/zhang/miniconda3/envs/r_igraph.zip"

config[["spark.r.command"]] <- "./r_igraph.zip/bin/Rscript"

config$sparklyr.apply.env.R_HOME <- "./r_igraph.zip/lib/R"

config$sparklyr.apply.env.RHOME <- "./r_igraph.zip/"

config$sparklyr.apply.env.R_SHARE_DIR <- "./r_igraph.zip/lib/R/share"

config$sparklyr.apply.env.R_INCLUDE_DIR <- "./r_igraph.zip/lib/R/include"

代码使用zip中的文件，发现找不到

经过排查

1、查找yarn的executor 的container

登录d129的机器的找到container_1536303536795_778181_01_000024进程

ps -ef|grep container_1536303536795_778181_01_000024

3、找到提交的job缓存路径

r_igraph.zip 解压后会多一集r_igraph目录

config[["spark.yarn.dist.archives"]] <- "/home/zhang/miniconda3/envs/r_igraph.zip"

config[["spark.r.command"]] <- "./r_igraph.zip/r_igraph/bin/Rscript"

config$sparklyr.apply.env.R_HOME <- "./r_igraph.zip/r_igraph/lib/R"

config$sparklyr.apply.env.RHOME <- "./r_igraph.zip/r_igraph"

config$sparklyr.apply.env.R_SHARE_DIR <- "./r_igraph.zip/r_igraph/lib/R/share"

config$sparklyr.apply.env.R_INCLUDE_DIR <- "./r_igraph.zip/r_igraph/lib/R/include"

 

【yarn】yarn 分布式缓存、日志目录
九师兄
09-19 387
HDFS依赖缓存到节点本地磁盘，以便直接本地读取。NM第一次启动容器任务会从HDFS同步依赖，并缓存到本地。如果NM不是第一次启动该应用，则从本地缓存读依赖文件。
大数据领域数据仓库的高并发处理方案
最新发布
禅与计算机程序设计艺术
09-29 984
当数据仓库从“后台分析工具”升级为“业务决策引擎”，高并发查询成为其必须跨越的门槛——就像超市周末的收银台，一旦顾客（查询请求）蜂拥而至，轻则排队超时，重则系统崩溃。本文将从瓶颈根源入手，用“超市运营”的生活化比喻拆解高并发难题，系统讲解分布式架构设计、查询优化技巧、缓存策略落地、资源管理机制四大核心方案，并结合电商大促、实时分析等实际场景，给出可复制的实现步骤。无论你是数据仓库工程师还是架构师，都能从本文中找到解决高并发问题的“工具箱”。数据仓库（Data Warehouse, DW）的本质是。
spark使用独立的Python环境提交任务
wang_306的专栏
07-30 6030
背景 由于需要在公司的大数据平台上使用自己的Python环境，折腾了很久，特此记录 先说几个坑： 需要注意版本，不同的spark版本会有些不同，当前我的spark版本是2.2.1，如果以下的方式不生效，记得先看看版本； 由于公司平台的环境是离线的，pip down下载的包是需要和硬件架构匹配的，我在mac上pip down的包拿到Linux下是无法正常安装的，建议看一下这篇文章的介绍：htt...
PySpark包依赖问题解决方案及实践
pop_xiaohao的专栏
08-09 3324
摘要： hadoop yarn调度pyspark在使用过程中，使用场景不一致，需要安装一些三方依赖，尤其在机器学习算法方面依赖许多科学包如numpy、pandas 、matlib等等，安装这些依赖是一个非常痛苦的过程，本章结合ti产品在私有化过程中依赖包及版本升级等为题进行简单介绍。 Spark on yarn分为client模式和cluster模式，在client模式下driver 会运行在提交节点上，该节点也可能不是yarn集群内部节点，这种方式可以根据自己的需要安装软件和依赖，以支撑spark app
大数据集群Spark-on-Yarn+Paddle深度学习模型部署
help_child的博客
09-20 552
2.使用别名访问，在解压缩的时候相当于将压缩包里面的东西解压到别名这个文件夹里面，对于上面的py3.6.tar.gz就是解压到mypy3.6这个文件夹下，paddle_model.tar.gz解压到my_model这个文件夹下，相对路径是/my_model/paddle_model/jit.pdmodel。这里还要插一句，如果用到pyspark，虚拟环境中不用安装这个库，spark在运行的时候会自己加载本地的pyspark.zip。这里我的目录结构如下，打包为paddle_model.tar.gz。
Spark On YARN时指定Python版本
benrciv的博客
02-10 2577
Spark On YARN时指定Python版本
spark教程-Pyspark On Yarn 的模块依赖问题
u011250186的博客
01-05 1316
原理简述 Yarn 模式是把资源统一交给 Yarn 集群来管理，其优点在于实现了 application 的多样性，如 MapReduce 程序、HBase 集群、Storm 集群、spark 集群等； Yarn 模式有两种运行模式：client 和 cluster，区别在于 client 模式的 Driver 运行在 client 端，而 client 端可能是 spark 集群内节点，也可以不是，一般来说不是集群内节点，这就需要在客户端节点上安装程序运行所需环境，以支持 spark 的正常...
【深入浅出 Yarn 架构与实现】6-3 NodeManager 分布式缓存
笨鸟先飞的博客
05-08 908
不要跳过这部分知识，对了解 NodeManager 本地目录结构，和熟悉 Container 启动流程有帮助。
NodeManager中分布式缓存机制
qq_40202995的博客
06-30 343
分布式缓存介绍 在Yarn中，分布式缓存是一种分布式文件分发与缓存机制，类似于MRv1中的Distrubuted Cache，其主要作用就是将用户应用程序执行时所需的外部文件资源自动透明的下载缓存到各个节点，从而省去了用户手动部署这些文件麻烦。 YARN分布式缓存工作流程如下: 1 客户端将应用程序所需的文件资源(外部字典、JAR包、二进制文件)提交到HDFS上。 2 客户端将应用程序提交到RM上。 3 RM将与某个NM进行通信，启动应用程序AM，NM收到命令后，首先从HDFS上下载文件(缓存),然
spark.yarn.archive spark.yarn.jars 的设置
naruto00001的专栏
03-16 7395
为什么要设置呢？摘自Spark-2.3.0官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html#preparations（个人理解：spark运行所需的jar包，不设置的话每次运行就需要上传到yarn管理的各个节点的缓存，很麻烦很影响性能。如果设置了，比如说放在HDFS上，就不需要每次都上传而是从HDFS上读取，能快那么一点点…...
spark的python环境及No module问题（超详细）
大柳的博客
01-07 4278
Spark集群与python的结合 从上一篇文章我们知道，spark有几种资源管理方式，具体可参考：spark几种集群管理器总结 如果Spark Application运行在yarn集群上，在这种运行模式下，资源的管理与协调会统一由yarn处理，而这种模式就能够实现基于yarn集群运算的Application的多样性，可以支持运行MapReduc程序、HBase集群、Storm集群，还可以运行使用Python开发的机器学习应用程序，等等。 我们知道，Spark on YARN又分为client模式和clus
yarn模式运行spark作业所有属性详解
weixin_34248487的博客
08-01 278
摘要:Spark 参数调优，可以大大提高工作中程序的运行效率。下面简单介绍一下这些常用的调优参数属性名称 默认值 含义spark.yarn.am.memory 512m client模式下，YARN Application Master使用的内存总量spark.yarn.am.cores 1 ...
spark submit
青鱼的博客
12-28 273
export PYSPARK_PYTHON=*/bin/python    $SPARK_HOME/bin/spark-submit --conf "spark.yarn.dist.archives=/home/anaconda2.tar.gz"  --conf  "spark.executorEnv.PYSPARK_PYTHON=/home/anaconda2.tar.gz/anaconda...
spark 带文件上集群，获取外部文件，--files 使用说明
Code_LT的博客
08-11 4643
当使用spark-submit --files时，会将–files后面的文件路径记录下来传给driver进程，然后当启动driver进程时，会调用SparkFiles.addFile(file_path)，并复制文件到driver的临时文件目录中。下面解释为什么FileInputStream和Source.fromFile直接写文件名也可以，因为scala io的相对路径取的事jvm的相对路径，而jvm的相对路径的根目录和driver和executor的工作路径是相同的。工作目录下该文件是存在的。
Spark on YARN的重要参数
qq_15300683的博客
04-24 5100
Spark属性或者去源码找Class类 SparkSubmitArguments，最全了属性名称默认含义spark.yarn.am.memory512m用于客户端模式下的YARN Application Master的内存量，格式与JVM内存字符串（例如512m，2g）相同。在集群模式下，spark.driver.memory改为使用。使用小写字母后缀，例如k，m，g，t，和p，为kibi-，me...
PySpark任务提交spark-submit参数设置一文详解
master_hunter的博客
01-12 7186
之前我们已经进行了pyspark环境的搭建以及经过jupyter notebook进行过开发以及实现了一系列的函数功能.但是一般我们跑spark都是在集群上面跑，只有测试一般在本地上测试，而且每个公司配置的spark集群的端口和设置的参数都有很大出入，故每种情况都有可能发生。所以一般任务提交的参数最好都需要能够清楚的明白对应功能。很多spark任务都会吃大量的内存以及队列资源，合理的安排spark资源十分重要，这些都需要我们在spark-submit指令上面配置。
PySpark yarn优化以及使用(依赖解决、python虚拟环境使用)————附带解释和代码
韩江雪de 小屋
02-21 3847
文章目录1 spark yarn的常见模式以及区分1.1 模式1.2 使用2 yarn模式下的自编写包依赖解决2.1 准备知识2.2 使用3 yarn模式下的jar包依赖解决3.1 spark运行时需要的包3.2 非spark运行时必要的包附录 1 spark yarn的常见模式以及区分 1.1 模式 1，client 提交方式： –master yarn –deploy-mode client 特点： 1，driver运行在提交作业的机器上(可以看到程序打印日志)； 2，cluster
spark参数说明
liuwei063608的专栏
03-04 2893
应用配置 参数 默认值 说明 建议 spark.driver.maxResultSize 1g 对Spark每个action结果集大小的限制.。 spark.driver.memoryOverhead driverMemory * 0.10, with minimum of 384 为driver分配的堆外内存。支持on yarn和Kubernetes。 spark.executor.memo...
spark配置详解
liben2007的博客
11-19 1978
这些皆可在 spark-default.conf配置，或者部分可在 sparkconf().set设置 应用程序属性 属性名称 | 默认值 | 含义 ---------------------------------------------------------------------------------- spark.app.name
Spark读取zip文件原理与详解
Code_LT的博客
08-28 2740
import java.io.{BufferedReader, InputStreamReader} import java.util.zip.ZipInputStream import org.apache.spark.input.PortableDataStream val dataAndPortableRDD = sc.binaryFiles("zipData path") val dataRDD = dataAndPortableRDD.flatMap { case (name: Str...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值