spark 集群添加jar包 正解

最新推荐文章于 2023-04-23 10:00:12 发布
原创 最新推荐文章于 2023-04-23 10:00:12 发布 · 2.7k 阅读 · 4
本文介绍了如何使用正确的路径提交Spark作业，通过修改`spark-defaults.conf`配置文件确保作业运行。同时，分享了两种添加额外jar包的方法，一种是直接上传到HDFS，另一种是打包所有必需jar为zip文件。这两种方法均不会影响现有业务，并且在集群扩容时无影响。

前置

1、先说一下spark-submit 提交命令 ,应该采用 如下路径的spark-submit，因为这样才会读取spark-default.conf

>> /opt/cloudera/parcels/CDH/lib/spark/spark-submit

2、如果无法找到正确的路径，采用配置方式

如：

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --properties-file spark-defaults.conf --deploy-mode cluster /opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.3.2.ja

2、添加一两个包的简单方法

spark 经常需要添加一两个jar包。一般采用如下方式，

1）、上传jar 到hdfs 路径。

如：hdfs:///spark-jars/spark.test.jar

2）、修改配置

>>vi /opt/cloudera/parcels/CDH/lib/spark/conf/spark-defaults.conf

>> 修改配置

spark.yarn.jars=local:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/jars/*,local:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/hive/*,hdfs:///spark-jars/spark.test.jar

即可

每次提交任务时spark 会去 hdfs上下载文件，

最低0.47元/天 解锁文章
Spark缺少的jar包
10-04
Spark缺少的jar包
spark参数说明
liuwei063608的专栏
03-04 2893
应用配置 参数 默认值 说明 建议 spark.driver.maxResultSize 1g 对Spark每个action结果集大小的限制.。 spark.driver.memoryOverhead driverMemory * 0.10, with minimum of 384 为driver分配的堆外内存。支持on yarn和Kubernetes。 spark.executor.memo...
spark执行优化--将依赖的jar包上传至hdfs上（spark3.1.1）
weixin_42934205的博客
10-26 4080
spark执行过程优化------将spark运行的jar包上传到HDFS上，避免在提交任务时因为spark程序包过大导致的占用运行时间和cpu资源 起因是在提交spark任务的时候，因为服务器处于离线状态，好多的依赖包无法通过网络进行下载，所以打成的spark程序包比较大，大概在200~300MB之间，每次通过spark-on-yarn提交任务时，总是有一段时间将本地的spark程序上传到hdfs，占用了太多的网络资源以及cpu。 所以，通过配置spark.yarn.archive和spark.yarn.
spark-submit运行上传jar包问题
一亩三分地
05-02 1319
问题1： hadoop2.7+spark1.2: class not found com.hadoop.compression.lzo.LzoCodec 测试环境，上传jar包，spark-submit运行报上述错误，主要原因是： hadoop集群的core-site.xml有： <property><name>io.compression.codec.l...
Spark jar包加载顺序及冲突解决
epitomizelu的专栏
03-23 6815
一，spark jar包加载顺序 1，SystemClasspath – Spark安装时候提供的依赖包，通常是spark home目录下的jars文件夹 【SystemClassPath】 2，Spark-submit --jars 提交的依赖包 【UserClassPath】 3，Spark-submit app.jar或者shadowJar打的jar 【UserClassPath】 二，jar包冲突解
spark依赖外部第三方jar包
为什么简介是必填项？
07-18 6501
一、摘要 由于项目需要搭建spark单独提交jar包运行，而spark提交jar包执行，需要依赖外部其他第三方jar包时候，官方给出的是在spark-submit命令上增加 --jars 参数去指定外部jar包，但是一个项目运行依赖的外部jar及其的多，此种方式肯定是不行的； 网上找的各种方式最终都没有效果，以下是本人所处理的结果； 二、当前运行环境 spark2.4.3 jdk1.8 s......
spark-submit提交jar包读取外部配置文件遇到的问题
qq_16220645的博客
05-01 2606
./bin/spark-submit \ --class com.test.examples.SparkStreaming \ --master yarn \ --deploy-mode client \ --driver-memory 4g \ --executor-memory 4g \ --executor-cores 3 \ --queue q2 \ /pa...
Spark应用依赖jar包的添加解决方案
Yage的博客
05-23 1万+
在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案： 1.使用参数–jars 添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开 bin/spark-sql --jars /opt/modules/cdh-5.3...
Spark中函数addFile和addJar函数介绍
吟啸徐行
04-04 9463
尊重作者，转载至：https://www.iteblog.com/archives/1704.html 　      我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法是将这些文件上传到HDFS上，然后计算节点从HDFS上获取这些数据。当然我们也可以使用addFile函数来分发这些文件。  addFile addFile方法可以接收
spark-任务提交多个jar包问题（Oozie调度）
Master_chaoAndQi的博客
01-02 2751
spark-submit \ --class com.xxx.bigdata.handler.xxx \ -- 运行的主类 --master yarn \ --deploy-mode client \ --driver-memory 1g \ --executor-memory 2g \ --executor-cores 2 \ --jars hdfs:///user/admin/xx/bas...
spark之5：配置文件
jediael_lu的专栏
08-05 1972
spark之5：配置文件@(SPARK)[spark]一、spark的参数设置方式1、spark配置文件加载顺序spark按以下优先级加载配置文件： （1）用户代码中显式调用set()方法设置的选项 （2）通过spark-submit传递的参数 （3）配置文件中的值 （4）spark的默认值以下会分别介绍各种方式。2、set()方法val conf = new SparkConf() co
Spark-Submit 提交参数解析
yj2434的博客
10-30 499
Options: –master MASTER_URL, 可 以 是 spark://host:port, mesos://host:port, yarn, yarn- cluster,yarn-client, local –deploy-mode DEPLOY_MODE, Driver 程序运行的地方，client 或者 cluster,默认是 client。 –class CLASS_NAME, 主类名称，含包名 –jars 逗号分隔的本地 JARS, Driver 和 executor 依赖的第三方
Spark配置参数详解
qq_40304082的博客
07-20 5058
以下是整理的Spark中的一些配置参数，官方文档请参考。Spark提供三个位置用来配置系统Spark属性控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量可以通过每个节点的脚本设置。例如IP地址、端口等信息日志配置可以通过log4j.properties配置。...
Spark集群中使用spark-submit提交jar任务包实战经验
热门推荐
一路风景
01-03 4万+
转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行
spark-yarn配置信息
daxuddaai的博客
10-21 316
conf/spark-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 export YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop spark-defaults.conf 配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir hdfs://linux1:8020/directory 需要启动hadoop集群，.
[Spark应用依赖jar包的添加解决方案]
程序车轮
07-07 1万+
Spark应用依赖jar包添加无效的解决方案      在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案：    1.使用参数--jars 添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开     例子：   ...
Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系
benrciv的博客
11-12 5137
–jars： 提供系统中没有的包 ​ 运行时将包分发到worker指定目录例如/var/run/spark/work 不会加载到executor的classPath 多个包用逗号分隔 ​ spark.{driver|executor}.extraClassPath 多版本的相同类被加载进ClassLoader，link的时候发生错误时，用了指定版本 只需要指明包名即可，不需要指明路径 该依赖包具有最高优先级，但只能指定一个包 yarn-client模式下，–jars不会把包拷贝到本地，所以需要使用绝对
Spark任务提交jar包依赖解决方案
chuowen140381的博客
07-19 579
转载自：http://blog.csdn.net/wzq294328238/article/details/48054525 通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对...
Spark 与 Elasticsearch交互的一些配置和问题解决
骑牛的马の博客
04-20 1万+
java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class问题解决 Spark Elasticsearch交互 ES-Hadoop
spark提交命令中的jars设置方式
chun的博客
04-23 657
此方法是在大数据平台架构与原型实现：数据中台建设实战这本书上看到的之前我们使用的方式是将所有jar的名字加入到配置文件中，提取为jars参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值