17，关于spark的一些参数优化

最新推荐文章于 2026-05-28 11:11:11 发布
原创 最新推荐文章于 2026-05-28 11:11:11 发布 · 1.3k 阅读 · 2
标签
#spark #hive #hadoop
本文详细介绍了Spark的Executor和Driver的配置参数，包括内存分配、核心数设定，以及读取、shuffle和join操作的优化策略。还提及了自适应执行和广播JOIN的阈值。此外，讨论了如何通过调整参数提升Spark作业的执行效率。

Executor执行能力

spark.executor.memory=4g
用于缓存数据、代码执行的堆内存以及JVM运行时需要的内存。

spark.executor.cores=2
单个executor上可以同时运行的task数，该参数决定了一个executor上可以并行执行几个task。

Driver执行能力

spark.driver.memory=4g
driver端的内存和driver缓存，以及返回的数据的大小有关系。
spark.driver.cores=2

读取能力

读取文件的切分规则：
spark.default.parallelism=1

spark.sql.files.maxPartitionBytes=3200000;

spark.sql.files.openCostInBytes=4194304;

spark.hadoop.mapreduce.input.fileinputformat.split.maxsize=67108864;

spark.hadoop.mapreduce.input.fileinputformat.split.minsize.per.node=67108864;

spark.hadoop.mapreduce.input.fileinputformat.split.minsize.per.rack=67108864;
具体使用请参考我之前的博客。

spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2
spark.hadoop.mapreduce.input.fileinputformat.list-status.num-threads=50
spark.hadoopRDD.ignoreEmptySplits=true

最低0.47元/天 解锁文章
MaxCompute Spark 使用和常见问题
数据库技术
01-12 2662
一. MaxCompute Spark 介绍 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作业，以满足更丰富的数据处理分析场景。 1.1 关键特性 支持原生多版本Spark作业 社区原生Spark运行在MaxCompute里，完全兼容Spark的API，支持多个Spark版本同时运行 统一的计算资源 像MaxCompute SQL/MR等
Spark性能优化合理设置并行度
ZMC921的博客
05-11 5521
1 Hadoop文件和block的关系，split与block的关系，一个map对应一个split分片吗？1.1 Hadoop文件和block的关系    在介绍hadoop写文件的时候我们经常会说首先分割文件为多个块；那么是怎么分割的呢？这里其实不要有过的纠结，这里的块是block，是hdfs中切块的大小，属于物理划分，默认128M，在hadoop-default.xml配置中有体现，也可以修改...
Booster LLM推理加速器：Golang+C++架构，跨硬件部署与性能调优实战
weixin_33670713的博客
05-01 475
在大型语言模型（LLM）的工程化部署中，推理性能与资源效率是关键挑战。其核心原理在于通过优化计算图执行、内存管理和硬件指令集利用来提升吞吐量与降低延迟。这项技术的核心价值在于能够将前沿的AI能力以稳定、高效且成本可控的方式交付给生产环境，广泛应用于智能对话、代码生成与文本分析等场景。本文聚焦的Booster项目，正是这一领域的实践典范，它创新性地采用Golang处理高并发服务层、C++/CUDA编写极致性能计算核心的混合架构，并支持包括**模型量化**与**多GPU模型分割**在内的关键技术，实现了从NVI
Hive On Spark 调优
蝈蝈
11-22 1291
1 Hive整体调优 mapreduce.input.fileinputformat.split.maxsize=750000000 hive.cbo.enable=true 默认false hive.orc.splits.include.file.footer=false hive.merge.sparkfiles=false 默认true hive.merge.orcfile.stripe.level=true hive.auto.convert.join.noconditionaltask=true
spark_sql 参数调优
weixin_43363407的博客
07-26 2440
spark Sql 参数调优 目录 前言 异常调优 spark.sql.hive.convertMetastoreParquet spark.sql.files.ignoreMissingFiles && spark.sql.files.ignoreCorruptFiles spark.sql.hive.verifyPartitionPath spark.fil...
hadoop之mapreduce.input.fileinputformat.split.minsize参数
congtuo7221的博客
10-24 4589
mapreduce.input.fileinputformat.split.minsize（旧版本中为mapred.max.split.size） Theminimumsizechunkthatmapinpu...
JDK 17 + Hadoop 3.3.5 + Spark 3.3.2 集群搭建避坑全记录：从虚拟机互信到圆周率测试
最新发布
weixin_31100517的博客
05-28 260
本文详细记录了基于JDK 17、Hadoop 3.3.5和Spark 3.3.2的大数据集群搭建全过程，重点分享了从虚拟机互信配置到Spark on YARN集成的关键步骤和常见问题解决方案。内容涵盖环境准备、SSH互信、Hadoop集群部署、Spark集成及性能调优，为数据工程师提供实用的避坑指南。
大数据系列之Spark性能优化案例详细剖析
qq_30003943的博客
08-05 1692
大数据系列之Spark性能优化案例分析 文章目录大数据系列之Spark性能优化案例分析什么是数据倾斜？解决数据倾斜的出发点？导致Spark数据倾斜的本质是什么？数据倾斜只会发生在Shuffle过程，可能触发Shuffle的算子有哪些？数据倾斜典型案例？如何定位最慢Task源码的位置？准备测试数据1000W条数据将测试数据上传至hdfs文件系统数据初步加工，分成12个分区第八个最多1.调整并行度解决数据倾斜案例分区数量为12运行结果增大分区数量为17运行结果减小分区数量为5运行结果2.自定义分区解决数据倾斜案
基于Spark ALS算法的个性化推荐
王亨的博客
05-18 3704
今天来使用spark中的ALS算法做一个小推荐。需要数据的话可以点击查看初识sparklyr—电影数据分析，在文末点击阅读原文即可获取。 其实在R中还有一个包可以做推荐，那就是recommenderlab。如果数据量不大的时候可以使用recommenderlab包，之前也用该包做过电影评分预测模型（点击即可查看）。如果数据量较大还是推荐使用spark来进行计算。 在spark中包含...
Spark性能调优2-总结分享
简单就好
05-01 7554
1、Spark调优背景 目前Zeppelin已经上线一段时间，Spark作为底层SQL执行引擎，需要进行整体性能调优，来提高SQL查询效率。本文主要给出调优的结论，因为涉及参数很多，故没有很细粒度调优，但整体调优方向是可以得出的。 环境：服务器600+，spark 2.0.2，hadoop 2.6.0 2、调优结果 调优随机选取线上9条SQL，表横轴是调优测试项目，测试在集群空闲情况下...
MapReduce中FileInputFormat解析
南洲.的博客
07-27 3292
1、概述 在map阶段，文件先被切分成split块，而后每一个split切片对应一个Mapper任务。 FileInputFormat这个类先对输入文件进行逻辑上的划分,以128M为单位,将原始数据从逻辑上分割成若干个split,每个split切片对应一个Mapper任务。 2、切片与与MapTask并行度决定机制 数据块：Block 是 HDFS 物理上把数据分成一块一块。数据块是 HDFS 存储数据单位。 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行 存储。数据切片是Ma
MapReduce组件总结
weixin_38312502的博客
06-03 2785
1. HDFS 1.1 简介 HDFS是一个分布式文件系统，用于存储大且多的文件。适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析。 1.2 优点 高容错：数据会自动拷贝副本，当某一个副本丢失，它也可以自动恢复 适合处理大数据：数据规模可以支持GB,TB,甚至PB级别数据。 可构建在廉价的机器上，成本低。 1.3 缺点 不支持低延迟数据访问 无法高效的存储小文件：会占用NameNode大量内存来存储文件目录和块信息，而NameNode的内存是有限的 不支持并发写入文件，
spark AE功能控制小文件的输出数量
北方的大数据之路
10-28 1740
场景： 一般我们配置spark.sql.shuffle.partition来控制reduce的个数，但是对于不同的作业，reduce个数是不同的，对于小任务，一方面是影响运行效率，另一方面对于产生的文件数有很大的影响。 描述： spark自适应执行，可以动态控制shuffle read的分区数，对reduce个数进行动态调整。 命令： spark.sql.adaptive.enabled 设置自适应执行 spark.sql.adaptive.minNumPostShuffle..
spark优化入门
鸭梨的博客
12-13 495
spark计算的瓶颈可能有很多,比如cpu,带宽,内存等等. 本文主要从序列化以及内存优化两方面来谈. 数据序列化 - 序列化在任何分布式应用程序的性能中起着重要的作用 - 将对象序列化为消耗大量字节的格式会大大减慢计算速度 - spark提供了两个序列化库,java序列化和kryo序列化 - spark默认使用java序列化,但是java序列化比较慢,且序列化后的对象体积大 - kryo序列化比较快,但缺点是并不支持所有的类型. - kryo使用自定义类需要注册,注册方法如下 val conf = ne
hive参数优化-----亲测有效
lcm_linux的博客
01-15 3816
hive查询的时候，导致服务器负载过高，load值飙升，服务器CPU是8个，按理说load不超过8，都应算ok的，但是，hive在部署完后没有调参，导致在执行过程中，load值达到了7.8以上，服务器连接出现问题，因此想到了调参，现在整理如下： 本次查询所用测试语句为： select util_lnadw21ifj1579078492403.e2467e8ab37945a3869c6d309......
spark 问题锦集
weixin_42438913的博客
06-29 600
1、spark程序jar与spark lib jar冲突，加载顺序 提交spark作业经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的jar包冲突问题 比如spark程序用到了guava的Splitter类： import com.google.common.base.Splitter; ... List list = Splitter.on("/").splitToList(output); 程序在本地模式下能正
Spark 2.3.0支持ORC Vectorized矢量化源码分析
A Vimer's World
03-05 3213
Vectorized ORC Reader: [SPARK-16060] Adds support for new ORC reader that substantially improves the ORC scan throughput through vectorization (2-5x). To enable the reader, users can set spark.sql....
【大数据】Spark性能优化和故障处理
weixin_34320159的博客
02-25 668
第一章Spark性能调优 1.1常规性能调优 1.1.1常规性能调优一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单2-1所示： 代码清单2-...
MapReduce过程详解及其性能优化
热门推荐
aijiudu的博客
05-16 4万+
废话不说直接来一张图如下： 从JVM的角度看Map和Reduce Map阶段包括： 第一读数据：从HDFS读取数据 1、问题:读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源； Mapper数太小，并发度过小，Job执行时间过长，无...
Hadoop 教程 - Hadoop MapReduce属性优化
qq_33240556的博客
06-27 537
Hadoop MapReduce属性优化是通过调整各种配置参数来提升MapReduce作业的执行效率和资源利用率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值