Hive 自动合并小文件的功能详解

原创 已于 2022-03-22 11:31:34 修改 · 7.3k 阅读 · 12
标签
#hive
于 2022-01-07 11:07:57 首次发布
本文详细介绍了Hive如何判断并合并小文件，包括设置平均小文件大小、目标文件大小以及针对不同作业类型的合并策略。自动合并小文件能优化NameNode性能，提升数据压缩效率和任务启动速度。但配置过程可能较为复杂，需针对不同引擎进行调整。

小文件的判断

如果一个 job 结束后，生成的文件的平均大小 小于 参数 hive.merge.smallfiles.avgsize 设定的值，则认为是小文件。如以下设置平均小文件的大小为 128M。

set hive.merge.smallfiles.avgsize=128000000;

合并后的目标文件大小

希望的合并后的目标文件大小，如果此值小于 hive.merge.smallfiles.avgsize, 则此值为 hive.merge.smallfiles.avgsize。

set hive.merge.size.per.task
最低0.47元/天 解锁文章
(14)Hive调优——合并小文件
爱吃辣条的博客
02-13 5643
Hive的小文件问题
hive大小文件合并及Hive配置参数
KANGBboy的博客
09-28 4695
hive文件合并及Hive配置参数
Hive合并小文件详解(参数介绍)
Samooyou的博客
05-17 8111
一、MR输出时合并小文件 参数设置 含义 set hive.merge.mapfiles=true; 默认值ture,在Map-only的任务结束时合并小文件 set hive.merge.mapredfiles=true; 默认值false,在Map-Reduce的任务结束时合并小文件 set hive.merge.size.per.task=256000000; 默认值256M， set hive.merge.smallfiles.avgsize=16000000 ; 默认...
hive常用参数、数据倾斜处理办法总结
槑の少年的博客
09-28 1480
小文件合并 --set hive.merge.sparkfiles = true;--spark引擎，结束后，新启动一个任务进行合并文件 set hive.merge.tezfiles = true;--tez引擎，结束后，新启动一个任务进行合并文件 --set hive.merge.mapredfiles = true;--在Map-Reduce的任务结束时合并小文件，mr引擎，结束后合并文件，新启动一个任务 set hive.merge.mapfiles = true;--在Map-only的任务结束时
Hive 配置参数大全
西西弗斯的石头的博客
05-20 1245
hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python hive.exec.plan：hive执行计划的文件路径，默认是null，会在运行时自动设置，形如hdfs://xxxx/xxx/xx； hive.exec.scratchdir：hive用
hive中orc小文件优化
Mr.Zheng的博客
11-07 2734
小文件的缺陷我们就不说了，直接进入到正题. HIVE自动合并输出的小文件的主要优化手段为： set hive.merge.mapfiles = true：在只有map的作业结束时合并小文件， set hive.merge.mapredfiles = true：在Map-Reduce的任务结束时合并小文件，默认为False； set hive.merge.size.per.task = 256000000; 合并后每个文件的大小，默认256000000 set hive.merge.smallfiles.av
【Hive】如何对Hive表小文件进行合并
Sunny的专栏
10-26 8718
1.本文原表中共12个分区，101个小文件，合并后共12个文件，其每个分区中一个。2.在CDP中因为Hive的底层执行引擎是TEZ,，所以相比CDH需要修改以前的合并参数“SET hive.merge.mapfiles=true”为“SET hive.merge.tezfiles=true;3.合并完后清理原表备份的数据建议保留一周。4.参数含义#使用动态分区#默认值为srticat,nonstrict模式表示允许所有分区字段都可以使用动态分区。
Hive优化之小文件合并
不积跬步无以至千里
10-22 5969
问题背景: 公司集群有个表, 执行一次insert overwrite table select * from table; 大概需要7000s. 源表是从pgsql抽上来的, 用了500个maptasks. 该表以月为分区, 每个分区文件夹下面产生了大量的小文件, 有的都不到1M. 问题产生原因: 输入表本身就有很多小文件,插入的时候没有限制reduce个数, 资源也没有限制,...
Hive实用小文件合并方案
编程技术、独立开发、技术资讯以及编程感悟等内容
02-01 1561
Hive小文件合并方案
Hive小文件合并
热门推荐
yycdaizi的专栏
01-31 6万+
Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。 小文件带来的问题 关于这个问题的阐述可以读一读Cloudera的这篇文章。简单来说，HDFS的文件元信息，
hive merge小文件
An342647823的专栏
03-13 2391
当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。 为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并 当然，在我们向一个表写数据时，也需要注意输出文件大小 1. Map输入合并小文件 对应参数： set mapred.max.
hive任务优化、参数调优
tyhawk的博客
03-28 6443
文章目录一控制hive任务中的map数:如何合并小文件，减少map数？如何适当的增加map数?二、 控制hive任务的reduce数：1. Hive自己如何确定reduce数：2. 调整reduce个数方法一3. 调整reduce个数方法二4. reduce个数并不是越多越好；5. 什么情况下只有一个reduce； 一控制hive任务中的map数: 通常情况下，作业会通过input的目录产生一...
hive 参数调优
renzhixin1314的博客
04-23 1万+
Map Reduce数量相关数据分片大小 (分片的数量决定map的数量) 计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize)) set mapreduce.input.fileinputformat.split.maxsize=750000000;单个reduce处理的数据量 (影响reduce的数量) 计算公式: M
【Hive任务优化】—— 小文件合并相关参数
u013332124的专栏
08-31 1万+
set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.smallfiles.avgsize=256000000; set hive.merge.size.per.task = 256000000; （未完待续）
如何在将数据插入时合并hive创建的小文件？
qq_42339889的博客
09-08 1082
如何在将数据插入存储桶时合并hive创建的小文件
hive压缩之小文件合并
小老虎的专栏
01-24 6196
Hive压缩之二 小文件合并   调研背景 当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并。当然，在我们向一个表写数据时，也需要注意输出文件大小。 输入合并 合并输入小文
升级到 CDP 后Hive on Tez 性能调整和故障排除指南
未来在这儿的专栏
02-09 2168
此博客介绍了有关 CDP 的 Hive on Tez 查询的一些基本故障排除和调整指南。作为查询性能分析的第一步，您应该验证并验证在 Hive 和 Hive on Tez 服务上设置的所有配置。所做的每一项更改都应进行测试，以确保其做出可衡量且有益的改进。查询调优是一项专门的工作，并非所有查询都可以通过更改 Tez 配置属性来更好地执行。您可能会遇到需要深入研究 SQL 查询以优化和提高执行和性能的场景。如果您需要有关性能调整工作的更多帮助，请联系您的 Cloudera 帐户和专业服务团队以提供指导。
Hive 中用于小文件合并的配置参数
最新发布
m0_63322122的博客
03-11 912
Hive 会在 MapReduce 任务（包含 Map 和 Reduce 阶段的任务）结束时，将生成的多个小文件合并为更大的文件。当同时启用这 3 个参数时，Hive 会在任务结束时自动合并小文件，以减少小文件的数量并优化存储和查询性能。，Hive 会在 Map-only 任务（即没有 Reduce 阶段的任务）结束时，将生成的多个小文件合并为更大的文件。文件合并会消耗额外的计算资源和时间，因此在数据量较小或文件数量不多时，可能不需要启用这些参数。Hive 会尝试将小文件合并到接近该大小的文件中。
Hive on Spark的小文件设置参数
qq_43688472的博客
07-03 1496
因此Spark官网建议的设置原则是，设置该参数为num-executors * executor-cores的2~3倍较为合适，比如Executor的总CPU core数量为300个，那么设置1000个task是可以的，此时可以充分地利用Spark集群的资源。参数调优建议：如果Spark作业中的RDD持久化操作较少，shuffle操作较多时，建议降低持久化操作的内存占比，提高shuffle操作的内存占比比例，避免shuffle过程中数据过多时内存不够用，必须溢写到磁盘上，降低了性能。
HIVE优化系列（1）-- 自动合并输出的小文件
什么最重要？算法！！
09-02 4502
小文件的缺陷我们就不说了，直接进入到正题. HIVE自动合并输出的小文件的主要优化手段为： set hive.merge.mapfiles = true：在只有map的作业结束时合并小文件， set hive.merge.mapredfiles = true：在Map-Reduce的任务结束时合并小文件，默认为False； set hive.merge.size.per.task = 25600...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值