SparkSQL/hivesql参数调优

最新推荐文章于 2026-05-28 12:02:12 发布

原创最新推荐文章于 2026-05-28 12:02:12 发布 · 1.8k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

spark

当前文章被收录于：

spark

5 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文详细介绍了如何通过调整Spark SQL与Hive的相关参数来优化大数据处理性能，包括设置广播连接阈值、shuffle分区数、文件读取大小等关键配置。

set spark.sql.autoBroadcastJoinThreshold=-1;
set spark.sql.shuffle.partitions=1000;
set spark.sql.files.maxPartitionBytes=536870912;
set spark.sql.files.openCostInBytes=4194304;
set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=134217728;

set hive.hadoop.supports.splittable.combineinputformat=true;
set hive.new.job.grouping.set.cardinality=128;
set mapreduce.input.fileinputformat.split.maxsize=536870912;
set mapreduce.input.fileinputformat.split.minsize=536870912;
set mapreduce.input.fileinputformat.split.minsize.per.node=536870912;
set mapreduce.input.fileinputformat.split.minsize.per.rack=536870912;