ambai中tez任务占用yarn内存过多

问题描述

**平台: **ambari+hdp
**计算引擎: **hive+tez
**数据量: **7张表，单表千万级数据
**遇到问题: **提交一个计算任务将集群中memory沾满(不存在笛卡尔积，就最后指标字段只有7个左右)

解决方案

解决方案一

最开始解决问题思路是从三点出发：yarn、hive、tez的内存配置

1. yarn的“yarn.scheduler.minimum-allocation-mb”和“yarn.scheduler.maximum-allocation-mb”这两参数，在HDP上对应下图
   

2. hive的“hive.tez.container.size”、“hive_server2_heapsize”这里两个参数，在HDP上对应下图
   

3. tez的“tez.am.resource.memory.mb”、“tez.task.resource.memory.mb”这两个参数，在HDP上对应下图
   
   以上述的三个组件的内存配置为出发点经过一系列的调整，经查阅很多资料(这里就不对过程进行详细介绍了)，经过各种尝试，在执行查询sql的时候还是会沾满yarn的内存计算资源。

<