【现象】
今天用户反馈运行HQL作业失败,报OOM,于是来排查该问题

查看tez,intialmap大量失败,重试失败。

进入具体一个task,报错指向OOM,溢出原因是在单个map中产生大量对象导致。
HQL语句查询借据号——逾期金额信息,借据号重复率低,导致map维护key(借据号)-value(逾期金额信息)的内存超过了JVM配置的map进程内存大小限制,从而内存溢出。

【原因】
对于g
用户运行HQL作业遇到OOM错误,原因是HIVE group by查询导致单个map内存超限。解决方法包括关闭map端聚合和调整聚合关闭阈值,以避免内存溢出并优化性能。
【现象】
今天用户反馈运行HQL作业失败,报OOM,于是来排查该问题

查看tez,intialmap大量失败,重试失败。

进入具体一个task,报错指向OOM,溢出原因是在单个map中产生大量对象导致。
HQL语句查询借据号——逾期金额信息,借据号重复率低,导致map维护key(借据号)-value(逾期金额信息)的内存超过了JVM配置的map进程内存大小限制,从而内存溢出。

【原因】
对于g

被折叠的 条评论
为什么被折叠?
:java.lang.OutOfMemoryError: GC overhead limit exceeded&spm=1001.2101.3001.5002&articleId=113614641&d=1&t=3&u=2ec45000561c43a2b6cd6bac5a24c04f)