hive on spark 同时只能提交一个任务错误处理

最新推荐文章于 2024-07-24 14:59:47 发布

原创最新推荐文章于 2024-07-24 14:59:47 发布 · 1.4k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#大数据 #spark #hive

收录于

本文探讨了在同时提交多个Spark任务时遇到的超时错误，并详细记录了尝试的各种解决方案，包括资源配置调整和动态设置超时时间，最终通过修改hive-site.xml文件中的连接超时配置成功解决问题。

同时提交几个任务时报

FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 1e458098-9ef7-4709-a117-c1b0b6ea0eee_0: java.util.concurrent.TimeoutException: Client '1e458098-9ef7-4709-a117-c1b0b6ea0eee_0' timed out waiting for connection from the Remote Spark Driver

试了几种方式：

资源配置（不起作用）

set hive.execution.engine=spark;
set spark.executor.memory=4g;
set yarn.nodemanager.resource.memory-mb=12288;
set yarn.scheduler.maximum-allocation-mb=2048;

动态设置超时时间（不起作用）

hive.spark.client.future.timeout 
hive.spark.client.connect.timeout
hive.spark.client.server.connect.timeout

配置hive-site.xml (起作用)

<property><name>hive.spark.client.connect.timeout</name><value>300000ms</value></property><property><name>hive.spark.client.server.connect.timeout</name><value>300000ms</value></property>