SparkStreaming executor异常dead

问题

SparkStreaming实时消费kafka数据，程序正常运行，数据正常写入数据库，但是executor大量异常dead。

问题排查

经过排查，在每个dead的executor中的日志中，都会有一个报错：ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM，其他没有任何报错信息；

查阅大量资料，发现可能是因为spark的动态executor分配导致；在${SPARK_HOME}/con/spark-default.conf配置文件中，配置信息如下：

spark.dynamicAllocation.enabled=true
spark.dynamicAllocation.executorIdleTimeout=60

由于开启动态executor分配，spark会检测executor的运行状态；超过指定时间（如上配置为60s），发现executor仍然处于空闲状态，会把该executor移除；

解决方案

修改${SPARK_HOME}/con/spark-default.conf配置文件，将动态分配executor机制关闭

spark.dynamicAllocation.enabled=false

修改完配置后，重新启动程序，问题解决