升级 spark 2.3问题：Spark Streaming日志级别设置，最小堆内存设置_spark streaming executor info 级别日志-CSDN博客

本文探讨了Spark不同版本中内存管理和日志级别的配置差异。重点分析了Spark1.6与Spark2.3在JVM堆内存分配上的区别，以及如何在新旧版本中设置日志级别，确保driver和executor端的日志输出符合需求。

一、内存问题

1、旧集群

spark 1.6.1

jdk 1.7 或 1.8

jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等）

2、新集群

spark 2.3.

jdk 1.8

jvm 堆内存分配，刚开始分比较小的内存，当内存不够时，增加内存（主要是老年代内存），新生代内存也有增长，但是比较小（280M-556M），

问题分析：

查看spark 源码：org.apache.spark.launcher.Main发现如下问题：

Spark 2.3 分配的jvm 堆的大小时，只分配cmd.add("-Xmx" + memory);未分配最小堆内存

Spark 1.6 分配的jvm 堆的大小时，cmd.add("-Xmx" + memory);cmd.add("-Xms" + memory);

问题解决：

1、添加配置：--conf spark.driver.extraJavaOptions="-Xms55G” \

2、修改spark-class的cmd构建出的最小堆内存：CMD=("${CMD[@]}" "-Xms55G")

while IFS= read -d '' -r ARG; do
# echo "*****$ARG*****"
 # CMD+=("$ARG")
  if [ "$ARG" = "-cp" ]; then
   CMD=("${CMD[@]}" "-Xms55G")
   echo ${CMD[@]}
  fi
  CMD+=("$ARG")
done < <(build_command "$@")

二、日志级别设置

1、spark 1.6.1-日志级别设置

Logger.getLogger("org").setLevel(Level.WARN)

2、spark 2.3.0-日志级别设置

a、步骤1的设置，只在driver端生效，executor端无效，默认日志级别为INFO

b、设置executor端日志级别为WARN

1）从 $SPARK_HOME/conf copy log4j.properties.template 到指定目录，并修改名称为 log4j.properties，这里的指定目录为当前应用程序jar包所在目录下的conf文件夹

2）添加如下配置信息

--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j.properties" \

--files conf/metrics.properties,conf/log4j.properties \