Spark 日志配置

在使用spark 环境开发时，有时为了方便，需要pyspark环境下执行一些代码，但默认的日志级别是INFO, 这样会输出超级多的日志，界面一几乎是一直在刷屏状态。

可以调一下日志的输出级别。

一、修改日志配置

在$SPARK_HOME/conf 下找到 log4j.properties.template，复制一份到新文件log4j.properties 可直接修改文件名称为log4j.properties。

（$SPARK_HOME为你的spark 安装目录）

原始的配置内容如下：

# Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

看第一行的注释里有个console,就是控制台日志了

log4j.rootCategory=INFO, console 这一行里的INFO 改成WARN 或DEBUG，保存退出。

然后重新进入pyspark 环境，INFO日志就不会出现了，看着舒服了一些。

Good luck ！