运行IDEA的spark输出很多INFO信息解决方法

最新推荐文章于 2024-10-18 16:23:39 发布
原创 最新推荐文章于 2024-10-18 16:23:39 发布 · 2.5k 阅读 · 10 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文介绍如何通过修改Spark中的log4j配置，将日志级别从INFO调整为ERROR，以减少不必要的日志输出。操作步骤包括：在Spark-Core目录中找到log4j-default.properties文件，复制并重命名为log4j.properties，然后修改rootCategory属性值。如果更改后仍显示INFO信息，可能需要将log4j.properties文件移至更靠近main运行程序的目录。
AI助手已提取文章相关产品：

在maven 导入的依赖 jar文件中的spark-core目录，其中的org/apache/spark

找到 log4j-default.properties文件，复制到运行目录下，改名为log4j.properties

内部把

  • log4j.rootCategory=INFO, console

修改为

  • log4j.rootCategory=ERROR, console

有的人运行目录是src，如果运行后还出现 INFO 信息，那么挪动 log4j.properties 到更接近你main运行程序的目录

也可以直接在

查看

您可能感兴趣的与本文相关内容

完美解决编写IDEA在Local模式下maven Spark程序消除日志中INFO输出
weixin_43695091的博客
07-24 1388
运行spark程序时，由于使用的时spark-core下的log4j-default.properties配置文件，log4j会将INFO级别的信息全部输出到控制台 要消除这些INFO信息，只需要找到log4j-default.properties文件，将其复制一份到项目的src目录下，将第一行的log4j.rootCategory=INFO, console改成log4j.rootCatego...
解决 idea 中 spark info 信息的有效方法
不贪吃的猪
07-03 1343
1.打开磁盘上的下载的 spark/conf 文件夹 拷贝一份log4j.properties.template文件 2.将文件放入项目中src/main/resources文件夹下 3，修改log4.properties文件内容   log4j.rootCategory=INFO, console 改为   log4j.rootCategory=ERROR, conso...
spark log4j.properties
无声的博客
04-10 588
log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:m
消除 idea 中 spark 代码的 info 信息
weixin_49063354的博客
09-23 1206
消除 idea 中 spark 代码的 info 信息 我们在 idea 中写 spark 代码时， 会产生很多的 info 信息 严重影响我们查看程序的运行结果。如下方法可以将控制台上的 info 信息消除。 ①先下载下面链接里面的 log4j.properties 文件： 链接：https://pan.baidu.com/s/1cE_5IOehLh3Fxlc7dER_rQ 提取码：rinw ②将 log4j.properties 拖入到 maven模块 SparkCoreTest 下的 src/mai
使用idea调试spark信息时，设置不打印INFO信息
sxj的专栏
05-07 3652
1、首先将spark根目录下中的conf目录里的log4j.properties.template文件拷贝到IDEA项目中的src\main\resources目录下并改名为log4j.properties，如下图所示： 2、然后在将文件中的log4j.rootCategory=INFO, console修改为log4j.rootCategory=ERROR, console即可，如下图所示...
IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出
dabokele的博客
09-20 1万+
在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助信息太多可能会将有用的信息掩盖掉。如下所示 　　　　要解决这个问题，主要是要正确设置好log4j文件，本文主要分析如何在local模式下，将Spark的INFO信息隐藏，不影响程序中的结果输出。1、将spark根目录下的log4j.properties文件复制到Intellij IDE
idea 运行Spark程序隐藏INFO信息
最新发布
wh1t3zztjn的博客
10-18 471
Maven 和 sbt架构不同但原理是一样的需要在src/main/resources目录下创建一个 log4j.properties 文件。第二步：鼠标点击创建Directory后会弹出对话框里面就有resources，我们选择它。第三步：鼠标右键resources -> New -> Resource Bundle。第一步：鼠标右键main -> New -> Directory。第四步：命名创建log4j.properties 文件 ，点ok。没有创建log4j.properties 文件。
log4j文件
FreedomZzzzz的博客
11-21 496
在resources中 log4j.properties # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for addition...
如何设置IDEA日志不显示INFO信息
dd524125153的博客
02-10 3234
第一步 在main目录下创建resources文件夹 然后再resources文件夹里面创建 log4j.properties文件 添加以下内容 log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.Patt
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息
ltylzq的博客
01-11 3096
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容  　　将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示E
IntelliJ IDEA Spark程序本地模式运行消除日志输出INFO信息
SunWuKong_Hadoop的博客
10-12 2136
方法一： 修改log4j.properties.template文件名为log4j.properties，并修改内容： log4j.rootCategory=INFO, console 改成 log4j.rootCategory=ERROR, console 或 log4j.rootCategory=WARN, console 只显示ERROR级别的日志。 方法二： 将方法一拷贝出来的文...
idea去掉spark的日志
前方的路在刚开始
08-04 2117
尤其是这2个，要删除，否则会导致你设置的log4j.proerpties失效。1.直接在代码里设置日志级别，包含直接类中添加，和使用继承类（不推荐）spark默认会答应info，信息，他内置有log4j。3.添加log4j.prperties。创建一个这样的文件，名称也要一样。2.修改他的全局配置（不推荐）故，我们有3种方式解决。...
idea编写spark应用时，去除info日志
weixin_34107739的博客
09-06 585
2019独角兽企业重金招聘Python工程师标准>>> ...
intellij IDEA隐藏INFO日志信息，只显示ERROR
热门推荐
Learning by doing
06-07 2万+
intellij IDEA有很多[INFO]信息有时候很烦，看不到想要的输出，一般情况下，只显示ERROR信息就可以了。1，在源码src下面新建文件夹resources，2，右击resources文件夹Mark Directory as 选中Resources Root3，将spark源码conf目录下的log4j.properties文件复制到 src/resources文件夹下（如果有同学不想...
IntelliJ IDEA Spark程序在Local模式下消除日志输出INFO信息（java代码）
liangsir
01-17 965
将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下 方法一： 修改log4j.properties文件的内容 将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的...
清除在intellij IDEA中运行spark代码时显示大量的Info消息
weixin_39814358的博客
09-19 913
背景： 在intellij IDEA中运行spark程序时，会显示大量无用的INFO信息，以至于输出结果被淹没。 解决方法： 1. 将spark安装目录的conf文件夹中的 log4j.properties 文件，到项目的src文件夹中，再将log4j.properties 中的 log4j.rootCategory=INFO, console 改成 log4j.rootCate...
Idea控制台不停地输出nacos日志信息
小新的博客
08-19 4141
原因： 这些信息其实是心跳日志，是INFO日志，因此你会看到不断有心跳日志打印在控制台中 解决： 调高nacos的日志级别，比如将nacos的客户端日志级别设置为ERROR，那对于nacos客户端日志它只会打印ERROR及以上的日志，这样就能屏蔽INFO的心跳日志了。 1、如果使用了日志配置logback-spring.xml <logger name="com.alibaba.nacos.client"> <level value="ERROR" /> </logger
log4j多配置文件处理
凌晨1点21分的专栏
05-27 1773
log4j多配置文件处理            关于log4j的常用配置以及相关配置格式，详细配置可以参考：http://blog.csdn.net/yeruby/article/details/51719333          关于web项目中，出现的log4j多配置文件，不同模块打印日志到不同文件中的相关配置及注意，做如下记录： 一、web项目中添加log4j支持，该web项目已添加
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值