Flink1.12.1使用logback按天按大小控制记录日志

最新推荐文章于 2026-06-14 13:29:09 发布

原创最新推荐文章于 2026-06-14 13:29:09 发布 · 1.1k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#flink #日志 #logback

Flink 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何为Flink配置日志系统，首先需要将logback-core, logback-classic, logback-access和log4j-over-slf4j的JAR包添加到lib目录，然后删除不兼容的log4j相关文件。接着，通过编辑logback.xml文件设置日志最大保留天数为5天，单个日志文件最大256MB，总大小不超过1300MB。调整日志级别并指定多个logger的输出级别。配置完成后，日志将按指定规则滚动和存储。

第一步上传

logback-core-1.2.3.jar
logback-classic-1.2.3.jar
logback-access-1.2.3.jar
log4j-over-slf4j-1.7.25.jar

四个包至flink运行包的lib目录下，下载地址（https://mvnrepository.com/）

第二步删除

删除 rm -rf lib/log4j-slf4j-impl-2.12.1.jar 

删除 rm -rf lib/log4j-1.2-api-2.12.1.jar

第三步，修改logback.xml

vim conf/logback.xml

内容：（最多5个历史日志，一个日志文件大小最多256MB，合计大小最多不超过1300MB）

<configuration>
	<appender name="stdout" class="ch.qos.logback.core.ConsoleAppender">
		<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
			<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
		</encoder>
	</appender>
    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">   
        
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
			<FileNamePattern>${log.file}.%d{yyyy-MM-dd}.%i.log</FileNamePattern>
			<maxHistory>5</maxHistory>
			<maxFileSize>256MB</maxFileSize>
			<totalSizeCap>1300MB</totalSizeCap>
		</rollingPolicy>  
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">   
        	<charset>UTF-8</charset>
            <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</Pattern>   
        </encoder> 
    </appender>

    <!-- This affects logging for both user code and Flink -->
    <root level="INFO">
        <appender-ref ref="file"/>
    </root>

    <logger name="akka" level="INFO">
        <appender-ref ref="file"/>
    </logger>
    <logger name="org.apache.kafka" level="INFO">
        <appender-ref ref="file"/>
    </logger>
    <logger name="org.apache.hadoop" level="INFO">
        <appender-ref ref="file"/>
    </logger>
    <logger name="org.apache.zookeeper" level="INFO">
        <appender-ref ref="file"/>
    </logger>

    <!-- Suppress the irrelevant (wrong) warnings from the Netty channel handler -->
    <logger name="org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline" level="ERROR">
        <appender-ref ref="file"/>
    </logger>
</configuration>

控制后的效果：