rsyslog性能表现

最新推荐文章于 2026-04-12 10:01:33 发布
转载 最新推荐文章于 2026-04-12 10:01:33 发布 · 7.5k 阅读 · 3

syskolgd的缺点

虽说 Sysklogd 已经发展进30余年，但其性能在高负载下会有诸多问题，如：

Ø  记录丢失

Syslog 默认使用 UDP 514 端口来接收远程主机发送过来的日志，当有大量的日志需要syslogd进程来处理时就会有所残缺。这是由于 UDP 并没有丢包检测、重传、速率控制等机制，因此当很高速率的去发送 UDP 包时，对端检测到丢包是必然的。

Ø  记录缓慢，磁盘IO利用率较高进而导致CPU阻塞影响系统性能

当有大量的日志需要syslogd 进程来处理时，syslogd 进程会频繁请求磁盘IO，使磁盘利用率升高，进而导致CPU由于等待进程完成IO请求而发生阻塞，最终影响系统性能。

关于Rsyslog

Rsyslog 可以理解为一个 sysklogd 的多线程增强版，其在 sysklogd 的基础上扩展了很多其他功能，如：数据库支持(Mysql、Oracle、PostgreSQL等)、日志内容筛选、定义日志格式模板等。除了默认的 UDP 协议外，Rsyslog 还支持 TCP 协议来接受日志。可以对输出的文件进行自动压缩并支持多个TCP侦听以及性能方面的提升。使用 Rsyslog 可以有效减轻系统磁盘IO，并且其支持TCP传输非常可靠，可以对日志进行过滤，提取有效日志。况且 Red Hat 从6.0开始已经选择了 Rsyslog，自然是有它的道理的。如果我们自己没有研发能力，那么“跟随上游”，无疑是最明智的选择。

看图说话（磁盘TPS为200-300）：

 替换前（sysklogd）：

%wait sysklog

替换后（rsyslog）：

%wait rsyslog

我的配置：

因为rsyslog是支持多进程启动的，我这里配置了两个配置文件分别启动 rsyslog，用来分开本地日志和远程日志方便以后分析，提取不同地方的日志。

1. 配置 rsyslog.conf 用于监听本地 syslog 日志：

...

# 加载本地 syslog 模块 

$ModLoad imuxsock

# 加载 kernel 模块 

$ModLoad imklog

 

# 定义日志格式默认模板 

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

 

# Log anything (except mail) of level info or higher.

# Don't log private authentication messages!

*.info;mail.none;authpriv.none;cron.none         -/var/log/messages

 

# The authpriv file has restricted access.

authpriv.*                                              /var/log/secure

 

# Log all the mail messages in one place.

mail.*                                                  -/var/log/maillog

 

# Log cron stuff

cron.*                                                  -/var/log/cron

 

# Everybody gets emergency messages

# *.emerg                                               *

*.emerg                                                 :omusrmsg:*

 

# Save news errors of level crit and higher in a special file.

uucp,news.crit                                          -/var/log/spooler

 

# Save boot messages also to boot.log

local7.*                                                /var/log/boot.log

...

注：action：'*' 以后将会被rsyslog遗弃(与rsyslog语法有歧义)，rsyslog将采用“ :omusrmsg:*”的写法

2. 配置 rsyslog.udp.conf 用于监听UDP远程 syslog 日志：

...

# 加载 udp 侦听模块

$ModLoad imudp.so

# 指定 udp 侦听端口

$UDPServerRun 514

 

# 定义日志格式

$template NETCOOL,"%TIMESTAMP% %fromhost-ip% %syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n"

$ActionFileDefaultTemplate NETCOOL

 

# Log all the messages in one place.

*.*                                                  /var/log/ncolog

...

注：模板 RSYSLOG_TraditionalFileFormat 为rsyslog默认保留模板，官网对其的解释是：the "old style" default log file format with low-precision timestamps，它的具体格式为：

$template TraditionalFileFormat,"%TIMESTAMP% %HOSTNAME%%syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n"


其中：TraditionalFileFormat为模板名；“   ”之间的为模板内容，由一些变量构成，常用的有：msg消息主体、fromhost-ip来源IP等。这个模板貌似对H3C设备token4的解析存在一些问题，建议将%HOSTNAME%替换为%fromhost-ip%另行自定义模板

 

3. 为了方便日后的维护，我们按照 RedHat 的风格编写 Rsyslog 的启动脚本：

01#!/bin/bash
02# chkconfig: 2345 12 88
03# description: Modded by ms2008 on 2013/02/16
04 
05# Source function library.
06. /etc/init.d/functions
07 
08RETVAL=0
09PIDFILE1=/var/run/rsyslogd.pid
10PIDFILE2=/var/run/rsyslogd.udp.pid
11CONFILE1=/etc/rsyslog.conf
12CONFILE2=/etc/rsyslog.udp.conf
13 
14prog=rsyslog
15exec=/usr/local/sbin/rsyslogd
16lockfile=/var/lock/subsys/$prog
17 
18# Source config
19if [ -f /etc/sysconfig/$prog ] ; then
20    . /etc/sysconfig/$prog
21fi
22 
23start() {
24    [ -x $exec ] || exit 5
25 
26    umask 077
27 
28        echo -n mce_markerquot;Starting local logger: "
29        # this one listens on the "usual" socket /dev/log
30        daemon --pidfile="$PIDFILE1" $exec -x -f $CONFILE1 -i "$PIDFILE1"
31        RETVAL=$?
32        echo
33        [ $RETVAL -eq 0 ] && touch $lockfile
34        # this one listens only to the UDP port
35        sleep 1
36        [ $RETVAL -eq 0 ] && { echo -n mce_markerquot;Starting remote logger: "; daemon --pidfile="$PIDFILE2" $exec -x -f $CONFILE2 -i "$PIDFILE2"; }
37        RETVAL=$?
38        echo
39 
40        return $RETVAL
41}
42stop() {
43        echo -n mce_markerquot;Shutting down local logger: "
44        killproc -p "$PIDFILE1" $exec
45        RETVAL=$?
46        echo
47        [ $RETVAL -eq 0 ] && { echo -n mce_markerquot;Shutting down remote logger: "; killproc -p "$PIDFILE2" $exec; }
48        RETVAL=$?
49        echo
50        [ $RETVAL -eq 0 ] && rm -f $lockfile
51        return $RETVAL
52}
53rhstatus() {
54        status -p "$PIDFILE1" -l $prog $exec
55        status -p "$PIDFILE2" -l $prog $exec
56}
57restart() {
58        stop
59        start
60}
61 
62case "$1" in
63  start)
64        start
65        ;;
66  stop)
67        stop
68        ;;
69  restart)
70        restart
71        ;;
72  reload)
73        exit 3
74        ;;
75  force-reload)
76        restart
77        ;;
78  status)
79        rhstatus
80        ;;
81  condrestart|try-restart)
82        rhstatus >/dev/null 2>&1 || exit 0
83        restart
84        ;;
85  *)
86        echo mce_markerquot;Usage: $0 {start|stop|restart|condrestart|try-restart|reload|force-reload|status}"
87        exit 3
88esac
89 
90exit $?
麦晓宇
关注
开源日志采集器如何选择？
欢迎来到我的博客，希望对您有所帮助
12-14 2122
日志采集是整个日志基础设施中最基础最关键的组件之一，影响着企业内部数据的完整性以及实时性。采集器作为数据链路的前置环节，其可靠性、扩展性、灵活性以及资源（CPU 和内存）消耗等，往往是最被关注的核心技术点。目前开源的日志采集器比较多。各采集器官网上关于其产品特性的描述也都比较相似，基本上都包括日志搜集、转换、路由等功能，并且无一例外都会突出其为高性能而设计。如果单纯看产品文档，其实很难在前面提到的核心技术点上得出有区分度的结论，若直接在生产环境上使用，则无疑是高压线上走钢丝。
【RSYSLOG系列】rsyslog远程服务器搭建
day day up
11-11 4111
搭建接收日志的rsyslog服务器
『无欲则无求』Linux日志管理 — 91、Linux日志服务rsyslogd
繁华似锦Fighting
08-14 446
文章目录1、日志文件格式2、rsyslogd服务的配置文件（1）rsyslog.conf配置文件内容（2）rsyslog.conf配置文件内容说明@1、/etc/rsyslog.conf配置文件格式@2、服务名称@3、连接符号@4、日志等级@5、日志记录位置（3）定义自己的日志 1、日志文件格式 只要是由日志服务rsyslogd记录的日志文件，他们的格式是一样的。 基本日志格式包含以下内容： 事件产生的时间。 发生事件的服务器的主机名。 产生事件的服务名或程序名。 事件的具体信息（具体日志信息）。 我们
【rsyslog系列】使用certtool构建Rsyslog TLS安全通信链
最新发布
weixin_27875131的博客
04-12 378
本文详细介绍了如何使用certtool工具为Rsyslog构建TLS安全通信链，包括CA证书、服务端证书和客户端证书的生成与配置。通过TLS加密，确保日志传输的安全性，防止敏感信息泄露和中间人攻击。适用于需要安全日志传输的分布式系统环境。
记一次rsyslog配置问题，导致系统无法打印日志
soliso
01-04 1675
记一次rsyslog配置问题，导致系统无法打印日志
rsyslog配置文件详解（常用的详解，很少用的翻官网罢）--适用v7/v8版本
Vantler的博客
03-05 2万+
rsyslog工具v7/v8版本配置文件详解
rsyslog使用:omrelp:方式配置远程转发
刘元林的博客
02-23 2254
摘要：本文介绍了rsyslog的三种日志转发方式(UDP、TCP、RELP)及其配置方法。UDP转发简单但易丢包，TCP可靠性较高，RELP最可靠但需要rsyslog 3.15.0+版本支持。详细说明了服务器端和客户端的配置步骤，包括安装relp支持库、修改配置文件、设置SELinux端口权限等。同时提供了常见问题解决方法，如权限错误、模块加载失败等。文章还给出了日志验证方法和logger命令使用示例，帮助用户实现可靠稳定的日志转发系统。
filebeat与rsyslog日志获取简单对比
QQ603785348的博客
11-13 3361
日志代理方案选择 1,简介 日志代理需要部署在客户的机子上,所以不能太大,也不能消耗太多性能,根据需求找了以下几个开源的方案: 名称 开发语言 rpm安装包大小 filebeat golang 22.8m rsyslog c 717kb 这是网上的比较,比较全面: https://www.jianshu.com/p/8384f6cd0f22 2,两种工具的比较 1,file...
日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
人在码途，逐日拾光
01-15 3751
常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等，那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具? Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 优势 Logstash 主要的有点就是它的灵活性，主要因为...
详解日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
sinolover的专栏
12-31 1978
概述 常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等，那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具? Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 优势 Logstash 主要...
【Linux】rsyslog日志服务（配置，测试、日志转储）
热门推荐
Linux小白一只~正处于学习阶段，觉得我写的还好的请多多给我点赞呀,谢谢大家！！(๑＞ڡ＜)☆
02-14 3万+
Rsyslog的全称是 rocket-fast system for log ,可用于接受来自各种来源的输入，转换 它们，并将结果输出到不同的目的地。 它提供了高性能、强大的安全功能和模块化设计。虽然rsyslog最初是一个常规的系 统日志，但它已经发展成为一种瑞士军刀式的日志记录，当应用有限处理时， RSYSLOG每秒可以向本地目的地发送超过一百万条消息。即使使用远程目的地和更 精细的处理，性能通常被认为是“惊人的”。
rsyslog日志服务器搭建
weixin_34387284的博客
11-08 1049
第1章 简介1.1 Rsyslog介绍 rsyslog是比syslog功能更强大的日志记录系统，可以将日志输出到文件，数据库和其它程序。ryslog 是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地，并可定制和过滤、筛选。据官网介绍，现在可以处理100万条信息。特性：1、可以...
Linux Rsyslog配置（日志管理服务）（RELP传输方式、TCP传输方式、UDP传输方式）
LKmnbZ's Blog
01-20 4397
Rsyslog 可以简单的理解为syslog的超集 在老版本的Linux中 Red Hat Enterprise Linux3/4/5默认是使用的syslog作为系统的日志工具 从RHEL 6开始系统默认使用Rsyslog ryslog是一个快速处理收集系统日志的程序 支持C/S架构 可通过UDP/TCP协议提供日志集中管理服务 为什么要使用Rsyslog WEB服务器多的时候...
Linux原生日志系统Rsyslog详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-25 1万+
一、概述 Rsyslog 是一个 syslogd 的多线程增强版，依然基于Syslog协议（linux6之前默认使用syslog程序，centos6用rsyslog所取代）完成系统日志的处理转发，官方形容它是一个极速（如火箭般快速）的日志处理系统。它提供高性能、极好的安全功能和模块化设计。虽然它基于常规的 syslogd，但 rsyslog 已经演变成了一个强大的工具，可用于： 1）接收来自各种来源的输入 2）转换过滤格式化输出 3）将结果输出到不同的目的地，集成日志分析平台 Rsyslog支持 MySQL
rsyslog研究
u010154760的专栏
04-20 2325
第零章 综述 最近因为工作需要研究了rsyslog，主要是把官网的文档看了一遍，因为学习的过程中，发现中文资料很少，所以研究的差不多以后，决定拿出来分享一下。 rsyslog官网的文档还是挺烂的（在我看完后，官网有了一次改版，可能好一些了），尤其是配置文件部分，每个版本都有改动，但是官网只有最新版本的参数介绍，好几次我按照文档的参数写配置文件，或者报错，或者参数不起作用，因此大家使用哪个版本的
学习rsyslog总结
weixin_33806300的博客
03-25 196
问题： syslog与rsyslogd有什么关系？rsyslogd是syslog的升级版如何增加自定义服务？通过local0 ~ local7可以自定义一些服务信息如何与数据库相关联?如何确定使用的什么协议传输？根据配置业务场景有哪些？记录系统日志、开发业务日志如何升级？ # syslog缺点： 记录丢失，默认使用UDP 514端口传输 UDP没有检测，重发等功能 记录缓慢 磁盘IO利用率较高...
rsyslog服务端接收不到日志问题排查步骤
yixiaoqi2010的专栏
10-27 2289
3、systemctl status rsyslog查看状态是否报错。4、查看配置文件udp、tcp模块是否打开。2、telnet查看ip端口是否通。1、查看日志输出目录是否提前创建。
syslog udp配置笔记
Pro_jhf的博客
11-20 524
要将/var/log/目录下的日志信息通过 UDP 发送到远程服务器，可以使用rsyslog的配置来实现。
Linux日志服务rsyslog深度解析（下）
博客虽小，世界尽在其中
06-08 3256
本文深入探讨了Linux系统中重要的日志服务工具rsyslog的应用与配置。首先，我们简要介绍了rsyslog在Linux日志管理中的重要地位，以及它如何帮助系统管理员有效地收集、过滤和存储日志信息。接着，文章详细阐述了rsyslog的基本配置方法，包括如何设置日志消息的接收、过滤和转发规则，以满足不同应用场景的需求。 随后，我们深入讲解了rsyslog的远程存储功能，包括如何将日志消息存储到数据库（如MySQL）和消息队列（如Kafka）等远程服务中。在这部分，我们介绍了如何安装必要的驱动模块、配置rsy
补充：linux rsyslog配置多端口监听(基于UDP)
z19861216的博客
11-23 1783
linux rsyslog配置多端口监听(基于UDP)
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值