rslsylog配置及转发redis

原创已于 2023-10-30 16:36:07 修改 · 494 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#redis #数据库 #缓存

于 2023-10-30 16:33:19 首次发布

本文详细介绍了如何在Linux系统上安装和配置rsyslog8版，涉及不同输入源、action配置、队列选项以及Redis和Kafka插件的安装。重点讲解了选择LinkedList作为队列类型的原因及如何设置多个输入源。

背景基于elk的采集端

基础架构是 rsyslog-tcp-logstash es // rsyslog-redis/kafka-logstash-es

安装

vi /etc/yum.repos.d/rsyslog.repo
[rsyslog_v8]
name=Adiscon CentOS-$releasever - local packages for $basearch
baseurl=http://rpms.adiscon.com/v8-stable/epel-$releasever/$basearch
enabled=1
gpgcheck=0
gpgkey=http://rpms.adiscon.com/RPM-GPG-KEY-Adiscon
protect=1

yum install -y --enablerepo=[rsyslog_v8] rsyslog

系统默认，6版本系统安装的是5.8版的rsyslog，7版本的系统安装的是7版本的rsyslog。
而8版的语法，可靠性，性能，功能，都在提升，新版本比老版本牛逼。防止踩不必要的坑，请使用8版本。

配置文件

一般在/etc/rsyslog.conf

有3种不同的配置方式 basic , advance ,obsolete legacy

凡是$开头的都是 obsolete legacy风格的配置

目前主要使用 basic和advance混搭的方式进行配置

配置主体是 input ruleset action global module

1.input

默认是从文件中获取输入其他还有 imtcp imudp... 可以用input（）函数声明输入

以tcp为例

input(

type="imtcp"

address="0.0.0.0"

port="514"

　　　　)

　　　　或者

　　　　$InputTCPServerRun 514

　　　　可以有多个输入源 ??

3.action

即 output 默认输出omfile 还有 omhiredis omfwd omkafka omelasticsearch等

7.queue

队列分为 direct 磁盘内存三种模式

direct和磁盘模式都影响性能，内存模式分为FixedArray和LinkedList，一般情况下使用LinkedList比较好。

也可以启用DA模式，内存队列和磁盘队列结合使用，默认情况下，优先使用内存队列，当内存中队列已满时，开启磁盘队列。即可以保证高性能，又可以防止数据丢失。

重要参数:

queue.size 队列的最大大小，不能设太小，影响性能

queue.type 可选值：FixedArray / LinkedList / Direct / Disk

queue.saveonshutdown on/off

queue.workerthreads 工作线程数，官方建议1

queue.filename 存储队列的文件名称，仅对磁盘队列有用，需要注意的是只能是文件名，不能包含目录

queue.spoolDirectory 存储队列的工作目录，仅对磁盘队列有用

queue.maxdiskspace 存储队列的最大大小，仅对磁盘队列有用

queue.highwatermark 仅对DA模式有用，队列大小达到该水平，开启磁盘辅助队列

queue.lowwatermark仅对DA模式有用，开启磁盘辅助队列后，如果队列大小降到该水平，关闭磁盘辅助队列，回复内存模式

插件

1.redis

# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514

# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514

# An on-disk queue is created for this action. If the remote host is
# down, messages are spooled to disk and sent when it is up again.
#$ActionQueueFileName /data/rsyslog/queue/syslog # unique name prefix for spool files
#$ActionQueueMaxDiskSpace 10g   # 1gb space limit (use as much as possible)
#$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
#$ActionQueueType LinkedList   # run asynchronously
#$ActionResumeRetryCount -1    # infinite retries if host is down
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
#*.* @@remote-host:514
# ### end of the forwarding rule ###
$ModLoad omhiredis
#module(load="omhiredis")
action(
type="omhiredis"
name="push_redis"
server="127.0.0.1"
serverport="6379"
mode="queue"
key="syslog"
)

2.kafka

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514
#module(load="imtcp" maxsessions="1000")
#input(
#  type="imtcp"
#  address="0.0.0.0"
#  port="514"
#)
module(load="imudp" threads="2"
       timeRequery="8" batchSize="128")
module(load="imptcp" threads="4")

input(type="imudp" port="514"
      ruleset="write2kafka")
input(type="imptcp" port="514"
      ruleset="write2kafka")

# Where to place auxiliary files
#
# # Use default timestamp format
#$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
template(name="rawFormat" type="string" string="%rawmsg%")
#$ActionFileDefaultTemplate rawFormat
#
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
#*.* @@remote-host:514
# ### end of the forwarding rule ###
#$ModLoad omkafka
#
module(load="omkafka")

ruleset(
name="write2kafka"
queue.filename="syslog"
queue.spoolDirectory="/data/rsyslog/queue"
queue.size="10000000"
queue.maxdiskspace="10G"
queue.type="LinkedList"
queue.saveonshutdown="on"
queue.dequeueBatchSize="4096"
queue.workerThreads="10"
queue.workerThreadMinimumMessages="100000"
)
{
action(
template="rawFormat"
type="omkafka"
topic="syslog"
confParam=["compression.codec=snappy",
           "socket.timeout.ms=20",
           "socket.keepalive.enable=true"]
partitions.auto = "on"
resubmitonfailure = "on"
)
}