Graylog日志系统超详细部署和配置

本文档详细介绍了Graylog日志系统在单机环境下的docker部署过程,包括MongoDB、Elasticsearch的配置,以及Graylog管理界面的设置。通过部署Graylog-sidecar和Filebeat采集日志,配置输入源、正则分解数据源,并进行日志清洗、Stream创建、Alert配置和可视化展示。

Graylog日志系统部署和配置
1.软件介绍:
Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似,但又比ELK要简单,依靠着更加简洁,高效,部署使用简单;
官方文档:https://docs.graylog.org/en/3.3/pages/users_and_roles.html
以下所有部署方式都来源与官方文档

2.软件准备:
服务端:
Mongo:存储graylog的一些配置信息
Elasticsearch:存储日志数据,数据持久化,检索
Graylog:graylog日志系统的管理配置web界面
客户端:
graylog-sidecar-1.0.0-1.x86_64.rpm:负责将采集的数据通过graylog的sidecar存储到Elasticsearch (sidecar是graylog上搜集日志的其中一种方式,graylog还有其他的搜集方式,这个不多介绍,这里主要使用sidecar)
filebeat-6.8.5-x86_64.rpm:负责采集数据
系统:centos7.3 64bit(基于red-hat的系统应该都可以部署通过)

3.部署方式:
本次部署采用的是docker单机部署,原理图如下所示:
在这里插入图片描述

4.部署命令:
服务端:
1)修改系统参数:
echo “vm.max_map_count=262144” >> /etc/sysctl.conf
echo “* - nofile 102400” >> /etc/security/limits.conf
修改完成后需要重启机器
启动命令(容器启动顺序一定不能更改):
1.docker run --name mongo --privileged=true --restart=always -d mongo:3
2.docker run --name elasticsearch -e “http.host=0.0.0.0” -e “ES_JAVA_OPTS=-Xms512m -Xmx512m” --ulimit nofile=65536:65536 --ulimit nproc=4096:4096 -p 9200:9200 -p 9300:9300 --privileged=true --restart=always -d docker.elastic.co/elasticsearch/elasticsearch-oss:6.8.10
3.docker run --name graylog --link mongo --link elasticsearch -p 9000:9000 -p 12201:12201 -p 1514:1514 -p 5555:5555 -p 5044:5044 -v /home/graylog/geodata:/usr/share/graylog/log -e GRAYLOG_HTTP_EXTERNAL_URI=“http://192.168.3.27:9000/” --privileged=true --restart=always -d graylog/graylog:3.3
注意:这里的graylog容器的GRAYLOG_HTTP_EXTERNAL_URI参数必须写本机的IP否则无法登录
登录默认账户:admin
登录默认密码:admin
登录地址:http://192.168.3.27:9000/

客户端:
rpm -ivh graylog-sidecar-1.0.0-1.x86_64.rpm
rpm -ivh filebeat-6.8.5-x86_64.rpm
graylog-sidecar -service install
systemctl enable graylog-sidecar
systemctl restart graylog-sidecar

以下操作都以图文示例

5.graylog基础配置:
在这里插入图片描述

至此,graylog的基础配置完成;

6.配置输入源:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

正则分解数据源配置:

{“extractors”: [
{“title”: “commonapache”,“extractor_type”: “grok”,“converters”: [],“order”: 0,“cursor_strategy”: “copy”,“source_field”: “message”,“target_field”: “”,“extractor_config”: {“grok_pattern”: “%{COMMONAPACHELOG}”
},“condition_type”: “none”,“condition_value”: “”
}
],“version”: “3.3.5”}
在这里插入图片描述

7.配置sidecar
在这里插入图片描述

去到客户端修改配置文件:
在这里插入图片描述
在这里插入图片描述
回到graylog的UI界面
在这里插入图片描述

在这里插入图片描述

8.创建index(类似数据库的表)目的是让不同的日志存放到不同的index里
在这里插入图片描述
在这里插入图片描述

9.创建stream
在这里插入图片描述
在这里插入图片描述
服务端要重启mongo,graylog容器

10.删除无用字段(清洗)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

11.配置alert
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

12.可视化配置:
在这里插入图片描述
在这里插入图片描述
至此graylog的常用功能配置完毕

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值