ELK 日志分析系统安装、操作、使用、维护指南
一、系统概述
本系统基于 ELK(Elasticsearch、Logstash、Kibana)架构搭建,用于日志分析。Elasticsearch 作为分布式搜索和分析引擎,负责存储和检索日志数据;Logstash 用于收集、处理和传输日志;Kibana 则提供可视化界面,方便用户查看和分析日志。
二、环境信息
- 操作系统:Ubuntu 22.04
- 硬件配置:8 核心 16G 内存 500G 硬盘
三、初始配置
3.1 config 文件夹文件解析与配置
3.1.1 elasticsearch.yml
此文件用于配置 Elasticsearch 的核心参数。文件路径为 syslog_analysis/config/elasticsearch/elasticsearch.yml,示例内容及注释如下:
| # 定义 Elasticsearch 集群名称,同一集群内的节点需保持该名称一致 cluster.name: elastic-cluster # 定义节点名称,用于区分集群内不同节点 node.name: elastic-node # 设置 Elasticsearch 监听的网络地址,0.0.0.0 表示监听所有可用网络接口 network.host: 0.0.0.0 # 指定 Elasticsearch HTTP 服务的端口,默认为 9200 http.port: 9200 # 设置节点发现类型,single-node 表示单节点模式,适用于测试或小型环境 discovery.type: single-node # 控制是否启用 Elasticsearch 的安全功能,如认证、授权等。生产环境建议开启,测试环境可关闭以简化配置 xpack.security.enabled: false |
3.1.2 kibana.yml
该文件用于配置 Kibana 的相关参数。文件路径为 syslog_analysis/config/kibana/kibana.yml,示例内容及注释如下:
| # Kibana 服务监听的端口,默认为 5601 server.port: 5601 # Kibana 服务监听的网络地址,0.0.0.0 表示监听所有可用网络接口 server.host: "0.0.0.0" # 指定 Kibana 连接的 Elasticsearch 服务地址 elasticsearch.hosts: ["http://elasticsearch:9200"] # 是否启用 Kibana 的安全功能,需与 Elasticsearch 的安全配置保持一致 xpack.security.enabled: false # 是否启用 Kibana 对 Elasticsearch 的监控界面 xpack.monitoring.ui.container.elasticsearch.enabled: true # 设置 Kibana 的界面语言,此处设置为中文 i18n.locale: "zh-CN" |
3.1.3 logstash 配置文件
Logstash 的配置文件位于 syslog_analysis/config/logstash 目录下,可根据需求创建多个配置文件。以下是 logstash.conf 的详细配置及注释:
| # 输入配置部分:定义数据来源 input { # 配置 TCP 输入,监听 5000 端口 tcp { # [可配置] 监听端口号,需根据实际网络环境调整 port => 5000 # [固定] 运行模式,server 表示作为服务器接收连接 mode => "server" # [可配置] 自定义日志类型标签,用于后续过滤 type => "log" # [可配置] 编解码器,根据日志格式选择(如 json、multiline) codec => "plain" }
# 配置 UDP 输入,监听 5000 端口 udp { # [可配置] 监听端口号,需与 TCP 端口一致或根据需求调整 port => 5000 # [可配置] 自定义日志类型标签,需与 TCP 输入保持一致 type => "log" # [可配置] 编解码器,根据日志格式选择 codec => "plain" } } # 过滤配置部分:处理和转换数据 filter { # 1. 使用 Grok 解析器提取日志中的前缀和 JSON 内容 |


3840

被折叠的 条评论
为什么被折叠?



