ELK 日志分析系统安装、操作、使用、维护指南

ELK 日志分析系统安装、操作、使用、维护指南

一、系统概述

本系统基于 ELK(Elasticsearch、Logstash、Kibana)架构搭建,用于日志分析。Elasticsearch 作为分布式搜索和分析引擎,负责存储和检索日志数据;Logstash 用于收集、处理和传输日志;Kibana 则提供可视化界面,方便用户查看和分析日志。

二、环境信息

  1. 操作系统:Ubuntu 22.04
  2. 硬件配置:8 核心 16G 内存 500G 硬盘

三、初始配置

3.1 config 文件夹文件解析与配置

3.1.1 elasticsearch.yml

此文件用于配置 Elasticsearch 的核心参数。文件路径为 syslog_analysis/config/elasticsearch/elasticsearch.yml,示例内容及注释如下:

# 定义 Elasticsearch 集群名称,同一集群内的节点需保持该名称一致

cluster.name: elastic-cluster 

# 定义节点名称,用于区分集群内不同节点

node.name: elastic-node 

# 设置 Elasticsearch 监听的网络地址,0.0.0.0 表示监听所有可用网络接口

network.host: 0.0.0.0 

# 指定 Elasticsearch HTTP 服务的端口,默认为 9200

http.port: 9200 

# 设置节点发现类型,single-node 表示单节点模式,适用于测试或小型环境

discovery.type: single-node 

# 控制是否启用 Elasticsearch 的安全功能,如认证、授权等。生产环境建议开启,测试环境可关闭以简化配置

xpack.security.enabled: false     

3.1.2 kibana.yml

该文件用于配置 Kibana 的相关参数。文件路径为 syslog_analysis/config/kibana/kibana.yml,示例内容及注释如下:

# Kibana 服务监听的端口,默认为 5601

server.port: 5601 

# Kibana 服务监听的网络地址,0.0.0.0 表示监听所有可用网络接口

server.host: "0.0.0.0" 

# 指定 Kibana 连接的 Elasticsearch 服务地址

elasticsearch.hosts: ["http://elasticsearch:9200"] 

# 是否启用 Kibana 的安全功能,需与 Elasticsearch 的安全配置保持一致

xpack.security.enabled: false 

# 是否启用 Kibana 对 Elasticsearch 的监控界面

xpack.monitoring.ui.container.elasticsearch.enabled: true 

# 设置 Kibana 的界面语言,此处设置为中文

i18n.locale: "zh-CN"

3.1.3 logstash 配置文件

Logstash 的配置文件位于 syslog_analysis/config/logstash 目录下,可根据需求创建多个配置文件。以下是 logstash.conf 的详细配置及注释:

# 输入配置部分:定义数据来源

input {

  # 配置 TCP 输入,监听 5000 端口

  tcp {

    # [可配置] 监听端口号,需根据实际网络环境调整

    port => 5000 

    # [固定] 运行模式,server 表示作为服务器接收连接

    mode => "server" 

    # [可配置] 自定义日志类型标签,用于后续过滤

    type => "log" 

    # [可配置] 编解码器,根据日志格式选择(如 json、multiline)

    codec => "plain" 

  }

  

  # 配置 UDP 输入,监听 5000 端口

  udp {

    # [可配置] 监听端口号,需与 TCP 端口一致或根据需求调整

    port => 5000 

    # [可配置] 自定义日志类型标签,需与 TCP 输入保持一致

    type => "log" 

    # [可配置] 编解码器,根据日志格式选择

    codec => "plain" 

  }

}

# 过滤配置部分:处理和转换数据

filter {

  # 1. 使用 Grok 解析器提取日志中的前缀和 JSON 内容

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哎呦呵可以呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值