ELK 日志分析实例

最新推荐文章于 2026-05-30 16:19:16 发布
转载 最新推荐文章于 2026-05-30 16:19:16 发布 · 569 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
原文链接：https://my.oschina.net/magedu/blog/693876

网海过客
www.chinasa.net

ELK 日志分析实例
一、ELK-web日志分析
二、ELK-MySQL 慢查询日志分析
三、ELK-SSH登陆日志分析
四、ELK-vsftpd 日志分析

 

 

一、ELK-web日志分析

通过logstash grok正则将web日志过滤出来，输出到Elasticsearch 搜索引擎里，通过Kibana前端展示。

 1.png

1.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/nginx

NGINXACCESS %{IPORHOST:remote_addr} – – \[%{HTTPDATE:time_local}\] "%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}

 

1.2、创建logstash web日志配置文件

#cat ./logstash/conf/ngx_log.conf

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

input {

        file {

                type => "nginx_log"

                path => "/opt/nginx/logs/access.log"

        }

}  

filter {

  if [type] == "nginx_log" {

    grok {

      match => { "message" => "%{NGINXACCESS}" }

    }

    geoip {

      source => "remote_addr"

      target => "geoip"

      database => "/opt/logstash-2.0.0/conf/GeoLiteCity.dat"

      add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]

      add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]

    }

    mutate {

      convert => [ "[geoip][coordinates]","float", "body_bytes_sent","float", \

　　　　　　　　　　"body_bytes_sent.raw","float"]

    }

  }

}

 

output {

    stdout { codec => rubydebug }

    elasticsearch {

        hosts => "elk.test.com:9200"

        index => "ngx_log-%{+YYYY.MM}"

    }

}

 

1.3、创建Kibana图形

统计httpcode状态码

选择【Visualize】菜单，选择 【Pie chart】选项。字段选择status.raw，如下图所示:

2.png

统计访问前50 IP

选择【Visualize】菜单，选择 【Vertical bar chart】选项。字段选择remote_addr.raw，如下图所示:

 

3.png

 

统计 403-405 状态码

选择【Visualize】菜单，选择 【Line chart】选项。字段选择status.raw，如下图所示:

4.png

其它图形统计，就不详细举例了。

 

详细图形展示如下:

5.png

6.png

7.png

 

二、ELK-MySQL 慢查询日志分析

2.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/mysql_slow

1

2

3

4

5

6

7

MYSQLSLOW "# User@Host : %{WORD:user}\[%{WORD}\] @ (%{HOST:client_hostname}|) \[(%{IP:client_ip}|)\]",

"# Thread_id: %{NUMBER:thread_id:int} \s*Schema: (%{WORD:schema}| ) \s*Last_errno: \

%{NUMBER:last_errno:int} \s*Killed: %{NUMBER:killed:int}",

"# Query_time: %{NUMBER:query_time:float} \s*Lock_time: %{NUMBER:lock_time:float} \

\s*Rows_sent: %{NUMBER:rows_sent:int} \s*Rows_examined: %{NUMBER:rows_examined:int}",

"# Bytes_sent: %{NUMBER:bytes_sent:int}",

"(?m)SET timestamp=%{NUMBER:timestamp};%{GREEDYDATA:mysql_query}"

 

2.2、创建logstash MySQL-Slow慢查询配置文件

#cat ./logstash/conf/MySQL-Slow.conf

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

input {

  file {

    type => "mysql-slow"

    path => "/var/log/mysql_slow_log.log"  

  }

}  

filter {

if [type] == "mysql-slow" {  

multiline {

    pattern => "^#|^SET"

    negate => true

    what => "previous"

}  

grok {

    match => { "message" => "%{MYSQLSLOW}"  }

}

mutate {

         gsub => [ "mysql_query", "\n", " " ]

         gsub => [ "mysql_query", "  ", " " ]

         add_tag => "mutated_mysql_query"

}

multiline {

    pattern => "(# User|# Thread|# Query|# Time|# Bytes)"

    negate => false

    what => "next"

}

date {

    match => [ "timestamp","UNIX" ]

}

mutate {

    remove_field => [ "timestamp" ]

}

}

}  

output {

    stdout { codec => rubydebug }

    elasticsearch {

        hosts => "elk.test.com:9200"

        index => "mysql_slow_log-%{+YYYY.MM}"

    }

}

2.3、详细图形展示如下:

8.png

 

三、ELK-SSH登陆日志分析

3.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/ssh

 

SECURELOG %{WORD:program}\[%{DATA:pid}\]: %{WORD:status} password for ?(invalid user)? %{WORD:USER} from %{DATA:IP} port

SYSLOGPAMSESSION %{SYSLOGBASE} (?=%{GREEDYDATA:message})%{WORD:pam_module}\(%{DATA:pam_caller}\): session %{WORD:pam_session_state} for user %{USERNAME:username}(?: by %{GREEDYDATA:pam_by})?

SYSLOGBASE2 (?:%{SYSLOGTIMESTAMP:timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:

 

3.2、创建logstash ssh配置文件

#cat ./logstash/conf/ssh.conf

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

input {

    file {

        type => "seclog"

        path => "/var/log/secure"

   }

}

filter {

if [type] == "seclog" {

    grok {

        match => { "message" => "%{SYSLOGPAMSESSION}" }

        match => { "message" => "%{SECURELOG}" }

        match => { "message" => "%{SYSLOGBASE2}" }

    }

    geoip {

        source => "IP"

        fields => ["city_name"]

        database => "/opt/logstash-2.0.0/conf/GeoLiteCity.dat"

    }

    if ([status] == "Accepted") {

        mutate {

        add_tag => ["Success"]

        }

    }

    else if ([status] == "Failed") {

        mutate {

        add_tag => ["Failed"]

        }

    }

}

output {

    stdout { codec => rubydebug }

    elasticsearch {

        hosts => "elk.test.com:9200"

        index => "sshd_log-%{+YYYY.MM}"

    }

}

PS:添加状态标签，便于Kibana 统计

1

2

3

4

5

6

7

8

9

10

if ([status] == "Accepted") {              #判断字段[status]值，匹配[Accepted]

        mutate {

        add_tag => ["Success"]      #添加标签[Success]

        }

}

else if ([status] == "Failed") {           #判断字段[status]值，匹配[Failed]

        mutate {

        add_tag => ["Failed"]       #添加标签[Failed]

        }

}

 

 

3.3、详细图形展示如下:

9.png

 

四、ELK-vsftpd 日志分析

 

4.1、创建logstash grok 过滤规则

#cat ./logstahs/patterns/vsftpd

VSFTPDCONNECT \[pid %{WORD:pid}\] %{WORD:action}: Client \"%{DATA:IP}\"
VSFTPDLOGIN \[pid %{WORD:pid}\] \[%{WORD:user}\] %{WORD:status} %{WORD:action}: Client \"%{DATA:IP}\"VSFTPDACTION \[pid %{DATA:pid}\] \[%{DATA:user}\] %{WORD:status} %{WORD:action}: Client \"%{DATA:IP}\", \"%{DATA:file}\", %{DATA:bytes} bytes, %{DATA:Kbyte_sec}Kbyte/sec 

 

4.2、创建logstash vsftpd配置文件

#cat ./logstash/conf/vsftpd.conf

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

input {

    file {

        type => "vsftpd_log"

        path => "/var/log/vsftpd.log"

    }

}

filter {

    if [type] == "vsftpd_log" {

        grok {

            match => { "message" => "%{VSFTPDACTION}" }

            match => { "message" => "%{VSFTPDLOGIN}" }

            match => { "message" => "%{VSFTPDCONNECT}" }

        }

    }

}

output {

    stdout { codec => rubydebug }

    elasticsearch {

        hosts => "elk.test.com:9200"

        index => "vsftpd_log-%{+YYYY.MM}"

    }

}

 

 

4.3、详细图形展示如下:

 

10.png

转载请注明：linux运维部落 » ELK 日志分析实例

转载于:https://my.oschina.net/magedu/blog/693876

标签
#运维 #大数据 #数据库
chixianyi1990
关注
ELK 企业级日志分析系统
2301_77081516的博客
04-06 1649
日志分析是运维工程师解决系统故障、发现问题的主要手段。日志包含多种类型，包括程序日志、Web 访问日志、系统日志以及安全日志等。通过对日志的分析，既可以未雨绸缪预防故障的发生，又可以在故障发生时寻找蛛丝马迹、快速定位故障点。机房管理员也可以通过日志了解服务器的软件信息、硬件信息、服务器负荷以及安全性相关的信息，如服务器是否被攻击、磁盘空间是否即将耗尽、内存是否严重不足等。通过这些分析，机房管理员可以及时采取措施。
ELK日志分析系统（ELasticsearch+Logstash+Kibana）——理论+实例
m0_47452405的博客
10-29 973
文章目录一、ELK日志分析系统简介二、 Elasticsearch介绍三、Logstash介绍四、Kibana介绍五、部署ELK日志分析系统5.1配置elasticsearch环境5.2安装logstash5.3在node2 节点安装kibana5.4对接Apache 一、ELK日志分析系统简介 日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因,经常分析日志可以了解服务
ELK的使用和案例（详细）
zhangmiaomiao001的博客
05-24 3811
ELK的使用和案例（详细） 1.技术介绍 Elasticsearch是一个搜索引擎，，在该项目案例中用来检索查询；logstash是Elasticsearch的一个插件，在该项目案例中用来上传数据；head也是Elasticsearch的一个插件，在该项目案例中用来查看集群状态、查看数据上传情况；kibana也是Elasticsearch的一个插件，在该项目案例中用来展示数据分析的图表和查询数据显示结果。ELK架构体系主要应用于收集日志和大数据行业。 2.实验内容与过程 ．通过logstash把csv文件导
通俗易懂【ELK】企业项目实战
月牙坠的博客
05-30 1519
ELK 是由 Elasticsearch、Logstash 和 Kibana 组成的开源日志分析系统，能够实现日志收集、存储、分析和可视化。 Elasticsearch 是分布式搜索引擎，支持实时数据检索和分析；Logstash 负责日志收集、过滤和传输；Kibana 提供数据可视化界面。ELK 常见架构包括简单单机模式、引入消息队列（如 Kafka）的高可用模式，以及结合 Filebeat 的大规模集群方案。 本文重点介绍 ELK + Filebeat + Kafka + ZooKeeper 的大数据日志
别再傻傻分不清了！UML顺序图、时序图、序列图到底有啥区别？
最新发布
weixin_30887919的博客
05-30 536
本文深入解析UML中顺序图、时序图与序列图的术语差异与技术本质，帮助开发者准确理解Sequence Diagram的核心建模要素。通过对比主流工具实现和实际案例，提供微服务场景下的序列图变体应用指南，助力软件工程建模实践。
ELK日志分析（es,logstash,kibana）系统及案例构建详细过程
Lihuihui006的博客
11-18 3785
一，ELK日志分析系统简介 1，日志服务器 提高安全性 集中存放日志 缺陷 对日志的分析困难 2,ELK日志分析系统 ELasticsearch logstash kibana 3，日志处理步骤 1，将日志进行集中化管理 2，将日志格式化（logstash)并输出到elasticsearch 3,对格式化后的数据进行索引和存储（elasticsearch ） 4，对前段数据的展示（kibana） 二，elasticsearch介绍 1，ELasticsearch概述 提供了一个分布式多用
Elasticsearch5.2.1集群搭建，动态加入节点，并添加监控诊断插件
mojolang
05-12 4171
写在前面的话 之前写过一篇文章是： 如何使用一个IP搭建ES集群——Docker如你所愿，在该篇文章中说明了Elasticsearch集群的单播和多播的概念和差别，以及在生产环境中的利与弊。其实在里边也写了怎么搭建集群，但是整个流程走下来是有很多bug的，那么这篇文章就好好聊一下如何搭建一个完整的Elasticsearch集群，并灵活添加节点。 环境准备 1：Elastics
ELK日志分析系统(实例!!!)
ZT云的博客
12-18 1007
ELK日志分析系统概述 ELK是Elasticsearch、Logstash、Kibana的简称 Elasticsearch是实时全文搜索和分析引擎 Logstash是一个用来搜集、分析、过滤日志的工具 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据 日志服务器 提高安全性 集中存放日志 缺陷：对日志的分析困难 ELK日志分析...
ELK日志分析系统，ELFK详解部署
qq_51545656的博客
12-25 2100
ELK日志分析系统是一个开源的日志管理平台，它由三个主要组件组成，分别是Elasticsearch、Logstash和Kibana。这三个组件协同工作，提供了一个完整的解决方案，用于收集、存储、搜索、分析和可视化大规模的日志数据。以下是ELK日志分析系统的主要组件及其功能：Elasticsearch：基于Lucene的分布式存储检索引擎，用于存储各类日志。通过RESTful Web接口进行通信，允许用户通过浏览器与Elasticsearch交互。实时、分布式、可扩展的搜索引擎，支持全文和结构化搜索。通常用于
9月13-14日上课内容 第三章 ELK日志分析系统及部署实例
m0_70766460的博客
09-14 383
接近实时集群 JAVA节点索引索(库)->类型 (表)->文档 (记录)分片和副本ELK提供了一个分布式多用户能力的全文搜索引擎ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。●：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
快速使用docker搭建ELK日志分析系统
微特程序员
03-18 1143
ELK日志分析 ElasticSearch+Logstash+Kibana 1.下载docker镜像 docker pull elasticsearch:5.6.11 docker pull kibana:5.6.11 docker pull logstash:5.6.15 2.创建ElasticSearch实例 #创建外部映射目录 mkdir -p /mydata/elasticsearch/...
1. ELK日志分析
u010198709的博客
06-19 3804
部署在业务服务器的客户端agent， 用于让ELK联系beat采用日志。简称es， 分布式搜索引擎，负责日志数据的存储、搜索功能。例如创建索引、添加节点、删除节点。4、packetbeat， 适用于网络设备的日志。2、filebeat， 适用于搜集应用级别日志。3、winbeat， 适用于windows日志。建议实际部署时，使用高内存、高硬盘的服务器。1、topbeat， 适用于搜集系统日志。查看logstash自带的过滤日志的方法。负责数据预处理(解密、压缩、格式转换)日志过滤器，做日志过滤功能。
ELK企业级日志分析系统
weixin_52583405的博客
12-16 668
ELK概述 ELK日志分析系统 ELK是由Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK中日志处理步骤 第一步：将日志进行集中化管理（beats） 第二步：将日志格式化（Logstash），然后将格式化后的数据输出到Elasticsearch 第三步：对格式化后的数据进行索引和存储（Elasticsearch） 第四步：前端数据的展示（Kibana) E
5个 elasticsearch实战应用案例和详细分析
2401_87704405的博客
10-14 3098
bash代码解读复制代码。
案例：ELK日志分析系统
大虾好吃吗
08-07 1949
通过对日志的分析，既可以未雨绸缪，预防故障的发生，又可以在故障发生时，寻找蛛丝马迹，快速定位故障点。
ELKStack之生产案例（下）
不能将运气当成战略！
09-26 143
ELKStack之生产案例(下)提取码：7izv复制这段内容后打开百度网盘手机App，操作更方便哦。
【微服务】Spring Boot集成ELK实用案例
liyananweb的博客
01-31 1923
在现代软件开发中，微服务架构已成为一种流行趋势。随之而来的挑战之一是如何有效地管理和分析分布在各个服务中的日志数据。本文将深入探讨如何在Spring Boot中集成ELK栈，以实现集中日志管理的目标。ELK是Elasticsearch、Logstash和Kibana的缩写。这三个组件协同工作，提供了一个强大的解决方案，用于日志的收集、存储、搜索和可视化。
日志之ELK使用讲解
上善若泪
07-18 3064
ELK是一个开源的实时日志分析平台，它主要由Elasticsearch、Logstash 和 Kibana三部分组成。在ELK中，三大组件的大概工作流程如下图所示，由Logstash从各个服务中采集日志并存放至中，然后再由Kiabana从中查询日志并展示给终端用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值