概述
本文将简单介绍运维数据分析系统 Elastic Stack,并描述其基础部署过程。
简介
ELK(Elasticsearch + Logstash + Kibana)用于日志集中分析系统,Elasticsearch
用于存储、搜索、分析数据,Logstash 用于接收并处理数据,Kibana 提供 Web UI 管理数据,客户端通过 Logstash-Forwarder
将指定的日志数据传递数据给 ELK 系统,大体流程如下图:

后来Elastic 团队收购了 Packetbeat 团队,就建立了 Beat,Beat 是一个轻量级的数据收集平台,可以将不同的数据发送 ELK
系统,例如日志、网络数据、系统信息等等。Elastic 团队在命名时最终将 ELK + Beat 命名为 Elastic
Stack,并将整个产品线的版本提升至 5.0。
之前使用 ELK 时,几个产品的版本需要对应,例如使用 Elasticsearch 1.6,Logstash 1.5,Kibana
4.1,如果版本没有正确对应,将可能导致无法正常运行。目前 Elastic 团队已将整体产品线都提升到 5.0(Kibana 已经到 4
了),这样在部署系统时免去了操心版本对应的事情。
Elastic Stack (之后简称 ES)已经不单单用于分析日志,Beat 可以代理更多类型的数据输出,Beat 可以直接输出数据至
Elasticsearch,也可输出数据给 Logstash,再由 Logstash 处理后输出到 Elasticsearch,如下图

目前发布的 Beats 产品(Beats 的几个产品均为独立发布):
- Filebeat:收集日志数据
- Packetbeat:收集网络数据
- Metricbeat:收集系统及服务数据(替代Topbeat)
- Winlogbeat:收集 Windows 事件
Elastic Stack 中还包含一个以独立产品发布的插件 X-Pack,集成了监控、报警、报表及图表的功能。X-Pack
相当于一个插件集合包,简化了以往安装相关功能插件的过程。同时 X-Pack 还提供了管理(包括用户和角色的管理)及监控的 UI
界面。本文的安装配置先不涉及这个插件,以后再独立的文章中来介绍。
安装配置 Elastic Stack 5.0
下列描述均以操作系统 Centos7 为例部署,涉及服务端和客户端两台服务器,请确保服务端所在服务器内存至少大于 2G。
步骤:
- 1 准备工作
- 2 安装配置 Elasticsearch
- 3 安装配置 Kibana
- 4 安装配置 Filebeat
- 5 安装配置 Logstash (可选)
- 6 安装配置 Nginx (可选)
- 7 单独配置一个客户端
由于 FileBeat 可以直接输出数据给 Elasticsearch,因此前 4 部完成后,ES 系统已经可以运行。Nginx 用于反向代理
Kibana,生产环境中建议配置。
1 准备工作
1.1 安装 Java 环境
使用 yum 安装 Java:
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
[/code]
这里 ` java-1.8.0-openjdk-d

本文详述了如何在CentOS7上部署ElasticStack5.0,包括Elasticsearch、Kibana、Filebeat和Logstash的安装与配置。ElasticStack是一个强大的日志分析系统,通过Filebeat收集日志,Logstash处理数据,Elasticsearch存储和分析,Kibana提供可视化界面。此外,文章还介绍了Nginx的配置以实现Kibana的反向代理,以及如何设置客户端服务器发送数据。
- 运维数据分析系统概述简介安装配置 Elastic Stack 5.0总结&spm=1001.2101.3001.5002&articleId=118570898&d=1&t=3&u=25016b44eae54285aacb687898544a8f)
338

被折叠的 条评论
为什么被折叠?



