Elastic Stack (ELK 5)- 运维数据分析系统概述简介安装配置 Elastic Stack 5.0总结

本文详述了如何在CentOS7上部署ElasticStack5.0,包括Elasticsearch、Kibana、Filebeat和Logstash的安装与配置。ElasticStack是一个强大的日志分析系统,通过Filebeat收集日志,Logstash处理数据,Elasticsearch存储和分析,Kibana提供可视化界面。此外,文章还介绍了Nginx的配置以实现Kibana的反向代理,以及如何设置客户端服务器发送数据。

概述

本文将简单介绍运维数据分析系统 Elastic Stack,并描述其基础部署过程。

简介

ELK(Elasticsearch + Logstash + Kibana)用于日志集中分析系统,Elasticsearch
用于存储、搜索、分析数据,Logstash 用于接收并处理数据,Kibana 提供 Web UI 管理数据,客户端通过 Logstash-Forwarder
将指定的日志数据传递数据给 ELK 系统,大体流程如下图:

ELK 系统结构

后来Elastic 团队收购了 Packetbeat 团队,就建立了 Beat,Beat 是一个轻量级的数据收集平台,可以将不同的数据发送 ELK
系统,例如日志、网络数据、系统信息等等。Elastic 团队在命名时最终将 ELK + Beat 命名为 Elastic
Stack,并将整个产品线的版本提升至 5.0。

之前使用 ELK 时,几个产品的版本需要对应,例如使用 Elasticsearch 1.6,Logstash 1.5,Kibana
4.1,如果版本没有正确对应,将可能导致无法正常运行。目前 Elastic 团队已将整体产品线都提升到 5.0(Kibana 已经到 4
了),这样在部署系统时免去了操心版本对应的事情。

Elastic Stack (之后简称 ES)已经不单单用于分析日志,Beat 可以代理更多类型的数据输出,Beat 可以直接输出数据至
Elasticsearch,也可输出数据给 Logstash,再由 Logstash 处理后输出到 Elasticsearch,如下图

Elastic Stack 结构图

目前发布的 Beats 产品(Beats 的几个产品均为独立发布):

  • Filebeat:收集日志数据
  • Packetbeat:收集网络数据
  • Metricbeat:收集系统及服务数据(替代Topbeat)
  • Winlogbeat:收集 Windows 事件

Elastic Stack 中还包含一个以独立产品发布的插件 X-Pack,集成了监控、报警、报表及图表的功能。X-Pack
相当于一个插件集合包,简化了以往安装相关功能插件的过程。同时 X-Pack 还提供了管理(包括用户和角色的管理)及监控的 UI
界面。本文的安装配置先不涉及这个插件,以后再独立的文章中来介绍。

安装配置 Elastic Stack 5.0

下列描述均以操作系统 Centos7 为例部署,涉及服务端和客户端两台服务器,请确保服务端所在服务器内存至少大于 2G。

步骤:

  • 1 准备工作
  • 2 安装配置 Elasticsearch
  • 3 安装配置 Kibana
  • 4 安装配置 Filebeat
  • 5 安装配置 Logstash (可选)
  • 6 安装配置 Nginx (可选)
  • 7 单独配置一个客户端

由于 FileBeat 可以直接输出数据给 Elasticsearch,因此前 4 部完成后,ES 系统已经可以运行。Nginx 用于反向代理
Kibana,生产环境中建议配置。

1 准备工作

1.1 安装 Java 环境

使用 yum 安装 Java:

     yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel 
[/code]

这里 ` java-1.8.0-openjdk-d
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值