ELK日志分析平台-----实战（一）-----ES搜索引擎

最新推荐文章于 2026-04-25 10:19:03 发布

原创

最新推荐文章于 2026-04-25 10:19:03 发布 · 637 阅读

ELK日志分析平台-----实战（一）-----ES搜索引擎

学习目标：

ELK主要由三个重要组件：

elasticsearch搜索分析引擎
logstash数据采集
kibana可视化

##########elasticsearch实战#############

1.elasticsearch的简介

Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。

Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：

一个分布式的实时文档存储，每个字段可以被索引与搜索
一个分布式实时分析搜索引擎
能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

模块介绍

基础模块         功能
cluster：       管理集群状态，维护集群层面的配置信息。
alloction：		封装了分片分配相关的功能和策略。
discovery：		发现集群中的节点，以及选举主节点。
gateway：		对收到master广播下来的集群状态数据的持久化存储。
indices：		管理全局级的索引设置。
http：			允许通过JSON over HTTP的方式访问ES的API。
transport：		用于集群内节点之间的内部通信。
engine：		封装了对Lucene的操作及translog的调用。

elasticsearch应用场景:

信息检索
日志分析
业务数据分析
数据库加速
运维指标监控

官网：https://www.elastic.co/cn/

注意：我们下载软件时可以去这个网站下载，https://elasticsearch.cn/download/ 这个网站的速度快。

2.elasticsearch安装与配置

软件下载：
https://elasticsearch.cn/download/
安装软件：
#rpm -ivh jdk-8u171-linux-x64.rpm
#rpm -ivh elasticsearch-7.6.1.rpm //7.6版本自带jdk

[root@server4 ~]# rpm -ivh elasticsearch-7.6.1.rpm		# 安装ES

修改配置文件：
# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es					#集群名称
node.name: server4					#主机名需要解析
path.data: /var/lib/elasticsearch	#数据目录
path.logs: /var/log/elasticsearch	#日志目录
bootstrap.memory_lock: true			#锁定内存分配
network.host: 192.168.43.74			#主机ip
http.port: 9200						#http服务端口
cluster.initial_master_nodes: ["server4"]

对配置文件进行修改之后，我们的服务是不能启动的，因为我们还需修改系统的限制

修改系统限制
# vim /etc/security/limits.conf        			在最后添加以下内容：
elasticsearch soft memlock unlimited            
elasticsearch hard memlock unlimited			
elasticsearch 	   - 	nofile 	65536			#限定文件数量，不得大于内核限制（sysctl -a | grep file）
elasticsearch	   -	nproc 	4096			# 进程数


由于服务有systemd 启用，所以我们去指定systemd的系统限制：
vim /usr/lib/systemd/system/elasticsearch.service
## 在service语句块下添加以下内容###
LimitNOFILE=65535
LimitMEMLOCK=infinity


修改java虚拟机限制：
[root@server4 elasticsearch]# vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g
Xmx设置不超过物理RAM的50%,以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。
这里我们应该给这台虚拟机2G的内存。

我们还需要去禁用交换分区，会影响数据的交互：

[root@server4 elasticsearch]# echo 0 > /proc/sys/vm/swappiness #数值越大越倾向于使用swap分区
[root@server4 elasticsearch]# cat /proc/sys/vm/swappiness 
0
[root@server4 elasticsearch]# swapoff -a
[root@server4 elasticsearch]# vim /etc/fstab      # 禁用掉开机自启
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0

配置完以上步骤后，现在就可以启动了：

[root@server4 elasticsearch]# systemctl daemon-reload
[root@server4 elasticsearch]# systemctl start elasticsearch.service
[root@server4 elasticsearch]# curl 192.168.43.74:9200
{
   
   
  "name" : "server4",
  "cluster_name" : "my-es",
  "cluster_uuid" : "dcU5g1TWRzqUQnsLmRf-lw",
  "version" : {
   
   
    "number" : "7.6.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "aa751e09be0a5072e8570670309b1f12348f023b",
    "build_date" : "2020-02-29T00:15:25.529771Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",