ELK分布式日志解决方案

一、简介

ELK，包含三款产品，Elasticsearch、Logstash、Kibana，可在项目中作为日志框架使用。

项目中框架整合所需技术：

在整个方案中，各组件的作用如下：

• 应用服务
  生产日志，通过Logger产生日志并输出。
• Logstash
  收集日志，通过http接收应用服务产生的日志。
• Elasticsearch
  为日志提供全文检索功能。
• kibana
  为Elasticsearch提供图形化界面。

二、安装过程

环境

本文使用docker-compose启动elk，所以需要先安装好docker与docker-compose。
教程分别在《还不会安装docker？这里帮你搞定》，《如何安装docker-compose》。

服务端配置

创建文件夹，用来存放elk相关的数据

$ mkdir /data/elk

创建logstash配置文件：logstash-springboot.conf

$ touch /data/elk/logstash/logstash-springboot.conf

编辑logstash-springboot.conf文件，写入以下内容

input {
   
   
  tcp {
   
   
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
   
   
  elasticsearch {
   
   
    hosts => "es:9200"
    index => "springboot-logstash-%{+YYYY.MM.dd}"
  }
}

创建docker-compose.yml文件

$ touch /data/elk/docker-compose.yml

编写docker-compose.yml文件，写入以下内容

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.6.2
    container_name: elasticsearch
    privileged: true
    user: root
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"