docker环境下分别搭建elasticsearch单体环境和集群环境、IK分词器的安装及SpringBoot项目的配置连接

原创 已于 2024-02-29 22:02:57 修改 · 889 阅读 · 4 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#elasticsearch
于 2021-06-09 11:13:03 首次发布
本文详细介绍Elasticsearch单体及集群环境搭建步骤，包括配置文件详解、启动命令、IK分词器安装、SpringBoot项目配置等，并解决启动常见问题。

一、elasticsearch简介

Elasticsearch 是一个实时的分布式搜索分析引擎，它能让你以前所未有的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合。

二、单体环境搭建

1.使用docker命令拉取elasticsearch镜像

docker pull elasticsearch

2.配置文件

  1. 执行命令mkdir -p /mydata/elasticsearch/{config,data,plugins}创建文件夹

  2. 并在config文件夹下创建elasticsearch.yml文件，具体配置如下：

    http.host: 0.0.0.0                    # 监听每一个可用的网络接口
http.cors.enabled: true            # 是否支持跨域，默认为false
http.cors.allow-origin: "*"         # 当设置允许跨域，默认为*,表示支持所有域名

  3. 将文件权限修改为777

    chmod -R 777 /mydata/elasticsearch/

3.启动elasticsearch

docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /mydata/elasticsearch/data:/usr/share/elasticsearch/data -v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins -d elasticsearch:7.10.1
  • 具体参数含义
  •   docker run 
  --name elasticsearch       
  -p 9200:9200 
  -p 9300:9300 
  -e "discovery.type=single-node"        #单节点部署
  -e ES_JAVA_OPTS="-Xms256m -Xmx256m"      #设置初始堆内存和最大内存 也可以调整虚拟机内存
  -v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml 
  -v /mydata/elasticsearch/data:/usr/share/elasticsearch/data 
  -v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins   #挂载文件夹
  -d elasticsearch:7.10.1               #使用docker镜像elasticsearch:7.10.1    以后台模式启动

4.安装elasticsearch head插件监控管理

docker pull mobz/elasticsearch-head:5
docker run --name es-head -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

5.es-head插件不能创建索引问题

控制台中查看请求报错信息为：Content-Type header [application/x-www-form-urlencoded] is not supported

所以我们需要修改一下elasticsearch-head 5的配置文件

1.因为docker容器里面无法使用vi/vim，所以需要先将文件拷贝出来

docker cp es-head:/usr/src/app/_site/vendor.js /mydata/es-head/

2、编辑vendor.js文件

1）6886行
contentType: "application/x-www-form-urlencoded
改成
contentType: "application/json;charset=UTF-8"
2）7573行
var inspectData = s.contentType === "application/x-www-form-urlencoded" &&
改成
var inspectData = s.contentType === "application/json;charset=UTF-8" &&

3.将改完后的文件拷贝回容器

docker cp /mydata/es-head/vendor.js es-head:/usr/src/app/_site/vendor.js

4.无需重启，刷新页面即可

6.展示

使用docker ps -a命令查看容器启动情况
在这里插入图片描述
使用9100端口查看elasticsearch-head界面
在这里插入图片描述

三、集群环境搭建

为了演示方便，我只是在一台服务器上进行操作，实际业务中，elasticsearch各个节点应分别部署在不同的服务器上，这样保证其健壮性。

1.使用docker命令拉取elasticsearch镜像

docker pull elasticsearch

2.配置文件管理

  • 使用命令mkdir -p /mydata/es-cluster/{es-date01,es-date02,es-date03}/{config,data,plugins}创建文件夹

  • 分别在/mydata/es-cluster/{es-date01,es-date02,es-date03}/config文件夹下添加elasticsearch.yml文件，具体配置如下

      # 集群名称，同一集群环境名称一致
  cluster.name: es-cluster
  # 节点名称，应保证不一致
  node.name: es-node-1
  # 绑定host，0.0.0.0代表当前节点的ip
  network.host: 0.0.0.0
  # 设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址(本机ip)
  network.publish_host: 47.94.93.93
  # 设置对外服务的http端口，默认为9200,切记与docker-compose文件中端口保持一致
  http.port: 9200
  # 设置节点间交互的tcp端口，默认是9300
  transport.tcp.port: 9300
  # 是否支持跨域，默认为false
  http.cors.enabled: true
  # 当设置允许跨域，默认为*,表示支持所有域名，如果我们只是允许某些网站能访问，那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/
  http.cors.allow-origin: "*"
  # 表示这个节点是否可以充当主节点
  node.master: true
  # 是否充当数据节点
  node.data: true
  # 所有主从节点ip:port
  discovery.seed_hosts: ["47.94.93.93:9300","47.94.93.93:9301","47.94.93.93:9302"]  #本地只有一个节点,无法正常启动,先注释
  # 这个参数决定了在选主过程中需要 有多少个节点通信  预防脑裂 N/2+1
  discovery.zen.minimum_master_nodes: 2
  #初始化主节点
  cluster.initial_master_nodes: ["es-node-1","es-node-2","es-node-3"]  #本地只有一个节点,无法正常启动,先注释

3.docker-compose文件编写

使用docker-compose.yml 定义构成应用程序的服务,这样它们可以在隔离环境中一起运行。 最后,执行 docker-compose up 命令来启动并运行整个应用程序。

version: '3'

services:
 elasticsearch-1:
  image: elasticsearch:7.10.1
  restart: always  
  hostname: es1
  container_name: es-date01
  volumes:
   - /mydata/es-cluster/es-date01/data:/usr/share/elasticsearch/data
   - /mydata/es-cluster/es-date01/plugins:/usr/share/elasticsearch/plugins
   - /mydata/es-cluster/es-date01/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
  environment:
   - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  ports:
    - '9200:9200'
    - '9300:9300'
  privileged: true 
  
 elasticsearch-2:
  image: elasticsearch:7.10.1
  restart: always  
  hostname: es2
  container_name: es-date02
  volumes:
   - /mydata/es-cluster/es-date02/data:/usr/share/elasticsearch/data
   - /mydata/es-cluster/es-date02/plugins:/usr/share/elasticsearch/plugins
   - /mydata/es-cluster/es-date02/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
  environment:
   - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  ports:
    - '9201:9201'
    - '9301:9301' 
  privileged: true
  
 elasticsearch-3:
  image: elasticsearch:7.10.1
  restart: always  
  hostname: es3
  container_name: es-date03
  volumes:
   - /mydata/es-cluster/es-date03/data:/usr/share/elasticsearch/data
   - /mydata/es-cluster/es-date03/plugins:/usr/share/elasticsearch/plugins
   - /mydata/es-cluster/es-date03/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
  environment:
   - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  ports:
    - '9202:9202'     
    - '9302:9302'    
  privileged: true

4.编写es-stop.sh文件，方便集群一键关停

docker stop es-date01;
docker rm es-date01;
docker stop es-date02;
docker rm es-date02;
docker stop es-date03;
docker rm es-date03;

5.使用docker-compose up命令启动elasticsearch集群

  • 启动后docker ps -a查看容器如下:
    在这里插入图片描述

  • 在浏览器中查看集群中所有节点
    在这里插入图片描述

  • 使用9100端口查看elasticsearch-head界面，访问集群中其中一个端口，可以显示集群中所有节点，图中可以看到，elasticsearch集群自动分配es-node-3为主节点，其余为从节点。
    在这里插入图片描述

6.演示当有节点宕机之后的情况

  1. 使用docker stop es-data03停掉03节点，发现现在只有两个节点，并且图中红框位置9202端口已经访问不到了，同时01节点变为主节点
    在这里插入图片描述
  2. 使用docker restart es-data03重新启动03节点后，03节点恢复为从节点
    在这里插入图片描述

四.IK分词器的安装

1.下载分词器

地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

一定是下载和自己elasticsearch版本一致的ik分词器版本

2.解压

在这里插入图片描述

3.使用xftp上传到服务器对应位置

/mydata/es-cluster/{es-date01,es-date02,es-date03}/plugins

在这里插入图片描述

4.重启elasticsearch

5.测试分词效果

在这里插入图片描述

五.SpringBoot项目配置连接

1.maven依赖

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        <version>2.5.0</version>
    </dependency>

2.yml文件中配置参数

spring:
  data:
    elasticsearch:
      repositories:
        enabled: true
      cluster-name: 47.94.93.93:9200,47.94.93.93:9201,47.94.93.93:9202        #如果是单节点，则只需要写一个ip:port即可
      cluster-nodes: es-cluster
  elasticsearch: #springboot 默认配置 localhost:9200
    rest:
      uris: ["47.94.93.93:9200","47.94.93.93:9201","47.94.93.93:9202"]         #和上方cluster-name保持一致

六.搭建过程中遇到的问题

  1. es启动报错：

    ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch.
bootstrap check failure [1] of [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
ERROR: Elasticsearch did not exit normally - check the logs at /usr/share/elasticsearch/log/my-es.log

    原因是vm虚拟机的内存默认分配的太低了，导致elasticsearch容器启动失败。报错信息提示vm.max_map_count[65530]太低，至少需要262144。

    max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

    解决方案：

       vim /etc/sysctl.conf
   
   在该文件中添加如下所示配置：
   vm.max_map_count=655360

   保存后退出，并刷新配置 sysctl -p /etc/sysctl.conf

   再次启动即可成功

  2. Docker在多机器上搭建ES集群，各节点无法互通

     1.检查ES的network.*配置
 
 network.host值可以设置为0.0.0.0（表示监听所有网卡）或宿主机Ip（如果设为宿主机Ip则不能通过localhost或127.0.0.1即回环地址进行访问es），我这里设置为0.0.0.0。
 network.publish_host表示ES的发布地址，该项地址作为ES节点内部或集群交互地址。建议设置为宿主机地址。
 
 2.按上面配置了，但是各节点不能形成集群，每个节点都作为master节点？
 
 检查data目录是否为空，如果不为空需要把data目录清空，再按上述配置network，搞定。
安装IK分词器 + 扩展词典配置 + 停用词典配置
ros275229的博客
03-22 2370
安装IK分词器 + 扩展词典配置 + 停用词典配置
ik分词器安装
koutaoran4812的博客
07-31 1674
IKAnalyzer扩展配置
es 安装 ik 中文分词插件
weixin_59367598的博客
03-06 1262
es 安装 ik 中文分词器
ik分词器的安装
nanci9的博客
10-07 2042
ik分词器的安装 注意ik分词器版本必须与你的elasticsearch版本相同 1.下载ik分词器(github上面有开源项目) https://github.com/medcl/elasticsearch-analysis-ik 2.下载好之后解压 3.把所有解压出来的文件复制到elasticsearch中的plugin文件夹中,可以在里面再新建一个ik的文件夹 4.重启es就可以了 ...
本地elasticsearch中文分词器 ik分词器安装及使用
aq_money的博客
04-29 1万+
ElasticSearch 内置了分词器，如标准分词器、简单分词器、空白词器等。但这些分词器对我们最常使用的中文并不友好，不能按我们的语言习惯进行分词。ik分词器就是一个标准的中文分词器。它可以根据定义的字典对域进行分词，并且支持用户配置自己的字典，所以它除了可以按通用的习惯分词外，我们还可以定制化分词。ik分词器是一个插件包，我们可以用插件的方式将它接入到ES。下载地址：ik分词器地址 注意要选择跟自己es保持一致的版本下载。 将下载的安装包在es安装目录下的plugins下新建一个ik文件夹、将文件解压
Elasticsearch、ik分词器安装、SpringBoot整合、docker安装ES、Kibana、nginx
weixin_49385823的博客
11-28 4247
一、简介 ​ Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是 Elastic Stack 的核心组件；Elastic Stack 是一套适用于数
docker安装ES、LogStash、Kibana
packge的博客
03-05 2192
e ES_JAVA_OPTS=“-Xms64m -Xmx128m”：配置内存大小。-e “discovery.type=single-node”：单例模式。
docker安装ES及ik插件和ES常用查询语句
哎幽的成长
02-24 4355
es docker 安装 安装过程如下： 首先在docker hub 拉取elk 镜像 (因为我用的是630 版本所以加了版本号)https://hub.docker.com/r/sebp/elk 关于容器更多信息查看 https://elk-docker.readthedocs.io/ docker pull sebp/elk:630 启动命令( 如果想在后台启动容器的话可以 加 -d ...
分布式电商项目——10.商品搜索 springboot 集成ES+kibana+logstash+Ik分词器+Ik拼音分词器
qq_28461661的博客
11-13 822
前提 当你使用docker安装 es、kibana、ik的版本必须是一致的 es 必须是集群的环境 理解 es(elasticsearch) ：一个搜索服务器，必须搭建集群的环境。 kibana:是一个对es的一个可视化的页面 logstash：是一个同步数据到es的工具，当你的数据库有操作的时候就会把你操作的数据更新到es中去。但是你的表需要维护update_time字段当你每次操作该条数据的时...
ElasticSearch之IK分词器安装以及使用介绍
热门推荐
qq_39939541的博客
07-27 1万+
elasticsearch 默认的内置分词器对中文的分词效果可能并不理想，因为它们主要是针对英文等拉丁语系的文本设计的。如果要在中文文本上获得更好的分词效果，我们可以考虑使用中文专用的分词器。IK 分词器是一个开源的中文分词器插件，特别为 Elasticsearch 设计和优化。它在中文文本的分词处理上表现出色，能够根据中文语言习惯进行精细的分词。IK 分词器允许用户自定义词典，可以添加新词、调整词频等，以便更好地适应特定的领域或需求。自定义词典可以提高分词的准确性和召回率。
服务器安装docker，拉取一些常用镜像
天意不可违的博客
10-24 4027
购买服务器，安装docker，拉取一些常用镜像的流程
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
日常笔记 | 干货分享 | 毕设源码 | 毕设指导 | 答辩指导
03-28 4204
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
安装elasticsearch、kibana、IK分词器
·
01-29 2880
因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。
Elasticsearch进阶篇(三)：ik分词器的使用与项目应用
后端开发
04-21 6171
本文详细介绍了在Elasticsearch中安装、配置和使用IK分词器的过程。首先，它提供了两种安装方式：使用已编译的包文件或者源代码编译。然后，说明了如何将分词器安装到Elasticsearch中，并启动Elasticsearch来验证安装是否成功。接下来，介绍了IK分词器提供的两种主要分词模式：细粒度分词模式（ik_max_word）和智能分词模式（ik_smart），并展示了它们的使用示例。最后，它详细解释了IK分词器的配置文件作用，包括主要的配置文件和自定义词库的使用方法，并提供了相关的参考链接
【Elasticsearch入门到落地】5、安装IK分词器
最新发布
程序猿之洞
01-01 3711
K分词器（IK Analyzer）是一款开源的中文分词工具，支持智能分词、细粒度分词等多种分词模式。它基于词典的分词算法，结合了最大匹配法和逆向最大匹配法，能够在保证分词准确性的同时，保持较高的分词速度。IK分词器的主要作用是将中文文本切分为有意义的词项，为后续的文本分析、信息检索、机器学习等任务提供基础数据。其优势在于高效性、灵活性和多种分词模式，适用于不同的应用场景。
使用docker搭建elasticsearch集群
weixin_45753881的博客
03-06 680
使用docker搭建es集群
elasticsearch安装和使用ik分词器
2401_83817916的博客
03-25 1587
既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。
ElasticSearch-IK分词器(elasticsearch插件)安装配置和ElasticSearch的Rest命令测试
小孔靠得住的博客
02-02 4920
ElasticSearch-IK分词器(elasticsearch插件)安装配置和ElasticSearch的Rest命令测试
ES中文分词器-ik分词器安装
weixin_49211575的博客
11-26 2554
IK分词器安装 1、环境准备 Elasticsearch 要使用 ik，就要先构建 ik 的 jar包，这里要用到 maven 包管理工具，而 maven 需要java 环境，而 Elasticsearch 内置了jdk， 所以可以将JAVA_HOME设置为Elasticsearch 内置的jdk 1）设置JAVA_HOME vim /etc/profile # 在profile文件末尾添加 #java environment export JAVA_HOME=/opt/elasticsearch-7.4.
安装ik中文分词器
qq_44299529的博客
03-31 2813
前提是安装了es：Elasticsearch安装_p＆f°的博客-CSDN博客 1、根据es版本下载对应的中文ik分词器zip资源。官方下载地址 Releases · medcl/elasticsearch-analysis-ik · GitHub 比如我的es版本是8.1.0下载的ik分词器也是8.1.0 2、上传到服务器，我的地址在 cd /home/software/ 3、解压到你的es安装目录下的/plugins/ik 里，一定是这个文件。 unzip elasticsea...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值