ElasticSearch 在不同集群之间进行数据迁移

最新推荐文章于 2025-07-29 23:14:06 发布

原创最新推荐文章于 2025-07-29 23:14:06 发布 · 611 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#elasticsearch #数据迁移 #数据同步 #数据备份 #1024程序员节

服务器专栏收录该内容

12 篇文章

订阅专栏

ElasticSearch 在不同集群之间进行数据迁移

在两台集群分别安装s3插件，以允许数据上传至s3

elasticsearch-plugin install repository-s3

在es配置文件`jvm.options`中添加如下内容：

-Des.allow_insecure_settings=true

重启es

备份数据

此方法可以用于es数据的备份

在源集群上创建快照存储库my_minio_repo

# my_minio_repo 为快照存储库名称
curl -X PUT "http://192.168.1.101:9200/_snapshot/my_minio_repo" -H 'Content-Type: application/json' -d '{
  "type": "s3",
  "settings": {  # minio的配置
    "bucket": "es-bak",
    "base_path": "snapshots", 
    "endpoint": "http://xxxx:9000",
    "access_key": "user",
    "secret_key": "password",
    "path_style": true
  }
}'

创建快照

# ss_20241024 为快照名称
# my_minio_repo 为存储库名称
# wait_for_completion=false为不需要等待快照完全生成，任务创建完成即返回
curl -X PUT "http://192.168.4.223:29203/_snapshot/my_minio_repo/ss_20241024?wait_for_completion=false"

恢复数据

在目标集群上创建快照存储库

# my_minio_repo 为快照存储库名称
curl -X PUT "http://192.168.1.102:9200/_snapshot/my_minio_repo" -H 'Content-Type: application/json' -d '{
  "type": "s3",
  "settings": {  # minio的配置
    "bucket": "es-bak",
    "base_path": "snapshots", 
    "endpoint": "http://xxxx:9000",
    "access_key": "user",
    "secret_key": "password",
    "path_style": true
  }
}'

从快照恢复数据

# ss_20241024 为快照名称
# my_minio_repo 为存储库名称
# indices 为要恢复快照的索引，多个用逗号连接
# rename_pattern 为要匹配的索引名正则,可选
# rename_replacement  给索引名加前缀 prefix_  可选
curl -X POST "http://192.168.1.2:9200/_snapshot/my_minio_repo/ss_20241024/_restore" -H 'Content-Type: application/json' -d '{
  "indices": "index1,index2,index3",
  "rename_pattern": "(index1|index2|index3)",
  "rename_replacement": "prefix_$1"
}'