使用shell脚本定时删除elasticsearch索引

最新推荐文章于 2025-02-20 16:15:44 发布

原创最新推荐文章于 2025-02-20 16:15:44 发布 · 869 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#elasticsearch

linux/centos7 同时被 2 个专栏收录

51 篇文章

订阅专栏

数据库

2 篇文章

订阅专栏

本文介绍了如何创建一个shell脚本用于定期删除Elasticsearch中60天以前的日志索引，以保持日志管理的效率。脚本被命名为clean_amazon_es_index.sh，并设置为每天凌晨2点通过crontab任务自动执行。

我的日志格式文件按照日期命名：system-logs-2020-03-18,需要定期删除60天以前日志文件。

#！/bin/bash
######################################################
# $Name:        clean_amazon_es_index.sh
# $Version:     v1.0
# $Function:    clean amazon es log index
# $Author:      ijijni@qq.com
# $Create Date: 2020-03-18
# $Description: shell
######################################################
#脚本的日志文件路径
CLEAN_LOG="/var/log/clean_amazon_es_index.log"
#索引前缀
INDEX_PRFIX="system-logs-"
#elasticsearch 的主机ip及端口
SERVER_PORT="https://192.165.33:443"
#取出已有的索引信息
INDEXS=$(curl -s "${SERVER_PORT}/_cat/indices?v" |grep "${INDEX_PRFIX}"|awk '{print $3}')
#删除多少天以前的日志，假设输入10，意味着10天前的日志都将会被删除
DELTIME=60
# seconds since 1970-01-01 00:00:00 seconds
SECONDS=$(date -d  "$(date  +%F) -${DELTIME} days" +%s)
#判断日志文件是否存在，不存在需要创建。
if [ ! -f  "${CLEAN_LOG}" ]
then
touch "${CLEAN_LOG}"
fi
#删除指定日期索引
echo "----------------------------clean time is $(date +%Y-%m-%d_%H:%M:%S) ------------------------------" >>${CLEAN_LOG}
for del_index in ${INDEXS}
do
        indexDate=$( echo ${del_index} |cut -d "-" -f 3,4,5 )
    #根据索引的名称的长度进行切割，不同长度的索引在这里需要进行对应的修改
        indexSecond=$( date -d ${indexDate} +%s )
        if [ $(( $SECONDS- $indexSecond )) -gt 0 ]
                then
                        echo "${del_index}" >>${CLEAN_LOG}
            #取出删除索引的返回结果
                        delResult=`curl -s  -XDELETE "${SERVER_PORT}/"${del_index}"?pretty" |sed -n '2p'`
            #写入日志
                        echo "clean time is $(date)" >>${CLEAN_LOG}
                        echo "delResult is ${delResult}" >>${CLEAN_LOG}
 
        fi
done

把以上文件保存到/usr/local/shell/clean_amazon_es_index.sh

然后需要每天执行一次此脚本。

用命令行crontab -e打开cron配置文件，添加如下内容：

0 02 * * * /usr/local/shell/clean_amazon_es_index.sh

表示每天2点的时候执行一次。