在shell中获取hive的最近分区和判断分区是否存在

最新推荐文章于 2025-07-17 17:53:10 发布

原创最新推荐文章于 2025-07-17 17:53:10 发布 · 691 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hive #hadoop #数据仓库

收录于

BigData 专栏收录该内容

5 篇文章

订阅专栏

该脚本用于获取Hive表的最新分区并检查指定日期的分区是否存在。首先，它展示表的所有分区，过滤出以pt=开头的行，排序后取最后一个作为最新的分区。然后，脚本计算前一天的日期并检查这个日期对应的分区是否存在于表中。

获取hive表的最近一个分区

#!/bin/sh


table1='db_name.tbl_name'

v_partition=`hive -e  "show partitions $table1" | grep "pt=*" | sort | tail -n 1`

last_partition=${v_partition:10:8}

echo ${last_partition}

判断hive表的分区是否存在

#!/bin/sh


incDay=`date -d "1 day ago" +%Y%m%d`


table1='db_name.tbl_name'

pt=$incDay


temp=`hive -e "show partitions $table1"`

echo $temp|grep -wq "$pt"

if [ $? -eq 0 ];then

    echo "true"

else

    echo "false"

fi