HIVE新添加字段后重新写入数据,内容为null的问题

本文探讨在Hive中对已有分区表添加字段后,重新写入数据时新字段显示为null的问题。通过删除旧分区再插入数据的解决方案,以及对比Presto和SparkSQL查询结果的差异。

在使用hive客户端进行sql查询时,若是对已存在分区添加字段,

alter table xxxx add columns(aaaa string);

并往该分区内重新写入数据,则新添加的aaaa字段内容为null(即使插入的该字段值不为null)

因为虽然插入数据时HDFS上的数据更新了,但是通过hive客户端查询的仍然是旧元数据信息。

要解决这个问题,先删除旧分区

alter table xxxxx drop partition (p_date='19900101');

然后再插入数据insert

注:通过presto或spark sql可以查询到正常数据,通过hive sql查询到的为nul。若通过hive客户端导数据,导出的该字段也为null

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值