hive谓词下推的失效与生效

本文详细解析了谓词下推的概念及其在SQL查询中的应用,并提供了检查加载文件的方法。同时,介绍了如何使用MapReduce进行数据加载,以及在使用外连接时谓词下推失效的情况。此外,还分享了设置谓词下推选项的步骤。

谓词下推的生效:

select * from czw_test2 a
join (select * from czw_test1 where pt >='20121101' and pt <='20121102') b
on (a.search_id = b.search_id)

select count(1) 
from czw_test2 a
join czw_test1 b
on a.search_id = b.search_id
where b.pt >='20121101' and b.pt <='20121102'

如果使用外连接,则谓词下推会失效

select count(1) 
from czw_test2 a
left outer join czw_test1 b
on a.search_id = b.search_id
where b.pt >='20121101' and b.pt <='20121102'

所以,我们最好还是使用最上面那条语句的方式来做,这是最好的


附加:

(1)如何查看那些分区的文件被加载进来

在mapreduce 的stage-0 有一个track url,点进去那个url页面中的xml文件,找到“mapred.input.dir” 这个选项就能看到加载的文件了


(2)谓词下推,是需要先打开“谓词下推”选项的

set hive.optimize.ppd = true; 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值