HIVE lateral view语句

最新推荐文章于 2024-04-14 01:50:08 发布

转载最新推荐文章于 2024-04-14 01:50:08 发布 · 370 阅读

2 篇文章

订阅专栏

本文详细介绍了Hive SQL中的Lateral View功能，通过实例展示了如何使用Lateral View与UDTF如explode配合，将复杂数据结构如数组或映射转换为扁平化的表格，以便进行聚合操作。同时，文章还探讨了在同一个查询中使用多个Lateral View的方法。

原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView#

lateral view用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。

一个简单的例子，假设我们有一张表pageAds，它有两列数据，第一列是pageid string，第二列是adid_list，即用逗号分隔的广告ID集合：

要统计所有广告ID在所有页面中出现的次数。

首先分拆广告ID：


SELECT pageid, adid 
	FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid;

执行结果如下：

接下来就是一个聚合的统计：


SELECT adid, count(1) 
	FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid
GROUP BY adid;
 
执行结果如下：

多个lateral view语句：一个FROM语句后可以跟多个lateral view语句，后面的lateral view语句能够引用它前面的所有表和列名。以下面的表为例：


SELECT myCol1, col2 FROM baseTable
	LATERAL VIEW explode(col1) myTable1 AS myCol1;

的执行结果为：

加上一个lateral view：


SELECT myCol1, myCol2 FROM baseTable
	LATERAL VIEW explode(col1) myTable1 AS myCol1
	LATERAL VIEW explode(col2) myTable2 AS myCol2;

它的执行结果为：

注意上面语句中，两个lateral view按照出现的次序被执行。