Hive的行转列及列转行函数使用总结

最新推荐文章于 2025-09-24 11:02:07 发布
原创 最新推荐文章于 2025-09-24 11:02:07 发布 · 782 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hive
本文介绍了如何在LatentView中使用explode函数将单字段的多值数据拆分成行，以处理数组和map数据。通过实例展示了如何对ID-CNT组合进行拆分，并生成新的行数据。

1、laterval view 常 和 explode 一起使用用来进行行转列 (单个字段中有多个指定分隔符的字段)
explode 函数我称它为爆炸函数，可以将单个字段中有多个指定分隔符的字
1、比如以下这个 array 这个 例子

array
[10,20,30,40,50]
select explode(array) from tb

结果如下

array
10
20
30
40
50

2、炸开 map 的例子

idcnt
1[A,B,C]
2[D,E,F]
用函数  select  id,newcnt  from tb
                  lateral view explode (cnt) as newcnt ;

炸开之后的结果是

idcnt
1A
1B
1C
2D
2E
2F

备注：炸裂之后，要起别名

Hive中explode和lateral view函数使用
weixin_50646402的博客
09-23 745
UDF：用户自定义标量函数(User Defined Function)，使用场景是一进一出（一个数据项一个输出项）。UDAF：用户自定义聚合函数(User Defined Aggregation Function)，使用场景是多进一出（多个数据项返回一个结果），常见的是聚合函数UDTF：用户自定义表格函数(User Defined Table Function)，使用场景是一进多出（一个输入项转换为多个输出项），lateral和view explode可以实现类似效果。
hive 的 lateral view用法以及注意事项
热门推荐
Zero小猿的博客
05-16 3万+
1. lateral view 简介   hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。 【语法格式】 select col_A,col_B,tmp_table.tmp_col from test_table
2023.11.16-hive sql高阶函数lateral view,与行转列,列转行
白白的wj的博客
11-15 6119
hive函数主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是ARRAY或者MAP,可以通过split函数将 String 类型的列值转成ARRAY来处理。
HIVE lateral view
valder fields
04-18 787
Lateral View语法 lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)* fromClause: FROM baseTable (lateralView)* 描述 lateral view用于和split, explode等UDTF一起使用，它能够将一...
Hive SQL中的lateral view explode
数据森麟
03-31 3万+
公众号后台回复“图书“，了解更多号主新书内容 作者：胖里 来源：胖里的日常 标题中直接写lateral view explode是我鲁莽了，毕竟这俩不是法定cp，也并不是不能分开各自生活。...
Hive中的lateral view 、explode、reflect、行转列、列转行、窗口函数与分析函数使用与区别详解
weixin_43230682的博客
08-19 7054
目录 一、使用explode函数将hive表中的Map和Array字段数据进行拆分 二、使用explode函数拆分json字符串数据 三、配合LATERAL VIEW使用 四、列转行 五、行转列 六、reflect函数 七、窗口函数与分析函数 1、创建hive表并加载数据 2、窗口函数 3、OVER从句 4、分析函数 5、增强的聚合Cube和Grouping和Rollup 6、使用cube和ROLLUP根据GROUP BY的维度的所有组合进行聚合。 一、使用explode函...
Hive的行转列列转行函数使用
weixin_42759988的博客
05-30 1910
行转列： 函数说明： CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字 符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参 数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将 为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接 的字符串之间; 注意: CONCAT_W
hive行转列，列转行函数使用说明
下山化缘的DJ
12-16 1697
hive,concat_ws(),collect_set(),collect_list(), LATERAL VIEW explode
hive的行转列和列转行
m0_55834564的博客
04-08 3万+
一、行转列 1.函数说明 concat CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; concat_ws CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字
hive lateral view explode collect_set collec_list 以及常用函数
qq_38250124的博客
04-03 1021
laterval view 常和explode一起使用用来行(单个字段中有多个指定分隔符的字段)转列 lateral view 就像是有链接了一个表 LATERAL 没有V explode将map 或array转换成一个一个的单独字段 select explode(myCol) from table select pageid,newAdid from table lat...
LATERVAL VIEW json_tuple 炸开JSON串
最新发布
weixin_43346403的博客
09-24 331
将JSON 串炸开成列。
explode与lateral view使用详解（spark及hive环境对比）
qq_41477300的博客
12-26 8768
explode函数能够将array及map类型的数据炸开，实现一行变多行。
Hive Lateral View + explode 详解
大数据
04-28 1万+
hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数 UDF：一进一出 UDAF:聚集函数，多进一出，类似于：count/max/min UDTF:一进多出,如explore()、posexplode()，UDTF函数的时候只允许一个字段 百度explode()时，经常会出现lateral view + explode相关的文章，很少单独写explode()。分别了解ecplode() 与lateral view的各自作用很重要，不然过程都不知道实现的，换个UDTF函数就不会使用了。 ..
Lateral View和Explode用法简介
gofunink的博客
04-10 8797
一、Explode用法 hive wiki对于expolde的解释如下： explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list...
Hive常用函数总结（53个）
weixin_70577124的博客
07-12 5298
Hive常用函数
Hive之explode()函数和posexplode()函数和lateral view函数
weixin_43597208的博客
02-26 1万+
目录1、explode()函数2、posexplode()函数3、lateral view函数 1、explode()函数 英文释义： explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list and as a part of LATERAL VI
Hive SQL中的列转行（lateral view与explode）、行转列
weixin_49709859的博客
01-30 1万+
列转行、行转列的灵活运用
【hive】lateral view侧视图
atwdy的博客
04-14 4823
lateral view也叫侧视图，属于hive sql所特有的语法。用来实现类似标准sql中join的操作。join参与运算的往往是两个表，根据指定的关联字段进行横向连接。lateral view参与运算的是一张表，这张表里往往存在某个多值的字段，通过侧视图结合UDTF函数可以将这个多值字段拆分为粒度更小的值，每一个拆分出来的值都会作为新的字段和一条原记录进行拼接。类似于列转行操作，虽然严格意义上不算列转行，因为只是增加了行数，但并未减少列数，只是减少了列中所包含的字段个数。
Hive Lateral view介绍
youziguo的专栏
09-30 2万+
Hive Lateral view使用介绍
Hive 中的爆炸函数（ lateral view 与 explode 用法）
qq_38603049的博客
08-25 6379
hive中的爆炸函数（ lateral view 与 explode详解），本篇文章主要针对实际应用中的情况，进行讲解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值