Hive 之 collect_set 和 collect_list

最新推荐文章于 2026-04-23 10:53:28 发布

原创最新推荐文章于 2026-04-23 10:53:28 发布 · 2.8k 阅读

5 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hive #大数据

收录于

hive 专栏收录该内容

64 篇文章

订阅专栏

本文介绍在Hive中如何使用collect_set和collect_list函数进行列转行操作，通过实例展示了如何将多个列的数据合并成一行，适用于学生成绩表等场景的数据整理。

hive里通常通过collect_set和collect_list来进行列转行，其中collect_list为不去重转换，collect_set为去重转换。

创建一个测试表

CREATE table stu_score(
	stu_id string comment '学号',
	stu_name string comment '姓名',
	course string comment '科目',
	score string comment '分数'
) comment '学生成绩表';

数据如下:
result1
列转行实现:

select 
	stu_id,
	stu_name,
	concat_ws(’,’,collect_set(course)) as course,
	concat_ws(’,’,collect_set(score)) as score
from stu_score
group by stu_id, stu_name;