【Hive】hive函数

本文介绍了Hive的内置函数,包括关系、数学、逻辑等各类运算,以及UDF、UDAF和UDTF。特别讨论了如何开发自定义函数,如处理JSON数据的get_json_object方法,并通过实例演示了解决explode函数查询问题。此外,还提到了使用TRANSFORM关键字结合Python脚本进行数据转换的场景。

hive函数

在这里插入图片描述
官方链接:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

hive内置函数

1. 查看内置函数

# 查看内置函数
show functions;
# 显示函数的详细信息:
desc function abs;
# 显示函数的扩展信息:
desc function extended concat;

2. 测试内置函数快捷方式

  1. 直接使用
    hive> select concat('aa','bb');
    OK
    aabb
    Time taken: 0.058 seconds, Fetched: 1 row(s)
    
  2. 通过表
#1)创建一个 dual 表 
hive> create table dual(id string);
#2)load 一个文件(一行,一个空格)到 dual 表
#3)查表
select substr('huangbo',2,3) from dual;

3. 内置函数列表

3.1 关系运算:
1. 等值比较: =
2. 等值比较:<=>
3. 不等值比较: <>!=
4. 小于比较: <
5. 小于等于比较: <=
6. 大于比较: >
7. 大于等于比较: >=
8. 区间比较
9. 空值判断: IS NULL
10. 非空判断: IS NOT NULL
10. LIKE 比较: LIKE
11. JAVA 的 LIKE 操作: RLIKE
12. REGEXP 操作: REGEXP

3.2 数学运算:
1. 加法操作: +
2. 减法操作: –
3. 乘法操作: *
4. 除法操作: /
5. 取余操作: %
6. 位与操作: &
7. 位或操作: |
8. 位异或操作: ^
9.位取反操作: ~
3.3 逻辑运算:
1. 逻辑与操作: AND&&
2. 逻辑或操作: OR||
3. 逻辑非操作: NOT!
3.4 复合类型构造函数
1. map 结构
2. struct 结构
3. named_struct 结构
4. array 结构
5. create_union
3.5 复合类型操作符
1. 获取 array 中的元素
2. 获取 map 中的元素
3. 获取 struct 中的元素
3.6 数值计算函数
1. 取整函数: round
2. 指定精度取整函数: round
3. 向下取整函数: floor
4. 向上取整函数: ceil
5. 向上取整函数: ceiling
6. 取随机数函数: rand
7. 自然指数函数: exp
8.10 为底对数函数: log10
9.2 为底对数函数: log2
10. 对数函数: log
11. 幂运算函数: pow
12. 幂运算函数: power
13. 开平方函数: sqrt
14. 二进制函数: bin
15. 十六进制函数: hex
16. 反转十六进制函数: unhex
17. 进制转换函数: conv
18. 绝对值函数: abs
19. 正取余函数: pmod
20. 正弦函数: sin
21. 反正弦函数: asin
22. 余弦函数: cos
23. 反余弦函数: acos
24. positive 函数: positive
25. negative 函数: negative
3.7 集合操作函数
1. map 类型大小:size
2. array 类型大小:size
3. 判断元素数组是否包含元素:array_contains
4. 获取 map 中所有 value 集合
5. 获取 map 中所有 key 集合
6. 数组排序
3.8 类型转换函数
1. 二进制转换:binary
2. 基础类型之间强制转换:cast
3.9 日期函数
1. UNIX 时间戳转日期函数: from_unixtime
2. 获取当前 UNIX 时间戳函数: unix_timestamp
3. 日期转 UNIX 时间戳函数: unix_timestamp
4. 指定格式日期转 UNIX 时间戳函数: unix_timestamp
5. 日期时间转日期函数: to_date
6. 日期转年函数: year
7. 日期转月函数: month
8. 日期转天函数: day
9. 日期转小时函数: hour
10. 日期转分钟函数: minute
11. 日期转秒函数: second
12. 日期转周函数: weekofyear
13. 日期比较函数: datediff
14. 日期增加函数: date_add
15. 日期减少函数: date_sub
3.10 条件函数
1. If 函数: if
2. 非空查找函数: COALESCE
3. 条件判断函数:CASE
3.11 字符串函数
1. 字符 ascii 码函数:ascii
2. base64 字符串
3. 字符串连接函数:concat
4. 带分隔符字符串连接函数:concat_ws
5. 数组转换成字符串的函数:concat_ws
6. 小数位格式化成字符串函数:format_number
7. 字符串截取函数:substr,substring
8. 字符串截取函数:substr,substring
9. 字符串查找函数:instr
10. 字符串长度函数:length
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值