hive 中判断中文的表达式

最新推荐文章于 2024-11-12 08:41:35 发布
原创 最新推荐文章于 2024-11-12 08:41:35 发布 · 9.5k 阅读 · 18 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hive #正则 #大数据
本文演示了如何使用正则表达式从字符串中提取和替换中文字符。通过两个SQL语句示例，展示了如何仅保留或删除字符串中的中文部分。

select regexp_extract('这里china', '[\u4e00-\u9fa5]+', 0)

输出结果为：这里

 

select regexp_replace('2019这里china', '[\u4e00-\u9fa5]+', "")

输出结果为：2019china

hive函数大全（中文版）
05-02
一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: 4 3. 小于比较: < 4 4. 小于等于比较: 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5 8. 非空判断: IS NOT NULL 6 9. LIKE比较: LIKE 6 10. JAVA的LIKE操作: RLIKE 6 11. REGEXP操作: REGEXP 7 二、数学运算： 7 1. 加法操作: + 7 2. 减法操作: - 7 3. 乘法操作: * 8 4. 除法操作: / 8 5. 取余操作: % 8 6. 位与操作: & 9 7. 位或操作: | 9 8. 位异或操作: ^ 9 9．位取反操作: ~ 10 三、逻辑运算： 10 1. 逻辑与操作: AND 10 2. 逻辑或操作: OR 10 3. 逻辑非操作: NOT 10 四、数值计算 11 1. 取整函数: round 11 2. 指定精度取整函数: round 11 3. 向下取整函数: floor 11 4. 向上取整函数: ceil 12 5. 向上取整函数: ceiling 12 6. 取随机数函数: rand 12 7. 自然指数函数: exp 13 8. 以10为底对数函数: log10 13 9. 以2为底对数函数: log2 13 10. 对数函数: log 13 11. 幂运算函数: pow 14 12. 幂运算函数: power 14 13. 开平方函数: sqrt 14 14. 二进制函数: bin 14 15. 十六进制函数: hex 15 16. 反转十六进制函数: unhex 15 17. 进制转换函数: conv 15 18. 绝对值函数: abs 16 19. 正取余函数: pmod 16 20. 正弦函数: sin 16 21. 反正弦函数: asin 16 22. 余弦函数: cos 17 23. 反余弦函数: acos 17 24. positive函数: positive 17 25. negative函数: negative 17 五、日期函数 18 1. UNIX时间戳转日期函数: from_unixtime 18 2. 获取当前UNIX时间戳函数: unix_timestamp 18 3. 日期转UNIX时间戳函数: unix_timestamp 18 4. 指定格式日期转UNIX时间戳函数: unix_timestamp 18 5. 日期时间转日期函数: to_date 19 6. 日期转年函数: year 19 7. 日期转月函数: month 19 8. 日期转天函数: day 19 9. 日期转小时函数: hour 20 10. 日期转分钟函数: minute 20 11. 日期转秒函数: second 20 12. 日期转周函数: weekofyear 20 13. 日期比较函数: datediff 21 14. 日期增加函数: date_add 21 15. 日期减少函数: date_sub 21 六、条件函数 21 1. If函数: if 21 2. 非空查找函数: COALESCE 22 3. 条件判断函数：CASE 22 4. 条件判断函数：CASE 22 七、字符串函数 23 1. 字符串长度函数：length 23 2. 字符串反转函数：reverse 23 3. 字符串连接函数：concat 23 4. 带分隔符字符串连接函数：concat_ws 23 5. 字符串截取函数：substr,substring 24 6. 字符串截取函数：substr,substring 24 7. 字符串转大写函数：upper,ucase 24 8. 字符串转小写函数：lower,lcase 25 9. 去空格函数：trim 25 10. 左边去空格函数：ltrim 25 11. 右边去空格函数：rtrim 25 12. 正则表达式替换函数：regexp_replace 26 13. 正则表达式解析函数：regexp_extract 26 14. URL解析函数：parse_url 26 15. json解析函数：get_json_object 27 16. 空格字符串函数：space 27 17. 重复字符串函数：repeat 27 18. 首字符ascii函数：ascii 28 19. 左补足函数：lpad 28 20. 右补足函数：rpad 28 21. 分割字符串函数: split 28 22. 集合查找函数: find_in_set 29 八、集合统计函数 29 1. 个数统计函数: count 29 2. 总和统计函数: sum 29 3. 平均值统计函数: avg 30 4. 最小值统计函数: min 30 5. 最大值统计函数: max 30 6. 非空集合总体变量函数: var_pop 30 7. 非空集合样本变量函数: var_samp 31 8. 总体标准偏离函数: stddev_pop 31 9. 样本标准偏离函数: stddev_samp 31 10．中位数函数: percentile 31 11. 中位数函数: percentile 31 12. 近似中位数函数: percentile_approx 32 13. 近似中位数函数: percentile_approx 32 14. 直方图: histogram_numeric 32 九、复合类型构建操作 32 1. Map类型构建: map 32 2. Struct类型构建: struct 33 3. array类型构建: array 33 十、复杂类型访问操作 33 1. array类型访问: A[n] 33 2. map类型访问: M[key] 34 3. struct类型访问: S.x 34 十一、复杂类型长度统计函数 34 1. Map类型长度函数: size(Map) 34 2. array类型长度函数: size(Array) 34 3. 类型转换函数 35
判断字符串中是否包含中文
weixin_48262500的博客
08-02 1172
判断字符串中是否包含中文
查询某个字段的记录是否包含中文或者是否是数字
qq_40837310的博客
06-16 3317
SELECT col FROM table WHERE length(col)!=char_length(col) //判断是否是中文 当编码为UTF-8时，中文的length和char_length的结果是不一样的。 (col,REGEXP '[^0-9.]') //判断是否是数字，里面的正则表达式意思是匹配1个以上的非数字。 不仅仅可以判断是否是数字，只要你写出相应的正则表达式，都能...
hive：正则：匹配中文/英文/数字（REGEXP 和 rlike）
热门推荐
不花的花和尚的博客
05-15 2万+
数据： Java开发工程师 Java工程师 海外BD岗 移动web研发工程师 DBA工程师 JAVA高级开发工程师 PHP开发工程师 android资深开发经理 课程顾问/sales manager EPM 认证工程师 品牌总监 分时租赁总经理 销售总经理 硬件测试工程师 薪酬管理岗 算法工程师 大区销售总监 财务经理 研发总监 110100 110100 130100 130100 160100 200500 160100 110100 110100 110100 4849 4696 4861 474
hive正则表达式匹配中文或者字符
Chao_Qing的专栏
05-19 1万+
hive正则表达式匹配中文或者字符regexp_replace()regexp_extract() regexp_replace() 案例1： select regexp_replace('四川成都市A-17号','[^A-Za-z0-9\\u4e00-\\u9fa5]',''); 结果： 四川成都市A17号 解释： 替换非字符(大小写)，非数字和非中文的字符。 regexp_extract() 案例2： select regexp_extract('四川成都市A-17号','[^A-Za-z0-9\\u4
判断字符串中是否含有中文字符
wsjshx的专栏
01-27 780
1 2 3 4 5 6 NSString *str = @"i'm a 苹果。..."; for(int i=0; i int a = [str characterAtIndex:i]; if( a > 0x4e00 && a NSLog(@"汉字"); }
hive判断字符全是中文的正则表达式
weixin_41342423的博客
08-25 415
我整理的一些关于【Hive,正则表达式,字段】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1如何在Hive中判断字符是否全是中文的正则表达式 在大数据处理和分析中，使用Hive进行数据查询和处理已成为一种流行的选择。如果你在处理文本数据时需要判断某个字段的内容是...
hive判断字符全是中文的
weixin_41255460的博客
08-25 325
我整理的一些关于【字符串】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1Hive中判断字符串是否全为中文字符的实现 在大数据处理的过程中，数据清洗是一个必不可少的环节。而在处理字符串数据时，我们常常需要判断某个字符串是否全为中文字符。在Hive中，我们可以通过正...
SQL 判断字符串中是否有中文或者是字母
最新发布
qq_46068642的博客
11-12 1432
主要是函数regexp_like 和正则表达式的运用。运行环境：prestro SQL。
hive sql判断字符串中是否包含中文
weixin_34556808的博客
08-25 802
我整理的一些关于【字符串】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1在 Hive SQL 中判断字符串是否包含中文字符 在数据处理和分析中，判断一个字符串是否包含中文字符是一个相对常见的需求。作为一名开发者，我们可以通过 Hive SQL 来实现这个需求。本...
Hive一些sql函数
qq_41081716的博客
09-03 1107
select cast(date_format('$[YYYY-MM-DD - 1D]', 'u') as int) 判断当前时间是几点： select substr(from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss'),12,2) 多个文件名同列名去重： select count( distinct case when t1.user_id is not null.
hive：函数：正则：regexp_extract 匹配正则取字段中的中文或英文+其他替换用法（清洗数据）
不花的花和尚的博客
06-25 2万+
========英文======= select regexp_extract("Aptamil 爱他美(德国)",'([A-Z][a-z]*(\\s|$))+', 1) filed; 返回： Aptamil ========中文=======
hive中文匹配之正则表达式
好好学习,天天向上的博客
04-24 5683
1、regexp 语法：A regexp B 返回值：string 说明：功能与rlike类似 2、regexp_extract 语法：regexp extract(string subject,string pattern,int index） 返回值：string 说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符，即第一参数：要处理的字段，第二参数需...
hive中文汉字乱码终极解决办法
u013289115的博客
05-15 9802
一、问题 在创建hive表时，comment要加中文注释，比如： drop table if exists users; create table users( name string comment '姓名', age int comment '年龄' ); 执行后再show create table users; 二、别人的解决方法 中国文化博大精深，无奈没有成为世界统一标准，根据一般人的经验，脑中一定是utf8哪个地方没设置好的问题，经过一番百度，找到 如下解决方法，在hive的mysql元数据库
hive中get_json_object函数不支持解析json中文key
qq_45124566的博客
08-18 2174
hive中get_json_object函数不支持解析json中文key
hive 中文字符过滤_hive 中文字符匹配需求的坑
weixin_39690105的博客
01-14 2865
昨天接到一个需求，其中有部分是关于字段匹配是否是中文，如果是中文就需要去处理~当时想到用正则表达式处理：中文的正则表达式： [\u4e00-\u9fa5]这种写法是： ^[\u4e00-\u9fa5]$ ^代表开头，$这种代表结尾，总的结合来说就是开头跟结尾都是中文举例说明：'我爱你中国' 检索里面是否全是中文，但由于hive库这个表达式有\需要转义select '我爱...
hive正则：
changzoe的博客
05-09 2852
使用Hive做数据清洗，经常需要使用正则表达式。 比较讨厌的是，正则表达式匹配失败的时候，hive完全不会报错。 原来的写法 SELECT * from ahhs_product_info where product_name NOT RLIKE ‘([\u4e00-\u9fa5])+’ ; 在hive里面的写法 SELECT * from ahhs_product_info where...
hive匹配中文及字母
12-08 1160
【代码】hive匹配中文及字母。
【hive编程】正则表达式经典案例
11-12 7217
正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
hive正则表达式包含某个汉字
weixin_26821003的博客
08-23 232
我整理的一些关于【字符串】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1Hive 正则表达式匹配汉字的实现教程 欢迎来到Hive正则表达式的学习之旅！在这个教程中，我们将一起探索如何在Hive中使用正则表达式来查找包含特定汉字的字符串。下面是我们需要遵循的步骤：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值