hive中union出现的类型问题

最新推荐文章于 2023-03-04 14:34:48 发布

原创最新推荐文章于 2023-03-04 14:34:48 发布 · 2.7k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

错误记录同时被 2 个专栏收录

6 篇文章

订阅专栏

hive

4 篇文章

订阅专栏

本文介绍了一种常见的Hive SQL错误：在union操作中尝试将日期类型与字符串类型的数据合并时发生的schema不匹配错误。文章详细解释了该错误产生的原因，并提供了一个简单有效的解决方案——通过格式化函数将日期转换为字符串。

错误信息:

FAILED: SemanticException Schema of both sides of union should match: Column create_date is of type string on first table and type date on second table. Cannot tell the position of null AST.

出现原因:
在这里插入图片描述
使用日期函数进行计算时,结果数据为日期类型,不能与字符串直接进行union

解决办法:
在这里插入图片描述
使用格式化函数输出为字符串

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

猛肝自然强

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hive1.1.0升级至2.3.6 踩坑记录

Deegue

12-20

4372

1、union all 左右字段类型不匹配 Hive尝试跨Hive类型组执行隐式转换。隐式转换支持类型如下表：例： hive> select 1 as c2, 2 as c2 > union all > select 1.0 as c1, "2" as c1; FAILED: SemanticException Schema of both sides ...

参与评论您还未登录，请先登录后发表或查看评论

大数据踩过的坑（一）hive union

zll_1234的博客

05-20

2365

大数据踩过的坑（一）hive union 今天朋友问我一个关于hive的问题，是想将两个筛选条件的值加起来，然后就想到了用union，因为最近用的MySQL比较多，就直接写了union，朋友说hive里没有union，只有union all，但是我这边用union测试的是没有问题的，然后就上网搜了一下，列了下面几点合并前的两个SQL select count(distinct uid) as ct1 from users where status=1; select count(distinct u

CDH FAILED: SemanticException 81:5 Schema of both sides of union should match:

程志伟的博客

03-25

3988

关注微信公共号：小程在线关注CSDN博客：程志伟的博客 hive版本：2.1.1 tez版本：0.9.2 运行hive程序报错： FAILED: SemanticException 81:5 Schema of both sides of union should match: 解决方法： 1. 检查union all上下SQL的字段是否一样多； 2. 检查union all上下字段的类型是否一致。还需要根据错误的日志提示针对实际错误解决。 ...

column is of type timestamp without time zone but expression is of ttype character vering解决方案

我的博客

04-13

4273

解决： jdbc:postgresql://127.0.0.1:8888/demo?stringtype=unspecified 后面添加stringtype=unspecified，即自动格式化数据

Hive bigint类型和string类型关联可能导致数据异常

weixin_42496757的博客

03-29

3760

在hive中，两个表进行join，on条件两表的字段含义一致（都是整数），但数据类型不一致：string和bigint。join后发现如果数值过大则匹配的记录会出现问题：一条记录会匹配出多条记录（explain可以发现都转换为double）如：190000000002778025，就会错误的匹配上*8023 ，*8025 a）原因：Java中精度只有15至16位，当数据超过精度就会不准——也就会出现超过精度的记录join上许多不一致的记录。 bigint和string比较时会隐式地都转换成doubl

Error while compiling statement: FAILED: SemanticException Schema of both sides of union should

Daylight629博客

03-04

1818

hive任务的时候 union all 两个表获取的字段（包括数量）不一致导致的。

hive union all使用注意

YDK1912的博客

03-11

2020

UNION用于联合多个select语句的结果集，合并为一个独立的结果集，结果集去重。 UNION ALL也是用于联合多个select语句的结果集。但是不能消除重复行。现在hive只支持UNION ALL。这里需要特别注意，每个select语句返回的列的数量和名字必须一样，同时字段类型必须完全匹配，否则会抛出语法错误。这种时候可以使用别名处理。例如使用别名之后就不会报错了...

中project报错_SparkSQL中map字段不能进行union、intersect、except操作吗？

weixin_39877805的博客

01-08

563

通过SparkSQL，对两个存在map类型字段的Hive表进行union操作，报如下错误：org.apache.spark.sql.AnalysisException: Cannot have map type columns in DataFrame which calls set operations(intersect, except, etc.), but the type of colu...

Maxcompute-UNION数据类型对齐的方法

数据库技术

06-28

809

怎么对齐两段union脚本的数据类型

Hive复合类型

Howe的博客

07-27

862

Hive复合类型

Error: Error while compiling statement: FAILED: SemanticException Schema of both sides of union shou

qq_43473129的博客

02-21

7334

sqoop任务导数据到hive报错： Error: Error while compiling statement: FAILED: SemanticException Schema of both sides of union should match. (state=42000,code=40000) 原因是hive中做union时，查询到的两个表的有差异，列名不一致。删除表重导即可。 ...

hive常见报错

weixin_45757829的博客

05-29

2850

常见错误： feiled:SemanticException –语意错误 feiled:ParseException–语法错误 FAILED: SemanticException Schema of both sides of union should match.–缺失字段 SemanticException [Error 10002]: Line 26:14 Invalid column reference ‘statis_month’ --没有这个字段 FAILED: SemanticExcepti

修改或更新数据库，提示Data truncated for column ‘字段名‘ at row 1 的原因及解决方法

热门推荐

qq_43070236的博客

08-06

12万+

修改或更新数据库，提示Data truncated for column ‘字段名‘ at row 1 的原因及解决方法

MySQL数据库切换瀚高timestamp类型问题

HighGO

12-22

3793

目录环境症状问题原因解决方案环境系统平台：中标麒麟（CPU龙芯）6 版本：4.5 症状程序控制台打印信息： com.highgo.jdbc.util.PSQLException: ERROR: column “create_time” is of type timestamp without time zone but expression is of type character varying 建议：You will need to rewrite or cast the expressi

hive union 报错，union all 可以

qq_41899986的博客

07-12

1756

原因：hive版本过低，不支持union 1.2.0之前的Hive版本仅支持union all，其中不会删除重复行。在Hive1.2.0##及更高版本中，union的默认行为是从结果中删除重复的行。可选的distinct关键字指定了删除重复行。使用可选的all关键字，不会发生重复行删除，结果包含select语句中的所有匹配行。可以在同一查询中混合使用union all和union disti...

union和union all的区别，hive遇到Schema of both sides of union should match处理办法

yyf960126的博客

03-25

9331

union和union all的区别是，union会去除多个结果集合中的重复结果，而union all则将所有的结果全部显示出来，不管是不是重复。 Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序。 Union在进行表链接后会筛选掉重复的记录，所以在表链接后会对所产生的结果集进行排序运算，删除重复的记录再返回结果。实际大部分应用中是不会产生重复的记录，最常见的是过程表...