hive-drop-import-delims选项对oracle的clob无效

最新推荐文章于 2023-02-13 16:01:28 发布

转载最新推荐文章于 2023-02-13 16:01:28 发布 · 2.4k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

原文链接：http://www.cnblogs.com/vanwoos/p/9295979.html

标签

#数据库 #大数据 #java

收录于

工作过程中发现了用sqoop将oracle中的数据导入到hive时，会因为oracle中类型为clob的字段中存在换行时，会造成hive的数据错位。即使加上了 --hive-drop-import-delims 也无效。

通过查询，发现有两种解决方案，

一种是将oracle中类型为clob的字段通过cast(column_name as varchar2(4000)) 将类型进行显式转换。

另一种是用 --map-column-java col1=String,col2=String 来显式说明某字段在java中的类型。

关于第二种方式，详见 https://stackoverflow.com/questions/28076200/hive-drop-import-delims-not-removing-newline-while-using-hcatalog-in-sqoop

sqoop文档中关于改参数的说明，详见：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_literal_blob_literal_and_literal_clob_literal_columns

转载于:https://www.cnblogs.com/vanwoos/p/9295979.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30756499

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

[大数据 Sqoop,hive,HDFS数据操作]

汤圆的博客

06-20

1381

《古风二首 / 悯农二首》唐·李绅春种一粒粟，秋收万颗子。四海无闲田，农夫犹饿死。锄禾日当午，汗滴禾下土。谁知盘中餐，粒粒皆辛苦。

参与评论您还未登录，请先登录后发表或查看评论

sqoop命令参数参考说明及案例示例

chimchim66的博客

09-14

2383

sqoop命名示例及实战案例示例

Sqoop1.4.4将MySQL中数据导入到Hive表中

NIITYZU的专栏

01-19

8569

问题导读： 1、--hive-import、--hive-overwrite的作用？ 2、如何处理关系型数据库字段中字符串含有分隔符问题？ 3、使用--hive-import默认字段分隔符是？一行记录分隔符是？ 4、NULL值是怎么处理的？--null-string和--null-string的作用？

sqoop导入hive数据时对换行等特殊字符处理

CaptainJava的博客

09-11

8727

使用场景：公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。解决办法：利用一下两个参数可以实现对换行等特殊字符的替换或者删除 --hive-delims-replacement --hive-drop-i...

hive表分隔符修改实操(兼容sqoop)

热门推荐

zbz1006572352的博客

05-07

1万+

版本描述： hive1.1.0-cdh5.16.2 sqoop 1.4.7 结论：通过如下语句修改分隔符，(网上很多文章只修改了一处，无法识别sqoop过来的数据) #修改分隔符为逗号 , ALTER TABLE table_name SET SERDEPROPERTIES ('field.delim'=',' , 'serialization.format'=',');...

解决Sqoop CLOB 字段从Oracle导入Hive错行

简单的心的博客

11-30

3126

CLOB字段从Oracle导入到Hive时，如果CLOB中有换行符 Sqoop import参数选项 --hive-drop-import-delims对CLOB中换行符是没有效果的需要显示添加--map-column-java CLOB列名=String 这样--hive-drop-import-delims 才能去除CLOB中的换行符。参考文章 https://stackover...

Sqoop将数据从oracle导入到hive时，数据错位的问题解决

SunWuKong_Hadoop的博客

04-25

2075

问题一：导入的列有换行符等其他字符如何解决在使用sqoop将数据从oracle导入hive时，对数据进行验证，发现hive中的数据比oracle的多，然后发现多出来的数据严重错位，大量字段为null 怀疑是某些字段含有了hive默认的分隔符，如“\n”，“\r”，“\01” 解决办法是增加参数--hive-drop-import-delims来解决 Hive will have prob...

sqoop参数详解（全量、增量导入导出）

清平乐的技术专栏

03-31

5049

从RDBMS到HIVE： --connect jdbc:oracle:thin:@//192.168.156.111/test --username test --password test --query select * from it.t_test where inserttime >= to_date('${date1}','yyyy-mm-dd') and inserttime...

通过工具sqoop导入hive数据时对换行等特殊字符处理

weixin_43390992的博客

02-26

1125

Sqoop从MySQL导数据至hive数据表异常(数据量不对,数据值不对)

argue10的博客

04-19

4193

通过数据比对，发现sqoop导入hive的数据与MySQL原始数据对应不上，表现为两点： ①查数据总数不对，MySQL的count(1) = 108120条数据，但是导入至hive发现只有108112条数据，数据发生了丢失。 ②应查数据值不对，查询到某个字段，MySQL值中仅有1,2两种值，但是hive表中包含1,2，以及一串看不懂的数字。经反复核对数据，发现问题症结，所以就将它记录下来了。 ...

sqoop 测试 --hive-delims-replacement 参数

afei2530的博客

10-15

1250

在hive的官方文档中给的例子中字段分隔符是\001,但是在他的API文档中--hive-delims-replacement ，--hive-drop-import-delims 参数中会处理的字符是\0x01,一个时8进制的1，一个是16进制的1，有这么一点差别，lz为了确认这两个是否一样故做了下面的实验 Example: CREAT...

使用sqoop进行数据迁移遇到回车符、换行符问题

weixin_67805929的博客

02-13

1364

当使用sqoop进行数据迁移遇到换行符的问题可能会导致sqoop任务执行完迁移的数据条数与在hive中查询SQL得到的数据条数可能不一致，造成这个错误的原因大概率是换行符或者回车符的问题。在执行sqoop命令时加上如下命令即可成功实现中英文换行符、回车符等特殊符号的处理问题，本质就是将数据源的数据单元格里面的大的文本或者具有特殊符号的数据认定为string。--hive-drop-import-delim 删除特殊字符及换行符。-- 查询替换某个既含有换行符又含有回车符的字段。-- 此处替换为空格。

Sqoop优化：数值类型变成null、符 \n 和\r 等特殊符号处理、$CONDITIONS关键字的作用

10-22

5973

（建立临时表，通过sqoop导入到临时表，成功之后再把临时表的数据通过事务导入到mysql的业务数据表,Sqoop在导入导出数据时，通过建立临时表可以解决好多问题，所以要学会巧用临时表），使用--staging-table选项，将hdfs中的数据先导入到临时表中，当hdfs中的数据导出成功后，临时表中的数据在一个事务中导出到目标表中（也就是说这个过程要不完全成功，要不完全失败）。但是有时候会碰到很多的表没有添加自增ID或者，整数型的主键，或者主键分布不均，反而会拖慢整个job的进程。.........

sqoop常用参数详解与应用

welcome to zdsg's csdn

10-14

1140

Sqoop常用参数详解与应用 Sqoop是一个Hadoop和关系型数据库的数据迁移工具(非关系型数据库不支持,hbase除外) 官网: http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_purpose sqoop语句要求写到一行,多行时用\连接 import 常用参数 sqoop import … --null-string ‘...

sqoop导入mysql数据到Hive的各种方案

海边无限的专栏

12-13

5608

sqoop 导入到处 mysql-hive 的案例

sqoop 导入 hive

mn_kw的博客

05-27

4617

sqoop 导入 Hive 分三步： 1. 先导入--target-dir 指定的 HDFS 的目录中 2. 在 Hive 中建表 3. 调用 Hive 的 LOAD DATA INPATH 把 --target-dir中的数据移动到 Hive 中 import --hive-import --hive-table dw_hd.ods_store --connect jdbc:oracle:th...

Sqoop一些常用详细命令及参数

@小刘同学nice

07-09

2290

常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。命令类说明 import ImportTool 将数据导入到集群 export ExportTool 将集群数据导出 codegen CodeGenTool 获取数据库中某张表数据生成Java并打包Jar create-hive-table Creat...

Sqoop 工具速查表（中文版）--转

weixin_30535913的博客

03-31

960

Sqoop用户手册（英文版）：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html 1. 概述本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。 2....