Hive 不同存储格式表数据同步问题

最新推荐文章于 2024-06-19 14:34:24 发布
原创 最新推荐文章于 2024-06-19 14:34:24 发布 · 2.7k 阅读 · 0
标签
#hive #存储 #数据
在同步Hive中RCFILE格式的表到ORCFILE格式的表时遇到错误，由于存储格式差异导致数据同步失败。错误信息涉及到ORC文件的解析问题。解决方法是通过TEXTFILE格式作为中转，先将RCFILE数据导出并导入到TEXTFILE表，再从TEXTFILE表插入到ORCFILE表。注意中转过程中可能出现的特殊字符编码问题。博客作者希望通过分享自己的经验，与大数据领域的同行进行交流和学习。

本人在同步两个集群的hive数据时遇到了一个坑爹的问题，A集群X表为RCFILE格式，B集群Y表为ORCFILE格式，现需要将X表的历史数据同步到Y表中。当初天真的以为直接导出导入就能解决问题了，完全忽略了存储格式不同的问题，结果同步完后,查询时直接一个错误砸我脸上。部分错误如下：

Caused by:java.lang.reflect.InvocationTargetException

      at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

      at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

      at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

      at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

      at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:251)

         ... 11 more

Caused by:java.io.IOException: Malformed ORC filehdfs://tongjihadoop151:8020/user/hive/warehouse/client_uv_d

最低0.47元/天 解锁文章
cdh-hive2.1.1版本orc格式表读取包数组越界替换包
05-18
cdh-hive2.1.1版本orc文件读取数据报错替换包: Caused by: java.lang.ArrayIndexOutOfBoundsException: 7 at org.apache.orc.OrcFile$WriterVersion.from(OrcFile.java:145) at org.apache.orc.impl.OrcTail.getWriterVersion(OrcTail.java:74) at org.apache.orc.impl.ReaderImpl.<init>(ReaderImpl.java:385) at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.<init>(ReaderImpl.java:62) at org.apache.hadoop.hive.ql.io.orc.OrcFile.createReader(OrcFile.java:89) at org.apache.hadoop.hive.ql.io.orc.VectorizedOrcInputFormat.getRecord
美团DB数据同步到数据仓库的架构与实践
weixin_34310785的博客
12-07 1159
背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准...
记一次hive写入orc文件失败
Lv的程序人生
03-01 4698
报错信息为map端的orc写入相关错误，现设置如下参数解决：set hive.exec.orc.default.compress.size=8192; set mapreduce.map.memory.mb=2048; set hive.exec.orc.default.buffer.size=16384; set hive.exec.orc.skip.corrupt.data=true;
Sqoop——MySQL表同步到Hive
aof
04-19 1335
我们在往数据仓库中填充数据的第一步，就是要把RDBMS中的表导入到HDFS中。基于MapReduce的Sqoop工具可以很方便的将关系型数据库中的表导入到Hive、HBase中，并且记录可以以文本文件(每行一条记录)存储，也可以以Avro或SequenceFiles的二进制格式存储。 具体命令如下： sqoop import \ --connect jdbc:mysql://host:3306...
Hive表的非压缩text格式转成ORC+snappy
weixin_45857425的博客
05-28 1483
背景:hive表A,由于创建是text格式的,随着时间历史,该表数据量巨大,急需对该表进行治理 方案一:把text格式转成ORC格式,可以大大减低数据存储量 z
DataX读取Hive Orc格式表丢失数据处理记录
jast
05-12 1637
DataX读取Hive Orc存储格式表数据丢失。
Hive 创建不同压缩方式的ORC存储格式表
weixin_41717034的博客
06-29 3131
目录 创建一个非压缩的的ORC存储方式表 创建一个snappy压缩的ORC存储方式表 创建一个ZLIB压缩的ORC存储方式表（默认方式） 存储方式和压缩总结 使用压缩的优势是可以最小化所需要的磁盘存储空间，以及减少磁盘和网络io操作 ​​​​​​​ORC支持三种压缩：ZLIB,SNAPPY,NONE。最后一种就是不压缩，orc默认采用的是ZLIB压缩。 创建一个非压缩的的ORC存储方式表 create table log_orc_none ( track_time string, url
hdfs orc格式_hive中orc格式表的数据导入
weixin_39968410的博客
01-12 2115
Hive系列文章hive创建orc格式表不能像textfile格式一样直接load数据到表中，需要创建临时textfile表，然后通过insert into 或者insert overwrite到orc存储格式表中。如果你直接load数据到orc格式表中，这个步骤可以成功，但是会发现select * from table limit 1;这个语句都会报错，也就是说直接load数据是不可行的。对于h...
hive中orc格式表的数据导入
weixin_44519496的博客
11-01 2261
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 hive创建orc格式表不能像textfile格式一样直接load数据到表中，需要创建临时textfile表，然后通过i
实现hive到hive数据迁移(同步)
weixin_44455388的博客
03-24 8797
背景: 存在某种情况，HIVE数据可能要从一个HDFS中，传到另一个hdfs中。可以说是迁移，也可能是数据同步。 步骤: 假设有一张user表如下： CREATE TABLE `jc_db.t_user` ( `id` bigint COMMENT '主键', `username` string COMMENT '账号', `password` string COMMENT '密码',...
hive数据迁移解决表同步问题
weixin_42806885的博客
01-28 1101
Hive数据迁移方案： 先通过shell脚本将集群1中hive的数据导入到hdfs中 将集群1的hdfs中的数据下载在本地 将集群1的本地数据发送到集群2的本地上； 将集群2的本地的数据导入到集群2的hdfs上； 将集群的hdfs上的数据导入到hive中。 步骤： 1.对集群1节点与集群2节点进行免密登录 [root@节点1 .ssh]# ssh-keygen -t rsa [root@节点1 .ssh]# ssh-copy-id 节点2地址 [root@ 节点2 .ssh]# ssh..
hive库之间同步表
weixin_46028840的博客
12-05 763
默认情况下，distcp命令使用所有可用的带宽，但是可以使用-Ddistcp.bandwidth选项来限制带宽使用率。默认情况下，此参数的值为0，表示没有限制。<max_running_jobs>是允许同时运行的最大MapReduce作业数，<src_path>是源路径，<dst_path>是目标路径。-m <arg>:限制同步启动的 map 数，默认每个文件对应一个 map，每台机器最多启动20个 map。Hadoop distcp是一个用于在Hadoop集群之间复制数据的工具。
2021-05-26
阿正的博客
05-26 573
hive报错整理之Malformed ORC file 、Invalid postscript. 将本地文件的数据加载到hive的ORC格式表时，出现以下报错： Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.h...
hive分区表一次性导入ElasticSearch报错
weixin_43854495的博客
05-26 671
hive分区表一次性导入ElasticSearch： 关键字 EsStorageHandler IndexOutOfBoundsException 工作中总会碰到Hive数据导入ElasticSearch，可以写Spark程序读Hive表，再写入ES中。同样，ElasticSearch官方也提供了一个工具，elasticsearch-hadoop.jar工具包，在hive程序中引入该包，就可以创建表与ES相关联，向该表中导入数据，数据就会存入ES中 问题描述 提示：写入过程中报错 IndexOutOfBo
hive夸集群迁移数据
weixin_42765329的博客
06-19 625
执行导入：hive -f trajx_tablesDDL.txt。在新集群的主节点上执行如下命令。修改文件内容，库名，路径等。
hive数据导入导出
eyexin2018的博客
05-06 3602
---------------数据导入导出------------------------------ 创建表： CREATE TABLE IF NOT EXISTS userses( name string, sex string ) row format delimited fields terminated by'\t'; CREATE TABLE IF NOT EXISTS user_tmp( name string, sex string ) partitioned by(age int) ro
Hive 两个分区表之间的数据复制
qq_38151907的博客
02-01 823
Hive 两个分区表之间的数据复制
hive快速复制数据至另一个schema或database
weixin_43085832的博客
07-02 1996
hive快速复制数据至另一个schema或database 如题 需求 hive数据库xxx_dev下的所有表、数据需要复制到xxx_test下，进行改造升级。 实现方法 hadoop fs -cp /user/hive/warehouse/xxx_dev.db/* /user/hive/warehouse/xxx_test/即可。 需要注意的点 1. 源表和目标表的建表语句需要一致。 2. 源...
hadoop 读取orc文件和读取lzo文件
weixin_44280356的博客
03-08 1211
测试结果：”org.apache.hadoop.hive.ql.io.orc.OrcInputFormat” 性能高于 “org.apache.orc.mapred.OrcInputFormat”Hadoop jar提交参数。
Hive迁移Spark报错org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.Binar
小蚯蚓的博客
11-23 3717
Hive迁移后，读取报错：org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparab 一、问题描述 Hive数据库经过迁移后，spark读取一个表，报错 Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值