impala/hadoop 错误排查（一）-- ERROR tool.ExportTool: Error during export: Export job failed

最新推荐文章于 2024-01-03 22:50:19 发布
原创 最新推荐文章于 2024-01-03 22:50:19 发布 · 1.2k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hadoop #mapreduce #大数据
本文介绍了在使用 Sqoop 导入数据时遇到的主键冲突问题，通过查看Hadoop任务日志和jobhistory端口，详细解析了如何定位错误并提供解决步骤。

某次执行sqoop时发生如下报错：
在这里插入图片描述
21/10/28 16:44:22 ERROR tool.ExportTool: Error during export: Export job failed!

往上查看，发现是 job_1634560478237_2734 在执行 task_1634560478237_2734_m_000000 时发生错误


此时可以到hadoop的job任务日志查看具体的错误，也可以在hadoop的jobhistory 19888端口上查看，地址如下

在这里插入图片描述
浏览器中输入地址后得到：

在这里插入图片描述
点击 Task Type --> Map Reduce

在这里插入图片描述
看到task的状态是FAILED ，点进去查看错误日志

在这里插入图片描述
发现是主键冲突，DONE!

Sqoop 报 :ERROR tool.ExportTool: Error during export: Export job failed!
weixin_45592182的博客
09-14 3383
20/09/14 10:18:18 INFO client.RMProxy: Connecting to ResourceManager at emr-header-1.cluster-171958/172.17.132.216:8032 20/09/14 10:18:21 INFO input.FileInputFormat: Total input files to process : 1 20/09/14 10:18:21 INFO input.FileInputFormat: Total inpu.
sqoop导入数据到mysql时报错：ERROR tool.ExportTool: Error during export: Export job failed
weixin_55797565的博客
12-26 2776
ubuntu伪分布式hdfs中用sqoop工具将hive仓库中的数据导出导入到mysql数据库里时出现的错误。 尝试一下 将~/tmp/sqoop-chen/compile/中生成的文件夹里面的.jar.java.calss文件复制到/usr/local/sqoop/lib/文件夹里面，然后再次运行导出导入命令 上面的sqoop-chen目录是 sqoop-用户名 导出导入命令： 上面的解决办法： 再次运行后出现下图代表导出导入成功了： 查看mysql： ...
[已解决]ERROR tool.ExportTool: Error during export: Export job failed!
Maynor的博客
10-31 1906
除了hive表结构之外，我们再检查一下hive的数据，在hdfs/user/hive/warehouse/co中，可以在linux中hadoop fs -cat /user/hive/warehouse/co查看，为了方便我这里选择在windows中下载查看。在检查后我发现两个表结构是完全一致的，也有可能是hive的分隔符弄错了（–input-fields-terminated-by ‘\001’），检查后也没有问题，hive中确实使用默认的’\001’作为分隔符，那为什么会报错嘞？desc [表名];
ERROR tool.ExportTool: Error during export: Export job failed!错误解析
strelizia
08-27 1万+
在使用sqoop导出数据的时候出现了这种报错。 20/08/27 15:03:05 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931
Error during export:Export job failed !
大数据
11-16 5029
这个是：因为hive中表使用了 null进行占位，导入到SQL表中就会出现这个问题。使用0代替null进行占位就可以了
【踩坑】sqoop：Error during export: Export job failed!
sofeld的博客
07-21 2354
ERROR tool.ExportTool: Error during export: 原因是hive建表时没有添加分隔符，加上row format delimited fields terminated by ‘\t’ 就好了。就酱。
sqoop导出数据时：ERROR tool.ExportTool: Error during export: Export job failed!解决
qq_43688472的博客
08-27 5002
sqoop导出数据时：ERROR tool.ExportTool: Error during export: Export job failed!解决 这里的错误就是经典的hive和mysql的表结构不对应，有可能你的实际情况和我不一样，但是按照这个思路去检查会很轻松找到你的问题根源。 这个问题是sqoop把你的数据往mysql中塞的时候格式不符，他就会返回这个错误。处理方式首先就应该检查两个表结构是否一致。 hive表结构查询 desc [表名]; 一：检查mysql表和hive表的表的结构 二：查看
Error during export: Export job failed! sqoop遇到的错
大数据
12-16 7883
ERROR tool.ExportTool: Error during export: Export job failed 从网上查看网友的经历，发现可能是hive 库表文件没有指定分隔符，打开hive中的对应目录，发现所有数据没有任何分隔符，难怪，这让计算机怎么去识别？这一大串的数据。 删除现有的表，重新新建一个表，这个时候既定一定要添加上分割符。row format delimited f...
踩坑——Sqoop报错ERROR tool.ExportTool: Error during export
热门推荐
@羲凡—只为更好的活着
04-19 1万+
@羲凡——只为了更好的活着 踩坑——Sqoop报错ERROR tool.ExportTool: Error during export 控制台打印的报错是 19/04/19 20:17:09 ERROR mapreduce.ExportJobBase: Export job failed! 19/04/19 20:17:09 ERROR tool.ExportTool: Error during ...
报错ERROR tool.ExportTool: Error during export: Export job failed!
weixin_62837637的博客
12-09 1189
报错ERROR tool.ExportTool: Error during export: Export job failed!
Sqoop：Error during export:Export job failed !
wq151030的博客
08-25 1957
Sqoop：Error during export:Export job failed ! sqoop导出数据到mysql出现异常，平时都很正常的今天不行了，还没什么报错信息，是不是很郁闷。博客上的文章也不太行。。。自己想想原来是这个问题 21/08/25 15:03:05 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(E
sqoop ERROR tool.ExportTool: Error during export: Export job failed!
berkely心路的博客
06-09 1125
sqoop导入数据报错： 21/06/09 17:31:19 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:442) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) ...
hdfs mysql sqoop 失败_sqoop从hdfs导入到mysql 报ERROR tool.ExportTool: Error during export: Export job faile...
weixin_31621945的博客
02-01 410
楼主需要把hdfs上的数据导入到mysql当中，报如下错误。18/11/22 16:04:37 ERROR tool.ExportTool: Error during export:Export job failed!at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)at org.apache....
sqoop：【error】从hdfs导入到mysql 报ERROR tool.ExportTool: Error during export: Export job failed!
张国荣家的弟弟
11-26 1752
文章目录问题部分描述问题全部描述问题解决 问题部分描述 ERROR mapreduce.ExportJobBase: Export job failed! 20/11/24 16:47:36 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at
sqoop从hive导出到mysql报错 ERROR mapreduce.ExportJobBase: Export job failed!
总分全班第一
05-18 1万+
1，错误日志关键如下 19/05/17 11:48:15 INFO mapreduce.Job: Running job: job_1558105459102_0007 19/05/17 11:48:42 INFO mapreduce.Job: Job job_1558105459102_0007 running in uber mode : false 19/05/17 11:48:42 INF...
sqoop ERROR tool.ExportTool: Error during export: Export job failed
热爱编程的谢同志
12-01 1249
在hive数据导出到mysql当中,遇到这种错误,无非就是你hive表中数据为null
ERROR mapreduce.ExportJobBase: Export job failed! ERROR tool.ExportTool: Error during export: Expor
qq_53810226的博客
06-21 3589
2022-06-21 14:41:05,560 ERROR mapreduce.ExportJobBase: Export job failed! 2022-06-21 14:41:05,563 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at org.apache.
hive Sqoop导出报错
qq_38655890的博客
06-22 989
hive Sqoop导出报错（hive->Oracle） 报错提示 Sqoop从Hive导出数据到Oracle数据库，遇到个问题，查了很久才解决（粗心了），报错： 20/02/10 16:33:53 INFO mapreduce.ExportJobBase: Exported 0 records. 20/02/10 16:33:53 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.ma
使用Sqoop进行数据迁移时报错：Export job failed！
Ryan_202297的博客
01-03 1140
报错格式：对比命令再对比我上传至hdfs中的文件data.txt中的内容，发现其中的逗号为中文状态下，改为英文状态再重新进行数据迁移即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值