hadoop离线任务出错：PipeMapRed.waitOutputThreads

最新推荐文章于 2023-08-14 21:00:00 发布

原创

最新推荐文章于 2023-08-14 21:00:00 发布 · 512 阅读

标签

#hadoop

收录于

博客讲述了作者在执行Hadoop离线任务时遇到的错误 PipeMapRed.waitOutputThreads。经过排查，问题并非配置错误，而是由于代码中数据分隔符使用不当，原本应使用逗号分隔的数据误写为制表符。作者提醒读者在编写任务时需仔细检查，避免类似隐蔽且难查的错误发生。

今天使用hadoop跑一个离线任务失败，通过yarn管理器log查看，出现如下错误：
2019-12-11 06:40:33,242 FATAL [IPC Server handler 6 on 35937] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1576072784615_0011_m_000001_2 - exited : java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
	at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
	at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
	at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
	at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
	at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subj