win7下cygwin部署nutch1.2报Expecting a line not the end of stream异常

最新推荐文章于 2026-07-12 10:30:00 发布

原创最新推荐文章于 2026-07-12 10:30:00 发布 · 1.5k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

cloudera

当前文章被收录于：

cloudera

69 篇文章 0 人学习

订阅专栏查看详情

solr

当前文章被收录于：

solr

23 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文解决在使用Hadoop时遇到的因运行df命令包含中文而导致的IOException问题，提供通过设置环境变量`LANG=en.UTF-8`来解决的方法，并指导如何通过命令`./nutchreaddb../crawled/crawldb/-stats`生成索引。

java.io.IOException: Expecting a line not the end of stream
at org.apache.hadoop.fs.DF.parseExecResult(DF.java:109)
at org.apache.hadoop.util.Shell.runCommand(Shell.java:179)
at org.apache.hadoop.util.Shell.run(Shell.java:134)
at org.apache.hadoop.fs.DF.getAvailable(DF.java:73)
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:329)
at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:124)
at org.apache.hadoop.mapred.MapOutputFile.getSpillFileForWrite(MapOutputFile.java:107)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1221)
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1129)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:359)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)

at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)

报该异常是因为运行df命令有中文造成的，

可以将cygwin环境设置成英文环境即可

命令：

export "LANG=en.UTF-8"

生成的索引可以通过命令查看

命令：./nutch readdb ../crawled/crawldb/ -stats

标签

#stream