本文记录了如何在本地环境下配置并运行Hadoop的MapReduce程序，通过修改bashrc文件设置classpath，然后编译并执行WordCount示例。详细步骤包括将Hadoop的classhpath添加到CLASSPATH，执行source命令使更改生效，以及使用javac编译Java源码。
1.本地MapReduce程序打包运行
我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 ~/.bashrc 中增加如下几行：
export HADOOP_HOME=/usr/local/hadoop #HADOOP_HOME已经定义则不需要写
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
别忘了执行 source ~/.bashrc 使变量生效，接着就可以通过 javac 命令编译 WordCount.java 了（使用的是 Hadoop 源码中的 WordCount.java，源码在文本最后面）：
编译：
javac WordCount.java
打包：
jar -cvf WordCount.jar ./WordCount*.class
运行:
/usr/local/hadoop/bin/hadoop jar WordCount.jar WordCount input output若是在（伪）分布式环境下，input是HDFS里的目录，用hdfs的命令往里面添加文件作为数据。
参考：http://blog.csdn.net/juan0728juan/article/details/54143946
扫一扫
3367
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
