MapReduce 案例

1、MapReduce 案例

本文实现 MapReduce 用 Java API 实现统计单词案例、代码优化及其 MapReduce 编程格式；这也是面试经典笔试代码题。代码就是  “ MapReduce 八股文 ”，我们只需修改部分代码。

准备好环境：idea、创建项目、添加依赖；
A：依赖

B：启动 MapReduce

2、代码实现 WordCountMapReduce.class

2.1、map 阶段 — 代码有一定的格式、只需修改部分代码

2.2、Reduce 阶段

2.3、封装map和reduce

2.4、运行

这里需要注意的是、用到ToolRunner类，所以我们的 WordCountMapReduce 类要写成这样：

2.5、程序打包

2.6、运行 jar 

数据源：/chenzhengyou/mapreduce/wordcount/input/idea.input
输出源：/chenzhengyou/mapreduce/wordcount/output/test01
运行MapReduce：[root@czy-1 hadoop-2.5.0]# 
bin/hadoop jar  /usr/local/chenzhengyou/hadoop/standalone/hadoop-2.5.0/jars/hadoop-mapreduce.jar /chenzhengyou/mapreduce/wordcount/input/idea.input /chenzhengyou/mapreduce/wordcount/output/test01

查看结果：bin/hdfs dfs -text /chenzhengyou/mapreduce/wordcount/output/test01/par*