大数据实验总结（六）--搭建Mapreduce（YARN）环境，运行Wordcount示例

搭建Mapreduce（YARN）环境

• 修改yarn-site.xml文件：

cd /usr/local/hadoop/etc/hadoop/
vim yarn-site.xml

如图：

具体内容：

<!-- Site specific YARN configuration properties -->
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class </name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

其中名称yarn.resourcemanager.hostname指的是ResourceManager机器所在的节点位置；名称yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle.

测试YARN环境

• 启动hdfs
  start-dfs.sh
• 启动hdfs
  Start-yarn.sh
  使用浏览器打开页面：

http://master:8088/
或http://192.168.50.100:8088/

测试Mapreduce环境（运行Wordcount示例）

find /usr/local/hadoop -name *example*.jar
 //查找示例程序,目录名需根据自己环境适当调整。

• 在HDFS上创建input目录
  hdfs dfs -mkdir input
• 在HDFS上创建output目录
  hdfs dfs -mkdir output
• 创建运行示例文档CountWord.txt并进行编写：
  

例：

helol
123
hello world
hello java
hello html
hello css
hello c
hello c#
hello world
hello css
hello c
hello c#
hello world
hello css
hello css
hello css
hello c
hello c#
hello world

hello c
hello c#
hello world
hello c
hello c#
hello world
hello css
hello c
hello c#
hello world
hello css
hello c

• 将CountWord.txt上传到HDFS中input目录下：

hdfs dfs -put CountWord.txt /input

• 查看：
  hdfs dfs -ls /input
  
• 运行Wordcount示例程序：
  输入为：/input/CountWord.txt ，运行结果输出目录为： /output

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/CountWord.txt  /output

出现错误（FileAlreadyExistsException: Output directory hdfs://master:9000/output already exist