hadoop学习（7）—— 使用yarn运行mapreduce一个简单的wordcount示例

最新推荐文章于 2024-04-24 02:12:19 发布

原创最新推荐文章于 2024-04-24 02:12:19 发布 · 1.2k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#mapreduce #hadoop #yarn #文件系统 #应用

收录于

hadoop 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了一种基于Hadoop的文件系统(HDFS)及YARN的实际操作流程，包括文件系统的目录结构设置、测试数据的手动创建、数据上传至HDFS、通过YARN运行MapReduce示例并最终查看输出结果的具体步骤。

1.hdfs文件系统目录要求（建议）

    /user
        /{username}             --用户名
            /mr                 --MapReduce类型应用
                /wordcount      --应用的名称
                    /input      --要处理的文件
                    /output     --输出结果的文件夹

2.按照目录格式创建输入文件夹（不用创建输出文件夹）

    [root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -mkdir -p /user/root/mr/wordcount/input

3.手动创建测试数据

    cyhp supergroup
    hadoop hello
    hdfs hadoop
    mapreduce hadoop
    world yarn

4.将输入数据放入HDFS中

[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -put test-datas/wc.input  /user/root/mr/wordcount/input/

5.使用yarn运行示例

[root@hadoop-yarn hadoop-2.6.5]# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/mr/wordcount/input/ /user/root/mr/wordcount/output/

6.查看输出

[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par*

[root@hadoop-yarn hadoop-2.6.5]# bin/hdfs dfs -text /user/root/mr/wordcount/output/par*
cyhp    1
hadoop  3
hdfs    1
hello   1
mapreduce   1
supergroup  1
world   1
yarn    1