MapReduce.祖孙关系

最新推荐文章于 2026-06-20 23:32:29 发布

原创最新推荐文章于 2026-06-20 23:32:29 发布 · 114 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#mapreduce #hadoop #hdfs

收录于

文章描述了一位用户进行Hadoop环境的配置，包括启动HDFS，创建目录，上传文件到HDFS，编写并编译Java程序（Join2.java），然后使用Hadoop运行该程序并将结果输出到HDFS的过程。

输入

Steven   Lucy
Steven   Jack
Jone     Lucy
Jone     Jack
Lucy     Mary
Lucy     Frank
Jack     Alice
Jack     Jesse
David    Alice
David    Jesse
Philip   David
Philip   Alma
Mark     David
Mark     Alma

创建文件夹：mkdir /home/stu/codes

进入：cd /home/stu/codes

编辑文档：vim a.txt

查看：ls

开启hadoop：

进入：cd /usr/local/hadoop

启动：./sbin/start-dfs.sh

hdfs创建：./bin/hdfs dfs -mkdir -p /user/stu

上传至hdfs：./bin/hdfs dfs -put /home/stu/codes/a.txt /user/stu/indir3

编辑Join2.java

进入：cd /usr/local/hadoop

编辑文档：vim Join2.java

export：让javac编译程序可以找到Hadoop相关的JAR包：

export CLASSPATH="/usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.3.jar:/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.1.3.jar:/usr/local/hadoop/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH"