Hadoop——实验七：MapReduce编程实践

一. 实验目的

  掌握MapReduce编程实践技术。

二. 实验内容

  1) 基于ubuntukylin14.04(7)版本，安装hadoop-eclipse-kepler-plugin-2.6.0.jar，形成ubuntukylin14.04(8)版本。
  2) 基于ubuntukylin14.04(8)版本，通过eclipse完成MapReduce编程实践。
  参考：http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

三. 实验步骤及结果分析

 1. 基于ubuntukylin14.04(7)版本，安装hadoop-eclipse-kepler-plugin-2.6.0.jar

  版本说明：ubuntukylin14.04(7)=hadoop集群（hadoop2.6.0版本）+hbase伪分布式（hbase1.1.2版本）

  注：hadoop-eclipse-plugin下载地址为: https://github.com/winghc/hadoop2x-eclipse-plugin

 1.1 安装hadoop-eclipse-plugin

  首先下载插件，然后输入unzip -qo ~/下载/hadoop2x-eclipse-plugin-master.zip -d ~/下载命令将其解压到下载目录，然后输入sudo cp ~/下载/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /opt/eclipse/plugins/命令将hadoop-eclipse-kepler-plugin-2.6.0.jar复制到ecljpse安装目录的plugins文件夹中。然后输入/opt/eclipse/eclipse -clean命令启动eclipse使插件生效。

 1.2 配置hadoop-eclipse-plugin

  首先输入start-dfs.sh、start-yarn.sh、mr-jobhistory-daemon.sh start historyserver三个命令启动Hadoop集群，然后启动eclipse。
  点击导航栏Windows→Show View→Project Explorer，在左侧就会显示出DFS Locations。


  然后点击导航栏Windows→Preferences→左侧Hadoop Map/Reduce→在Hadoop installation directory中填写Hadoop的安装地址/usr/local/hadoop→Apply and Close。


  然后点击导航栏Windows→Perspective→Open Perspective→Other→Map/Reduce→Open，就会在控制台下方显示Map/Reduce Locations面板。



  在Map/Reduce Locations面板中右击→New Hadoop location…→Location name自定义→Map/Reduce(V2)Master的Host为K1、Port默认→DFS Master的Port为9000→User name默认→Finish。其中，因为我的Hadoop是集群式，设置的fs.defaultFS为hdfs://K1:9000，所以DFS Maser要与其对应。

 2. 基于ubuntukylin14.04(8)版本，通过eclipse完成MapReduce编程实践

  版本说明：ubuntukylin14.04(8) =hadoop集群（hadoop2.6.0版本）+hbase伪分布式（hbase1.1.2版本）+安装好hadoop-eclipse-kepler-plugin-2.6.0.jar

 2.1 通过eclipse操作HDFS文件

  确保已经启动了Hadoop集群，然后打开eclipse，此时展开左侧DFS Locations就可以查看HDFS中的文件，然后可以通过右键进行上传、下载、删除等操作，不用再通过繁琐的hdfs dfs -ls等命令进行操作。

 2.2 通过eclipse创建MapReduce项目

  点击导航栏File→New→Project…→选中Map/Reduce Project→Next→Project name为mcf14HDFSgzxm→Finish，然后在左侧就能看到创建的项目了。



  右击mcf14HDFSgzxm项目→New→Class→Package改为org.apache.hadoop.examples→Name为mcf