Hadoop系列-Windows 环境中 Eclipse 用Maven构建Hadoop项目

最新推荐文章于 2025-05-25 16:29:39 发布

原创最新推荐文章于 2025-05-25 16:29:39 发布 · 1k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop #eclipse #windows #maven #解决方案

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文提供了一种在Windows环境下使用Maven构建Hadoop项目的详细步骤，包括环境搭建、Maven配置、项目创建、依赖添加、配置本地主机、模拟Hadoop环境以及编写和运行WordCount程序。教程旨在简化复杂过程，帮助开发者快速上手。

1. 问题提出

大家都知道在windows 下用eclipse 开发Java 代码非常方便，但是如何在windows环境中构建Eclipse项目，并且连接到远程hadoop是一个非常繁琐的事情。

有人通过eclipse插件方式连接- hadoop-eclipse-plugin-2.6.0.jar. 具体请参考以下博文

http://my.oschina.net/muou/blog/408543?fromerr=4HUy3g6f

下面介绍的是另外一种通过Maven构建Hadoop 项目，并且连接远程hadoop的例子。

2. 开发坏境

Wind 7 64 bit

jdk1.8.0_60 http://pan.baidu.com/s/1skblX3B

Hadoop 2.6 - http://pan.baidu.com/s/1eRndCKa

apache-maven-3.3.9 - http://pan.baidu.com/s/1kUcKeov

Hadoop2.6 windows 编译库 - http://pan.baidu.com/s/1c1euqm0

Eclipse Java EE IDE for Web Developers. Version: Mars.1 Release (4.5.1)

3. 实现步骤

因为我不想写一个傻瓜式guide，所以很多步骤请大家自己来做。

3.1 安装java jdk1.8.0_60 和 hadoop 2.6

环境变量： JAVA_HOME,Hadoop_home,Classpath 和Path。

3.2 Windows 下安装Eclipse

3.3 Windows 下安装Maven

添加环境变量PATH:

C:\lone_zz\software\hadoop\toolkit\maven_3_3_9\bin;

3.4 因为eclipse 自带Maven插件，无需额外安装。

如果eclipse版本低，请参考其他blog安装

3.5 在eclipse中创建maven project.

这里推荐用 cmd 命令方式创建，然后 import到 Eclipse 的 Maven project中去，具体步骤可以参见其他blog，非常简单。

1).用Maven创建一个标准化的Java项目

参考命令：

mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes-DgroupId=org.allen.myhadoop.mr -DartifactId=myHadoop -DpackageName=org.allen.myhadoop.mr-Dversion=1.0-SNAPSHOT -DinteractiveMode=false

cd myHadoop

mvn clean install

2).导入项目到eclipse

3).增加hadoop依赖，修改pom.xml

关键的部分是修改POM.xml,这个是 hadoop 2.6的

   <groupId>org.allen.myhadoop.mr</groupId>
   <artifactId>myHadoop</artifactId>
   <version>1.0-SNAPSHOT</version>
   <packaging>jar</packaging>
   <name>myHadoop</name>
   <url>http://maven.apache.org</url>
<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>

<dependencies>
    <dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>3.8.1</version>
    <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.6.0</version>
    <exclusions>
    <exclusion>
    <groupId>jdk.tools</groupId>
    <artifactId>jdk.tools</artifactId>
    </exclusion>
    </exclusions>
    </dependency>

  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.6.0</version>
  </dependency>

  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.6.0</version>
  </dependency>

  <dependency>
    <groupId>jdk.tools</groupId>
    <artifactId>jdk.tools</artifactId>
    <version>1.6</version>
    <scope>system</scope>
    <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
  </dependency>
</dependencies>
</project>

4).下载依赖
参考命令：C:\Users\allen\workspace\myHadoop>mvn clean install
5).从Hadoop集群环境下载hadoop配置文件
导入hadoop 配置文件，core-site.xml hdfs-site.xml 和 mapred-site.xml

具体如下图：

6).配置本地host

修改hosts文件,将运行hadoop的ip 和服务器名称添加进去。
c:/Windows/System32/drivers/etc/hosts

3.6 模拟hadoop windows 环境

其实很简单，只需要解压Hadoop2.6 windows 编译库，将里面的内容放入 windows/system32 下面。

3.7 创建WordCount.java 程序，并且配置好参数，然后正常运行该程序。

这里并不是将 export出来的jar包上传到hadoop远程服务器上运行，而是本机运行，哪里报错直接调试哪里。

当程序调试成功，再放到服务器运行：

如果无法正常输出日志，请在eclipse 添加log4j.properties

/myHadoop/src/main/java/log4j.properties

log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG

#end

eclipse导出jar包用以下方法
File-> export -> java -> JAR file

好了，今天是元旦，祝大家新年快乐！天天进步！

转载请注明出处，支持原创！