用Maven构建Hadoop环境

最新推荐文章于 2024-12-24 14:50:37 发布

原创最新推荐文章于 2024-12-24 14:50:37 发布 · 7k 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何使用Maven创建并配置Hadoop项目。首先，通过Maven的maven-archetype-quickstart模板创建Java项目，然后解决因误放pom.xml导致的问题。接着，导入项目到Eclipse，并在pom.xml中添加hadoop的依赖，注意版本匹配。下载依赖后，从Hadoop集群环境获取配置文件并配置本地host。最后，编写并运行WordCount程序，成功进行Hadoop作业提交。

1.1用Maven创建一个标准化的Java项目

mvn archetype:generate -DgroupId=com.baidu -DartifactId=InstructionsHdfs -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

注：

DgroupId：project-packaging
DartifactId：project-name
DarchetypeArtifactId：maven-archetype-quickstart 模板创建 Java 项目

成功的截图：
在这里插入图片描述

Problem:出错的地方
Unable to add module to the current project as it is not of packaging type ‘pom’
原因：maven不允许在使用maven创建的项目里面，再用maven来创建文件。我在eclipseWorkSpace文件夹里边不小心方了pom文件，所以maven以为eclipseWorkSpace文件夹是maven创建的文件，所以不允许再在eclipseWorkSpace里边创建文件
方法：删去eclipseWorkSpace下的pom.xml(不要乱放文件)

1.2导入项目到eclipse
打开eclipse，在工作栏右键import。注意：import的是maven文件
在这里插入图片描述

效果：
在这里插入图片描述
1.3增加hadoop依赖
修改文件：pom.xml
注：这个文件的意义是，你把你工程需要的东西全部都写到里边，待会后边会下载这些你需要的依赖
举个例子：我使用的是hadoop2.9.2版本，所以我这么写

<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>my.hadoopstudy</groupId>
    <artifactId>hadoopstudy</artifactId>
    <packaging>jar</packaging>
    <version>1.0-SNAPSHOT</version>
    <name>hadoopstudy</name>
    <url>http://maven.apache.org</url>
 
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>
 
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>

Problem:出错的地方
网上的教程一个模板的都写

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>1.0.3</version>
</dependency>

你这要注意：这里指的是他的版本是hadoop1.0.3，所以他写的是1.0.3。比如我安装的是hadoop2.9.2，如果我这样写，在后边运行的时候就会出现：
Server IPC version 9 cannot communicate with client version 4错误。但是又不能像下面这样写：因为maven没有hadoop-core2.9.2版本，要像我上边那样，用对应版本的hadoop-common、hadoop-client

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>2.9.2</version>
</dependency>

1.4下载依赖
进入刚才创建的那个文件夹，执行命令

mvn clean install

结果：
在这里插入图片描述

1.5从Hadoop集群环境下载hadoop配置文件
这里要配置三个文件：core-site.xml、hdfs-site.xml、mapred-site.xml
我的配置如下

core-site.xml

<configuration>                    
	<property>
		<name>fs.default.name</name>                        
        <value>hdfs://host:9000</value>                    
    </property>                
</configuration>

hdfs-site.xml

<configuration>         
	<property>                
		<name>dfs.replication</name>                
        <value>1</value>            
    </property>        
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://host:9001</value>
	</property>
</configuration>

养成习惯，保存在src/main/resources/hadoop目录下面
在这里插入图片描述

1.6 配置本地host，增加master的域名指向
要明白这个的意义是什么：可以想一下，上面第五步，配置的时候，全都是用host这个量，但是host是什么？得让计算机知道你的host是什么
找到host，打开，添加下面一行（如果hosts文件是只读的，把可读文件权限改成可写）
在这里插入图片描述

host  你的hadoopIP

1.7 写个程序测试一下
前提是：我已经搭建好HDFS，并且启动了hadoop的结点了，所以不要像网上教程一样，傻傻的复制代码（还用的是别人的HDFS配置运行程序），觉得无法运行
下面试着在eclipse上运行最简单的字数统计程序：WordCount
1.7.1 WordCountJobSubmitter

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IntWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCountJobSubmitter {
	 public static void main(String[] args) throws Exception { 
		 Configuration conf = new Configuration();//实例化，从Hadoop的配置文件里读取参数
		 //String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();//args命令行参数
		 //if (otherArgs.length != 2) {//判断参数的个数是否正确 
		   //	System.err.println("Usage: wordcount <in> <out>");      
	    	//System.exit(2);    
		 //}
		 Job job = new Job(conf, "wordcount");//job_name = "wordcount"    
		 job.setJarByClass(WordCountJobSubmitter.class);//输入    
		 job.setMapperClass(WordCountMapper.class);  //输入  
		 job.setReducerClass(WordCountReducer.class);   //输入
		 job.setOutputKeyClass(Text.class);    //输出
		 job.setOutputValueClass(IntWritable.class); //输出   
		 System.out.println("1");
		 FileInputFormat.addInputPath(job, new Path("hdfs://193.178.136.132:9000/user/nancy/readme.txt"));//输入文件    
		 FileOutputFormat.setOutputPath(job, new Path("hdfs://193.178.136.132:9000/user/result/wordcount/try2"));//输出文件    
		 System.out.println("2");
		 System.exit(job.waitForCompletion(true) ? 0 : 1);//若执行完毕，退出
		 
	 }
}

1.7.2 WordCountMapper

import java.io.IOException; 
import java.util.StringTokenizer;
import org.apache.hadoop.io.IntWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper  extends Mapper<Object, Text, Text, IntWritable>{ 
	IntWritable one = new IntWritable(1);  //定义输出值始终是1
	Text word = new Text();   //定义输出形式key的形式
	public void map(Object key, Text value, Context context)throws IOException, InterruptedException {
		StringTokenizer itr = new StringTokenizer(value.toString());//输入值是Text，需要转换
		while (itr.hasMoreTokens()){      
			word.set(itr.nextToken()); //把输出的可以保存起来
			//System.out.printf("%d\n",one);
			context.write(word, one); //以形式<word,1>保存  
		}  
    }
}

1.7.3 WordCountReducer

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Reducer;

//输入键类型，输入值类型，输出键类型， 输出值类型
public class WordCountReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
	  IntWritable result = new IntWritable();
	  public void reduce(Text key, Iterable<IntWritable> values, Context context)
			  throws IOException, InterruptedException {
		  int sum = 0;    
		  for (IntWritable val : values) {      
			  sum += val.get();    
		  }    
		  result.set(sum);    
		  context.write(key, result);  
	  } 
}

最后查看结果：运行成功：
在这里插入图片描述
Problem:出错的地方