客户端提交MR程序job的流程

最新推荐文章于 2024-06-14 14:18:14 发布

原创最新推荐文章于 2024-06-14 14:18:14 发布 · 1.5k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop

大数据同时被 3 个专栏收录

13 篇文章

订阅专栏

hadoop

5 篇文章

订阅专栏

mapreduce

4 篇文章

订阅专栏

这篇博客总结了Hadoop客户端提交MapReduce任务的过程，包括通过Job.waitForCompletion()调用job.submit()，JobSubmitter的Cluster内部使用动态代理提交到Yarn或LocalJobRunner。流程涉及Staging目录的获取，根据jobID创建提交路径，处理切片规则，序列化FileSplit，写入job.xml，以及拷贝job的jar包到指定路径。

这里是我自己总结的简单的描述：

Configuration conf = new Configuration();
//  conf.set("mapreduce.framework.name", "yarn");
//  conf.set("yarn.resoucemanager.hostname", "hadoop");
    Job job = Job.getInstance(conf);
    //将客户端的程序 打成jar 获取jar所在的路径 （指定本程序jar包所在的本地路径）
    job.setJarByClass(FlowCount.class);
    //指定本业务Job要使用的mapper reducer业务类
    job.setMapperClass(FlowCountMapper.class);
    job.setReducerClass(FlowCountReducer.class);
    ....

接下来的整体逻辑
1.Job.waitForComPletion()—->job.submit()
Job.submit()里面有一个JobSubmiter ,它里面有一个成员是Cluster ，它里面有一个成员是proxy（动态代理）它可以提交给YarnRunner 或者是本地的LocalJobRunner
接着他们
1. 获取 StagingDIR 如果提交到本地目录是：file://……./. Staging 提交到yarn的目录是：hdfs://……./. Staging
2. 获取jobID与上面的拼接成一个job资源提交路径file://……./. Staging/jobid或者hdfs://……./. Staging/jobid
3. 处理切片规则
调用FileInputFormat.getSpilts()获取切片规划List《FileSpilt》
FileSpilt 序列化成文件 job.spilt（将文件拷贝到job资源提交的路径中去）
4. 将job相关参数写到一个文件 job.xml （将文件拷贝到job资源提交的路径中去）
5. 获取job的jar包（将文件拷贝到job资源提交的路径中去）