MapReduce采用“计算向数据靠拢”策略，将大文件分解为小分片并行处理。Map任务处理后，中间结果通过Shuffle进行分区、排序、合并，再由Reduce任务处理。体系架构包括Client、JobTracker、TaskTracker和Task，其中JobTracker负责资源调度，TaskTracker定期报告任务进度。Shuffle过程包括Map端和Reduce端，Map端数据溢出写入磁盘并分区排序，Reduce端从Map任务领取数据并归并。
MapReduce简介
mapReduce的设计理念是“计算向数据靠拢”，采用“分而治之”的策略，将庞大的数据集切分成多个独立的小分片，并且为每个小分片单独地启动一个map任务,这样多个小切片可以并行地执行map任务，在WordCount里面，一行文本就是一个小切片。其中，map任务地输出又作为reduce任务地输入。
适合mapReduce来处理的数据集需要满足一个前提：待处理的数据集可以分解成许多更小的数据集，且每一个更小的数据集都可以完全并行地处理。
MapReduce采用的是主从架构（Master/Slave），即一个主服务器（master），多个从服务器(slave)，master上运行JobTracker,slave运行Task Tracker。
Map和Reduce函数，如下表
上表的例子是wordCount，统计某个文件夹下的词频统计，在此例中，可以大的数据集就是文件夹的所有文件，分成的小数据是不同的单词，单词之间的频数不存在关联性
MapReduce 体系架构
MapReduce体系结构主要由4部分组成，分别是：Client、JobTracker、TaskTracker以及Task，如下图。
（1）Client
用户编写的MapReduce程序通过Client提交到JobTracker端，
用户可以通过Client提供的一些接口查看作业运行状态。
（2）JobTracker（运行在主服务器）
负责资源监控和资源调度
扫一扫
2551
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
