摘抄于书中内容:
第一:在新的API中,Mapper与Reducer已经不是接口而是抽象类。而且map函数与reduce函数也已经不再实现Mapper和Reducer接口,而是继承
Mapper和Reducer抽象类。这样更容易扩展,因为添加方法到抽象类中更容易。
第二:新的API中更广泛地使用了context对象,并使用MapContext进行MapReduce间的通信,MapContext同时充当OutputCollector和Reporter的角色。
第三:Job的配置统一由Configuration来完成,而不必额外地使用JobConf对守护进程进行配置。
第四:由Job类来负责Job的控制,而不是JobClient,JobClient在新的API中已经删除。
同时新的API同时支持“推”和“拉”式的迭代方式,在以往的操作中,<key,value>对式被推入到map中,现在可以将数据拉入map中,这样更加方便程序分批处理数据。
本书摘录了关于Hadoop与Spark新API的详细内容,包括Mapper与Reducer的升级为抽象类,引入了context对象进行MapReduce通信,Job配置统一使用Configuration,以及支持推拉式迭代方式等关键更新。

1773

被折叠的 条评论
为什么被折叠?



