Hadoop 中 最重要的两个模块

最新推荐文章于 2022-08-08 18:23:11 发布
原创 最新推荐文章于 2022-08-08 18:23:11 发布 · 2.4k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文详细介绍了Hadoop中两个核心模块HDFS与MapReduce的工作原理及架构组成。HDFS包括NameNode、SecondaryNameNode等组件负责文件存储管理；MapReduce通过JobTracker（1.0）和ResourceManager（2.0）等组件实现任务调度与资源分配。
Hadoop 中 最重要的两个模块
HDFS   分布式的文件系统
主节点：
NameNode
SecondaryNamenode
ResourceManager


从节点：
DataNode
NodeManager


MapReduce  分布式的并行计算框架
job.submit();
job.waitForCompletion();


就会启动运行一个job


MR的job在分布式的集群中如何运行


主节点
ResourceManager(2.0)
JobTracker： (1.0)
用来管理任务job执行


时资源的分配
用来监控从节点运行


job任务的情况
用来分配job的任务具


体给那个从节点
从节点
applicationMaster


（MrAppMaster hadoop2.0）
用来管理任务job执行


时资源的分配
用来监控从节点运行


job任务的情况
用来分配job的任务具


体给那个从节点
TaskTracker（Map Reduce）


(1.0)
任务的执行者
YarnChild(2.0)


YarnChild(2.0)实时向applicationMaster汇报信息，


applicationMaster实时向ResourceManager汇报信息












Beeman_xia
关注
大数据处理--hadoop2.0核心架构技术
08-27
大数据处理--hadoop2.0核心架构技术,主要介绍了大数据面临的挑战，而hadoop正是解决这些挑战的重要技术，接着分别介绍了hadoop1.0和hadoop2.0的区别，进而重点讲到hadoop2.0 YARN，详细分析MapReduce及HDFS架构。
Hadoop生态系统模块功能分析
Frank_me的博客
11-13 1287
Hadoop生态系统模块框架如图1-1所示： 图1-1 Hadoop生态系统模块框架 Hadoop生态系统保护的模块有： （一）HDFS：分布式文件系统 用于提供Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序...
3.2 Hadoop简介
cjjtree123的博客
05-13 2671
Hadoop是较早用来处理大数据集合的分布式存储计算基础架构，最早由Apache软件基金会开发。 Hadoop软件库是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。 Hadoop被设计成可扩展的，它可以方便地从单一服务器扩展到数千台机器，每台机器进行本地计算和存储。 3.2.1 Hadoop的构成 Hadoop包括以下四个基本模块： ● Hadoop基础功能库：支持其他Hadoop模块的通用程序包。 ● HDFS：一个分布式文件系统，能够以高吞吐量访
Hadoop模块组成
weixin_47009279的博客
05-24 866
Hadoop模块组成(HDFS+YARN) 一、HDFS：分布式文件存储系统 1.什么是文件存储系统？ 在了解HDFS之前，我们首先要了解什么是文件存储系统，顾名思义，文件存储系统就是能存储文件；查找、修改、删除文件；文件在文件存储系统中不能随意丢失，满足以上几个功能的就可以称为一个文件 二、YARN：资源调度管理系统 ...
hadoop各组件及其作用
你的骑士
05-25 1万+
Hadoop是一个适合海量数据分布式存储和计算的一个平台。目前主要由三大组件组成： HDFS 、mapreduce、Yarn。 HDFS：是一个分布式存储框架，适合海量数据的存储 mapreduce ： 是一个分布式计算框架。适合海量数据的计算 Yarn：是一个资源调度平台，负责给计算框架分配资源 1.HDFS 主从结构，由namenode和datanode组成。其中namenode最多可以有两个，但同时只能有一个。datanode理论上可以有无限个，极限大概是4000台。 namenode负责：
HDFS的namenode和datanode
Murphyt的专栏
11-29 1430
一、概述 HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。 HDFS Architecture： 二、Namenode Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的
资源调度器是Hadoop集群中一个比较重要的模块
tao_wei162的博客
01-23 271
资源调度器是Hadoop集群中一个比较重要的模块，最初的hadoop资源调度器是基于队列形式的FIFO调度的，这种模式在大规模集群的时候，资源分配并不是很合理，比如一个后提交的任务，但想要它先执行怎么办，而在FIFO模式下，只能等到前面所有的JOB执行完后，才能执行这个作业。所以如何进行资源的合理管理和分配，就成了一个急待解决的需求，由此就产生了后来的二个非常优秀的调度器分别是Yahoo!开源...
【学习笔记】Hadoop1：Hadoop的四大模块
Pro_MikeXiao的博客
06-23 3093
【学习笔记】Hadoop1：Hadoop的四大模块前言Hadoop的优势Hadoop的组成结构1. common（工具类）2. Hadoop Distributed File System(HDFS)- NameNode- DataNode- Secondary NameNode3. YARN（Yet Another Resource Negotiator）- ResourceManager- ApplicationMaster- NodeManager4. MapReduce 前言 Hadoop是一个由A
hadoop常用四大模块及五大进程节点介绍
一亩三分地
05-19 1万+
1.1hadoop常用四大模块文件: 1.1.1core-site.xml(工具模块) 包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。 ...
Hadoop四大组件介绍
CSDN19970806的博客
08-07 1万+
1.学习Hadoop之前需要的基础，javaSE（基础），EE(SSM)，Linux基础，因为90%的框架都是用java写的，Hadoop、hive、HBase、下面是Hadoop的有关介绍。 2.学习大数据里面最核心的就是Hadoop，我们知道什么是大数据。就是一个非常庞大的数据，计算机无法直接取读取以及分析处理，这个时候就要用到我们学到的大数据。       Hadoop的四大组件： ...
Hadoop组件概览
Heaven Wang 的专栏
07-18 4523
一、Hadoop构造模块      运行Hadoop的意思其实就是运行一组守护进程（daemons），每个进程都有各自的角色，有的仅运行在单个服务器上，有的则运行在集群多个服务器上，它们包括： NameNodeSecondary NameNodeDataNodeJobTrackerTaskTracker      Hadoop是一个分布式存储与计算系统，分布式存储部分是HDFS，分布
Apache Hadoop三大模块和生态
Learning
08-08 1515
Apache™ Hadoop® 项目为实现可靠的、可扩展的分布式计算而开发了一系列开源软件。 Apache Hadoop软件库是一个框架，它允许使用简单的编程模型来实现跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库不是依靠硬件来提供高可用性，而是通过自身框架来检测和处理应用层的故障，以便在计算机集群之上提供高可用性服务。 .........
Hadoop 的模块结构
wuscar0703的专栏
11-18 2974
Hadoop是用来干什么的呢？ 处理海量数据：量的大， 多， PB --ZB |------>存储： 分布式， 集群的概念， 管理（主节点， 从节点）， | HDFS （hadoop distributed Filesystem） |------>分析： 分布式， 并行，离线并行的计算框架，管理（主，从节点）对应mapreduce Hadoop的特点以及思想  
hadoop基础组件介绍
suifengdechen的博客
09-08 1333
hadoop 的核心 HDFS: Hadoop Distributed File System 分布式文件系统 YARN: Yet Another Resource Negotiator    资源管理调度系统 Mapreduce：分布式运算框架 主从结构     主节点，namenode     从节点，有很多个: datanode namenode负责：
hadoop的三大核心组件之HDFS和YARN
Zonzereal的博客
09-26 2万+
Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /N
Hadoop的两个核心组成
惡魔乜單純的博客
08-28 1万+
Hadoop的两个核心组成： HDFS:分布式文件系统，存储海量的数据。 MapReduce:并行处理框架，实现任务分解和调度。
Hadoop学习（二）Hadoop三大核心组件
热门推荐
weixin_40535323的博客
08-25 5万+
Hadoop的三大核心组件分别是： HDFS（Hadoop Distribute File System）：hadoop的数据存储工具。 YARN（Yet Another Resource Negotiator,另一种资源协调者）：Hadoop 的资源管理器。 Hadoop MapReduce:分布式计算框架 一.HDFS 1.HDFS概述 HDFS是google三大论文之一的GFS的开...
Hadoop源码阅读之三个核心模块代码组织情况(一)
时刻保持危机感&对知识的渴望
02-24 4366
（一）Hadoop下三大核心项目说明： 1.Common----Hadoop项目的core部分更名为Hadoop Common。Common为Hadoop的其他项目提供了一些常用的工具，主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们在通用硬件上搭建云计算环境提供的基本的服务，并为之该平台上的软件开发提供了所需的
Hadoop生态系统---各个模块介绍
qq_39579290的博客
03-01 2062
Hadoop生态系统 1.1 HDFS HDFS是一个分布式文件系统，是做顺序读写的。HDFS主要负责整个分布式文件的存储，即怎么用成百上千台服务器完成数据的存储。 1.2 YARN YARN主要负责资源的调度，即数据存储之后需要进行相关的处理，处理之前需要有相关的框架去调度计算资源，底层资源主要靠YARN框架进行调度，YARN专门负责调度内存、cpu、带宽等计算资源。 以上组件如何完成具体的计算工作： 1.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值