Hadoop 组成

最新推荐文章于 2025-05-14 14:46:46 发布
原创 最新推荐文章于 2025-05-14 14:46:46 发布 · 2.2k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hadoop #组成 #结构
本文介绍了Hadoop 2.2.0 的主要组成部分，包括HDFS和MapReduce，并详细解释了各组件的作用及启动方式。HDFS通过NameNode和DataNode实现数据存储；而MapReduce在2.0版本后引入YARN，通过ResourceManager和NodeManager进行任务调度。

这里介绍一下hadoop的组成， hadoop主要由两部分组成，，一个是hdfs，另一个是mapreduce

这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.

dfs 主要用来启动 namenode 和 datanode， namenode既是是传说中的matser, datanode 是传说中的slave。

yarn 主要用来启动resourcemanager 和nodemanager。resourcemanager也被称为jobtracker，nodemanger也被称为tasktracker.

下图是yarn的组成结构图。详细介绍请看

http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/YARN.html


 


reference：http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/YARN.html


Hadoop由哪几部分组成？
lmseo5hy的博客
05-16 1万+
Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理，其有许多元素构成，以下是其组成元素：1.Hadoop Common：Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。2.HDFS：分布式文件系统，提供高吞吐量的应用程序数据访问，对外部客户机而言，HDFS 就像一个传统的分级文件系统。可以创建、删除、...
Hadoop是什么，Hadoop主要有哪几部分组成？
多智时代的博客
03-23 1万+
通俗来讲，Hadoop是由Apache软件基金会所开发出来的开放源代码分布式计算技术，是以Java语言开发，专门针对大量且结构复杂的大数据分析所设计，其目的不是为了瞬间反应、撷取和分析数据，而是通过分布式的数据处理模式，大量扫描数据文件以产生结果。其在效能与成本上均具有优势，再加上可通过横向扩充，易于应对容量增加的优点，因而备受瞩目。 Hadoop不需要使用商业服务器，在一般个人计算机上就能运转。...
Hadoop是什么，主要由哪几个项目组成？
数智集的博客
04-02 8013
1Hadoop大数据处理的意义 Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的...
hadoop的组成
qq_73339471的博客
01-15 1185
HDFS，全名为Hadoop Distributed File System，是一个hadoop分布式文件系统，用于文件存储。HDFS含有三个服务，分别为NameNode，DataNode，Secondary NameNode：元数据节点• NameNode 是HDFS的“大脑”，存储文件的元数据，如文件名位置大小文件目录结构文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。• 一个HDFS集群只有一个Active的NameNode：数据节点。
HADOOP组成部分
热门推荐
weixin_44524441的博客
11-12 3万+
Hadoop的组成
最新发布
yuhuhuh的博客
05-14 456
（1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。在Hadoop3.X中，hadoop一共有四个组成部分：MapReduce计算，Yarn资源调度，HDFS数据存储，Common辅助工具。（4）Container: 容器，相当于一台独立的服务器，里面封装了任务运行时所需要的资源：如内存、cpu、磁盘、网络等等。（1）ResourceManager(RM):整个集群资源（内存，CPU等）的老大。
Hadoop组成
mengxianglong123的博客
07-03 1121
一、Hadoop组成概览 二、Hadoop各个模块简介 2.1 HDFS架构概述 2.2 YARN架构概述 2.3 MapReduce架构概述 MapReduce将计算过程分为两个阶段：Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 三、大数据技术生态体系 图中涉及的技术名词解释如下： 1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySql）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Or
大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态
LCreator的博客
02-28 462
从Hadoop框架讨论大数据生态 目录 从Hadoop框架讨论大数据生态 2.1 Hadoop是什么 2.2 Hadoop发展历史（了解） 2.3 Hadoop三大发行版本（了解） 2.4 Hadoop的优势（4高） 2.5 Hadoop组成（面试重点） 2.5.1 HDFS架构概述 2.5.2 YARN架构概述 2.5.3 MapReduce架构概述 2.6 大数据技术生态体系 2.7 推荐系统框架图 2.1 Hadoop是什么 2.2 Hadoop发展历史（了解）
hadoop知识点总结（三）YARN设计理念及基本架构
weixin_30824277的博客
06-12 679
YARN设计理念与基本架构 1，MRv1的局限性：扩展性差，可靠性差，资源利用率低，无法支持多种计算框架 2，YARN基本设计思想 1）基本框架对比 Hadoop1.0中，JobTracker由资源管理和作业控制两部分组成 MRv1的局限性多，正是由于Hadoop对JobTracker赋予的功能过多而造成负载过重 从设计角度，Hadoop未能将...
hadoop2.0核心组件
javaZhong的博客
12-14 7261
hdfs:(分布式文件系统):解决海量数据存储。 yarn:（作业调度和集群资源管理的框架）：解决资源任务调度。 mapreduce:(分布式运算编程框架)：解决海量数据计算。        ...
Hadoop 基础系列一Hadoop 系列之 1.0 和2.0 架构
程序员小陶的大数据分享
03-08 611
精选30+云产品，助力企业轻松上云！>>> Hado...
Hbase配置中出现的问题总结
robinson的专栏
06-05 3935
在create table的时候出现如下问题 1. ERROR: java.io.IOException: Table Namespace Manager not ready yet, try again later 解决方案：这个问题是从单机配置到多机配置的时候出的问题，修改conf/hbase-env.sh 注释掉export HBASE_MANAGES_ZK=true
Ubuntu 安装 spark
robinson的专栏
05-28 2033
环境： Unbunt 12.04 Hadoop 2.2.x Sprak 0.9 Scala scala-2.9.0.final.tgz 步骤 1. 下载 scala 2. 解压scala，然后修改/etc/profile，添加如下 export SCALA_HOME=/home/software/scala-2.9.0.final export PATH=$P
Hadoop 安装配置过程中出现问题总结
robinson的专栏
05-05 1691
问题1. No route to host。 分析：这个一般是
Hadoop 2.2.0 配置安装
robinson的专栏
05-02 1448
centos 配置hadoop 2.2. 非常全面
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值