我们在Hadoop集群配置完成之后输入命令指示符'jps'会出现如下图代码,但是大多数初学者并不了解这些代表着什么,也有缺某个而出现问题的情况接下来以下内容希望能给各位起到作用。

NameNode是HDFS的一个关键组件。它是HDFS的主要管理节点之一,负责维护和管理文件系统的命名空间以及数据块的位置信息。
1.功能:
NameNode负责存储文件和目录的元数据信息,如文件名称、目录结构、文件权限、文件长度等。它还维护了数据块与数据节点(DataNode)的映射关系。
DataNode是Apache Hadoop分布式文件系统(HDFS)的另一个关键组件,与前面提到的NameNode协同工作,用于存储和管理实际的数据块。
1.数据储存:
DataNode是HDFS集群中的节点,其主要任务是存储实际的数据块。它们管理文件数据的物理存储,负责读取和写入数据块。
Secondary NameNode(次要名称节点)是一个用于协助主要NameNode(名称节点)工作的辅助节点,它的作用是帮助减少主节点的故障恢复时间并提高系统的可靠性。
1.检查点节点:
Secondary NameNode也被称为"检查点节点",其主要功能是定期从主要NameNode处获取编辑日志和文件系统镜像,并将其合并为一个新的文件系统镜像。这个操作被称为"检查点(checkpoint)"操作。
2.自动化操作:
Secondary NameNode定期自动执行检查点操作,这个频率可以根据需要进行配置。默认情况下,它每小时执行一次,但您可以根据集群的需求进行调整。
3.主节点故障恢复:
当主节点发生故障时,Secondary NameNode并不会主动接管主节点的职责。它仅仅是提供一个更新的文件系统镜像供主节点在故障恢复时使用,以减少恢复时间。
ResourceManager(资源管理器)是负责整个集群的资源管理和作业调度的主要组件之一。
1.组件间通信:
ResourceManager与其他关键组件如NodeManager、NameNode和DataNode进行通信。它与NodeManager交换资源信息,与NameNode协调数据存储位置,与DataNode交互来读取和写入数据。
NodeManager(节点管理器)是一个负责单个节点上资源管理和任务执行的组件。
1.节点资源管理:
NodeManager负责管理单个节点上的资源,包括内存、CPU、磁盘和网络等。它与集群中的ResourceManager通信,定期报告节点上的可用资源,并接收来自ResourceManager的资源分配指令。NodeManager会根据指令来分配资源给正在执行的任务,并监控任务的资源使用情况。
2.任务执行:
NodeManager负责执行在该节点上分配的任务。它与Hadoop的任务调度器(如YARN的应用程序管理器)协作,接收来自调度器的任务,并在节点上启动和管理这些任务的执行。NodeManager监控任务的运行状态,包括启动、停止、失败恢复等,并将状态信息报告给ResourceManager。

4089

被折叠的 条评论
为什么被折叠?



