HDFS DN工作机制

最新推荐文章于 2024-03-22 15:46:17 发布
原创 最新推荐文章于 2024-03-22 15:46:17 发布 · 514 阅读 · 1
标签
#hadoop #hdfs
本文详细介绍了Hadoop HDFS DataNode(DN)的工作机制，包括数据完整性校验、节点掉线时限参数设置和服役新数据节点的过程。讨论了如何动态添加和退役节点，特别是通过白名单和黑名单配置来管理集群。同时提到了在数据不平衡时进行的再平衡操作。

Hadoop HDFS DN工作机制 数据完整性
在这里插入图片描述
在这里插入图片描述
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1418454027-192.168.1.102-1607949404504/current/finalized/subdir0/subdir0
这个目录下保存的是datanode数据：
在这里插入图片描述
.meta不是一个普通的文件，使用cat不能查看。
在这里插入图片描述
.meta是校验和。保证数据的完整性。DN会周期性的校验block，

Hadoop HDFS DN工作机制 掉线时限参数设置
服役新数据节点
在这里插入图片描述
hadoop的扩展性很好，体现在：
集群中有三台机器，之后发现三台不够，需要横向扩展到四台机器，动态添加机器，这个叫做服役新数据节点
集群中有一些机器闲置用不着，就需要退役旧节点
怎么将一台新机器加入到我们的集群中呢？
在web端查看节点：

最低0.47元/天 解锁文章
Hadoop目录下的data目录是干什么的
CSDN 精品推荐
03-05 967
data 目录通常位于 Hadoop 集群中的各个数据节点上，并且对于每个数据节点，它都会为其配置一个本地的 data 目录，用于存储该节点上的 HDFS 数据块。HDFS 数据块是大型文件在 HDFS 集群中的分布式存储形式，每个数据块通常为 64MB 或 128MB，通过将文件切分成多个数据块，可以实现 Hadoop 的高可靠性、高可扩展性和高性能。需要注意的是，data 目录是 Hadoop 集群中非常重要的一个目录，它存储了大量的数据块，因此必须确保其可靠性和安全性。
【HDFS】NN、2NN和DN工作机制
fu-jw的博客
04-11 5756
1、 NN和2NN工作机制 NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsI...
【Hadoop】学习笔记（三）
lushixuan12345的博客
09-12 960
【Hadoop】学习笔记（三）
HDFS节点内数据平衡
happy19870612's blog
11-16 8144
Hadoop集群使用久了，我们会发现一个问题，各个DataNode数据不平衡了，多的达到70-80%，少的达到10-20%。面对这种场景，我们一般使用HDFS自带的Blancer工具对其数据进行平衡。也就是他只能保证每一个节点的数据大小均衡。   但是有的时候，你会发现节点数据平衡了但是DataNode内部各个磁盘块上的数据不平衡了，这个Blancer就干不了这活儿。   比如某一个Dat
hadoop之常见命令
海鸥传奇的专栏
06-09 485
hadoop fs -tail /park01/1.txt 查看文件结尾内容 hadoop的数据存储在hdfs-site.xml文件中配置的dfs.datanode.data.dir 的值 例如在如下： /data/hadoop/hdfs/data/current/BP-1482353373-10.211.55.6-1559728004904/current/fina...
大数据系列一：Hadoop安装&配置&基本测试
dustzhu的博客
06-25 752
一.前言 趁这几天放假，把以前大数据学习笔记梳理下，复习&整合下知识点，包含hadoop系列,流计算框架，ELK Stack等；大数据的笔记相对完整些，开源词法&语法分析工具ANTLR4本来想分享一个系列，无奈笔记太零散了，代码又比较多，实在没精力整合；希望这个系列能完成。 二.基础配置 2.1.OS 准备3台centos/rhel7服务器，虚机/实体机都可以，OS默认安装即可。IP&HOSTNAME: 192.168.100.101 ipsnode1 192.168.100.102
Hadoop | HDFS 学习笔记（三）HDFS 读写流程 | NN、2NN、DN 工作机制 | FsImage与Edits的合并
希望每天都能进步一点点
01-18 1522
Hadoop3.1.3版本，关于HDFS的第三篇学习笔记，记录了NN、2NN、DN的工作机制，包括NN中Fsimage和Edits的合并机制，还有如何使用命令查看它们的内容
Hadoop中HDFS的读写流程及NN、2NN、DN的工作机制
weixin_46973649的博客
07-17 614
Hadoop中HDFS的读写流程及NN、2NN、DN的工作机制 HDFS读流程 客户端Client中的DistributedFileSystem对象申请下载文件，NameNode检查申请的文件是否存在，并查看要下载的文件夹是否有读权限，然后响应文件是否存在，DistributedFileSystem对象请求下载第一个Block，NN返回三个DN节点，客户端会开一个FSDataInputStream输入流，然后向其中一块DN请求建立通道，DN应答成功，开始传输Packet，其他两个DN负责当备胎，传输成功.
【Hadoop-HDFS】详细解析DN工作机制，添加黑白名单，DN多目录配置
一个写湿的程序猿
07-22 1469
第六章 DataNode 文章目录第六章 DataNode6.1 DataNode工作机制6.2 数据完整性6.3 掉线时限参数设置6.4 服役新数据节点6.5 退役旧数据节点6.5.1 添加白名单和黑名单6.5.2 黑名单退役6.6 DataNode多目录配置 6.1 DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括(数据块的长度，块数据的校验和，以及时间戳)。 （2）DataNode启动后向NameNode注册，通过后
Hadoop启动后发现datanode没有启动，data下没有current文件夹
qq_51330453的博客
03-22 2357
打开usr/hadoop/hdfs/name，发现里面有current文件夹，但usr/hadoop/hdfs/data下空空如也。期间并无报错，然后用start-dfs.sh再次启动Hadoop，也没有报错，但用jps一看，datanode还是没启动起来。把usr/hadoop/tmp整个文件夹删除，再把usr/hadoop/hdfs/name下的文件也全部删除，再次运行。我又想到是不是SSH的问题，我使用的是免密登录，检查一番之后发现也并无异常。意思是我的datanode根本没有生成日志。
Hadoop遇到的问题
qq_22583191的博客
02-05 532
1、sbin下面启动./start-all.sh 之后 jps查看服务，发现datanode，namenode都木有啊，头大 然后找了两个解决办法： 解决办法一: 根据日志中的路径，cd /app/tmp/hadoop/dfs/data/current【这个目录每个人不一样的，仅供参考，可以在$HADOOP_HOME/conf/hdfs-site.xml中自己看到的】，能看到 data和name...
HDFS文件储存目录
weixin_63872288的博客
03-10 5963
HDFS上传文件命令:hadoop fs -put HDFS下载文件命令:hadoop fs -get HDFS储存文件目录实在:tmp/dfs/data/current/finalized/subdir0/subdir0/ #tmp是在配置hdfs-site.xml是所配置的文件夹 tmp/dfs/name/current/VERSION下存储DataNode的clusterID ...
Hadoop学习笔记
Kaqiulee的博客
10-19 1050
前期搭建准备： vim /etc/hosts 将IP地址和主机名加入在最后 **免密登录的设置 https://www.cnblogs.com/wenxingxu/p/9597307.html 进入主目录 h1m1 下/root ls -a 查看.ssh .ssh是放密匙的地方,cd进入.ssh/ .ssh/文件夹下，ssh-keygen -t rsa 三次回车（即默认） ssh-keygen 生成密匙 -t rsa 使用rsa算法进行加密 ------------------------..
【Hadoop】节点的上线、下线
m0_37956758的博客
09-22 1072
hadoop节点的上下线
从0开始学大数据（4）：Hadoop完全分布式模式的配置和应用
Martin.Mu `s Special Column
02-20 545
前言 上一篇文章《从0开始学大数据（3）：Hadoop运行模式与官网案例（上）》我们学习了Hadoop的运行模式——伪分布模式的配置，这篇文章我们来学习另外一种Hadoop的运行模式——完全分布式模式。 配置完全分布式模式 首先我们来分析下我们的整体步骤： 1.准备三台客户机（关闭防火墙、静态ip、主机名称） 2.安装jdk 3.配置环境变量 4.安装hadoop 5.配置环境变量 6.安装ss...
HDFS文件存储组织
孤竹的博客
05-20 1112
1、作为一个分布式文件系统，HDFS内部的数据和文件存储机制、读写过程与普通的本地文件系统有较大的差别。 2、文件数据的存储组织 ①HDFS中最主要的部分就是NameNode和DataNode。NameNode存储了所有文件元数据、文件与数据块的映射关系，以及文件属性等核心数据，DataNode则存储了具体的数据块。 3、NameNode目录结构NameNode借助本地文件系统来保存数据，保
集群数据存储
程序员学习圈
04-29 910
1.HDFS相关 HDFS服务器存储文件的路径: cd /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-389705695-10.211.55.102-1525228873329/current/finalized/subdir0/subdir0/ namenode被格式化之后所在路径：cd /opt/module/h...
5.数仓项目经验—HDFS存储多目录和集群数据均衡
weixin_45267102的博客
09-08 717
文章目录HDFS存储多目录和集群数据均衡1. HDFS存储多目录2. 集群数据均衡2.1 节点间数据均衡2.2 磁盘间数据均衡☆ HDFS存储多目录和集群数据均衡 1. HDFS存储多目录 生产环境服务器磁盘情况 在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对
Hadoop实战-中高级部分 之 Hadoop 管理
jenmhdn
10-15 717
  Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 Hadoop RPC   第一部分：HDFS管理 命令行...
HDFS文件目录结构详解
m0_37613244的博客
11-22 6906
Namenode中主要存储fsimage和editlog文件，Datanode中主要存储数据块blk文件。下面分别介绍Namenode和Datanode中的文件存储结构。 文章目录1 Namenode1.1 文件所在位置 1 Namenode 1.1 文件所在位置 文件所在位置由hdfs-site.xml中的配置项dfs.namenode.name.dir配置。这些文件都存于${dfs.namenode.name.dir}/current文件夹下，在dfs.namenode.name.dir配置项中可以配置
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值