本文详细介绍了HDFS中文件上传的过程，包括客户端与NameNode、DataNode的交互，数据分块、校验、建立通信管道以及三级缓存机制。当DataNode故障时，HDFS具备特发状况的容错机制，如动态调整副本数，重新传输数据。此外，还提到了机架感知策略，确保数据分布的高效性和可靠性。
- 1 客户端通过Distributed FileSystem模块向NameNode请求上传文件，namenode会进行校验
- 2 namenode返回可以上传
- 3 客户端请求上传第一个block 到哪几个DataNode上
- 4 datanode返回三个节点 分别为d1,d3,d6
- 5 客户端请求d1上传数据 ，d1收到请求会调用d3， d3继续调用d6 ，将这个通信管道建立完成
- 6 开始传输文件信息，以packet为单位进行传输，以chunk为单位进行校验
- 7 d1，d3，d6 逐级相应客户端
- 8 当第一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器（重复3-7步）
上传文件中的一些细节
- namenode 校验的内容：
- 1 hdfs的目录结构
- 2 权限检查
- 3 集群的状态
- 4 租约检查
- click
- namenode 知道文件分成几块，每次click要求上传block的时候，namenode知道要上传的是哪个block
- click只负责读数据到缓冲区，click没有分配block的概念
- namenode知道要上传哪个block，但是知道数据是什么，click知道数据是什么，但是用管这个block叫什么
- 步骤4 就是把block的名称和实际数据进行映射
三级缓存
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
