HDFS（五）—— HDFS 文件上传的过程

最新推荐文章于 2026-02-17 08:14:06 发布
原创 最新推荐文章于 2026-02-17 08:14:06 发布 · 1.1k 阅读 · 2
本文详细介绍了HDFS文件上传的过程，从客户端发送请求开始，经DFSClient创建DistributedFileSystem，建立RPC通信与NameNode交互，请求创建并缓存文件元信息，再通过输出流上传数据块，实现数据冗余复制，确保文件安全可靠地存储在HDFS中。

HDFS数据上传过程

一、客户端发送请求

客户端执行上传文件的命令：hdfs dfs -put a.avi /movie。

二、DFSClient.java 创建 DistributedFileSystem

请求首先被 DFSClient.java 这个类获取到，由该类创建 DistributedFileSystem 对象。

三、建立 RPC 通信，获得 NameNode 的代理对象

DistributedFileSystem 建立与 NameNode 之间的 RPC 通信，并且得到一个 NameNode 的代理对象：NameNodeProxies。

NameNodeProxies 是个复数，是因为我们为了保证 HA（高可用），会使用多个 NameNode 节点。

四、请求创建文件的元信息

由 NameNodeProxies 去请求 NameNode 创建文件的元信息。

五、创建文件的元信息

NameNode 创建文件的元信息，元信息的内容如下：

{
   
   
	"文件名" :
标签
#HDFS #文件上传过程
最低0.47元/天 解锁文章
HDFS 客户端操作实战：文件上传
2301_80870395的博客
05-13 1789
本文详细介绍了在Hadoop生态系统中，如何将本地文件系统中的数据上传到HDFS（Hadoop Distributed File System）的多种方法及其操作步骤。通过实际应用场景和案例分析，展示了HDFS文件上传在大数据湖建设、日志数据收集与存储以及大数据处理与分析中的重要作用。通过掌握这些方法和技巧，读者可以高效、安全地将数据迁移到HDFS中，为后续的大数据处理任务奠定坚实基础。
HDFS上传文件的流程
elpsyco的博客
09-10 2105
1 客户端通过Distributed FileSystem模块向NameNode请求上传文件，namenode会进行校验 2 namenode返回可以上传 3 客户端请求上传第一个block 到哪几个DataNode上 4 datanode返回三个节点 分别为d1,d3,d6 5 客户端请求d1上传数据 ，d1收到请求会调用d3， d3继续调用d6 ，将这个通信管道建立完成 6 d1，d3，...
HDFS上传文件和读文件的流程
往者不可谏，来者犹可追
07-06 1678
HDFS上传文件和读文件的流程： 流程图： 过程解析： 这里描述的 是一个256M的文件上传过程  ① 由客户端 向 NameNode节点节点 发出请求 ②NameNode 向Client返回可以可以存数据的 DataNode 这里遵循  机架感应  原则 ③客户端 首先 根据返回的信息 先将 文件分块（Hadoop2.X版本 每一个block为 128M 而之前的
当AI学会自我验证：Chain-of-Verification如何杜绝错误决策？
最新发布
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
02-17 1060
2025年，大模型"幻觉"问题已成为企业落地AI的最大障碍之一——金融风控中1.2%的误判率可能导致千万级损失，医疗诊断中3%的错误可能危及生命，法律文书中5%的事实偏差可能引发合规风险。MetaAI与Google联合提出的**Chain-of-Verification（CoVe，验证链）**技术，让AI具备"自我审视"能力，通过结构化验证流程将幻觉率降低68%+，在复杂决策场景准确率提升至95%+。本文系统拆解CoVe的技术原理、实施路径与行业实战，为企业提供AI决策可靠性保障的完整方案。
HDFS的写数据流程(上传文件)
weixin_43865522的博客
01-07 492
元旦回来又废了，惰性又回来了，今天学习的时候发现前几天学的东西居然忘记了，这可不妙，赶紧复习一下，写个博客记录一下。 言归正传，今天说一下HDFS的写数据流程(上传文件)，如图所示： 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）...
（面试经典问题）HDFS上传文件（写）流程
xingyunyang的博客
08-12 4564
HDFS写流程详述，以及面试如何回答
【Hadoop】本地文件上传到HDFS
康师傅没有眼泪
07-10 1万+
需求：按照配置文件的内容解析要上传文件的路径，HDFS的目标路径，文件名格式匹配，按照不同的文件名上传到不同的HDFS目录，HDFS按照业务分目录存储文件。定义RegexLocalPathFilter类实现FileFilter接口实现文件过滤。将hdfsETL.json配置文件解析出来的JSON数组定义为List。🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅，敬请批评指正！1.3 定义UploadHdfsETLJson类。1.1 hdfsETL.json文件。将JSON数组中的元数据信息定义为类。
HDFS读写流程详细过程
m0_57697768的博客
05-29 1万+
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS文件上传过程简述
gulanga5的博客
05-17 2130
HDFS文件上传过程简述另外底下链接是别人对文件上传的描述，可以作为上图的补充。 https://blog.csdn.net/u012580143/article/details/84614470
HDFS API 操作之目录创建、文件上传、配置优先级
热门推荐
小杨的技术博客
04-01 2万+
目录创建 @Test public void testMkdir() throws Exception { //1 获取文件系统 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "root"); ...
HDFS的启动过程
fanyun2009的博客
01-04 3006
欢迎使用马克飞象 HDFS的启动过程 HDFS的启动过程分为四个阶段： 第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存； 第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中 第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中 第四阶段：进入安全模式，检查数据块的完整性 H...
将文件上传至hdfs（SpringBoot）
weixin_51713937的博客
01-06 1435
【代码】将文件上传至hdfs（SpringBoot）
Hadoop之HDFS文件上传源码解析
qq_45115959的博客
08-18 1170
为了在项目中使用 HDFS 的文件上传功能，我们需要添加以下依赖项到项目的构建配置文件中（例如 Maven 的。在这一节中，我们将详细探讨 HDFS 中文件创建的具体流程。类负责与 NameNode 和 DataNode 的通信。方法，该方法检查 NameNode 是否已启动，并调用。类，实现了具体的 HDFS 文件系统操作。DFSOutputStream.java 的。FSOutputSummer.java的。类提供了创建文件的基本接口。方法创建一个新的输出流实例，并启动。
HDFS读写数据的过程
Rnan_prince的博客
12-01 4033
1、数据单位： 　　block ：文件上传前需要分块，这个块就是block，一般为128MB，可以修改。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的 　　　　　　一个单位。 　　packet ：packet是第二大的单位，它是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。 　　chunk ：chunk是最小的单位，它是client向DataNode，或DataNode的PipLine之间进行数据校验的基
HDFS文件上传和下载流程
m0_59651968的博客
10-20 1414
1、HDFS上传文件 客户端请求上传文件：客户端（通常是Hadoop集群中的一个节点）发出上传文件的请求，改请求包括文件的本地路径、文件名以及在HDFS中的目标路径 NameNode验证请求：客户端请求首先到达集群中的NameNode，NameNode负载管理HDFS的文件系统命名空间和元数据。NameNode验证客户端的权限，，确保客户端有权向指定的目标路径上传文件；查看文件名是不是在当前目录下重复。。。自检 分块和数据节点选择：当符合上传文件要求时，NameNode确定文件应该如何分块（默认情况下，H
hdfs文件上传流程
张之海的博客
06-10 5312
1 文件上传 1.1 文档 1.2 课程 2 文件下载 2.1 视频课程 2.2 文档
HDFS上传文件详细过程
feizuiku0116的博客
01-07 3812
客户端向namenode请求上传文件，namenode检查文件是否已经存在，父目录是否存在 namenode返回是否可以上传 客户端请求第一个block上传到哪几个datanode服务器上 namenode返回3个datanode节点，分别为dn1、dn2、dn3 客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。 dn1、dn2、dn3逐级应答客户端 客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位.
HDFS上传文件流程 ：
bwf317的博客
11-23 3467
①首先客户端向NameNode发出请求：我要向HDFS传一个数据 ②NameNode 收到请求验证此时可以接受上传的数据，然后向客户端返回确认信息OK你准备好就开始吧。 ③客户端得到确认后就开始对要上传的数据进行切块处理，blk0,blk1… ④客户端向NameNode通知，我要开始传数据了，告诉我传哪？此时NameNode会检查整个HDFS存储情况，分析确定将blk 存在哪，生成一个虚拟目录进行记录，然后将这个位置信息返回给客户端。 ⑤客户端的到具体路径后开始联系DataNode节点，告知将要开始发送数据
HDFS----【文件的上传即下载流程详解】
CoderBoom的博客
11-15 3837
HDFS上传文件流程 文件上传流程图如下 : 首先 , HDFS选用的是每启动一个线程 , 就传递一个块 , 然后接收到第一个块后的机器复制给其他机器 . 首先我们知道namenode的职责 : 管理整个文件系统的元数据 ( 目录树 文件和块对应信息 , dn信息) 响应整个客户端的所有请求 hdfs://node-1:9000 上传文件的流程 首先hdfs客户端通过RPC调用向nn发...
YOLOv13优化：PoolingFormerCGLU模块 MetaFormer 框架 + 池化混合器 手把手教你自注意力
FJN110的博客
08-12 390
PoolingFormer1 是一个基于 MetaFormer 框架 的轻量化卷积-Transformer 混合模块，通过 Pooling 取代自注意力，实现： 更低的计算成本 一定的全局信息融合 兼容 CNN 和 Transformer 的优点
不依赖DNS部署VCSA6.7可解决第2阶段60%的卡住错误
不依赖DNS部署VCSA6.7可解决第2阶段60%的卡住错误，根据多次测试实验，这个方法可行方便快捷。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值