大数据技术思想入门(四)：分布式文件的元数据是怎么存储的

如果你不喜欢阅读文字的话，可以选择滑到最后看 视频讲解 哟~~~

我们知道主节点主要存储的元数据包括：

1. 所有从节点的元数据信息，包括从节点的数量、每个节点的 IP 地址以及使用情况等信息

2. 所有分布式文件的元数据信息，包括文件名、大小等基础信息，还有文件对应的数据块的元数据信息

对于存储的从节点的元数据信息很好理解。就是当从节点启动的时候，会将自己的 IP 地址、自己的磁盘总大小以及使用情况告诉主节点。

对于文件的元数据的存储和管理相对来说复杂点，这篇文章我们就要说明白主节点中存储的文件元数据。

文件元数据数据结构

首先我们需要搞明白的是文件元数据是以什么样的数据结构组织起来的。

分布式文件的元数据主要包括两个信息：

1. 文件名

2. 文件对应的基本信息：文件大小、文件对应哪些数据块

每个数据块的元数据又包括：

1. 数据块的唯一 id

2. 数据块的基本信息：数据块大小、数据块的备份数、每个数据块存储在哪台 slave 服务器中

所以在主节点中肯定需要两个数据结构来存储两个部分的信息：

1. 文件名及其对应的文件基本信息

2. 数据块唯一 id 及其对应的数据块的基本信息

我们来举一个具体的例子，我们现在将下面的两个文件存储在集群中：

• /douma/tmp/test/text.txt  这个文件被划分成 3 个数据块，分别是 b1、b2、b3

• /douma/data/product/word.txt 这个文件被划分成 2 个数据块 ，分别是 b4、b5

那么在