大数据处理技术：分布式文件系统HDFS

目录

1 实验名称：

2 实验目的

3 实验内容

4 实验原理

5 实验过程或源代码

5.1 HDFS的基本操作

5.2 HDFS-JAVA接口之读取文件

5.3 HDFS-JAVA接口之上传文件

5.4 HDFS-JAVA接口之删除文件

6 实验结果

6.1 HDFS的基本操作

6.2 HDFS-JAVA接口之读取文件

6.3 HDFS-JAVA接口之上传文件

6.4 HDFS-JAVA接口之删除文件

1 实验名称：

       分布式文件系统HDFS

2 实验目的

       1.理解HDFS存在的优势，理解HDFS体系架构，学会在环境中部署HDFS学会HDFS基本命令。

       2.理解HDFS的读写操作原理，掌握HDFS的一些常用命令，理解实际操作HDFS读写时的流程。

3 实验内容

       （1）HDFS的基本操作

       （2）HDFS-JAVA接口之读取文件

       （3）HDFS-JAVA接口之上传文件

       （4）HDFS-JAVA接口之删除文件

4 实验原理

       HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。

      HDFS文件系统的角色分为三种（Master和Slave的结构，主从节点结构），分为NameNode、Secondary NameNode和DataNode三种角色。

       HDFS为分布式计算存储提供了底层支持，采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS 架构原理HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。Namenode管理文件系统的元数据，而Datanode存储了实际的数据。

5 实验过程或源代码