Hadoop组成

（1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。在Hadoop3.X中，hadoop一共有四个组成部分：MapReduce计算，Yarn资源调度，HDFS数据存储，Common辅助工具。（4）Container: 容器，相当于一台独立的服务器，里面封装了任务运行时所需要的资源：如内存、cpu、磁盘、网络等等。（1）ResourceManager(RM):整个集群资源（内存，CPU等）的老大。

这里介绍一下hadoop的组成， hadoop主要由两部分组成，，一个是hdfs，另一个是mapreduce 这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn. dfs 主要用来启动 namenode 和 datanode， namenode既是是传说中的matser, datanod

图中涉及的技术名词解释如下： 1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySql）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据； 3）Kafka：Kafka是一种高吞吐量的分布式..

引言 今天学习hadoop的删除方法时发现一个问题： 如图，delete(Path, boolean)，后面boolean参数的含义是什么，true和false有什么区别。为此，我查阅了官方文档并且检验了一下。 官方文档解释 这是官方文档的表述，首先文档版本是3.3.1， 在该版本中delete（Path f）已经被标注弃用(Deprecated.)。 而是被delete(Path, boolean)代替了，官方给出boolean表示是否递归（recursive）。 recu.

1.1 HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合

刚开始学习Hadoop，今天创建的HDFS项目出现日志报错，但是代码还是成功执行的。 log4j:WARN No appenders could be found for logger (org.apache.htrace.core.Tracer). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig fo

思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文

ODS层： 数据存储格式：JSON/TSV+ gzip压缩（默认） Operate Data Store -- 存储从mysql业务数据库和日志服务器的日志文件中采集到的数据 -- 日志数据 -- 格式:JSON --业务数据 --历史数据 -- 格式: -- 全量 -- Datax : TSV

touch：创建一个新的空文件或更新文件的时间戳。top：实时显示系统的资源使用情况和运行的进程。mv：移动文件或目录，或者重命名文件或目录。find：在文件系统中搜索文件或目录。chown：修改文件或目录的所有者。chgrp：修改文件或目录的所属组。grep：在文件中搜索指定的模式。chmod：修改文件或目录的权限。ls：列出目录中的文件和子目录。mkdir：创建一个新的目录。pwd：显示当前所在的目录。cd：切换到指定的目录。rm：删除文件或目录。cp：复制文件或目录。cat：查看文件内容。

维度建模从分析决策的需求出发构建模型，为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型，以及在一些特殊场景下使用的雪花模型。其设计分为以下几个步骤。

将建立链接放在before()，关闭链接放在after() package xyz.youngit.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import org.junit.Before; import org.junit.Test; import java.io.IOException; import java.net.URI;

Flume是Apache开源的分布式日志采集系统，具有高可靠、高可用特点，支持从多种数据源采集数据并传输到HDFS、HBase等存储系统。其核心组件包括Source（数据采集）、Channel（数据缓存）和Sink（数据输出），通过Event作为数据传输单元。 Flume支持单Agent和多Agent级联部署架构，可配置多路复用数据流。部署需JDK环境，配置包括环境变量和Agent参数设置。典型应用如Netcat Source监听端口数据并输出到日志。

Hadoop 1.0存在抽象层次低、迭代效率差、实时性弱等问题。Hadoop 2.0通过HDFS HA/联邦和YARN框架改进核心组件，同时Pig、Oozie、Tez、Kafka等生态组件分别解决了编码繁琐、依赖管理、重复操作和数据交换等短板，使Hadoop成为完善的大数据平台。

Apache Sqoop是一款用于在Hadoop生态（HDFS/Hive/HBase）与关系型数据库（MySQL/Oracle等）间批量迁移数据的工具。核心功能包括数据导入（RDBMS→Hadoop）和导出（Hadoop→RDBMS），基于MapReduce实现并行传输。安装需配置环境变量、JDBC驱动及Hadoop组件路径。常用命令：list-databases（查看数据库）、import（导入）、export（导出）等，支持通过--num-mappers控制并行度，--split-by指定分片列。

Flume 写入 HDFS 时，通过将 hdfs.rollInterval 设为 3600 秒、hdfs.rollSize 设为 128MB、hdfs.rollCount 设为 0，使文件在达到 128MB 或写入满 1 小时时才滚动，从而有效减少 HDFS 小文件数量，保护 NameNode 内存并提升计算性能。完整流程：日志文件是实时滚动写入的，Flume 的 TaildirSource 会实时监控这些日志文件，读取新增的日志行，经过拦截器的处理后通过KafkaChannel 写入 Kafka。

本文系统介绍了大数据内存计算引擎Spark的核心原理与技术架构。首先从Hadoop生态的痛点切入，分析了MapReduce因磁盘IO导致的性能瓶颈，引出Spark诞生的背景。随后详细解析了Spark的四大特点（快速、易用、通用、兼容）、五大核心组件（Core、SQL、Streaming、MLlib、GraphX）以及四种运行模式（Local、Standalone、YARN、K8s）。文章重点阐述了Spark底层RDD的三大特性（不可变、分区、并行计算）和集群架构中的四大角色（Driver、Master、Wo