Apache Hudi技术与架构-1

1 前言

Apache Hudi是大数据领域中新一代的基于流式计算的数据存储平台，又称之为数据湖平台（Data Lake Platform），其综合传统的数据库与数据仓库的核心功能，提供多样化的数据集成、数据处理以及数据存储的平台能力。Hudi提供的核心功能包括数据表管理服务、事务管理服务、高效的增删改查操作服务、先进的索引系统服务、流式数据采集服务、数据集群与压缩优化服务、高性能的并发控制服务，Hudi数据湖中的数据组织存储格式是使用开源的文件格式。

Apache Hudi能支持大规模的流式处理的工作负载，同时，也提供可创建高效的、增量式的、批量处理的数据管道。

Apache Hudi能轻易地部署在任何的云存储平台上，与目前流行的Apache Spark、Flink、Presto、Trino、Hive数据分析与查询引擎相结合能提供性能更加优越的数据分析能力。

2 架构描述

Apache Hudi数据湖平台的整体应用架构如下所示：