数仓（一）数据分层

数据分层

数据分层在建设数据仓库中是一个十分重要的环节，良好的数据分层能够使得数据仓库更容易理解和使用，提升数据处理速度，并且能够降低存储压力和企业成本。在数据仓库建设中，数据分层主要分为数据运营层、数据仓库层、数据应用层。

好处

数据分层的好处：

• 清晰数据结构：让每个数据层都有自己的作用和职责，在使用和维护的时候能够更方便和理解
• 复杂问题简化：将一个复杂的任务拆解成多个步骤来分步骤完成，每个层只解决特定的问题
• 统一数据口径：通过数据分层，提供统一的数据出口，统一输出口径
• 减少重复开发：规范数据分层，开发通用的中间层，可以极大地减少重复计算的工作

数据运营层

数据运营层ODS(Operation Data Store) -也就是最接近数据源的一层，直接对接的数据源（如：业务库、埋点日志、消息队列等）。ODS数数仓的最底层。

该层是存储数量最大的、未经过太多处理的、最原数据始的一层。该层还起到一个数据备份的作用，比如特殊的行业，一般ODS层需要存储一年甚至多年，不过普通公司一般存储三个月到六个月。

一般情况下，在数据进入ODS层的时候，都会对数据做一些最基本的处理。例如：

• 数据来源分区
• 数据按照时间分区存储，一般按照天分区，也有一些公司按照年、月、日三级分区存储
• 进行最基本的数据处理，如格式错误的丢弃、过滤掉关键信息丢失的数据。

注意：一般公司也会把以上的基本处理放到DWM层来进行。

数据仓库层

• DWD(Data WareHouse Detail) -数据细节层。该层与ODS层保持相同的数据颗粒度，区别在于，改成主要是对ODS层进行数据的清洗和规范化操作，比如说去除空数据、脏数据等。该层由于对数据处理的粒度比较细，一般情况下都是编写代码实现的。很多时候存储的是事实表、维度表和实体表。
• DWM(Data WareHouse Middle) -数据中间层。该层主要是对DWD层做一些轻微的聚合操作，生成一些指标列的聚合结果表。
• DWS(Data WareHouse Service) -数据服务层。该层是在DWM层基础之上，整合汇总成一个主题域的数据服务层，一般是宽表（具有多个列的表），该层为后续的业务查询、OLAP分析和数据分发提供支撑。

数据应用层

数据应用层ADS(Application Data Service) -该层主要为数据产品和数据分析提供数据支撑。一般会存放在ES、MySQL、Redis等数据库系统中，为应用系统提供数据，也可以存放在hive</