大数据项目之电商数仓（数仓建模理论篇）（重点）

一、数仓分层

ODS（原始数据层） 不做处理，存放原始数据
DWD（明细数据层） 进行简单数据清洗，降维
DWS（服务数据层） 按天进行轻度汇总（做宽表）
DWT（数据主题层） 按主题进行汇总
ADS（数据应用层） 为报表提供数据

二、数仓建模

2.1 ODS 层 （负责备份数据工作）

（1）保持数据原貌不做任何修改，起到备份数据的作用。
（2）数据采用LZO压缩，并创建索引减少磁盘存储空间（切片）
（3）创建分区表，防止后续的全表扫描
（4）创建外部表（多人共用），内部表（仅自己使用）

2.2 DWD 层 （负责准备数据工作）

DWD 层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。
（1）数仓维度建模（星型模型），使维度退化。好处：减少后续大量join操作
（2）数据清洗（ETL)
（3）数据采用LZO压缩，
（4）parquet列式存储
（5）脱敏（手机号，身份证号，个人信息）
（6）对用户行为数据进行解析 event事件表

维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实
（1）选择业务过程
在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流 业务，一条业务线对应一张事实表。
（2）声明粒度
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度意味着精确定义事实