1、维度:描述信息
事实:度量值
比如:我早上花了5元买早餐,其中时间地点买了什么等就是描述信息就是维度,具体的金额数字就是事实
2、ods层一般就是原始数据 比如用户行为日志,导入到hdfs中是一条条日志,那么日志的ods层表结构就只有string类型的一条日志
从mysql导入到hdfs的有27张表 那么ods层应该与其对应就是27张表,表结构与mysql中对应
3、dim(维度表)和dwd(事实表)
4、如何确定有哪些表以及字段?
选择业务过程→声明粒度→确认维度→确认事实
(1)选择业务过程
在业务系统中,挑选我们感兴趣的业务线,比如下单业务,支付业务,退款业务,物流业务,一条业务线对应一张事实表。
(2)声明粒度
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度意味着精确定义事实表中的一行数据表示什么,应该尽可能选择最小粒度,以此来应各种各样的需求。
典型的粒度声明如下:
订单事实表中一行数据表示的是一个订单中的一个商品项。
支付事实表中一行数据表示的是一个支付记录。
(3)确定维度
维度的主要作用是描述业务是事实,主要表示的是“谁,何处,何时”等信息。
确定维度的原则是:后续需求中是否要分析相关维度的指标。例如,需要统计,什么时间下的订单多,哪个地区下的订单多,哪个用户下的订单多。需要确定的维度就包括:时间维度、地区维度、用户维度。
(4)确定事实
此处的“事实”一词,指的是业务中的度量值(次数、个数、件数、金额,可以进行累加),例如订单金额、下单次数等。
在DWD层,以业务过程为建模驱动,基于每个具体业务过程的特点,构建最细粒度的明细层事实表。事实表可做适当的宽表化处理
时间 用户 地区 商品 优惠券 活动 度量值
订单 √ √ √ 运费/优惠金额/原始金额/最终金额
订单详情 √ √ √ √ √ √ 件数/优惠金额/原始金额/最

文章讲述了数据仓库建设的过程,包括选择业务过程,定义数据粒度,确定维度和事实表,以及在ODS、DWD、DWS和ADS层的作用。ODS层存储原始日志,DWD层构建细粒度事实表,DWS和DWT层提供宽表以提高复用性和避免重复计算,而ADS层依据需求提供分析结果。

3万+

被折叠的 条评论
为什么被折叠?



