数仓建模过程——写指标

文章讲述了数据仓库建设的过程,包括选择业务过程,定义数据粒度,确定维度和事实表,以及在ODS、DWD、DWS和ADS层的作用。ODS层存储原始日志,DWD层构建细粒度事实表,DWS和DWT层提供宽表以提高复用性和避免重复计算,而ADS层依据需求提供分析结果。

1、维度:描述信息
事实:度量值
比如:我早上花了5元买早餐,其中时间地点买了什么等就是描述信息就是维度,具体的金额数字就是事实

2、ods层一般就是原始数据 比如用户行为日志,导入到hdfs中是一条条日志,那么日志的ods层表结构就只有string类型的一条日志
从mysql导入到hdfs的有27张表 那么ods层应该与其对应就是27张表,表结构与mysql中对应

3、dim(维度表)和dwd(事实表)

4、如何确定有哪些表以及字段?

选择业务过程→声明粒度→确认维度→确认事实

(1)选择业务过程

在业务系统中,挑选我们感兴趣的业务线,比如下单业务,支付业务,退款业务,物流业务,一条业务线对应一张事实表。

(2)声明粒度

数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。

声明粒度意味着精确定义事实表中的一行数据表示什么,应该尽可能选择最小粒度,以此来应各种各样的需求。

典型的粒度声明如下:

订单事实表中一行数据表示的是一个订单中的一个商品项。
支付事实表中一行数据表示的是一个支付记录。

(3)确定维度

维度的主要作用是描述业务是事实,主要表示的是“谁,何处,何时”等信息。
确定维度的原则是:后续需求中是否要分析相关维度的指标。例如,需要统计,什么时间下的订单多,哪个地区下的订单多,哪个用户下的订单多。需要确定的维度就包括:时间维度、地区维度、用户维度。

(4)确定事实

此处的“事实”一词,指的是业务中的度量值(次数、个数、件数、金额,可以进行累加),例如订单金额、下单次数等。
在DWD层,以业务过程为建模驱动,基于每个具体业务过程的特点,构建最细粒度的明细层事实表。事实表可做适当的宽表化处理

   时间	  用户	 地区	  商品	  优惠券	  活动	      度量值

订单 √ √ √ 运费/优惠金额/原始金额/最终金额
订单详情 √ √ √ √ √ √ 件数/优惠金额/原始金额/最

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rubyw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值