如何优雅地设计DWS层? | StartDT Tech Lab 17

本文探讨了数据仓库中DWS层的重要性和设计原则。通过合理的数据分层,特别是DWS层的有效构建,能够显著提升数据处理效率和复用性,降低资源消耗。

写在前面

这是奇点云技术专栏「StartDT Tech Lab」的第17期。在这里,我们聚焦数据技术,分享方法论与实战…滑到文末,可以看到我们的往期内容。

如有希望我们分享讨论的话题,欢迎在文末留言哦!

本篇由奇点云资深数据开发工程师「云祁」带来:

作者:云祁

阅读时间:约9分钟

大家好,云祁又来了!今天聊一个老生常谈的话题,如何设计DWS层?

对于数仓的分层,想必大家都不陌生。基于OneData方法论的三层数仓划分:数据引入层(ODS,Operational Data Store)、数据公共层(CDM,Common Dimension Model)和数据应用层(ADS,Application Data Store)早就深入人心。

当然啦,涉及到每一层具体该怎么开发、建模,可能大家都有自己的理解。

但好在大家对数据建模重要性的认识都是一致的,如果我们把指标比作树上的果实,那么模型就好比是大树的躯干,想让果实结得好,必须让树干变得粗壮。

我们先来回想下,构建数据中台的初衷是什么——我们通常会遇到这些问题:

· 缺少可以复用的数据;

· 大家不得不使用原始数据进行清洗、加工和计算指标;

· 大量重复代码的开发对资源的消耗。

问题的根源就在于数据模型的无法复用,以及数据开发都是烟囱式的。所以要解决这个问题,就要搞清楚健壮的数据模型该如何设计。

1.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值