写在前面
这是奇点云技术专栏「StartDT Tech Lab」的第17期。在这里,我们聚焦数据技术,分享方法论与实战…滑到文末,可以看到我们的往期内容。
如有希望我们分享讨论的话题,欢迎在文末留言哦!
本篇由奇点云资深数据开发工程师「云祁」带来:

作者:云祁
阅读时间:约9分钟
大家好,云祁又来了!今天聊一个老生常谈的话题,如何设计DWS层?
对于数仓的分层,想必大家都不陌生。基于OneData方法论的三层数仓划分:数据引入层(ODS,Operational Data Store)、数据公共层(CDM,Common Dimension Model)和数据应用层(ADS,Application Data Store)早就深入人心。
当然啦,涉及到每一层具体该怎么开发、建模,可能大家都有自己的理解。
但好在大家对数据建模重要性的认识都是一致的,如果我们把指标比作树上的果实,那么模型就好比是大树的躯干,想让果实结得好,必须让树干变得粗壮。
我们先来回想下,构建数据中台的初衷是什么——我们通常会遇到这些问题:
· 缺少可以复用的数据;
· 大家不得不使用原始数据进行清洗、加工和计算指标;
· 大量重复代码的开发对资源的消耗。
问题的根源就在于数据模型的无法复用,以及数据开发都是烟囱式的。所以要解决这个问题,就要搞清楚健壮的数据模型该如何设计。
1.

本文探讨了数据仓库中DWS层的重要性和设计原则。通过合理的数据分层,特别是DWS层的有效构建,能够显著提升数据处理效率和复用性,降低资源消耗。

4721

被折叠的 条评论
为什么被折叠?



