数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案,主要实现基于数据治理分析的中台建设,通过MDM将企业内部的基础数据标准化、规范化、整合化后,由DAP进行数仓建设以及最终的数据分析的可视化展现,ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。
近期参加了一个数据中台的项目,在该项目中进行了蓝图方案的撰写,通过蓝图方案的不断完善,对整个数据中台的整体框架有了逐步的了解,数据的加工过程、三款产品之间的相互关联、在数据中台方案中的意义和价值等。下面针对如何撰写数据中台的蓝图方案进行介绍。
1总体说明
数据中台分了三个模块,数据分析平台(DAP)、主数据治理平台(MDM)、数据集成平台(ESB),数据中台的部署环境采用K8S云平台部署,MDM实现基础数据管理,业务数据由源头业务系统提供,通过ESB的数据集成,实现基础数据、业务数据从源头系统到数仓的同步。
1.1方案介绍
数据中台主要是打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合。通过基础数据治理保证底层基础数据的一致性,基于业务指标进行前端的动态展现,结合数据指标的多维度穿透,实现以不同形式、不同维度的分析展现。分析业务指标的同时也是对企业业务的梳理,发现业务中存在的问题,实现企业业务升级与转型,保证领导层能实时把控企业业务的发展,了解业务痛点,改进业务管理方式,实现业务与数据的相互支撑,从而为企业的高层决策提供数据支持。
1.2集成架构
数据中台的系统集成架构如下:

1.数据中台中每类主题需要分析的业务数据,都会有对应的来源系统作为数据源头;
2.通过提供从库或直接获取数据表的访问权限,通过ESB进行数据抽取将需要分析的数据同步至ODS中;
3.将统一的标准主数据(组织、人员等)进行基础数据的治理,进行主数据的建模、主数据的清洗等,将这些数据下发至下游系统中;
4.主数据中的数据作为数据分析的维表同步至数仓中;
5.最终维表、ODS表通过汇总、分析、计算等实现数据整合,以及最终的图形化展现。
1.3数据架构
根据需求进行数据架构的绘制,数据中台的整体数据架构如下:

1.来源系统包含了各类主数据的数据源头,常有的如人力资源系统、OA系统等;
2.通过数据集成平台(ESB)进行数据的抽取、分发等同步到MDM中;
3.MDM进行数据的生命周期管理,数据建模、数据的安全管理,保证了数据的标准、数据的规范,数据的同源;
4.经由ESB将对应的主数据下发到相应的业务系统中;
5.并且通过ESB将主数据作为数据的维度同步至数据仓库中进行大数据中心的可视化展现分析。
1.4蓝图清单
蓝图阶段需要的文档清单如下:
1.《业务系统调研提纲》
2.《业务系统调研纪要》
3.《整体调研报告》
4.《调研情况总结汇报PPT》
5.《各类主数据集成标准规范说明书》
6.《各类主数据数据标准规范说明书》
7.《各类主数据管理标准规范说明书》
8.《各类主数据清洗标准规范说明书》
9.《数据中台数据管理规范》
10.《数据中台-主数据平台实施方案》
11.《数据中台-数据分析平台实施方案》

本文详细介绍了如何撰写数据中台的蓝图方案,包括数据中台的构成、功能模块、集成架构以及撰写流程。通过对DAP、MDM和ESB三款核心产品的阐述,说明了它们在数据治理和分析中的作用。蓝图方案的撰写涉及需求调研、分析规划、蓝图撰写和评审完善等阶段,每个阶段都有明确的操作步骤和文档清单。在实践中,作者认识到引导客户需求、明确产品关联和数据分析的重要性,以及不断沟通和调整以完善蓝图内容。
1697

被折叠的 条评论
为什么被折叠?



