数据中台-数据分层管理系统

本文详细描述了一个数据中台的架构,包括数据从原始库经过分层分类处理,形成资源库、主题库和业务库的过程,强调了数据标准化、清洗、整合的重要性,以及各库的功能和数据价值的提升。

1. 平台简介

  数据通过数据集成,进入到数据中台的数据仓库后,可根据需求进行分层分类管理。数据分层分类是指将数据按照不同的主题、类型、来源等进行分类,形成多个具有逻辑关系的数据存储层级。数据分层管理是一种数据管理和组织,它将数据按照不同的层次进行分类和组织,以便更好地管理和使用数据。

2. 平台架构

  数据在原始库中形成数据缓存层,以支持数据加工。同时实现了非结构化数据的关键信息的提取、数据分级分类标签等处理。原始库对外提供了查询、比对、推送、订阅等服务。同时为后续的数据血缘追踪提供溯源支持。

  资源库是对原始库数据进行清洗标准化及轻度整合,形成全量数据的持久化层。资源库对外支持数据的分类检索、轨迹碰撞,及明细数据的统计、分析、比对、推送、订阅等服务。

  主题库通过归并及建模,形成全息视图,并且通过实体间的关系构成了关系类知识图谱和事理图谱。对外在各中心共享了实体间的关系,并完成实体标签、数据分析、统计、比对等服务。

  知识库对外支撑知识类数据的查询以及模型工程、标签工程等服务。

  业务库中的业务专题库实现了业务专题类分析,业务知识库汇聚了单一业务系统的知识,业务实体库中构建了业务的相关模型,业务资源库是对业务的相关数据支撑。在此基础上,实现了对外的数据统计、分析、推送及碰撞等服务。

  数据资源目录对外支撑各部门对数据资源目录的查询。

3. 数据流程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据分析小兵

你的鼓励将是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值