数仓治理-存储资源治理

????导读会控为整个会议最为核心的业务，由于海量请求的高性能要求，后台存储全部为 Redis。在业务飞速发展期，各模块边界不够清晰，大家对存储的使用处于失控状态，随着 PCU 的不断上涨，逐步暴露出存储和架构的诸多问题，同时也对系统容灾能力有了更高的要求。会控业务历史包袱重，存储改造伤筋动骨，要做到平滑迁移需要考虑的细节较多。有幸作为 owner 负责(2022.12-2023.08)了会控存储的优化...

存储成本降低 80%，有赞数据中台成本治理怎么做的？

定期统计数仓表此表及其下游表，近60天的外部访问次数（外部访问指的是非数仓任务使用次数的外部使用，如即席查询，报表查询，接口查询），同样的，和使用方沟通后，无用则归档。每家公司的数据情况和痛点不一样，所以应该根据实际情况，针对痛点去优先治理，而不是死板的按照某本书或某篇文章的治理计划死板的进行。包括数仓中基础的库表信息（表名，表备注，表字段，表的存储空间等），以及任务信息（调度计划、运行耗时、内存消耗等），以及下游应用判断，如报表、接口、标签的信息（数量，名称，负责人、修改记录、使用频率和资源消耗等等）

数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，比较知名的产品有 Microsoft Power BI，QlikView，Tableau，帆软等。：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。

另一个是用户区，它是除系统区以外的全部内存区域，这部分区域是提供给用户使用的区域，任何时刻主存储器中最多只有一个作业，作业放在从用户区起始地址开始的连续地址区域。OS核心处于0环内；内存空间的分配与回收是基于可变分区管理，以作业的段为单位，按照某种分配算法，从空闲分区表/链中找到符合段所需大小的分区，一个段一个段，最终完成整个作业的内存空间分配。进程结束后，按照段表查找每段在内存的起始地址和大小，然后按段一个一个回收其占用的内存，同时修改空闲分区表，把进程所有段回收，则完成整个进程所占内存空间的回收。

本文目录数据治理统一流程参考模型为什么要治理DMBOK的数据治理框架数仓治理治理的分类数据源治理数仓模型治理数据服务治理上下游约定数仓评价(如何评价一个数据仓库的好坏)数据准确性时效性覆盖...

数仓建设规范指南

本文主要探讨了数据存储与成本管理的多种策略。介绍了数据压缩技术，如MaxCompute的archive压缩方法，通过RAID file形式存储数据，可有效节省空间，但恢复时间较长，适用于冷备与日志数据。还详细阐述了数据生命周期管理策略，包括周期性删除、彻底删除、永久保留、极限存储、冷数据管理以及增量表merge全量表策略，并提出了通用的生命周期管理矩阵，以及数据成本量和数据使用费的概念，旨在优化数据存储治理，降低成本。

离线数仓-数据治理

数据可视化 信息可视化Tanvi Agarwal坦维·阿加瓦尔 Follow跟随 Aug 14 8月14 Simple Data Visualization 简单的数据可视化 Data Science is the art of story-telling as it is the way to explain to people how beautiful and useful the dat...

文章目录一、信息系统中的数据类别1、数据仓库的三层数据结构2、数据分类①、主数据-参考数据-交易数据②、状态数据-事件数据③、当前数据-周期数据3、元数据二、建立数据仓库1、建立数据仓库的方法2、数据组织方式三、多维数据模型1、相关概念2、ROLAP3、子方体三、多维分析基本操作四、数据仓库的逻辑模型花时间 一、信息系统中的数据类别 1、数据仓库的三层数据结构 2、数据分类 信息系统中的数据按照不同的角度，可以分成不同的数据类别。 ①、主数据-参考数据-交易数据 主数据 主数据是关于业务实体的数据，一般

这也极大的解决了数据复杂性的问题，地址：datahubproject.io。

当面对大量的数据，而且是各种各样类型的数据，还可能有的数据单元（粒度）很大，单纯靠数据库是不易解决，为了解决这些问题，提高系统后台的效率，就需要引进数据仓库。有关数据仓库的数据存储的几个基本问题：1、数据存储的方式？       数据仓库的数据由两种存储方式：一种是存储在关系数据库中，另一种是按多维的方式存储，也就是多维数组。2、存储何种数据？    数据仓库中存在不同的综合级别的数据。一般把数据

CDC(Change Data Capture)是一种用于跟踪数据库中数据更改的技术。它用于监视数据库中的变化，并捕获这些变化，以便实时或定期将变化的数据同步到其他系统、数据仓库或分析平台。CDC技术通常用于数据复制、数据仓库更新、实时报告和数据同步等场景。CDC 可以捕获数据库中的以下类型的数据变化1.插入(Insert):当新数据被插入到数据库表中时。2.更新(Update):当数据库表中的现有数据被修改时。3.删除(Delete):当数据从数据库表中被删除时。

在 Hive on Spark 的数仓环境中，数据生命周期管理不仅是技术选择，更是保障业务成功的关键实践。通过合理的设计和执行，可实现高效、低成本和合规的数据管理。是保障数据仓库在整个使用过程中高效、安全、合规的关键。尤其在数据量巨大且分析需求复杂，全生命周期管理确保数据从创建到销毁都具备高质量、低成本和可追溯性。以下将从底层原理、Hive on Spark 的特点及相关代码实现逐步解释为什么需要数据的全生命周期管理，并结合实际场景说明原因。：从 MySQL 数据库采集数据到 Hive 的 ODS 层。

从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。如上面所说，数据治理的范围非常广，其中最重要的是数据质量治理，而数据质量涉及的范围也很广，贯穿数仓的整个生命周期，从数据产生->数据接入->数据存储->数据处理->数据输出->数据展示，每个阶段都需要质量治理，评价维度包括完整性、规范性、一致性、准确性、唯一性、关联性等。

确定适用于数据集的存储类型后，就可以评估基础架构是否存在任何安全漏洞，以及是否可对数据进行各种不同类型的处理，例如数据加密和数据转换，以保护企业免受恶意行为实施者的威胁。一个出色的 DLM 流程提供针对企业数据的结构和组织，帮助实现流程中的关键目标，包括数据安全性和数据可用性。任何所存储数据的副本都作为备份，以防出现数据删除或数据损坏等情况，防止对数据的意外更改以及包括恶意软件攻击在内的蓄意破坏。特定的数据所经历的⽣命周期由实际的业务场景所决定，并⾮所有的数据都会完整的经历六个阶段。