31、数据市场与现代主数据管理：策略与实践

数据市场与现代主数据管理：策略与实践

1. 数据市场构建要点

1.1 治理模型与元模型定义

构建数据市场是一项重大挑战，但能为实现数据战略目标带来诸多益处。首先，要基于角色和数据域定义协作治理模型，明确所有利益相关者的职责和功能。其次，定义一个管理组织数据所有知识和上下文的元模型，该元数据应与目录中使用的模型紧密对齐。

1.2 元数据质量监控与反馈

创建用于监控元数据质量的仪表板、指标和警报，并开发反馈循环以从源头上提高元数据质量。

1.3 元数据的重要性

元数据对于首席数据官（CDO）至关重要，他们可借助元数据监督和了解组织数据管理能力的整体健康状况和状态，并提高效率。元数据将一切联系在一起，数据的完整性验证、路由、转换以及含义理解都依赖于元数据。元数据管理不仅涉及大数据、商业智能和分析，还与应用集成、面向服务、微服务和DevOps相关。

1.4 元数据与分析结合

元数据必须与分析相结合，以持续提升数据管理能力。通过知识图谱和机器学习，可以检测数据点之间的新模式和关系。借助合适的服务集，可以为数据建模、提高数据质量和自动分类数据提供更好的建议，这是数据网格缺失的智能部分，因此下一代架构是数据网格和数据结构的混合体。

1.5 数据市场的引入

元数据对于通过自助服务门户实现数据民主化也至关重要。为推动数据消费，应引入数据市场，让用户能够直观地探索可访问的数据。可以先推出少数数据产品，然后随着架构的发展，纳入更多领域进行扩展。考虑为数据市场架构添加额外服务，如直接查询和处理数据产品的虚拟化服务，以提供更丰富的体验并吸引更多用户。数据市场不仅能提升数据价值，还是监督整个企业的窗口。

1.6 数据市场的其他方面

构建数据市场不仅关乎元数据，还涉及结构、文化和人员。需要给予用户信任、提供培训并提高意识。这些文化方面需要较宽松的治理，但不应低估其重要性。当用户得到正确培训后，他们将成为宝贵的资源，各自维护和优化数据领域的特定部分，相互帮助并提高效率。

以下是构建数据市场的关键步骤列表：
1. 定义协作治理模型
2. 定义元模型
3. 创建元数据质量监控和反馈机制
4. 结合元数据与分析
5. 引入数据市场并扩展
6. 关注结构、文化和人员方面

2. 现代主数据管理的必要性

2.1 分布式环境下的问题

在高度分布式环境中，应用程序相互交织。大型组织通常有多个领域，每个领域负责自己的数据资产和共享可重用数据产品，但这种方式存在一些问题：
- 各领域往往只关注自己的数据产品，不考虑与其他产品的协作，可能使消费者难以整合多领域的数据。
- 每个领域构建自己的数据转换代码会导致大量重复工作，使架构成本高昂且效率低下。
- 多个领域为提高性能而拥有其他领域数据的聚合或副本会导致数据重复和复杂性增加。
- 各领域之间的上下文可能不一致，导致数据质量水平存在差异。

2.2 主数据管理的作用

为解决数据可重用性和一致性的挑战，需要将主数据管理（MDM）引入架构，并确保从源系统的根源解决数据质量和不一致问题。MDM旨在管理和分发关键数据，以确保一致性、质量和可靠性。不一致或不正确的数据可能导致信誉受损、收入和利润下降。安全、欺诈检测以及GDPR和CCPA等法规也推动了对MDM的需求。

2.3 确定MDM范围

应使用元数据来决定将哪些数据纳入MDM范围。分析数据谱系、数据模型和数据合同可以揭示领域之间的重叠和共同关注点，从而确定哪些数据应受MDM管理。一般来说，仅在单个领域内使用的数据不应在MDM范围内，而多个领域共享的数据则是候选对象。

2.4 现代MDM堆栈的组成

现代MDM堆栈包括多个方面：
- 数据质量管理，如检测处理、纠正处理和跟进管理。
- 自动匹配和合并规则管理，用于处理数据重复。
- 位置/本地化处理，用于管理地理限制和影响。
- 数据丰富管理，用于补充缺失或不完整的数据。
- 同意管理，如数据立法和使用管理。
- 数据治理管理，如审批流程和数据质量、规则、本地化、数据访问等决策的工作流和生命周期管理。
- 数据源管理和集成功能，如用新创建的MDM记录更新源系统数据。

以下是现代MDM堆栈组成的表格：
| 组成部分 | 描述 |
| — | — |
| 数据质量管理 | 检测、纠正和跟进管理 |
| 自动匹配和合并规则管理 | 处理数据重复 |
| 位置/本地化处理 | 管理地理限制和影响 |
| 数据丰富管理 | 补充缺失或不完整的数据 |
| 同意管理 | 数据立法和使用管理 |
| 数据治理管理 | 审批流程和相关决策的工作流和生命周期管理 |
| 数据源管理和集成功能 | 用新记录更新源系统数据 |

3. 主数据管理的实施风格

3.1 四种实施风格介绍

Lyn Robison为Gartner撰写的文章中确定了四种MDM风格：
- 合并风格 ：与数据仓库有很大重叠，将主数据和其他数据合并到单个存储库或中心（MDM中心）。中心使用数据集成模式持续从运营系统收集主数据，以提高质量和管理治理。此风格通常用于分析、商业智能和报告，不对黄金源系统中的数据进行清理或改进，改进仅局限于中心，只有消费应用程序受益。
- 注册表风格 ：是最容易实施的MDM风格。注册表通常是一个简单的交叉引用表，提供去重对象和它们之间关系的直接见解。它使用内部参考系统和本地标识符链接回原始数据源。这种风格对黄金源应用程序没有影响，每个源系统仍控制自己的数据，且没有数据从注册表分发回源系统，因此对数据质量没有直接影响。
- 集中式风格 ：主数据存储作为所有运营和分析系统的中央存储库。它收集、链接、清理、匹配和丰富数据，然后立即将增强后的数据发布回各自的（事务性）源系统。这种风格的最大问题是需要侵入黄金源系统进行双向同步，应用程序需要符合使用主数据存储库作为后端，这可能难以实现，因为应用程序设计并非总能更改，且存在紧密耦合问题。
- 共存风格 ：用于主数据不能集中使用，必须在企业内多个位置分布的情况。在这种风格中，改进会反馈到原始系统，因此更新在黄金源系统内进行。共存风格是最复杂的实施风格，因为需要实施复杂的数据集成模式来进行分发并确保黄金源系统和主数据存储中的数据一致性。

3.2 实施风格的选择

这四种实施风格并非相互排斥，可以先采用注册表风格，然后转向共存风格，也可以针对不同数据集使用不同风格。实施风格不应由技术驱动，而应根据组织和数据需求来决定。并非所有MDM供应商都允许轻松切换或组合不同风格，因此选择供应商时要谨慎。

以下是四种MDM实施风格的比较表格：
| 风格 | 特点 | 优点 | 缺点 |
| — | — | — | — |
| 合并风格 | 合并数据到单个中心，用于分析等 | 提高中心数据质量，便于消费应用使用 | 不改进源系统数据 |
| 注册表风格 | 简单交叉引用表，链接回数据源 | 对源系统无影响，实施容易 | 对数据质量无直接影响 |
| 集中式风格 | 中央存储库，双向同步数据 | 确保数据一致性 | 侵入源系统，耦合性高 |
| 共存风格 | 数据分布在多处，更新源系统 | 改进反馈到源系统 | 实施复杂 |

4. 数据集成与MDM

4.1 数据集成的基础作用

数据集成是实现MDM的基础。许多MDM实施必须支持批量和实时处理，事务系统通常实时处理，而分析系统通常关注批量处理大量数据。MDM在数据分发和集成中同时扮演数据消费者和提供者的角色。

4.2 不同场景下的集成设计

• 低延迟场景 ：对于操作或低延迟要求的用例，使用API或事件。微服务的一种方法是使用状态存储，通过事件驱动架构将MDM记录作为流数据库暴露给消费应用程序。可以使用NoSQL数据库实现MDM状态存储，不断注入源系统的数据，并跟踪新数据与全局标识号的链接。为简化流程和提高质量，可以扩展状态存储的机器学习能力。拥有包含所有事件（如创建、更新、删除）完整事务日志的MDM状态存储可以重放数据，简化数据模型变更的管理，但最好将事务日志与MDM解决方案分开。
• 高延迟场景 ：对于能容忍较高延迟的用例，可以使用数据产品架构分发主数据。重要的是不要在MDM中心与提供和消费应用程序之间建立点对点连接，以避免数据不一致。MDM中心应始终使用与消费者用于分析工作负载相同的数据产品。

以下是数据集成与MDM相关操作步骤列表：
1. 确定支持的处理方式（批量或实时）
2. 根据场景选择集成设计
- 低延迟场景：使用API或事件，考虑状态存储和NoSQL数据库
- 高延迟场景：使用数据产品架构，避免点对点连接

5. 设计主数据管理解决方案

5.1 确定基础数据

实施MDM的过程首先要确定在哪些应用程序和系统中创建和维护的独特且可信的数据，黄金数据集是基础。由于每个应用程序存储数据的方式不同，因此需要了解每个上下文以及影响主数据的业务规则、格式和参考范围。

5.2 选择解决方案类型

可以选择供应商提供的解决方案，也可以自行设计。一些流行的MDM供应商包括CluedIn、Profisee、Informatica和Tamr。

5.3 与数据建模和集成的关系

MDM的设计和实施与数据建模和数据集成密切相关。识别重叠的数据属性、通过ETL过程对数据进行协调和建模到合适的数据模型是MDM解决方案整体设计的重要部分。不同的实施风格和解决方案类型所需的数据建模和数据集成工作量、集成模式和架构可能不同。例如，共存风格更多依赖实时处理和基于API和事件驱动的架构，而合并方法可以仅使用数据产品架构的批量数据进行设计。

5.4 建立治理

需要建立治理机制，确保数据所有者和应用程序所有者在以下方面达成一致：
- 适用的法规
- 要管理的数据范围
- 清理、匹配、合并、链接和整合的规则
- 中央主数据存储可作为权威来源的数据使用分类，以及数据消费者何时应依赖本地源系统
- 要实施的数据质量规则和流程
- 是否将改进反馈回原始源系统，以及以何种速度和数据集成技术进行
- 新创建数据的所有权（领域团队或中央团队）
- 授权批准或拒绝提议更改的用户
- 主数据定义，应存储在中央元数据存储库（如数据目录）中

5.5 数据分发策略

完成上述步骤后，可以开始制定将数据分发给原始源系统和其他应用程序的策略。

以下是设计MDM解决方案的步骤流程图：

graph LR
    A[确定基础数据] --> B[选择解决方案类型]
    B --> C[考虑与数据建模和集成的关系]
    C --> D[建立治理]
    D --> E[制定数据分发策略]

6. 面向领域的主数据管理

6.1 区分参考数据和主数据

虽然许多MDM解决方案可以管理参考数据和主数据，但建议明确区分两者的管理方式。参考数据用于定义、分类、组织、分组或归类其他数据，而主数据是企业绝对必需的核心数据。每种类型通常采用不同的管理方式和数据分发方法。

6.2 参考数据管理

为实现领域之间的数据一致性，可以要求各领域在分发数据产品时遵循集中管理的参考数据。常见的参考数据包括货币代码、国家代码和产品代码，这些数据可以发布在主数据存储或中央存储库中。当领域向其他领域分发数据产品时，应使用企业参考数据的标识符对数据进行分类，以便其他领域快速识别数据产品中的主数据。

6.3 参考数据映射方法

有两种方法可以让领域将本地参考数据映射到集中管理的参考数据：
- 提供中央服务 ：提供中央服务，使领域能够在构建数据产品时发现、理解、选择和纳入企业参考值。例如，数据目录可以引用存储所有参考数据的中央存储账户。领域自行执行映射活动，在分发数据产品之前使用企业参考数据的同步副本查找参考值。此集成过程可以是全自动到手动的任何方式。
- 提供中央MDM服务 ：提供中央MDM服务，使领域能够在MDM解决方案中管理本地到企业的映射。每次发布数据产品时，会运行后处理活动来检查不一致性，并使用企业参考数据丰富数据产品。这种方法前期实施工作较多，但可以消除各领域构建解决方案的需求，并保证更好的质量，因为映射在中央层面进行验证。

可以同时使用这两种方法，一些领域自行进行映射，而其他领域依赖集中管理的服务。在这种情况下，中央治理机构应监督企业范围内的参考数据管理，以确保实现标准化、质量和运营效率的目标。

以下是参考数据管理相关要点表格：
| 要点 | 描述 |
| — | — |
| 参考数据定义 | 用于定义、分类等其他数据的数据 |
| 一致性方法 | 要求领域遵循集中管理的参考数据 |
| 映射方法 | 提供中央服务或中央MDM服务 |
| 治理 | 中央治理机构监督 |

7. 参考数据映射与治理的深入探讨

7.1 两种映射方法的对比

提供中央服务和提供中央 MDM 服务这两种参考数据映射方法各有优劣。提供中央服务给予了领域更多的自主性，领域可以根据自身需求和实际情况选择合适的时机和方式进行映射活动，集成过程的灵活性高。例如，某些领域的数据更新频率较低，采用手动或半自动的集成方式可能更符合其成本效益；而对于数据更新频繁的领域，则可以选择全自动的集成方式。然而，这种方法也存在一定的风险，由于各领域自行操作，可能会出现映射标准不一致的情况，从而影响数据的整体质量和一致性。

提供中央 MDM 服务则强调了集中管理和标准化。通过中央层面的验证和处理，能够保证映射的准确性和一致性，减少因人为因素导致的错误。同时，这种方法减轻了各领域构建解决方案的负担，提高了整体的运营效率。但前期实施工作较为复杂，需要投入更多的资源和精力来搭建和维护中央 MDM 服务。

7.2 中央治理机构的作用

中央治理机构在参考数据管理中起着至关重要的作用。它负责制定统一的参考数据标准和规范，确保各领域在遵循集中管理的参考数据时保持一致。同时，中央治理机构要监督各领域的映射工作，及时发现和解决出现的问题。例如，当发现某个领域的映射结果与标准不一致时，中央治理机构可以及时介入，指导该领域进行调整。此外，中央治理机构还需要对参考数据进行定期的评估和更新，以适应企业业务的发展和变化。

以下是两种参考数据映射方法对比的表格：
| 映射方法 | 优点 | 缺点 |
| — | — | — |
| 提供中央服务 | 领域自主性高，集成过程灵活 | 可能出现映射标准不一致 |
| 提供中央 MDM 服务 | 保证映射准确性和一致性，减轻领域负担 | 前期实施工作复杂 |

8. 数据市场与 MDM 的协同发展

8.1 数据市场与 MDM 的相互促进

数据市场和 MDM 并不是孤立存在的，而是相互促进、相辅相成的关系。数据市场为 MDM 提供了更广阔的应用场景和数据来源。通过数据市场，MDM 可以获取更多的外部数据和不同领域的数据，丰富主数据的内容和维度。同时，数据市场的开放性和共享性也有助于 MDM 更好地实现数据的分发和传播，提高主数据的利用率。

MDM 则为数据市场提供了数据质量和一致性的保障。在数据市场中，大量的数据来自不同的领域和数据源，如果没有 MDM 的管理和协调，很容易出现数据不一致、重复和错误等问题。MDM 通过对主数据的清洗、匹配和整合，确保数据市场中的数据具有较高的质量和一致性，从而提高数据市场的可信度和价值。

8.2 协同发展的策略

为了实现数据市场与 MDM 的协同发展，需要制定相应的策略。首先，要建立统一的数据标准和规范，确保数据市场和 MDM 在数据定义、格式和使用等方面保持一致。其次，要加强数据市场和 MDM 之间的信息共享和沟通，及时了解彼此的需求和变化。例如，数据市场可以将用户对数据的需求反馈给 MDM，MDM 则可以将数据的更新和变化情况及时告知数据市场。最后，要培养具备数据市场和 MDM 相关知识和技能的人才，为协同发展提供人力支持。

以下是数据市场与 MDM 协同发展策略的列表：
1. 建立统一的数据标准和规范
2. 加强信息共享和沟通
3. 培养相关人才

9. 未来发展趋势

9.1 技术创新推动发展

随着技术的不断创新，数据市场和 MDM 也将迎来新的发展机遇。例如，人工智能和机器学习技术的应用可以提高 MDM 的自动化水平和数据处理能力。通过机器学习算法，可以自动识别和处理数据中的异常和错误，提高数据质量。同时，区块链技术的出现可以为数据市场和 MDM 提供更安全、可靠的解决方案。区块链的分布式账本和加密技术可以确保数据的完整性和安全性，防止数据被篡改和泄露。

9.2 业务需求驱动变革

企业的业务需求是推动数据市场和 MDM 发展的重要动力。随着企业数字化转型的加速，对数据的需求和依赖程度越来越高。企业需要更加高效、准确地管理和利用数据，以提高竞争力和创新能力。因此，数据市场和 MDM 需要不断适应业务需求的变化，提供更加个性化、定制化的解决方案。例如，针对不同行业和企业的特点，开发专门的数据市场和 MDM 产品。

以下是未来发展趋势的影响因素表格：
| 影响因素 | 具体影响 |
| — | — |
| 技术创新 | 提高自动化水平，增强数据处理能力，保障数据安全 |
| 业务需求 | 推动个性化、定制化解决方案的发展 |

10. 总结与建议

10.1 总结

数据市场和现代主数据管理在企业的数据战略中扮演着重要的角色。构建数据市场需要从多个方面入手，包括定义治理模型和元模型、监控元数据质量等。现代主数据管理则是解决数据可重用性和一致性问题的关键，需要根据企业的实际情况选择合适的实施风格和数据集成方式。同时，参考数据管理和数据市场与 MDM 的协同发展也不容忽视。

10.2 建议

• 对于企业来说，要重视数据市场和 MDM 的建设，将其纳入企业的整体战略规划中。
• 在选择 MDM 供应商时，要充分考虑其支持不同实施风格和组合的能力，以及与企业现有系统的兼容性。
• 加强对员工的培训，提高员工的数据管理意识和技能，确保数据市场和 MDM 的顺利实施。
• 持续关注技术创新和业务需求的变化，及时调整数据市场和 MDM 的策略和方案，以适应企业的发展。

以下是企业实施数据市场和 MDM 的建议列表：
1. 纳入整体战略规划
2. 谨慎选择 MDM 供应商
3. 加强员工培训
4. 关注技术和业务变化并及时调整策略