AutoMQ 中的元数据管理

本文所述 AutoMQ 的元数据管理机制均基于 AutoMQ Release 1.1.0 版本 [1]。

01

前言

AutoMQ 作为新一代基于云原生理念重新设计的 Apache Kafka 发行版，其底层存储从传统的本地磁盘替换成了以对象存储为主的共享存储服务。对象存储为 AutoMQ 带来可观成本优势的同时，其与传统本地磁盘的接口和计费方式的差异也为 AutoMQ 在实现上带来了挑战，为解决这一问题，AutoMQ 基于 KRaft 进行拓展，实现了一套针对对象存储环境的流存储元数据管理机制，在兼顾成本的同时，极大的保证了基于对象存储的读写性能。

02

AutoMQ 需要哪些元数据

KV 元数据

在之前的文章中（AutoMQ 如何做到 Apache Kafka 100% 协议兼容 [2]），我们介绍过了 AutoMQ 的存储层如何基于 S3Stream [3] 实现对对象存储服务的流式读写的，每个分区都有与之对应的多个 Stream 来分别负责存储分区的元数据、消息、Time Index、Txn Index 等。AutoMQ 通过 KV 元数据来保存分区所对应的 MetaStream 的 StreamId，从而保证分区在不同节点打开时都能正确获得与 Stream 的映射关系。

Stream 元数据

由于分区和 Stream 有着一对多的映射关系，当分区发生迁移、数据写入、位点 Trim 等事件时，其对应的 Stream 状态也会相应发生变化。因此 AutoMQ 对每个 Stream 都维护了相应的元数据，主要由以下部分组成：

• Stream Epoch：当分区发生迁移时，会提升对应的 Stream Epoch，后续所有对 Stream 的操作都需要对 Epoch 进行检查，保证只有 Stream 当前所在节点能够对 Stream 进行操作