RocketMQ-消息存储(一)：写入过程

最新推荐文章于 2024-12-28 00:51:54 发布

原创

最新推荐文章于 2024-12-28 00:51:54 发布 · 1.9k 阅读

本文详细介绍了RocketMQ中消息的写入过程，包括检查消息格式、分配CommitLog文件、创建全局消息ID、计算消息总长度以及根据策略处理磁盘空间等。在写入过程中，消息首先被追加到MappedFile内存缓冲区，然后根据同步或异步刷盘策略持久化到磁盘。

1、当前broker停止工作或为slave则拒绝写入；消息主题长度超过256个字符、消息属性长度超过65536个字符则拒绝该消息写入

2、如果消息的延迟级别大于0 ，将消息的原主题名称与原消息队列 ID 存入消息属性中，用延迟消息主题 SCHEDULE TOPIC 、消息队列 ID 更新原先消息的主题与队列，这是并发消息消费重试关键的一步

3、获取当前可以写入的commitLog文件：
Commitlog 文件存储目录为 $KaTeX parse error: Expected 'EOF', got '}' at position 14: ｛ROCKET_HOME }̲/ store commitl\dots$ ｛ROCKET_HOME }/store/commitlog 文件夹，而 MappedFile 则对应该文件夹下一个个的文件。

4、在写入 CornrnitLog 之前，先申请 putMessageLock ，也就是将消息存储到 CornrnitLog 文件中是串行的

5、设置消息的存储时间，如果mappedFile 为空，表明$ {ROCKET_HOME}/store/ commitlog 目录下不存在任何文件，说明本次消息是第一次消息发送，用偏移量0 创建第一个 commit 文件，文件为 00000000000000000000 ，如果文件创建失败，抛出 CREATE MAPEDFILE FAILED ，很有可能是磁盘空间不足或权限不够

6、将消息追加到 MappedFile。首先先获取 MappedFile 当前写指针，如果 currentPos 大于或等于文件大小则表明文件已写满，抛出 AppendMessageStatus. UNKNOWN_ ERROR 。如果 currentPos 小于文件大小，通过 slice （）方法创建个与 MappedFile 的共享内存区，并设置 position 为当前指针

7、创建全局唯一消息 ID ，消息 ID有 16 字节
但为了消息 ID 可读性，返回给应用程序的 msgld 为字符类型，可以通过 UtilAll. bytes2