【六祎 - Note】消息队列的演变，架构图；备忘录； IBM MQ,RabbitMQ,Kafka,Pulsar

最新推荐文章于 2026-08-22 18:45:16 发布
原创 最新推荐文章于 2026-08-22 18:45:16 发布 · 659 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
消息中间件

当前文章被收录于：

消息中间件
1 篇文章 0 人学习
订阅专栏 查看详情

IBM MQ

于 1993 年推出。它最初称为 MQSeries，2002 年更名为 WebSphere MQ。2014 年更名为 IBM MQ。IBM MQ 是一款非常成功的产品，广泛应用于金融领域。其收入在 2020 年仍达到 10 亿美元。

RabbitMQ

架构与 IBM MQ 不同，更类似于 Kafka 的概念。生产者向指定交换类型的交换发布消息。它可以是直接、主题或扇出。然后，交换中心根据不同的消息属性和交换类型将消息路由到队列中。消费者据此接收消息

Kafka

2011 年初，LinkedIn 开源了 Kafka，这是一个分布式事件流平台。它以弗朗茨-卡夫卡（Franz Kafka）的名字命名。顾名思义，Kafka 是为写而优化的。它为处理实时数据馈送提供了一个高吞吐量、低延迟的平台。它提供了一个统一的事件日志来实现事件流，在互联网公司中得到广泛应用。

Pulsar

Pulsar 最初由雅虎开发，是一个一体化的消息和流平台。与 Kafka 相比，Pulsar 融合了其他产品的许多有用功能，支持的功能范围更广。此外，Pulsar 的架构更加原生云化，在集群扩展和分区迁移等方面提供了更好的支持。

在这里插入图片描述

标签
#rabbitmq #kafka #分布式
Kafka 消费积压排查：Lag 飙升与分区倾斜决策树
最新发布
探索云原生与智能化驱动下的安全运维新范式。关注DevSecOps、可观测性、AIOps等前沿领域，与您共赴技术前沿。
08-22 206
消息队列积压告警经常被当成「加机器」。单个分区被热点 key 打满、消费者线程卡在下游、或误把 Offset 重置到 earliest。乱会让下游重放几天数据。本文面向中级中间件 / 应用运维，覆盖开源 Kafka 与托管 MSK 都能用的只读命令。不讲如何从零搭集群，也不重复 ISR/副本不足类故障。先--dry-run，再停消费者，最后--execute# 必须先停掉所有该 group 的消费者Lag 先看是否在线、是否倾斜、是否生产突刺。加分区救不了已经堆在热点分区上的数据。
Kafka系列之：apache kafka消息压缩策略
zhengzaifeidelushang的博客
08-19 54
本文介绍了Apache Kafka的高吞吐量特性及其实现机制，重点解析了消息压缩策略。Kafka通过主题分区实现并行处理，生产者端采用批处理压缩技术（支持gzip、snappy、lz4、zstd等算法）来减少网络流量和提高磁盘利用率。文章详细说明了压缩配置的两种层级（生产者和主题级别）及其组合效果，并指出消费者能自动解压处理消息。最后提供了性能优化建议，包括避免压缩加密数据、检查默认配置以及使用工具验证压缩类型。典型场景下，合理配置压缩策略可使Kafka集群达到每秒百万级消息处理能力。
Spring Boot 3 + Vue 3 全栈外卖系统：RabbitMQ异步解耦、MySQL/Neo4j双引擎推建
2303_79635409的博客
08-19 436
后端：Spring Boot 3.2.5 + MyBatis-Plus + Redis + RabbitMQ + Neo4j + 支付宝沙箱前端核心业务覆盖：用户注册登录、菜品浏览、购物车管理、下单结算、支付宝支付、订单状态实时同步、支付成功邮件通知等完整闭环。系统实现了基于用户行为的个性化推荐、基于图数据库的购物车共现推荐、以及基于消息队列的全链路异步解耦。
ArcGIS与地理加权回归GWR【一】
JData_Engineer的博客
03-19 1338
因此，在实际问题研究中我们经常发现回归参数在不同地理位置上往往表现为不同，也就是说回归参数随地理位置变化，这时如果仍然采用全局空间回归模型（全局假设β是不会变得），得到的回归参数估计将是回归参数在整个研究区域内的平均值，如上所说某一个因素在ABC等不同的地理位置对房价的影响是不同的，假如采用全局空间回归模型，便忽略了数据的空间位置属性，只反映平均意义下因变量与自变量的相关关系，而不能有效反映回归关系的空间非平稳性的特征。当自变量为1个时，是一元线性回归，自变量为2个及以上时，称为多元线性回归。
【架构实战】消息队列选型与异步架构设计：从Kafka到RabbitMQ，一次聊透
分享技术应用、实践场景等，评论区开放技术难题讨论，共同成长进步。
08-18 391
选型：大吞吐、大数据生态选Kafka；复杂路由、低延迟选RabbitMQ；需要事务消息选RocketMQ。幂等：消费端必须幂等，At-least-once语义下重复消费不可避免，用唯一键/Redis/状态机保证幂等。可靠性：生产者acks=all、MQ持久化、消费端手动提交，三环缺一不可。DLQ：死信队列是生产必备，消息处理失败后进DLQ，避免无限重试和消息丢失。异步设计：不是所有地方都要异步，同步改异步要有明确收益，不要为了异步而异步。异步架构用得好，系统吞吐量能提升一个数量级；
RabbitMQ灵活路由：AMQP协议与五种交换器
雨1986的博客
08-22 572
本文从Kafka的"按分区粗路由"痛点出发，系统讲解RabbitMQ与AMQP 0-9-1协议核心，给出Docker部署、Java客户端、Spring Boot集成、Publisher Confirm与Consumer ACK、DLX死信队列的完整代码，并总结生产环境消息丢失、重复消费、堆积的避坑经验。
Go消息队列生产消费实战从Kafka到RabbitMQ的Go集成
qq_31142761的博客
08-22 25
Sarama是Go Kafka的标准客户端amqp通过操作RabbitMQ手动提交offset确保消息不丢失死信队列处理消费失败的消息生产者幂等防止重复消息。
不同的消息队列有什么区别？Kafka、RabbitMQ、RocketMQ、Pulsar、ActiveMQ 选型对比
2401_86617027的博客
08-17 901
对比项KafkaRabbitMQRocketMQPulsarActiveMQ核心定位事件流平台消息代理分布式业务消息 / 流云原生消息与流传统企业消息中间件典型模型吞吐倾向很高中高高很高中等路由灵活度相对简单很强较强较强较强顺序处理Partition 内有序Queue 场景下可维持顺序，但需考虑并发等因素支持顺序消息支持 Key_Shared 等模式处理有序需求支持传统队列顺序语义延迟消息通常需要业务设计或相关机制实现。
RabbitMQ springcloud+elasticsearch实现前端页面新增文章内容，异步到elasticsearch中，可提供进行高亮搜索
简介
08-20 336
在新增文章时，通过RabbitMQ异步实现将文章需要进行搜索高亮显示的内容，异步写入到elasticsearch中。
kafka基础知识
鲜衣怒马少年时，不负韶华行且知。 从第一个Hello World起，便踏上这条后端修行路。趟过分布式事务的浑水，翻过性能瓶颈的高山，方知代码如剑，需千锤百炼方显锋芒。 博客所记，皆为修行路上的顿悟与磕绊，愿与同道人共勉，稳步江湖。
08-18 259
Apache Kafka 是一个分布式、高吞吐、可持久化的消息队列（消息中间件），由 LinkedIn 于 2011 年开源，后捐献给 Apache 基金会。它最初是为了解决 LinkedIn 海量日志传输问题而设计的，如今已经成为大数据生态中事实标准的数据管道。一句话理解：Kafka 是一个「写入快、存得住、读不丢」的分布式消息系统，天生为海量数据而生。│ Kafka 在大数据生态中的位置 │数据源 Kafka 数据消费方│ 业务系统 │ ──────→ │ │ ──────→ │ 实时计算 │。
Kafka架构 消费者组
小楼一夜听春雨，深巷明朝卖杏花
08-20 97
如果还是使用的是push方式，那么很难保证每个消费者消费的速率是一样的，这样很难适应不同速率的消费者。生产者生产出来的数据会及时的推送到topic中存储，producer会像broker中发送数据，采用的是push模式。有一个主题，有三个分区，消息在进入不同的分区进行存储的时候，每个分区都有自己offset记录，来表示这条消息在分区当中的位置。kafak若干的消费者是需要放在一个分组当中的，而进行消费的时候也是以组为单位的。消费者在消费了数据之后，是要去更新消费的位置的，。
图解 Kafka Consumer 常用 API：poll、seek、pause、wakeup 到底在控制什么？
laker的博客
08-17 468
本文摘要： Apache Kafka 4.3.x版本中，KafkaConsumer的核心API可归纳为四种状态控制：Partition所有权、读取位置、故障恢复位置及本地流量管理。重点包括： 线程安全要求：除wakeup()外所有API必须由专属线程串行调用 订阅模式二选一： subscribe()实现消费者组自动协调 assign()用于手动分区分配 poll()的三重职责：组协调、数据拉取和应用交付，需注意超时配置与处理时效 位点管理三要素： position()获取待读取位置 committed()查
【Kafka学习4】六大核心 API
海兰
08-19 245
本文全面介绍了Kafka的核心API体系，包括Producer API（数据生产）、Consumer API（数据消费）、Share Consumer API（协同消费）、Streams API（流处理）、Connect API（数据管道）和Admin API（集群管理）。文章通过Mermaid流程图展示了各API与Kafka集群的交互关系，并详细阐述了各API的核心原理、典型应用场景及Maven依赖配置。Kafka的API分层设计使其既能作为简单消息队列使用，也能支撑复杂的实时计算场景，开发者可根据需求灵
Java大厂面试实录：Spring Boot、Redis、Kafka、Elasticsearch、分布式事务与云原生高并发系统
2602_95996092的博客
08-22 149
业务场景这是典型的互联网高并发场景：读多写少、热点集中、内容产生后有审核和索引需求。技术点Java 8 / 11 / 17：Java 8是长期支持版本，主流企业大量使用；Java 11带来的ZGC（实验性）、（容器内存自动感知）很实用；Java 17是LTS，Spring Boot 3强制要求。Maven：依赖管理和构建生命周期，通过pom.xml统一管理第三方库。Gradle更灵活、构建更快，但Maven更通用。Spring Boot + Spring Cloud：微服务基础框架。
【 Kafka进阶5】使用 Docker 部署 Apache Kafka 集群完全指南
海兰
08-22 181
本文介绍了使用Docker容器化部署Kafka的全链路方案，从单节点快速测试到生产级多节点集群配置。主要内容包括： Docker部署优势：环境一致性、快速扩缩容、资源隔离和简化运维，并提供JVM版和GraalVM原生镜像选择。 镜像选择：官方提供JVM版（生产推荐）和GraalVM原生版（仅测试），后者启动更快但功能受限。 核心配置：详细说明KRaft模式、节点角色划分及关键环境变量，支持三种配置输入方式（环境变量优先）。 安全认证：介绍SASL（仅JVM支持）和SSL的配置方法及注意事项。 部署示例：提供
Java大厂面试实录：Spring Boot自动配置、Redis缓存、Kafka一致性、微服务容错全拷问
2602_95996092的博客
08-20 236
谢飞机的面试看似搞笑，其实暴露了很多初级程序员常见的问题：能说出技术名词，但说不清底层原理；用过框架，但没有在生产环境踩过坑。大厂真正想招的是“知其然也知其所以然”的工程师。如果你也在准备Java面试，希望这份“谢飞机面试实录”能帮你把基础打牢。回家等通知没关系，只要沉下心来把每个难题都搞懂，下一次你就能像老鸟一样，对答如流。
图解 Kafka Consumer Lag：积压增长时，怎么判断瓶颈在 Producer、Broker、Partition、Consumer 还是下游？
laker的博客
08-18 366
Kafka Consumer Lag 高并不等于 Consumer 数量不足。本文图解 Group Lag、Client Lag 与未提交窗口的区别，并从 Producer、Broker、Partition、Consumer 和下游系统逐层定位积压，给出指标、代码、配置、告警规则与排障 Runbook。
大厂Java面试：Spring Boot、JVM、Redis、Kafka与Elasticsearch在内容社区UGC场景下的实战拷问
2602_95996092的博客
08-18 198
下一位，谢飞机。”面试官王工翻看着简历，头也不抬地说。谢飞机挺直腰板走进会议室，坐下后紧张地搓了搓手：“面试官好，我叫谢飞机，Java后端开发三年经验，主要做内容社区方向的业务。王工抬眼看了他一下：“三年经验，简历上写了Spring Boot、Redis、Kafka、Elasticsearch这些。那我们直接进入正题，你们社区的核心功能是什么？我们那套系统日活大概五十万，我负责的模块是内容发布和动态流。王工点点头：“行，先从你熟悉的说起。
电商场景Java面试：Spring Boot、JVM、Redis、Kafka、微服务与分布式事务考点解析——谢飞机的作死面试记
2602_95996092的博客
08-20 189
谢飞机，你的简历上写着精通Java、Spring、Redis、Kafka，那我们先聊聊电商项目吧。”面试官王工推了推眼镜。谢飞机挺直腰板：“好的，我做过一个电商平台，日活百万。王工点点头：“那你说说Spring Boot的自动装配原理是什么？谢飞机：“自动装配就是……嗯，Spring Boot启动的时候，会根据pom里的依赖自动配置bean，不用我们手动写XML。王工：“不错，那JVM的内存区域有哪些？如果线上OOM你怎么办？谢飞机：“有堆、栈、方法区。OOM就加内存呗，重启应用。
【 Kafka进阶3】Apache Kafka 分布式事件流平台：架构原理与微服务解耦机制简要分析
海兰
08-20 1028
本文探讨了电商平台订单履约中传统同步调用面临的O(N²)复杂度问题，提出基于Kafka事件总线的发布-订阅模式可将复杂度降至O(N)。文章详细解析了Kafka五大核心组件（Producer、Topic、Partition、Consumer、Broker）的工作原理，重点阐述了分区路由、消费者组负载均衡和日志持久化等机制。通过与RabbitMQ等消息队列的对比，突显了Kafka在高吞吐、有序性和持久化方面的优势，为分布式系统架构设计提供了技术选型参考。
ZV-1高级功能说明书 用户使用
08-22
源码下载地址： https://pan.quark.cn/s/a4b39357ea24 "ZV-1 高级功能使用手册 用户详细指南" 此文档将全面阐述 Sony ZV-1 相机的进阶功能及其操作方法，为用户呈现详尽的操作指引和配置范例。 一、使用指南与摄影技巧 * 本手册旨在协助用户迅速掌握 Sony ZV-1 相机的使用方法 * 提供摄影技巧与操作方法等实用信息 * 可在线查阅配件兼容性详情及配置范例 二、基础操作 * 通过控制轮和菜单选项将常用功能分配至按键 * 探索功能按钮（Fn）与自定义按键的应用 * 学习显示（DISP）按钮的操作方法 * 明确拍摄及浏览时图标与提示的展示方式 三、电源与存储介质 * 查询电池续航时间及可拍摄照片数量 * 注意电池使用规范及更换事项 * 掌握存储卡插入方法及注意事项 四、语言与时间设定 * 说明语言及时间配置流程 * 熟悉相机内部功能说明和拍摄模式选择 五、拍摄模式与对焦系统 * 探究拍摄模式和对焦模式的选择 * 了解自动对焦、人脸/眼部自动对焦设置及主体追踪功能 * 掌握手动对焦和直接手动对焦（DMF）操作 * 理解峰值对焦设置及拍摄模式选择 六、触控操作与视频录制 * 阐明触控功能特性及触控快门使用 * 学习触控对焦与触控追踪功能 * 掌握视频录制模式及高帧速率（HFR）设置 * 了解智能自动与场景识别程序 七、曝光调整与白平衡 * 熟悉曝光模式和白平衡配置 * 探究ISO感光度调节与变焦功能 * 学习自动HDR及动态范围优化（DRO）技术 八、图像处理与编辑功能 * 明确图像质量与文件格式选项 * 了解美肤效果与自动构图功能 * 掌握色彩空间选择与快门速度设置 * 探索降噪处理及高ISO降噪技术 九、闪光灯与人脸识...
European Soccer Database 欧洲足球数据库-数据集
终极足球数据库，用于数据分析和机器学习 European Soccer Database_archive_datasets.txt
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值