30分钟带你了解「消息中间件」Kafka、RocketMQ

最新推荐文章于 2025-04-23 11:31:40 发布
原创 最新推荐文章于 2025-04-23 11:31:40 发布 · 490 阅读 · 0
标签
#队列 #分布式 #消息中间件 #架构 #程序人生
本文深入探讨了消息中间件在异步解耦、削峰填谷等场景的应用，对比了Kafka、RocketMQ等主流框架的优缺点。Kafka以其高吞吐、丰富的生态脱颖而出，而RocketMQ则在功能增强上有所牺牲。文章还讨论了Kafka的分区策略、消息持久化机制及其在分布式事务中的作用。

30分钟带你了解「消息中间件」Kafka、RocketMQ

 

消息中间件的应用场景

  • 异步解耦
  • 削峰填谷
  • 顺序收发
  • 分布式事务一致性

腾讯应用案例：

30分钟带你了解「消息中间件」Kafka、RocketMQ

 

主流 MQ 框架及对比

30分钟带你了解「消息中间件」Kafka、RocketMQ

 

说明

  • Kafka：整个行业应用广泛
  • RocketMQ：阿里，从 apache 孵化
  • Pulsar：雅虎开源，符合云原生架构的消息队列，社区活跃
  • RabbitMQ 架构比较老，AMQP并没有在主流的 MQ 得到支持
  • NSQ：内存型，不是最优选择
  • ActiveMQ、ZeroMQ 可忽略

Kafka 优点

  • 非常成熟，生态丰富，与 Hadoop 连接紧密
  • 吞吐非常高，可用性高sharding提升 replication 速度
  • 主要功能：pub-sub，压缩支持良好
  • 可按照 at least once, at most once 进行配置使用，exactly once 需要 Consumer 配合
  • 集群部署简单，但 controller 逻辑很复杂，实现partition 得多副本、数据一致性
  • controller 依赖 ZooKeeper
  • 异步刷磁盘（除了钱的业务，很少有同步 flush 的需求）

Kafka 缺点

  • 写入延时稳定性问题，partition 很多时Kafka 通常用机械盘，随机写造成吞吐下降和延时上升100ms ~ 500ms
  • 运维的复杂性单机故障后补充副本数据迁移快手的优化：迁移 partition 时旧数据不动，新数据写入新 partition 一定时间后直接切换

RocketMQ

  • 阿里根据 Kafka 改
最低0.47元/天 解锁文章
bigpipe：以Kafka为存储介质，提供异步HTTP RPC的中间件
02-03
大烟斗 一个基于Kafka的中间件，预测简化服务间初始Http调用的复杂度 功能更新 2018-04-04：增加了消费者粒度的熔断器，防止下游不可用导致大量流量持续损失，这是一个可选功能 环境要求 卡夫卡> = 0.9 转到> = 1.8 特性 横向扩展：完全支持rebalanced-consumer-group，多进程部署即可实现分区自动负载均衡 配置热加载：在线服务无需重启即可立即加载配置，流量0损失 优雅退出：处理完剩余任务后退出，流量0损失 超强性能：无锁，协程并发，单进程即可充分利用多核，满足一般流量需求 容错机制：对下游实施限速，限并发，熔断三种保护机制 安装依赖 GO包依赖 编
rocketmq 顺序消费_RocketMQ全貌解析，阿里不愧是阿里
weixin_39898248的博客
10-27 433
RocketMQ是一个来自阿里巴巴的分布式消息中间件，于2012年开源，并在2017年正式成为Apache顶级项目。据了解，包括阿里云上的消息产品以及收购的子公司在内，阿里集团的消息产品全线都运行在RocketMQ之上，并且最近几年的双十一大促中，RocketMQ都有抢眼表现。谈起消息系统中间件，就开源项目而言，户的选择其实很多，包括ActiveMQ、ZeroMQ、Kafka等。那到底Rocket...
宝兰德BESMQ消息中间件安装
Jason.K的博客
07-06 8809
这里写自定义目录标题宝兰德 BESMQ安装 教程安装 宝兰德 BESMQ安装 教程 安装宝兰德BES MQ：BESMQ010200B1279-X86-V52.bin 安装 我们选择静默安装 ;安装前准备BESMQ010200B1279-X86-V52.bin 第一步:创建静默安装参数文件 mkdir /home/program/tar cd /home/program/tar vi installer.properties ######################################
国产化软件新浪潮：jdk redis mysql tomcat nginx改造替代品及信创名录
Hanko的专栏
07-17 1万+
金蝶Apusic应用服务器（Apusic Application Server，AAS）是一款标准、安全、高效、集成并具丰富功能的企业级应用服务器软件，全面支持JakartaEE8/9的技术规范，提供满足该规范的Web容器、EJB容器以及WebService容器等，支持Websocket1.1、Servlet4.0、HTTP2.0等最新的技术规范，为企业级应用的便捷开发、灵活部署、可靠运行、高效管控以及快速集成等提供关键支撑。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。
百度交易中台之账房系统架构浅析
lihui49的博客
03-18 1492
导读：百度交易中台作为集团移动生态战略的基础设施，面向收银交易与清分结算场景，为赋能业务提供高效交易生态搭建。目前支持百度体系内多个产品线，主要包含：小程序，地图打车，百家号，招财猫，好看视频等。本文主要介绍了百度交易中台的商户财务对账相关的帐房系统，主要从业务模型以及系统设计来介绍该系统。 全文5184字，预计阅读时间14分钟 一、系统介绍 帐房系统是建立在百度交易系统[1]下，收拢聚合了商家/平台/宿主等接入方的收入/支出流水的对账系统。商家通过该系统可直接看到自己的收入/其他款项/支出等流水信息，.
RocketMQ吐血总结
热门推荐
武汉红喜
12-09 15万+
RocketMQ吐血总结 架构   概念模型 最基本的概念模型与扩展后段概念模型  存储模型   RocketMQ吐血总结 User Guide RocketMQ是一款分布式消息中间件，最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统，满足线上海量消息堆积的需求， 在2016年底捐赠给Apache开源基金会成为孵化项目，经过不到一年时间正式成为了A...
RocketMQ和Kafka​​​​
最新发布
bingyutiantian的专栏
04-23 1012
【代码】RocketMQ和Kafka​​​​。
7张图，带你5分钟入门RocketMQ
2401_83384536的博客
05-19 1460
通过上面的分析，我们可以总结一个通过 key 在 Index 文件中查找消息的流程，如下：1.计算 key 的 hashcode；2.根据 hashcode 在 Hash 槽中查找位置 s；3.计算 Hash 槽在 Index 文件中位置 40+(s-1)*4；4.读取这个槽的值，也就是Index条目序号 n；5.计算该 index 条目在 Index 文件中的位置，公式：40 + 500万 * 4 + (n-1) * 20；
淘宝aDev技术沙龙总结：消息中间件和BigPipe
mousever的专栏
03-18 1243
11月26日的aDev技术沙龙是淘宝在北京地区举办的第一次线下活动，本人正好过去凑个热闹，看看牛人们的讨论。 aDev的定位偏后端，本期主题是《异步化技术在大型系统中的运用》，两个话题跟Java消息中间件相关，一个涉及偏前端的BigPipe实现。说是aDev，但其实前两个有关Java消息中间件的话题基本分不清是开发还是运维了，这也算是这个领域的一个发展方向吧。 在分布式互联网技术尚未推进之前，
详解支撑7亿用户搜索的百度图片处理收录中台
lihui49的博客
05-18 563
点击关注「百度Geek说」更多技术干货等着你导读：在百度搜索中，主要由“搜索在线”和“搜索离线”两部分构成，“在线”服务主要用于响应用户请求，“离线”服务则将各种来源的数据转换处理后送入“在线”服务中。“搜索离线”的数据处理是一个典型的海量数据批次/实时计算结合的场景。全文4142字，预计阅读时间8分钟。 一、多模态检索背后的”离线“与“在线”在百度搜索中，主要由“搜索在线”和“搜索离线”部分构成，“在线”服务主要用于响应用户请求，“离线”服务则将各种来源的数据转换处理后送入“在线”服务中。“搜索
如何实现延迟消息
qq_40483675的博客
02-21 1707
分析延迟消息在业界成熟开源中间件的实现，总结提炼其设计难点和主流设计思想。
RabbitMQ的替代方案
qq_31195821的博客
04-29 3087
业务背景：数据库分库分表，涉及多个子系统以及分片区的数据更新，往往不能直接操作数据库，http请求也会造成单点故障，通过网关又会拉长整体业务链路。 技术背景：springboot体系 问题描述：各业务子系统可以通过微服务请求到pub子系统，但是由于内部系统架构，禁止pub依赖子系统，所以往往一些多子系统消息通讯采取的是主流的RabbitMq或者kafka等。由于公司的产品面对的是不同的银行，考虑到后续银行会存在使用不同的中间件的情况，这样系统兼容不同中间件成本会加大，所以本文章介绍此种情况如果替代Rabbi
常见消息中间件对比和mqtt broker选型
wota5037的博客
12-16 6195
常见消息中间件介绍 当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ等，而部分数据库如Redis、MySQL以及phxsql也可实现消息队列的功能。 消息队列概述 消息队列是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。 RabbitMQ RabbitMQ于2007年发布，是一个在AMQP(高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之一。 主要特性
消息队列中间件RabbitMQ安装及其三种模式（直接模式、分裂模式和主题模式）的应用
老达摩的博客
08-26 537
消息队列RabbitMQ 1.消息队列中间件简介 1.1消息队列中间件简介 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 。 1.2RabbitMQ的特点 1.可靠性（Reliability） RabbitMQ 使用一些机制来保证可靠性，如持久化、传输确认、发布确认。 2.灵活的路由（Flexible Rout
国产中间件介绍
ITSM/ITIL/网络安全/IT运维
05-04 3415
为解决分布异构问题，提出了中间件概念，中间件是位于平台（硬件和操作系统）和应用之间的通用服务，这些服务具有标准的程序接口和协议。针对不同的操作系统和硬件平台，有符合接口和协议规范的多种实现。可以为处于上层的应用软件提供运行与开发环境，封装不同应用系统的API接口，为应用提供统一标准接口，使应用的开发、运行与操作系统解耦，屏蔽底层的技术细节差异，确保应用的独立性。
消息中间件哪家强？RabbitMQ、RocketMQ、Kafka我全都要
杨荧的CSDN博客
09-07 1407
消息中间件哪家强？小孩子才做选择，RabbitMQ、RocketMQ、Kafka我全都要
RocketMQ-介绍
Logan的博客
08-10 4130
RocketMQ概述 1、RocketMQ简介 RocketMQ是一个统一消息引擎、轻量级数据处理平台。 RocketMQ是一款阿里巴巴开源的消息中间件。2016年11月28日，阿里巴巴向 Apache 软件基金会捐赠 RocketMQ，成为 Apache 孵化项目。2017 年 9 月 25 日，Apache 宣布 RocketMQ孵化成为 Apache 顶 级项目（TLP ），成为国内首个互联网中间件在 Apache 上的顶级项目。 官网地址：http://rocketmq.apache.org 2、R
RocketMQ简介
hsq568853512的博客
10-31 1065
一、什么是RocketMQ RocketMQ是阿里巴巴研发的一款纯Java的分布式、高性能、高可靠、高实时的消息中间件，最初主要用于阿里巴巴内部的生产系统，满足线上海量消息堆积的需求。在2016年底捐赠给Apache开源基金会，经过不到一年时间正式成为了Apache顶级项目。经历多年双十一的洗礼，RocketMQ在可用性、可靠性和稳定性方面都有着非常稳定的表现，证明了其是一款非常优秀的消息中间件。 ...
RocketMQ重试机制
qq_33967604的博客
04-07 1760
一、RocketMQ的生产者重试 1.可靠同步模式 原理简解：同步发送是指消息发送方发出数据后，会在收到接收方发回响应之后才发下一个数据包的通讯方式。 应用场景：这种可靠同步方式发送应用场景非常广泛，例如重要通知邮件、报名短信通知、营销短信系统等。 //可靠同步模式send方法 参数CommunicationMode.SYNC 同步 public SendResult send(Message msg, long timeout) throws MQClientException, R
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值