Apache Pulsar的功能特性、组件介绍、和Kafka对比

原创 已于 2022-09-21 16:12:53 修改 · 5.2k 阅读 · 6
标签
#pulsar #kafka #pulsar架构 #云原生 #层级储存
于 2022-05-01 17:53:14 首次发布
Apache Pulsar是一个强大的分布式消息系统，以其多租户、灵活的消息模型和云原生架构著称。Pulsar支持流式和队列消费模式，提供 Exactly-Once 语义，并采用计算与存储分离的架构。与Kafka相比，Pulsar在消息消费模式、消息确认和消息保留策略上有显著差异。Pulsar的架构由Broker、BookKeeper和Zookeeper组成，Broker负责消息分发，BookKeeper实现消息持久化，Zookeeper处理元数据和协调。Pulsar还通过PulsarIO连接器和PulsarFunctions支持与其他系统的集成和轻量级计算。

目录

1. Apache Pulsar功能与特性

1. 多租户模式

多租户

  • 租户和namespace是Pulsar支持多租户的两个核心概念
  • 在租户级别，Pulsar为特定的租户预留合适的存储空间、应用授权和认证机制
  • 在命名空间级别，可以调整副本设置，管理跨集群的消息复制。Pulsar还有一系列的配置策略(policy)，包括存储配额、broker控制produce和consume的流量、消息过期策略和命名空间之间的隔离策略

2. 灵活的消息系统
发布订阅模式队列模式

  • Pulsar在Topic级别只需保存一份数据，同一份数据可多次消费。以流式、队列等不同的订阅模型进行消息消费
  • 同时pulsar通过事务实现Exactly-Once语义, 可以确保数据不丢不重

3. 云原生架构

  • Pulsar使用计算与存储分离的云原生架构。上层是无状态Broker，负责消息分发和服务；下层是持久化的存储层Bookie集群，存储是分片的。
  • 云原生需满足以下几个要求：
    1. DevOps：指的就是开发和运维不在是分开的两个团队, 而是你中有我, 我中有你的一个团队</
最低0.47元/天 解锁文章
Apache Pulsar千亿级消息引擎-基本介绍
Im ok的博客哦
06-20 1929
Apache Pulsar顶级消息队列系统
Apache Pulsar 技术系列 - Pulsar 总览
qq_36668144的博客
03-24 821
Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案，数据持久化依赖 Apache BookKeeper 实现，支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。
Apache Pulsar 深度解析：从入门到精通的开发者指南
心有猛虎细嗅蔷薇
04-29 706
Apache Pulsar作为下一代云原生分布式消息流平台，其核心创新在于计算存储分离架构，实现了秒级扩缩容、多租户强隔离和无限消息堆积能力。文章从核心概念、架构原理到存储层深度剖析，系统介绍了Pulsar的关键特性：1）三级命名空间实现多租户隔离；2）四种订阅模式满足不同场景需求；3）与Kafka相比在架构、扩容、多租户等方面的优势；4）三层分离架构中无状态Broker与BookKeeper存储层的协同机制；5）BookKeeper作为分布式日志存储的核心设计。Pulsar特别适合云原生环境和大规模多业务
CTO问我Pulsar到底能不能取代Kafka？
weixin_45963535的博客
11-03 2674
Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。 历史背景 Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。 Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。 架构 Kafka Kafka架构由broker和zookeeper组成，如下图： [1]
Apache Pulsar 从入门到精通
weixin_38687619的博客
06-10 1849
具有非常灵活的消息模型和直观的客户端 API。分布式发布-订阅消息平台。多租户、认证、授权、配额。Pulsar 是一个。
全面解析 Apache Pulsar
hello.reader
09-24 3200
是一个开源的分布式消息流平台，以其独特的存储与计算分离架构、高性能和多租户支持著称。Pulsar 的架构设计注重可扩展性、可靠性和灵活性，能够满足从小型应用到大规模分布式系统的需求。下面我们来详细解读 Pulsar 的核心架构组件及其原理。
pulsar的架构与特性记录
qq_31515997的博客
01-10 1539
pulsar的架构与特性记录
Pulsar 核心架构 详解
csdn_tom_168的博客
08-05 1252
Apache Pulsar是一个开源的分布式消息与流处理平台，采用分层架构设计，将服务层（Broker）与存储层（BookKeeper）解耦，实现高性能和高可扩展性。其核心组件包括Broker（无状态消息处理）、BookKeeper（持久化存储）、ZooKeeper（元数据管理）和Pulsar Client（生产/消费）。Pulsar支持多租户隔离、多种订阅模式（Exclusive/Shared/Key_Shared）和持久化游标，具备高可用性（副本机制）和跨地域复制能力。相比Kafka，Pulsar的计算
Apache Pulsar vs Kafka：流处理平台终极对比指南
最新发布
gitblog_01034的博客
06-06 378
在实时数据处理领域，Apache Pulsar 和 Kafka 作为两大主流流处理平台，一直是技术选型的焦点。本文将深入对比两者的核心架构、功能特性和适用场景，帮助开发者做出最适合业务需求的选择。 ## 架构设计：存储与计算的分离革命 ### Kafka：紧耦合的传统架构 Kafka 采用计算与存储耦合的设计，Broker 节点同时负责消息处理和数据持久化。这种架构导致： - 存储节点有状态，
Apache Pulsar vs Kafka：分布式消息系统核心差异深度测评
gitblog_00996的博客
09-30 825
你是否在选择分布式消息系统时犹豫不决？面对Apache Pulsar和Kafka这两个主流选项，不知道哪一个更适合你的业务场景？本文将从架构设计、性能表现、功能特性和适用场景四个维度，为你深度剖析两者的核心差异，帮助你做出明智的技术选型决策。读完本文，你将能够清晰了解何时选择Pulsar，何时选择Kafka，以及如何根据自身需求进行技术栈规划。 ## 一、架构设计对比 ### 1.1 Apac...
Apache Pulsar入门指南
hello.reader
05-24 3200
Apache Pulsar 是灵活的发布-订阅消息系统（Flexible Pub/Sub messaging），采用计算与存储分离的架构。雅虎在 2013 年开始开发 Pulsar ，于 2016 年首次开源，目前是 Apache 软件基金会的顶级项目。Pulsar 具有支持多租户、持久化存储、多机房跨区域数据复制、高吞吐、低延迟等特性。
Pulsar 介绍 | 为什么选择 Apache Pulsar 而不是 Kafka
Apache Pulsar
03-12 1664
本文翻译自 Saket Jain 的系列博客《Choosing Apache Pulsar Over Kafka》。文章讲述了 Apache Pulsar 的优势、常用配置并针对 Linux 系统给予了相应调优建议，值得推荐。作者：Anshul Singh，译者：傅腾注：为了行为顺畅，有部分调整。翻译不易，有任何问题，都可以小窗公众号私信，或者直接联系 Pulsar Bot :)第一部分：探索 P...
Apache Pulsar 云原生消息中间件之王
qq_45043381的博客
03-03 1859
pulsar，消息中间件，是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。pulsar采用发布-订阅的设计模式，producer发布消息到topic，consumer订阅这些topic处理流入的消息，并当处理完成之后发送一个确认。一旦创建订阅，即使consumer断开连接，pulsar仍然可以保存所有消息，在consumer确认消息已处理成功之后才会删除消息。Pulsar 的关键特性如下：Pulsar 的单个实例原生支持多个集群，可在集群间无缝地完成消息复制。
pulsar使用指南
技术人集结地
04-07 1848
Apache Pulsar 凭借其云原生架构、多模式消息处理和高扩展性，成为实时数据场景的优选方案。无论是金融级强一致需求，还是海量物联网数据流，Pulsar 均能提供高效可靠的解决方案。其活跃的社区和持续迭代（如 2024 年发布的 3.1.x 版本增强 Geo-Replication 功能）进一步巩固了其在消息中间件领域的领先地位。
Apache Pulsar 入门 && Apache Pulsar 4.0 核心新特性
csdn_tom_168的博客
06-10 1435
Apache Pulsar系统解析 Apache Pulsar采用存算分离的云原生架构，Broker层实现无状态服务，BookKeeper负责持久化存储，支持多租户隔离。其核心特性包括毫秒级延迟、百万级Topic支持、多订阅模式和轻量级函数计算，具备跨地域复制和事务消息等企业级可靠性。相比Kafka和RabbitMQ，Pulsar在架构设计、多租户支持和混合云适配方面更具优势。4.0版本强化了Key_Shared订阅模式，集成OpenTelemetry实现全链路追踪，并优化了Docker镜像和限速机制。Pu
Apache Pulsar部署搭建
hello.reader
05-24 5235
如果不指定 --url 参数并且没有在 conf/client.conf 文件中指定 pulsar 集群连接信息，则默认连接的是 pulsar://localhost:6650/。可以指定 --url pulsar://192.168.1.147:6650 或者 --url http://192.168.1.147:8080 与 broker 进行交互。访问 http://192.168.1.147:7750/bkvm 查看 bookie 信息，用户名：admin，密码：admin。
kafka测试工具_Apache Pulsar和Kafka之间的性能比较
weixin_39748445的博客
12-03 1439
最初于2019年8月29日发布在Kafkaesque博客上。Apache Pulsar，Apache Kafka和Apache BookKeeper是Apache Software Foundation的商标。Apache Kafka以其高性能而闻名。 它能够处理高速率的消息，同时保持较低的延迟。 Apache Pulsar是快速增长的Kafka的替代品。 有报告表明，Pulsar具有比Kafka...
Pulsar 和 Kafka 架构对比
qianshanding0708的博客
10-03 2077
更多内容关注微信公众号：fullstack888相比于 Kafka 等数据处理中间件，分布式消息平台 Apache Pulsar 如何存储数据？本文基于架构，对比了 Apache Kafka 等传统数据处理中间件和分布式消息平台 Apache Pulsar 的优劣势，供大家参考。存储可扩展Apache Pulsar 的多层架构将消息服务层与存储层完全解耦，从而使各层可以独立扩展。传统的分布式数据处...
什么是 Apache Pulsar？新一代云原生消息队列平台全面解析
velock的博客
05-01 1581
是一款融合了消息队列与流处理能力的新一代平台，具有出色的性能、灵活性与云原生能力。它的架构设计更适合现代分布式与容器化场景，尤其在多租户平台、微服务架构、实时数据流处理、事务型消息场景中展现出强大的优势。如果你正在寻找一个可替代 Kafka 的现代化消息平台，Pulsar 值得深入了解与尝试。
独特架构打造新一代消息队列Apache Pulsar
Hanko的专栏
08-12 840
Apache Pulsar 是一个开源的分布式消息流平台，设计用于处理高吞吐量、低延迟的消息传递需求。Pulsar 最早由雅虎开发，并于 2016 年开源，2018 年成为 Apache 基金会的顶级项目。Pulsar 的独特架构使其能够提供多租户、持久化存储和批处理等高级功能，同时保持高性能和可扩展性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值