ZeroMQ：高性能异步消息库

原创 已于 2025-05-16 21:29:14 修改 · 2.8k 阅读 · 23 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#c++
于 2025-05-16 21:27:44 首次发布

       ZeroMQ（也称为 ØMQ、ZMQ）是一个高性能异步消息库，专为分布式/并发应用设计。它提供了类似 Socket 的 API，但支持更灵活的消息模式（如 Pub/Sub、Req/Rep、Pipeline 等），无需依赖中央消息代理（Brokerless）。

ZeroMQ 核心特性

特性说明
多协议支持TCP、IPC（进程间）、inproc（线程间）、PGM（多播）等。
多种通信模式支持 Pub/Sub、Req/Rep、Push/Pull、Router/Dealer 等模式。
高性能异步 I/O，零拷贝技术，适用于高吞吐低延迟场景。
无中心化无需单独的消息服务器（如 RabbitMQ/Kafka），节点可直接通信。
多语言绑定C/C++、Python、Java、Go、Rust 等。

常用消息模式

(1) 请求-应答（Req/Rep）

  • 场景：客户端-服务器交互（如 RPC）。

  • 代码示例：

// Server (Rep)
zmq::socket_t responder(context, zmq::socket_type::rep);
responder.bind("tcp://*:5555");
zmq::message_t request;
responder.recv(request);  // 阻塞接收
responder.send(zmq::message_t("World"), zmq::send_flags::none);

// Client (Req)
zmq::socket_t requester(context, zmq::socket_type::req);
requester.connect("tcp://localhost:5555");
requester.send(zmq::message_t("Hello"), zmq::send_flags::none);
zmq::message_t reply;
requester.recv(reply);

(2) 发布-订阅（Pub/Sub）

  • 场景：广播消息（如股票行情推送）。

  • 代码示例：

// Publisher
zmq::socket_t publisher(context, zmq::socket_type::pub);
publisher.bind("tcp://*:5556");
publisher.send(zmq::buffer("TopicA: Data"), zmq::send_flags::none);

// Subscriber (需订阅主题)
zmq::socket_t subscriber(context, zmq::socket_type::sub);
subscriber.connect("tcp://localhost:5556");
subscriber.set(zmq::sockopt::subscribe, "TopicA");
zmq::message_t topic_msg;
subscriber.recv(topic_msg);

(3) 流水线（Push/Pull）

  • 场景：任务分发（生产者-消费者）。

  • 代码示例：

// Producer (Push)
zmq::socket_t sender(context, zmq::socket_type::push);
sender.bind("tcp://*:5557");
sender.send(zmq::buffer("Task1"), zmq::send_flags::none);

// Consumer (Pull)
zmq::socket_t receiver(context, zmq::socket_type::pull);
receiver.connect("tcp://localhost:5557");
zmq::message_t task;
receiver.recv(task);

(4) 路由-代理（Router/Dealer）

  • 场景：负载均衡或复杂路由。

  • 特点：支持异步双向通信。

实战：多线程安全聊天程序

功能需求

  • 每个客户端可以发送消息到服务器。

  • 服务器广播消息给所有客户端。

服务端代码

#include <zmq.hpp>
#include <iostream>
#include <thread>

void server_thread() {
    zmq::context_t context(1);
    zmq::socket_t publisher(context, zmq::socket_type::pub);
    publisher.bind("tcp://*:5555");

    zmq::socket_t collector(context, zmq::socket_type::pull);
    collector.bind("tcp://*:5556");

    while (true) {
        zmq::message_t msg;
        collector.recv(msg);  // 接收客户端消息
        std::cout << "Server received: " << msg.to_string() << std::endl;
        publisher.send(zmq::buffer("Broadcast: " + msg.to_string()), zmq::send_flags::none);  // 广播
    }
}

int main() {
    std::thread server(server_thread);
    server.join();
    return 0;
}

客户端代码

#include <zmq.hpp>
#include <iostream>
#include <thread>

void client_thread(int id) {
    zmq::context_t context(1);

    // 发送消息到服务器
    zmq::socket_t sender(context, zmq::socket_type::push);
    sender.connect("tcp://localhost:5556");

    // 接收广播
    zmq::socket_t receiver(context, zmq::socket_type::sub);
    receiver.connect("tcp://localhost:5555");
    receiver.set(zmq::sockopt::subscribe, "");

    sender.send(zmq::buffer("Hello from client " + std::to_string(id)), zmq::send_flags::none);

    while (true) {
        zmq::message_t broadcast;
        receiver.recv(broadcast);
        std::cout << "Client " << id << " received: " << broadcast.to_string() << std::endl;
    }
}

int main() {
    std::thread c1(client_thread, 1);
    std::thread c2(client_thread, 2);
    c1.join();
    c2.join();
    return 0;
}

总结

ZeroMQ 常见问题

Q1: 如何保证消息不丢失？

  • 使用 持久化队列（如结合 Redis/Kafka）或 重试机制。

  • 对于关键数据，启用 ZMQ_SNDHWM/ZMQ_RCVHWM 调整缓冲区大小。

Q2: 如何处理慢消费者？

  • 使用 ROUTER 套接字动态路由。

  • 设置 ZMQ_CONFLATE=1 只保留最新消息。

Q3: 如何实现跨语言通信？

  • 统一消息格式（如 JSON/Protobuf）。

  • 示例（Python + C++）：

# Python Publisher
import zmq
context = zmq.Context()
pub = context.socket(zmq.PUB)
pub.bind("tcp://*:5555")
pub.send_json({"data": "Hello from Python"})

性能优化建议

  1. 批量发送：使用 zmq::send_multipart() 发送多部分消息。

  2. 避免拷贝：复用 zmq::message_t 缓冲区。

  3. 线程隔离：每个线程使用独立的 Socket。

消费者-消费者通信

        在 ZeroMQ 中实现 消费者-消费者通信（Worker-Worker Communication）通常需要引入 中间代理（Broker） 或 对等网络（Peer-to-Peer） 模型。

1：通过代理（Broker）实现 Worker-Worker 通信

适用于需要集中式管理的场景（如任务结果汇总、动态负载均衡）。

生产者 (PUSH) → 任务队列 (Broker) (ROUTER/DEALER) ← 消费者群 (DEALER)
                     ↑
                     └── 消费者间通信 (PUB/SUB)
代码实现
Broker（代理）
#include <zmq.hpp>
#include <iostream>

int main() {
    zmq::context_t context(1);

    // 接收生产者任务 (PULL)
    zmq::socket_t task_receiver(context, zmq::socket_type::pull);
    task_receiver.bind("tcp://*:5555");

    // 分发任务给消费者 (ROUTER)
    zmq::socket_t task_dispatcher(context, zmq::socket_type::router);
    task_dispatcher.bind("tcp://*:5556");

    // 接收消费者间的消息 (SUB)
    zmq::socket_t worker_pub_sub(context, zmq::socket_type::sub);
    worker_pub_sub.bind("tcp://*:5557");
    worker_pub_sub.set(zmq::sockopt::subscribe, "");

    zmq::proxy(task_receiver, task_dispatcher, nullptr);
}
消费者（Worker）
#include <zmq.hpp>
#include <iostream>

void worker(int id) {
    zmq::context_t context(1);

    // 连接Broker获取任务 (DEALER)
    zmq::socket_t task_socket(context, zmq::socket_type::dealer);
    task_socket.connect("tcp://localhost:5556");

    // 消费者间通信 (PUB)
    zmq::socket_t worker_pub(context, zmq::socket_type::pub);
    worker_pub.connect("tcp://localhost:5557");

    // 订阅其他消费者消息 (SUB)
    zmq::socket_t worker_sub(context, zmq::socket_type::sub);
    worker_sub.connect("tcp://localhost:5557");
    worker_sub.set(zmq::sockopt::subscribe, "");

    while (true) {
        // 接收任务
        zmq::message_t task;
        task_socket.recv(task);
        std::cout << "Worker " << id << " received task: " << task.to_string() << std::endl;

        // 模拟处理任务
        std::string result = "Result from worker " + std::to_string(id);

        // 将结果发送给其他消费者
        worker_pub.send(zmq::buffer(result), zmq::send_flags::none);

        // 接收其他消费者的消息
        zmq::message_t peer_msg;
        if (worker_sub.recv(peer_msg, zmq::recv_flags::dontwait)) {
            std::cout << "Worker " << id << " got peer message: " << peer_msg.to_string() << std::endl;
        }
    }
}

int main() {
    std::thread w1(worker, 1);
    std::thread w2(worker, 2);
    w1.join();
    w2.join();
    return 0;
}
关键点

  • Broker 使用 zmq::proxy 自动转发消息。

  • 消费者通过 PUB-SUB 相互广播消息。

  • DEALER-ROUTER 保证任务分发的负载均衡。

2：对等网络（Peer-to-Peer）直连

适用于去中心化场景（如分布式计算节点间直接通信）。

消费者1 (DEALER) ↔ 消费者2 (DEALER)
消费者2 (DEALER) ↔ 消费者3 (DEALER)
代码实现
#include <zmq.hpp>
#include <iostream>
#include <vector>

void peer_worker(int id, const std::vector<std::string>& peer_addresses) {
    zmq::context_t context(1);

    // 创建DEALER套接字用于对等通信
    zmq::socket_t peer_socket(context, zmq::socket_type::dealer);
    peer_socket.set(zmq::sockopt::routing_id, std::to_string(id));
    peer_socket.bind("tcp://*:" + std::to_string(6000 + id));  // 每个Worker监听独立端口

    // 连接其他Peers
    for (const auto& addr : peer_addresses) {
        if (addr != std::to_string(id)) {
            peer_socket.connect("tcp://localhost:" + std::to_string(6000 + std::stoi(addr)));
        }
    }

    // 发送初始消息
    std::string hello_msg = "Hello from worker " + std::to_string(id);
    peer_socket.send(zmq::buffer(hello_msg), zmq::send_flags::none);

    while (true) {
        zmq::message_t msg;
        peer_socket.recv(msg);
        std::cout << "Worker " << id << " received: " << msg.to_string() << std::endl;

        // 模拟处理并回复
        std::string reply = "Reply from " + std::to_string(id);
        peer_socket.send(zmq::buffer(reply), zmq::send_flags::none);
    }
}

int main() {
    std::vector<std::string> workers = {"1", "2", "3"};  // Worker IDs
    std::vector<std::thread> threads;

    for (const auto& id : workers) {
        threads.emplace_back(peer_worker, std::stoi(id), workers);
    }

    for (auto& t : threads) t.join();
    return 0;
}
关键点

  • 每个 Worker 绑定唯一端口（如 6000 + ID）。

  • 使用 DEALER 套接字实现双向异步通信。

  • 路由ID (routing_id) 用于标识消息来源。

总结

方案优点缺点适用场景
Broker 中介集中管理，易于扩展单点故障风险需要结果汇总或复杂路由
P2P 直连去中心化，低延迟连接管理复杂高吞吐量分布式计算

进阶优化

  1. 心跳检测：在 P2P 模式中添加 PING-PONG 机制检测节点存活。

  2. 序列化：使用 Protocol Buffers 或 JSON 格式化消息。

  3. 错误处理：捕获 zmq::error_t 处理网络异常。

如果需要更精细的控制，可以结合 ZeroMQ 的多部分消息（Multipart Messages）或 自定义路由逻辑。

1、消息队列框架：ZeroMQ - 开源项目研究文章
lzhdim的专栏
01-01 1343
　　 　　ZeroMQ(简称ZMQ)是一个开源的通用消息库，它提供了一种类似于嵌入网络库的功能，但实际上更像是一个并发框架。它允许你在不同传输方式(比如进程内、进程间、TCP和多播)中通过套接字传递原子消息，支持多种消息模式如扇出、发布订阅、任务分发和请求回复，能够实现N对N的套接字连接。ZMQ的性能足够高，可以作为集群产品的通信基础，并且它的异步I/O模型支持构建可扩展的多核应用程序。此外，Z...
zmq中间件框架入门
荆楚小胡的博客
05-02 5626
概括地来说，ZeroMQ是一个高速并发消息通信框架，这是一个跨平台、跨系统、多语言的中间件软件。
PageFlip GLSL着色器详解：顶点与片段着色器的实现原理
最新发布
gitblog_00087的博客
05-21 408
Android平台的3D翻页效果（PageFlip）通过GLSL着色器实现了流畅的页面翻转动画。本文将深入解析PageFlip项目中顶点着色器与片段着色器的核心实现原理，帮助开发者理解3D翻页效果背后的图形渲染技术。 ## 一、GLSL着色器在PageFlip中的作用 GLSL（OpenGL Shading Language）是实现3D翻页效果的核心技术。在PageFlip项目中，着色器负责处
ZMQ — 基本使用与工具类
pentiumCM的博客
06-16 2965
文章目录ZMP — 基本使用与工具类一、简介二、使用(一) python — zmq参考文献 ZMP — 基本使用与工具类 一、简介 官网：https://zeromq.org/ ZeroMQ（简称ZMQ）是一个基于消息队列的多线程网络库，其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象，提供跨越多种传输协议的套接字。 ZMQ是网络通信中新的一层，介于应用层和传输层之间（按照TCP/IP划分），其是一个可伸缩层，可并行运行，分散在分布式系统间。 ZMQ不是单独的服务，而是一个嵌入式库，它封装了网络
ZeroMQ研究与应用分析
kobejayandy的专栏
09-15 3497
1  ZeroMQ概述 ZeroMQ是一种基于消息队列的多线程网络库，其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象，提供跨越多种传输协议的套接字。ZeroMQ是网络通信中新的一层，介于应用层和传输层之间（按照TCP/IP划分），其是一个可伸缩层，可并行运行，分散在分布式系统间。 2  系统架构 2.1 总体架构 ZeroMQ几乎所有的I/O操作都是异
ZeroMQ基础入门
顺其自然~专栏
08-13 7044
mq是消息队列（message queue）的简称，目前有多种消息队列可用，包括RabbitMQ、Kafka等，它们各有特色，可以结合具体的项目需求使用。 ZeroMQ简称Zmq，或者0mq，核心引擎由c++编写，是轻量级消息通信库，在对传统的标准socket接口扩展的基础上形成的特色消息通信中间件。 Zmq提供了异步消息队列的抽象，具有多种消息通信模式，能够实现消息过滤，能够无缝对接多种传输协议。 简言之，使用socket时，需要显式地建立连接、销毁连接、选择协议（TCP/UDP）和处理错误等，而Z
ZeroMQ简介：一种高性能的异步消息传递库
热门推荐
RToax
10-01 1万+
ZeroMQ轻量级消息传递内核是一个库，该库扩展了标准套接字接口，具有传统上由专用消息传递中间件产品提供的功能。ZeroMQ套接字提供了异步消息队列，多种消息传递模式，消息过滤（订阅），对多种传输协议的无缝访问等的抽象。ZMQ（ØMQ、ZeroMQ, 0MQ）看起来像是一套嵌入式的网络链接库，但工作起来更像是一个并发式的框架。
ZeroMQ: 一款高性能、异步、轻量级的消息传输库
红军不怕远征难，万水千山只等闲
12-20 2957
ZeroMQ是一款高性能异步消息传输库，提供REQ/REP、PUB/SUB、PUSH/PULL等多种通信模式，支持跨网络/进程/线程通信。相比传统消息队列，它无中心节点、延迟低至微秒级，但缺乏持久化功能。安装可通过包管理器或源码编译，核心组件包括Context和Socket。典型应用场景包括RPC调用、实时推送和任务分发。使用时需注意套接字类型匹配和线程安全问题，适合对实时性要求高但不需要强持久化的分布式系统。
MetMQ：高性能异步ZeroMQ消息库的客户端
寒冰屋的专栏
08-02 99
MetMQ：高性能异步ZeroMQ消息库的客户端
zmq.rs：Rust原生实现的ZeroMQ库，高性能异步消息传递新选择
gitblog_00166的博客
03-02 479
zmq.rs是一个采用Rust语言原生实现的ZeroMQ库，为开发者提供了高性能的异步消息传递解决方案。ZeroMQ作为一款高效的异步消息库，支持多种流行的消息模式和传输类型，其接口类似Berkeley风格的套接字，但具备更强的容错能力和易用性。zmq.rs项目旨在提供一个纯Rust的替代方案，充分利用Rust的异步生态系统优势。 ## 🚀 核心特性与优势 ### 🔄 多样化的消息模式支持
消息库-ZeroMQ介绍
希望能帮助大家，希望大家多多支持，你们的支持是我前进的动力。
05-20 3904
ZeroMQ (也称为 ØMQ, zmq 或 libzmq) 是一个高性能的异步消息传递库，用于构建分布式或并发应用程序。它提供了一个消息队列的抽象，允许不同的计算机和进程之间进行消息传递，而无需关心底层网络细节。ZeroMQ 不是一个传统意义上的消息队列服务器，而是一个嵌入到应用程序中的库，它提供了多种消息传递模式，如请求-应答、发布-订阅、推-拉等。
ZeroMQ (0MQ) 入门 - 几种经典的模式
Michael是个半路程序员
06-11 3949
ZeroMQ (也写作 ØMQ, 0MQ 或 ZMQ) 是一个高性能的异步消息传递库，旨在用于分布式或并发应用程序。它提供了一个消息队列，无需一个专门的消息代理服务器。
【ZeroMQ】ZeroMQ入门
Leoh的博客
03-20 3055
消息队列与ZeroMQ【push-pull】 模型与 【pub-sub】 模型的区别 【push-pull】 模型与 【pub-sub】 模型的区别 push-pull模型中，client发的消息，不同server接收指定的msg进行消费。类似于多线程从全局队列取消息模型。 pub-sub模型中，client发的消息，不同的server均接收所有的msg进行消费。 ...
ZeroMQ简介(有例子)
周遭.
09-27 5118
ZeroMQZeroMQ是一个库，不是消息队列也不是消息中间件，介于应用层和传输层之间（按照TCP/IP划分），它既不是TCP也不是Socket，而是在Socket封装一层的并行开发框架，它提供线程间、进程间以及网络间的消息信道。传统的Socket通信模式需要创建连接，销毁连接，选择协议等一些列操作，而使用ZeroMQ恰恰避开了这些逻辑上的繁琐，从而使得其应用广泛。
ZeroMQ介绍及如何交叉编译在嵌入式Linux下使用
猫哥 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS，AIOT)
03-27 1203
ZeroMQ（也称为ØMQ或ZMQ）是一个高性能的异步消息库，用于在分布式或多线程应用程序中传递消息。它提供了套接字抽象，允许开发人员以简单的API设计复杂的消息模式。ZeroMQ的设计宗旨是为高吞吐量、低延迟的消息传递提供支持，适用于需要快速、可靠和可扩展的数据传输的场景。ZeroMQ是一个强大且灵活的消息传递库，适合多种场景，尤其是在嵌入式Linux系统中。通过交叉编译，您可以轻松将ZeroMQ集成到嵌入式项目中，为您的应用提供高性能的消息传递能力。希望本文对您在嵌入式环境中使用ZeroMQ有所帮助！
Linux下ZeroMQ入门
weixin_43868793的博客
02-23 872
介绍 ZeroMQ（也称为ØMQ、0MQ或ZMQ）是一个高性能的异步消息传递库，旨在用于分布式或并发应用程序。它提供了一个消息队列，但与面向消息的中间件不同，ZeroMQ系统可以在没有专用消息代理的情况下运行。 ZeroMQ通过各种传输（TCP、进程内、进程间、多播、WebSocket等）支持常见的消息传递模式（pub/sub、请求/应答、客户机/服务器等），使进程间消息传递与线程间消息传递一样简单。这使您的代码保持清晰、模块化和极易扩展。 ZeroMQ是由一个大型贡献者社区开发的。许多流行编程语言都有第三
ZeroMQ Gevent
New Orleans Carabid Beetle
04-21 963
ZeroMQ Gevent
消息队列（MQ）：ZeroMQ基本原理
destiny的专栏
11-17 2747
目录 1 ZeroMQ概述 2ZeroMQ工作模式 2.1 请求-应答 2.2 发布-订阅 2.3 并行管道 3 参考 1 ZeroMQ概述 ZeroMQ看起来想一个可嵌入的网络库，但其作用就像是一个并发框架。它为你提供了各种传输工具，如进程内，进程间，TCP和组播中进行原子消息传递的套接字。你可以使用各种模式实现N对N的套接字连接，这些模式包括发布订阅，请求应答，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值