RocketMQ 流数据库解析：如何实现一体化流处理？

阿里云云栖号

关注

于 2024-04-19 16:13:25 发布 · 1.3k 阅读

原创

本文为博客 VIP 文章，开通 VIP 后可阅读全文

开通 VIP

前言：

从初代开源消息队列崛起，到 PC 互联网、移动互联网爆发式发展，再到如今 IoT、云计算、云原生引领了新的技术趋势，消息中间件的发展已经走过了 30 多个年头。

目前，消息中间件在国内许多行业的关键应用中扮演着至关重要的角色。随着数字化转型的深入，客户在使用消息技术的过程中往往同时涉及交叉场景，比如同时进行物联网消息、微服务消息的处理，同时进行应用集成、数据集成、实时分析等，企业需要为此维护多套消息系统，付出更多的资源成本和学习成本。

在这样的背景下，2022 年，RocketMQ 5.0 正式发布，相对于 RocketMQ 4.0，架构走向云原生化，并且覆盖了更多的业务场景。

背景

在《RocketMQ 流存储解析：面向流场景的关键特性与典型案例》一文中我们介绍了 RocketMQ 面向数据集成提供的流存储的能力，基于流存储和业界主流的分布式流计算引擎结合，比如 Flink、Spark，能为用户提供完整的流处理能力。然而，在某些场景下，我们有机会为用户提供更简化的流处理方案，不需要维护多套分布式系统，通过 RocketMQ 5.0，就能提供一体化的流处理。

本文第一部分，我们将从概念和宏观角度理解什么是流处理；第二部分，我们再回到 RocketMQ 5.0，介绍 RocketMQ 提供的轻量流处理引擎 RStreams，了解其特性和原理；第三部分，我们将介绍 RocketMQ 的流数据库 RSQLDB，如何通过流存储和流计算的深度结合，进一步降低流处理使用门槛。

流处理场景

让我们先来了解一下什么是流处理？流处理过程包括流数据摄入、流数据存储和流计算。

第一个概念是流数据，它是与批量数据、离线数据相对的。其特点在于数据源源不断的产生，并且有一定的顺序，从而形成一个无边界数据流，类似于现实世界中的河流。比如信用卡交易、股票交易、IoT 设备传感数据，都可以认为是流数据。

第二个概念是流存储，在《RocketMQ 流存储解析：面向流场景的关键特性与典型案例》一文中重点介绍过，这里简要回顾一下。流存储就是面向流式数据进行深度优化的存储系统，类似于日志（Log），提供按照分区、位点进行读写操作的能力，数据是持续追加且不可变的。典型的流存储有 RocketMQ、KAFKA、AWS 的 Kinesis D