kafka（已备）

原创已于 2025-05-27 15:53:55 修改 · 233 阅读

标签

#kafka #测试工具

于 2024-09-25 17:22:53 首次发布

3 篇文章

订阅专栏

一、基础概念

kafka:主要存储消息队列。

‌1. Broker‌

‌存储内容‌：Broker是Kafka集群中的一个节点，它负责存储Kafka的日志数据。具体来说，Broker上存储的是Kafka的分区（Partition）数据。
‌含义‌：Broker是Kafka集群的基本组成单元，它负责数据的持久化和复制，确保数据的高可用性和容错性。在图片中，我们可以看到Broker的IP地址和端口号，这些信息用于客户端与Broker建立连接。

‌2. Topic‌

‌存储内容‌：Topic是Kafka中用于区分不同数据流的逻辑概念。每个Topic可以被分割成一个或多个分区（Partition），每个分区都是一个有序的、不可变的记录序列，可以被连续追加。在图片中，我们可以看到不同的Topic名称，如“apaas-maxwell-bin-log”、“deviceRtmUserStatusT”等，以及它们各自的分区信息。
‌含义‌：Topic是Kafka数据组织的基本单位，它允许生产者（Producer）和消费者（Consumer）以发布/订阅的方式处理数据。生产者将数据发布到特定的Topic中，而消费者则订阅这些Topic以获取数据。

‌3. Consumer‌

‌存储内容‌：Consumer本身不存储数据，但它会消费（读取）Kafka中的Topic数据。在图片中，虽然我们没有直接看到Consumer存储的数据，但我们可以看到Consumer的偏移量（Offsets）信息，这些信息用于标记Consumer已经消费到的位置。
‌含义‌：Consumer是Kafka中的数据消费者，它从Kafka中读取数据并进行处理。每个Consumer都有一个或多个消费者组（Consumer Group）与之关联，消费者组内的Consumer可以共同消费一个Topic的数据，以实现负载均衡和容错。

形象化解释：

‌Broker‌	超市货架	货架越多，超市容量越大（集群扩容）
‌Topic‌	商品分类（饮料/零食）	选分类后拿商品（订阅 Topic）
‌Partition‌	分类下的小格子	分散到不同格子提高效率（并行读写）
‌Consumer‌	顾客的购物车	记录拿货位置（Offset）
‌Offset‌	购物车上的进度条	避免重复拿货（防止重复消费）记录客户拿数据拿到哪个位置了

‌总结：

把 Kafka 想象成一家超市‌

‌Broker（货架）‌
- ‌是什么‌：Broker 就是超市里的货架，用来存放商品（数据）。
- ‌存储什么‌：货架上放的是分好类的商品，比如饮料区、零食区（对应 Topic）。每个区又分成多个小格子（Partition）。
- ‌作用‌：货架越结实（Broker 越多），超市能存的商品就越多，顾客（消费者）也能更快找到东西！
‌Topic（商品分类）‌
- ‌是什么‌：Topic 是商品的分类标签，比如“饮料”、“零食”、“日用品”。
- ‌存储什么‌：每个分类（Topic）的商品会被拆分成多个小格子（Partition），比如“饮料”区又分成“碳酸饮料”、“果汁”等格子。
- ‌作用‌：分类越清晰（Topic 设计合理），顾客（消费者）买东西就越快！
‌Consumer（顾客的购物车）‌
- ‌是什么‌：Consumer 是顾客推的购物车，用来装从货架上拿的商品（数据）。
- ‌存储什么‌：购物车本身不存商品，但会记录“顾客已经拿了多少东西”（消费进度 Offset）。比如：
  - 顾客A的购物车记录：“饮料区的第3瓶可乐拿走了”（Offset=3）。
  - 顾客B的购物车记录：“零食区的第5包薯片拿走了”（Offset=5）。
- ‌作用‌：购物车越多（消费者组），超市能同时服务的顾客就越多！