Kafka 与 Java 消息队列入门：用订单场景理解核心机制

Kafka 是什么

Kafka 是分布式、高吞吐的消息队列与流平台。它把消息顺序写入磁盘日志，按 Topic 分类、按 Partition 切分，实现可扩展与容错。相比传统队列，Kafka 更适合高并发日志/事件流：可水平扩展、可持久化、可重放。

用订单场景理解 Kafka

场景：用户下单后，订单服务产生“订单创建”事件并写入 Kafka 的 order-events。库存服务与通知服务分别订阅此 Topic，收到消息后异步扣减库存与发送短信/邮件。 为什么需要消息队列？

• 解耦：订单服务只负责发送事件，库存/通知独立迭代。
• 异步与削峰：高峰期先落入 Kafka，消费者按能力处理，保护下游。
• 可靠与重试：消息持久化，消费者可按偏移量重读，失败重试更容易。
• 顺序与路由：按键（如订单号）路由到同一分区，保证同一订单的事件顺序。

Producer / Consumer / Topic 关系

• Topic：消息的逻辑类别，如 order-events。
• Producer：消息生产者，订单服务把事件写到 Topic。
• Consumer：消息消费者，库存/通知服务订阅 Topic 并拉取消息处理。 Kafka 以偏移量（offset）记录消费进度；常见语义是至少一次（at-least-once），因此业务需做幂等（如按订单号去重）。消息常用 JSON，key 用来决定分区并保障同键顺序。

Partition 与 Consumer Group 工作机制

Partition 用来并行与扩展：一个 Topic 可有多个分区。一个 Consumer Group 内，同一时刻一个分区只会被一个 Consumer 消费；增加 Consumer 可提高并发，Kafka 会触发再均衡（rebalance）重新分配分区。不同服务用不同 Group，才能“各拿一份”相同消息；同一服务内部用同一 Group，才能共享负载。分区数影响吞吐与并行度，过多会增加管理成本，需结合峰值与实例数评估。

Java Spring Boot 中 Kafka 的基本使用方式

依赖与配置略，核心是用 KafkaTemplate 发送、用 @KafkaListener 订阅：

@Service
public class OrderProducer {
  @Autowired private KafkaTemplate<String, String> kafkaTemplate;
  public void sendOrderCreated(String orderId) {
    String msg = "{\"orderId\":\""+orderId+"\"}";
    kafkaTemplate.send("order-events", orderId, msg);
  }
}

@Component
public class InventoryConsumer {
  @KafkaListener(topics = "order-events", groupId = "inventory-service")
  public void onMessage(String msg) {
    // 解析并扣减库存，按订单号幂等处理
  }
}

@Component
public class NotifyConsumer {
  @KafkaListener(topics = "order-events", groupId = "notify-service")
  public void onMessage(String msg) {
    // 解析并发送通知，失败重试可结合死信/重试Topic
  }
}

常见配置：

• spring.kafka.bootstrap-servers=localhost:9092
• 生产者幂等：spring.kafka.producer.properties.enable.idempotence=true
• 消费确认：手动提交 offset 便于可控重试（可用 Ack 或容器配置）

小结：在订单系统中，Kafka 承担事件总线角色，帮助服务解耦、承压、可追踪并横向扩展。理解 Topic/Partition 与 Consumer Group 的协作，是写出稳定可靠 Java 消息处理的关键。