寓教于乐。教己助人

i++) {同步发送可靠性最高（关键业务），异步发送兼顾性能与可靠性，单向发送仅适用于非关键场景；延迟消息依赖预设等级，批量消息需控制大小，事务消息保证分布式事务一致性；生产者需单例化，命名规范需符合业务域规则。

消息生产消息存储消息消费分布式系统架构思想下，将复杂系统拆分为多个独立的子模块，例如微服务模块。此时就需要考虑子模块间的远程通信，典型的通信模式分为以下两种，一种是同步的RPC远程调用；一种是基于中间件代理的异步通信方式。[[RocketMQ-MessageQueue-消息队列]][[RocketMQ-Message-消息]][[RocketMQ-Producer-生产者]][[RocketMQ-ComsumerGroup-消费者分组]]

集群管理：查看NameServer、Broker节点状态，监控节点运行指标；Topic管理：创建/删除Topic，配置队列数量，查看Topic消息堆积；消息查询：通过MessageId、Key查询消息内容，查看消息轨迹；消费管理：查看消费组状态，重置消费位点，管理消费进度。‍。

RocketMQ 5.3 是 Apache 顶级分布式消息中间件，主打低延迟、高可靠、高吞吐，定位为“云原生时代的消息引擎”，核心解决分布式系统中异步通信、流量削峰、数据同步、分布式事务四大核心问题。电商：大促订单削峰、下单后异步发券/通知金融：交易流水异步写入、跨系统事务一致性物联网：设备上报数据的高吞吐接收与分发官方定义：RocketMQ 是一款基于分布式架构的消息中间件，提供低延迟、高可靠的消息发布与订阅服务，支持多种消息类型和部署模式。

日志压缩是Kafka的一种细粒度日志保留机制，保留主题中每个消息Key的最新值，丢弃历史旧值，保证日志中始终存在每个Key的最终状态，是系统故障后状态恢复、应用重启后缓存重新加载的核心能力。一个包含Key但payload为null的消息（注意：字符串"null"并非有效null）被称为墓碑标记，用于标识某个Key的状态需要被删除。Kafka 官方对日志压缩提供了四大核心保障，确保压缩过程中消息消费的正确性、有序性和完整性，是生产环境中放心使用压缩的基础。核心定义：日志压缩是按消息Key。

Kafka 配额是对客户端发送的请求施加的资源使用限制，用于管控客户端对 Broker 资源的占用，是集群资源治理、多租户隔离的核心能力，支持带宽和请求速率两类限流规则。对客户端分组的数据传输速率设置字节/秒（Bps）阈值，分为生产带宽和消费带宽，分别限制客户端向 Broker 写入数据、从 Broker 读取数据的速率。对客户端分组占用 Broker请求处理线程（I/O 线程）和网络线程的时间占比设置阈值，本质是管控客户端对 Broker CPU 资源的占用。配额核心作用：管控客户端对 Broker。

本文基于 Confluent 官方 Kafka 副本复制设计文档（https://docs.confluent.io/kafka/design/replication.html）整理，系统化讲解 Kafka 副本复制机制、ISR 同步副本集、消息提交规则、故障容灾与选主策略

理解Kafka的相关概念；掌握Kafka的基本API使用；了解Kafka的背后原理。[[008-字典卡片/dict/详细解释下 Kafka 系统中的控制器角色]][[kafka-KRaft和zookeeper模式]]首先Kafka是什么。Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。

Kafka 以主题分区为最小复制单元，将分区的日志数据复制到集群中可配置数量的Broker节点，实现节点故障时的自动故障转移，保证消息的高可用性。分区的核心处理节点，接收生产者的写请求和消费者的读请求；维护分区的ISR集合，监控从副本的同步状态，超时则将其移出ISR；是分区的日志源节点，所有从副本均从主副本拉取日志进行同步。已提交的消息指分区的所有ISR同步副本均已将消息写入自身本地日志；只要集群中至少有一个ISR副本存活，Kafka保证已提交的消息永远不会丢失。复制单元：Kafka以分区。

Kafka 消费者是从 Broker 读取并处理事件的客户端应用，向目标分区的主副本 Broker发起拉取请求，通过指定日志偏移量获取对应数据块。消费组是来自同一应用的一组消费者，协同消费一个或多个 Topic 的消息；任意时刻，一个分区在一个消费组内仅被一个消费者消费。消费者偏移量是一个唯一的整数标识，标记消费者在一个分区中下次要读取的下一条消息；偏移量会被周期性持久化到内部 Topic中。Last Committed Offset（最后提交的偏移量）定义：消费者。

最多一次（At most once）：消息可能丢失，不会重复（acks=0，不重试）；至少一次（At least once）：消息不会丢失，可能重复（acks=1/-1，开启重试）；精确一次（Exactly once）：消息不丢失、不重复（幂等性 + 事务）。Producer 核心架构：由「序列化→分区→批次累加→异步发送」四大核心环节组成，RecordAccumulator 和 Sender 线程是性能核心；高吞吐关键：批量发送（batch.sizelinger.ms。

零拷贝（Zero-Copy）是一种高效的内核态数据传输技术，核心目标是减少/消除数据在「用户空间」与「内核空间」之间的冗余拷贝，从而降低CPU负载、节省内存带宽，提升系统I/O传输效率。⚠️ 重点：零拷贝并非完全没有数据拷贝，而是避免了最消耗资源的「用户态↔内核态」CPU拷贝，数据在硬件与内核态之间的DMA拷贝仍会存在。术语核心定义关键特性用户空间应用程序（如Java、C++程序）运行的内存区域权限低，无法直接操作硬件（磁盘/网卡）内核空间操作系统内核运行的内存区域。

本文基于 Confluent 官方 Kafka 设计文档（https://docs.confluent.io/kafka/design/file-system-constant-time.html#related-content）整理，深度解析 Kafka 为何基于文件系统设计存储架构、如何利用操作系统内核特性优化性能，以及核心的**恒定时间 O(1)** 操作设计逻辑，是理解 Kafka 高性能底层原理的核心内容。

本文基于 Confluent 官方 Kafka 常见问题解答文档（https://docs.confluent.io/kafka/faq.html#how-do-i-get-started-with-ak）整理，涵盖Kafka核心定义、工作原理、核心概念、优势及快速上手方式，是Kafka入门的核心参考内容。

Apache Kafka是一个分布式事件流处理平台，用于构建实时数据管道和流处理应用。它采用发布-订阅模型，通过生产者写入主题(Topic)，消费者订阅消费。核心特性包括分区(Partition)实现并行处理、复制(Replication)保障高可用、高性能TCP协议传输等。Kafka支持多种场景，如金融交易处理、物联网数据采集、系统解耦等。主要组件包括Broker服务器集群、生产者/消费者API，以及用于数据集成(Kafka Connect)和流处理(Kafka Streams)的扩展组件。Kafka具备

本文介绍了LangChain框架中的Guardrails（防护栏）功能，用于构建安全合规的AI应用程序。主要内容包括：1）防护栏通过中间件在代理执行关键点进行内容验证和过滤，防止PII泄露、注入攻击等风险；2）提供确定性防护（基于规则）和基于模型的防护两种实现方式；3）内置PII检测功能，支持脱敏、掩码、哈希和拦截四种处理策略；4）支持人工干预和自定义防护规则组合。文章还展示了代码示例，演示如何配置邮箱、信用卡和API密钥的防护措施。这些功能特别适用于医疗、金融等需要处理敏感数据的场景。

本文介绍了LangChain框架中运行时(Runtime)的高级使用方法。运行时包含上下文(Context)、状态存储(Store)和流写入器(Stream writer)三个核心组件。开发者可以通过定义context_schema来指定运行时上下文的结构，并在工具和中间件中访问这些运行时信息。在工具内部，可以通过ToolRuntime参数访问上下文和长期存储；在中间件中，则可通过Runtime对象实现动态提示生成、请求日志记录等功能。文章通过具体代码示例展示了如何利用运行时特性来增强代理(agent)的功

本文介绍了LangChain框架中的上下文工程概念，重点阐述了如何通过控制三类上下文（模型上下文、工具上下文、生命周期上下文）来提升AI智能体的可靠性、安全性和效率。文章首先解释了上下文工程的定义和重要性，然后详细分析了智能体的工作循环机制、三大数据源（运行时配置、会话状态、长期记忆）以及模型上下文的具体控制方法，包括系统提示、消息处理、工具选择和响应格式等关键要素。最后提供了分步练习和最佳实践指导，帮助开发者掌握动态上下文智能体的配置技巧。

本文介绍了LangChain中间件（Middleware）的功能和应用。中间件用于控制和自定义智能体执行的每个步骤，适用于日志记录、提示转换、重试逻辑、速率限制等场景。文章概述了代理循环流程和中间件的钩子机制，并详细列出了内置中间件（如摘要生成、人工审核、调用限制、PII检测等）及其功能。此外还介绍了自定义中间件的创建方法（装饰器或类实现）和执行顺序控制，提供了动态模型选择、工具监控等示例场景。最佳实践建议生产环境启用安全限制，开发时可使用工具模拟器。