HarnessX：一个可组合、自适应和可进化的代理工具库

Abstract  摘要

AI 代理的性能严重依赖于运行时框架，该框架包括提示、工具、内存和控制流，这些因素调解着模型如何观察、推理和行动。然而，当今的框架仍然很大程度上是手工制作和静态的：每个新的模型或任务仍然需要定制的脚手架，并且在执行过程中产生的丰富轨迹很少能提炼回系统性的改进。我们介绍了 HarnessX，一个用于可组合、自适应和可进化代理框架的铸造厂。HarnessX 通过替换代数组装类型化的框架原始元素，通过 AEGIS（一个基于符号适应和强化学习之间操作镜像的轨迹驱动多代理进化引擎）来适应它们，并通过将轨迹转换为框架更新和模型训练信号来关闭框架-模型循环。在五个基准测试（ALFWorld、GAIA、WebShop、 τ3 -Bench 和 SWE-bench Verified）中，HarnessX 平均提升了+14.5%（最高可达+44.0%），收益最大出现在基准最低的地方。这些结果表明，代理的进步并不一定完全依赖于模型扩展：从执行反馈中组合和演化运行时接口是一种可行的补充手段。完整的代码库将在未来的版本中开源。

现代智能体的能力不仅取决于底层模型 [deepseekai2026deepseekv4, glm5team2026glm5vibecodingagentic, yang2025qwen3, team2023gemini]，还取决于周围框架施加的中介 [lu2026openclaw, liagent, claudecode]。该框架通过确定任务如何表示、如何访问外部服务以及如何在执行过程中沟通中间决策，将原始模型输出转换为结构化的智能体行为。随着智能体在更丰富的环境中处理更长时程的任务，框架设计成为智能体开发的核心要素。

尽管如此重要，线束开发仍远非成熟的工程学科。首先，线束是手工设计和静态的：任何模型版本、工具或问题域的变化都需要定制修改，而没有经验驱动的改进机制。其次，线束在架构上纠缠不清：它们通常将提示模板、工具包装器、重试策略和内存组合在相同的代码路径中，因此对其中一个组件的更改会无声地破坏其他组件，跨域的重用简化为复制而非组合。第三，线束工程和模型训练独立运作：在改进线束时收集的轨迹数据被丢弃而不是纳入模型训练，而模型改进并未转化为线束改进。

我们通过将 harness 视为一阶对象来弥补这些差距，该对象可以与模型一起组合、适配和演进。HarnessX 以此原则为基础，作为一个统一的 harness 工厂。它从一个模块化基础开始：涵盖上下文、工具 [feng2025retool]、技能、控制和内存的 harness 基本构件通过类型接口描述，并通过替换代数组合。这分离了现有系统通常混淆的关注点。在这个基础之上，我们引入了 AEGIS，这是一个以可观察性驱动和可审计的 harness 适配引擎。将 harness 适配不是作为临时的编辑，而是作为对符号化工件（提示 [zhou2025proposer]、工具、内存和控制策略）的学习问题来阐述，揭示标准 RL 病态（奖励攻击、灾难性遗忘 [kirkpatrick2017overcoming]、探索不足 [ladosz2022exploration]）成为具体的设计风险。为了应对这些风险，AEGIS 结合了完整的跟踪可观察性与一个四阶段管道（解析器、规划器、进化器和评论家），该管道压缩跟踪、规划适应、生成候选并评估变更。最后，我们通过 harness-model 共进化关闭 harness 适应与模型训练之间的闭环。harness 适应过程中产生的跟踪作为模型训练的强化学习信号，使得模型改进能够反馈到后续的 harness 进化中。

我们通过五个基准测试（GAIA、ALFWorld、WebShop、 τ3 -Bench、SWE-bench Verified）、三个任务代理系列（Claude Sonnet 4.6、GPT-5.4、Qwen3.5-9B）以及最多 15 轮进化验证了 HarnessX。Harness 进化在 15 个模型-基准配置中平均绝对增益为+14.5%，在改进配置（15 个中的 14 个）中个体增益范围为 0.0%至+44.0%（从+1.1%（ τ3 -Bench，接近上限的基线）到+44.0%（ALFWorld，最弱的代理）。增益表现出逆缩放模式：在 ALFWorld 和 GAIA 上，最弱的任务代理受益最大（Qwen3.5-9B 在 ALFWorld 上为+44.0%，而 Sonnet 4.6 为+11.2%），这表明进化后的 Harness 解决了较弱的模型无法自我纠正的行为差距。在异构任务集（GAIA）上，单一 Harness 进化停滞；一个变体隔离消融实验恢复了稳定改进（+13.6%，在 15 轮中未退化）。

In summary, our contributions are four-fold:
总而言之，我们的贡献有四个方面：

• 控制组合（第 3 节）。我们将控制正式化为一个由连接到生命周期钩子的处理器组成的一流、类型化的对象。一个九维分类法涵盖了完整的行为空间，并且一个替换代数能够以类型安全的插入和删除来配置每个任务。这种组合结构使每个行为更改的预期范围明确——这是稳定演化的变体隔离的前提条件
• Harness Adaptation (Section 4)。我们介绍了 AEGIS，一个基于跟踪的多智能体 harness 进化引擎。一个运行时镜像将 harness 适应映射到标准的 RL 结构上，将熟悉的 RL 问题（奖励攻击、灾难性遗忘、探索不足）转换为通过四阶段管道（消化器、规划器、进化器、评论家）并具有确定性门控的具体设计风险。一个可选的变体隔离策略防止在异构基准测试上出现跨任务干扰。
• 桥接模型协同进化（第 5 节）。我们通过在共享回放缓冲区中交错进化桥接和模型强化学习来关闭优化循环。跨桥接 GRPO 使模型能够内化来自连续桥接版本的策略，打破仅限于桥接适应的脚手架天花板和仅限于模型强化学习的训练信号天花板。
•  经验验证（第 6 节）。在五个基准测试、三个任务代理家族以及最多 15 轮进化中，HarnessX 平均提升了+14.5%（最高可达+44.0%），其中在基线最低的情况下提升最大。一个变体隔离消融实验解决了异构任务集上的停滞问题，而协同进化比单独的 Harness 进化再提升了+4.7%（第 6.5 节）。

现有的代理基础设施占据了一个日益主观的 harness 抽象光谱。在原始层，LangChain [langchain]、LlamaIndex [Liu_LlamaIndex_2022] 和 Smolagents [smolagents] 等库提供了用于提示、工具、检索和内存的 typed 建筑块。这些原始组件可以在隔离状态下进行测试，但它们不支持 harness 级别的组合：由相同原始组件构建的两个 harness 可能仍然在结构上存在差异。

下一层抽象将这些原始操作组合成可重用的模式。LangGraph [langgraph] 使用有状态图模型化代理的行为；AutoGen [wu2024autogen] 将多代理交互建模为结构化对话；CrewAI [moura2025crewai] 为代理分配基于角色的身份；而 Letta [packer2023memgpt] 将自主循环与持久内存相结合。尽管这些框架使利用编写更加容易，但它们引入了特定的控制循环，因此组合模式、替换组件以及跨任务移植增强大多仍需手动操作。

最后，还有一些针对特定领域的成品化工具，例如 Claude Code [claudecode]、Cursor [cursor]、Manus [shen2025mind]和 DeerFlow [deerflow]。这些系统展示了工具设计的 影响，但在架构上保持静态，只能通过手动迭代来进化。

在所有三个层次中，仍然存在两个结构性差距。首先，没有层次将工具暴露为一个由类型元素组成的可替换实体，因此为每个任务构建工具总是需要重写。其次，没有机制存在用于循环改进：一旦定义，工具只能在发布之间的手动迭代中进化。

对自进化智能体的研究探讨了智能体系统如何在无需重新训练基础模型的情况下进行改进。早期工作主要集中在最容易编辑的方面：提示。APE [zhou2022large]、OPRO [yang2024large]、EvoPrompt [guo2024connecting]、Promptbreeder [fernando2024promptbreeder] 等方法将指令制定视为一个黑盒优化问题，而 ProTeGi [pryzant2023automatic] 和 TextGrad [yuksekgonul2024textgrad] 引入基于梯度的文本反馈，使优化过程更加明确。DSPy [khattab2023dspy] 和 MIPRO [opsahl2024optimizing] 通过编译声明式 LM 程序来扩展这一方法，其提示针对标记数据进行优化。这些方法将指令建立为可学习组件，但工具、内存、控制流等组件仍处于优化范围之外。

另一项工作通过在内存中积累和重用先前的执行经验来改进智能体：Memento [zhou2025memento] 通过基于案例的内存改进智能体，而无需微调模型，而 MIA [qiao2026memory] 在单个 Manager-Planner-Executor 框架内统一了非参数和参数内存：一个压缩轨迹的非参数存储和一个在测试时动态演化的参数规划器，通过一个双向循环不断在两者之间转换经验，在十一项基准测试中展示了优越性。

后续工作将优化扩展到代理工作流中。GPTSwarm [zhuge2024gptswarm]、ADAS [hu2025automated]、AFlow [zhang2025aflow]、A 2 Flow[zhao2026a2flow]、AgentSwift [li2026agentswift]、ResMAS [zhou2026resmas] 和 EvoAgentX [wang2025evoagentx] 在协作策略、代理排序和聚合机制上进行搜索。这些工作表明工作流结构是可学习的，并且比仅提示优化能带来更大的收益。然而，组件级工件（工具实现、内存策略、节点内部提示）仍然是静态的：优化范围涵盖了组件间关系，但并未涵盖完整的利用。

一个最终组明确处理 harness 进化。SICA [robeyns2025self] 直接优化 SWE-bench 代理的源代码，而 Darwin Gödel Machine [lange2025darwin] 提出在代理变体数据库上进行开放式优化。HyperAgents [zhang2026hyperagents] 使优化过程本身具有适应性；Meta-Harness [lee2026meta] 通过基于文件系统的接口提高采样效率。AHE [lin2026agentic] 和 Life-Harness [xu2026adapting] 强调可观察性、可解释性和源代码重写。这些工作共同将 harness 建立为进化目标，并证明可观察性对于稳定的自我改进至关重要。然而，它们的设计缺乏一个统一的理论框架，将观察到的故障模式与原则性防御联系起来。

启发式学习理论[weng2026learning_beyond_gradients]通过将强化学习(RL)概念映射到符号自我优化更新来部分解决这一差距。在这个框架中，可观察的轨迹对应于正确的信用分配，可证伪的变化表现对应于奖励塑形，而提议-批评周期提供结构化的探索。HarnessX 实例化了这一范例，将对应关系形式化为强化学习和符号 harness 进化之间的操作镜像（第 4.1 节）。

在 2.1 节中识别的差距是缺少一个将 Harness 作为类型化、可替换实体的基础设施层。原始库将组合留给应用代码，编排器暴露一组固定的模式，产品 Harness 是端到端的黑盒。没有组合基础，每个行为变化或跨团队交接都需要重新实现。HarnessX 通过统一的设计原则来解决这一问题：Harness 是一等值，处理器是类型化的原子组件，组合通过在类型化的钩点插入处理器进行。我们在 3.1 节中形式化定义了 Harness，3.2 节中定义了它的构建块——处理器，以及 3.3 节中定义的九维处理器分类法。定义故意保持简洁：它们的作用是建立词汇表并暴露 Harness 进化（4 节）操作的编辑界面。

在 HarnessX 中，一个悬架是 ℋ=(ℳ,𝒞) 的对，其中 ℳ 是一个模型配置， 𝒞 是一个悬架配置。这两个地址了不同的关注点： ℳ 记录哪个模型服务于哪个角色（主要、法官、评估者）以及每个角色的回退策略； 𝒞 记录代理如何独立于模型身份的行为。它们通过 agent = model_config.agentic(harness_config) 结合成一个可执行的代理：在 HarnessX 中，一个代理是一个绑定到模型的处理器管道，两者都可以独立替换。

HarnessX中的每一步行为均通过处理器实现，该对象需满足协议async def process(self, event: Event) -> AsyncIterator[Event]。处理器消费一个事件并产生零个或多个事件，严格产生五种结果之一：透传（原样生成）、转换（生成修改后事件）、拆分（生成多个同类型事件由下游独立处理）、拦截（不生成事件以阻断传播）或中断（抛出异常终止循环）。这种受限接口确保了可组合性——特定钩子处的所有处理器消费和生成的事件类型相同，因此可通过顺序应用组合处理器，且增删处理器不会破坏管道类型正确性。

如表1所示，处理器会挂载到运行循环发出的八个钩子点之一。运行循环在每次调用后验证钩子契约：若违反（如修改只读字段）将立即抛出异常而非静默传播错误状态。每个处理器携带三个类级元数据字段控制组合：_singleton_group声明互斥组确保每组至多一个处理器；_order指定钩子内排序（含PRE、NORMAL、POST常量）；_after列出对其他单例组的软依赖。

该设计使工具演化成为一等操作：AEGIS可在特定钩子插入新处理器、通过匹配单例组替换现有处理器或完全移除处理器，均无需修改同钩或异钩的其他处理器。由于类型契约（输入事件类型=输出事件类型）在钩子级强制实施，任何此类替换都保持整个管道类型正确。元数据字段进一步约束组合：_singleton_group防止冲突重复，_order确保新插入处理器与现有处理器交互可预测。这些保证正是变体隔离（第4.5节）的运作机制——各变体仅通过处理器占据的钩子位置区分，类型系统确保演化过程中没有变体会静默违反管道契约。

我们将行为空间组织为九个维度：模型选择（D1）决定哪个模型承担何种角色；上下文组装（D2）确定每个步骤向模型呈现的内容；记忆管理（D3）管理跨步骤和会话的信息传递；工具生态系统（D4）控制代理可调用的工具；执行环境（D5）决定工具引发副作用的发生场所；评估与奖励（D6）规定结果评判标准；控制与安全（D7）实施规则防止代理陷入循环、过度消耗或偏离意图；可观测性（D8）记录每个事件、模型调用和工具调用；训练桥梁（D9）将执行轨迹转化为强化学习记录。图2展示了完整分类体系及典型处理器组件在标准配置中的挂接点。

实际运行中，AEGIS的演化过程会涉及所有九个维度的调整：D2（上下文组装）和D4（工具生态系统）是最常修改的维度（见第6.2节），而D8（可观测性）为AEGIS的推理提供追踪基础，D9（训练桥梁）为协同演化提供轨迹记录（见第5节），从而完成优化闭环。

组合层（第3节）提供了一个类型化、可替代的测试框架；如图2所示，AEGIS是推动该框架演进的系统。其核心洞见在于：测试框架的演进在结构上映射了符号空间中的强化学习——框架配置对应状态，类型化编辑对应动作，执行轨迹与验证器评分共同构成反馈。这种映射关系具有预测性：它识别出三类与已知强化学习病症（奖励破解、灾难性遗忘、探索不足）类似的故障模式，这些模式既推动了AEGIS的防御架构设计，也在第6.6节得到了实验验证。

我们形式化描述了这种对应关系（第4.1节），分析了其预测的病症（第4.2节），推导出作为防御架构的四阶段流程（第4.3节），提出适应循环机制（第4.4节），并引入多变量隔离技术以实现稳定的多版本协同演进（第4.5节）。

我们将利用演进形式化为符号构件上的马尔可夫决策过程（MDP）。表2总结了映射关系；首先给出三个定义作为对应基础：

定义1（利用配置）
利用配置是一个元组ℋ=(c₁,c₂,…,c₉)，其中每个cᵢ∈𝒞ᵢ实例化九大行为维度之一（第3.3节）：模型选择(c₁)、上下文组装(c₂)、内存管理(c₃)、工具生态系统(c₄)、执行环境(c₅)、评估与奖励(c₆)、控制与安全(c₇)、可观测性(c₈)和训练桥梁(c₉)。每个𝒞ᵢ是维度i的有效处理器配置集合，受钩子类型契约和单例组排除约束（第3.2节）。

定义2（利用编辑）
利用编辑是函数e:ℋ→ℋ，其在保持类型契约的前提下修改一个或多个维度。动作空间ℰ是离散但开放式的：每个编辑都是由元智能体LLM生成的代码级构件（新处理器源码、修改后的提示模板、重构的工具注册表或控制流重写），而非从预设集合中选择。通过LLM的生成能力（规划器基于轨迹假设提出编辑）和类型约束（在生成时修剪无效组合）来管理组合爆炸，而非穷举搜索。

定义3（操作镜像）
操作镜像是元组(ℋ,ℰ,ℛ,𝒯)，其中ℋ为利用配置空间（状态），ℰ为代码级编辑空间（动作），ℛ:ℋ×ℰ→ℝ将配置-编辑对映射到标量奖励（适应批次上的验证器分数聚合），𝒯是提供超越标量信号的结构化反馈的轨迹存储。该元组在利用层面构成MDP：利用配置即状态，类型化编辑即动作，执行轨迹加验证器分数构成反馈，确定性接受门控制状态转移。

MDP实例化
设ℋₜ表示迭代t时的利用配置（模型ℳ在整个演进过程中固定），𝒯ₜ表示累积的历史轨迹存储。定义符号状态sₜ=(ℋₜ,𝒯ₜ)。利用更新策略πₑᵥₒ选择动作aₜ∼πₑᵥₒ(⋅|sₜ)，其中aₜ∈ℰ是从构建代数中提取的代码级编辑。应用该编辑产生候选利用ℋ̃ₜ=aₜ(ℋₜ)。在适应批次上运行候选配置（使用固定模型ℳ）生成新轨迹Δ𝒯ₜ和每任务验证器分数rₜ。确定性接受算子U(ℋ̃ₜ,𝒯ₜ,rₜ)随后提交（ℋₜ₊₁=ℋ̃ₜ）或拒绝（ℋₜ₊₁=ℋₜ）候选，强制执行跷跷板约束：候选不得使𝒯ₜ中记录的任何已解决任务出现退化。两种情况下轨迹存储都会增长：𝒯ₜ₊₁=𝒯ₜ∪Δ𝒯ₜ。

该MDP在利用层面运作：单个任务中ℋₜ（与固定ℳ共同）决定智能体行为；跨迭代时，利用更新策略πₑᵥₒ修改利用配置。AEGIS将πₑᵥₒ实现为四阶段管道（消化器、规划器、演进器、评判器），通过轨迹压缩、适应规划、编辑生成和候选评估将sₜ映射到候选编辑。

镜子不仅仅是一个类比；它将强化学习概念转化为设计要求。我们参考了强化学习中三种有充分记载的失败模式，即奖励攻击 [guo2025deepseek]、灾难性遗忘 [kirkpatrick2017overcoming] 和欠探索 [ladosz2022exploration]，统称为强化学习病理。一旦将适应性调整视为符号化实物的马尔可夫决策过程，这些病理会以放大形式重新出现，并由符号化环境的两个特性塑造：(1) 语言模型进化者可以构建结构化利用，而数值参数扰动无法表达，(2) 对共享组件的编辑通过适配器非局部地传播。下文中的每种病理都在第 4.3 节中激发了一种相应的架构防御。

在标准强化学习中，奖励黑客攻击 [guo2025deepseek] 利用奖励信号中的漏洞，而无需真正完成任务。符号利用进化会放大这种风险，因为进化者可以直接针对验证协议：将基准答案嵌入提示中，利用验证器的格式规律性，或引入一个处理器来重写输出以匹配验证器预期。

灾难性遗忘 [kirkpatrick2017overcoming] 发生在提高任务分布某个区域的表现会损害另一个区域时。在符号利用进化中，一个修复失败模式 A 的修改可能会无声地使模式 B 退化，因为效果通过共享上下文、工具、内存策略和控制规则传播。如果没有显式的回归检查，一个仅基于失败任务轨迹进行条件化的进化器无法区分局部增益和全局退化。

欠探索 [ladosz2022exploration] 表现为对低风险本地编辑的偏好：提示重述、工具描述调整或微小的控制流修改。这些编辑生成成本低，并且经常在不回归已解决任务的条件下通过门控，导致后续规划器假设偏向相同的编辑邻域。结构变化（将一个代理分解成几个、替换控制策略或采用新的内存架构）需要刻意形成假设，并且很少从跟踪条件下的本地修复中产生。如果没有机制来提议超出立即失败邻域的编辑，系统在本地编辑用尽后就会停滞。

符号束演化继承了强化学习（RL）的结构风险（奖励攻击、灾难性遗忘和探索不足），而 AEGIS 通过专门的机制针对每个问题进行解决：Critic（奖励攻击）、确定性门控层（灾难性遗忘）和 Planner（探索不足）。

AEGIS是HarnessX的线束进化引擎。它包含按预定义工作流排列的四个阶段——消化器（Digester）、规划器（Planner）、进化器（Evolver）和评审器（Critic），均由同一元智能体大语言模型驱动并选择性调用：外部路由器不决定阶段执行，而是由元智能体自行判断每个阶段是否存在足够信号继续推进。消化器、规划器和进化器各自评估继续条件，可能直接终止本轮（低于阈值的可操作性、空白适应场景或零可行候选方案），而评审器与确定性门控层对所有到达该阶段的候选方案都是强制流程。任何修改必须通过评审器和门控层才能发布。各阶段分工解决了第4.2节所述的病理问题：消化器将原始追踪数据压缩为结构化任务级证据；规划器构建包含渐进式与结构性变更的适应场景；进化器生成带有明确变更清单的类型化构建器修改；评审器与门控层共同拒绝那些缺乏追踪支持的所谓改进，或会导致已解决任务退化的修改。

所有阶段共享单一信息基底——追踪存储库（trace store），这是包含执行事件、验证器评分结果、回归信号以及已发布/已拒绝修改的结构化记录。除追踪存储库和当前线束ℋt外，各阶段不消耗其他输入。数据通过选择性门控在流水线中向前流动：消化器可能判定不存在可操作故障（所有任务通过或信号过于稀疏），立即终止本轮；规划器可能根据当前证据和修改历史找不到可行适应场景；进化器可能无法产生类型安全的候选方案。这些情况下系统都会以无操作结果干净退出。唯有评审器和确定性门控是无条件的：任何通过上游阶段的候选方案都必须经过这两关才能发布。评审器在给出最终裁决前，还可向进化器发起单次修订请求。

消化器： 单次GAIA迭代（103个任务，pass@2）产生约1000万标记的原始追踪数据，包括模型推理步骤、工具调用及其输出、时间元数据。直接将此体量传递至下游阶段会超出上下文限制，而简单截断会丢失诊断信号。消化器将每个任务的追踪数据压缩为结构化任务摘要：二元结果、故障类别（如有）、涉及组件标识符及佐证节选。它还提供跨迭代连续性：每个任务摘要链接到其历史结果和已发布修改，使规划器能区分持续性故障与瞬时噪声。

规划器： 规划器接收消化器输出（带有跨迭代历史的任务级摘要），构建适应场景：哪些任务失败、尝试过哪些修改、涉及哪些组件、哪些修改类型（提示词、工具、处理器、配置）尚未尝试。该阶段是防止探索不足的主要防线：通过在生成修改前构建场景，避免流水线收敛于追踪条件限定的局部修复，确保结构性变更（工具添加、处理器重写、内存策略重构）能与渐进式提示词修改同步考虑。

其中，i是缓冲区ℬ中的(x,τ)索引，ℳk和ℋk分别是用于将任务xi展开为轨迹τi的模型检查点和工具链。由于先进先出（FIFO）淘汰机制将缓冲区限制在最近迭代范围内，缓冲的轨迹来源于与当前策略相近的模型版本。但这些轨迹在策略上（工具选择、提示结构、控制流逻辑）存在显著差异，这种多样性源于连续迭代的工具链版本ℋ0,…,ℋt。与单策略强化学习（组内差异仅来自随机采样）不同，此处工具链身份主导了这种差异，这使得跨工具链分组标准（公式2）对有效优势估计至关重要。

形式上，对于任务x，轨迹组会收集该任务的所有轨迹记录，无论它们由哪个(ℳk,ℋk)组合生成：

因此，该模型通过策略间奖励对比（而非仅依赖固定策略内的随机变异）接收梯度信号，从而内化在多个测试框架版本中成功的策略。

任务级对齐，非动作级对齐。
跨框架GRPO实现了任务级对齐：不同测试框架版本生成的轨迹按任务标识分组，仅依据验证器奖励进行对比。由于无需动作级对齐，即使测试框架版本存在动作空间不兼容（如工具模式不同、提示结构差异、控制流处理器各异），它们仍能在同一组内共存而无冲突。计算策略梯度时，每条轨迹τi会在其原测试框架版本ℋk下重放：模型的对数概率πθ(τi|x)根据ℋk在每一步构建的提示、工具模式和观察上下文进行评估。GRPO梯度完全作用于模型在框架特定上下文条件下生成的输出标记，而非框架结构动作或环境状态转移。该设计将框架演化（允许跨版本自由修改动作空间）与模型训练（仅需基于各轨迹自身框架上下文的标记级对数概率）解耦。

组间相对优势为：

其中，ri是轨迹τi的奖励，μ(𝒢x)和σ(𝒢x)分别是组内奖励的均值和标准差。演化约束机制充当了模型强化学习的结构化探索算子：每个新版本都会向任务的采样分布中注入一种独特的行为模式，而公式3中的优势项则促使模型朝着验证器评分最高的模式发展。因此，单策略采样无法提供的探索广度，就由演化支架本身来提供。

需最大化的策略目标为：

where

当前策略 ℳk 与生成轨迹 τi 的检查点 ℳd 之间的重要性采样比率（公式1），ϵc 是裁剪阈值，βDKL(πθ∥πref) 惩罚与固定参考模型 πref 的偏离。比率中的行为策略 πθold 和KL项中的参考策略 πref 是不同的：πref=ℳ0 在整个训练过程中固定不变，而 πθold 随轨迹变化且必须从缓冲区恢复（第5.4节）。

5.4 基于混合策略缓冲区的离策略训练
回放缓冲区本质上是离策略的：在迭代 t 时，它包含由检查点 ℳ0,ℳ1,…,ℳt 在约束条件 ℋ0,ℋ1,…,ℋt 下生成的轨迹（公式1），因此缓冲区分布与正在更新的策略 πθ 不匹配。为每个缓冲轨迹恢复 πθold 是核心的离策略挑战。

行为策略 πθold
重要性比率（公式5）修正了 πθ 与生成 τi 的检查点 ℳk 之间的差距。由于 ℳk 在缓冲区中变化，πθold(τi) 不能从任何单一模型恢复：我们在插入缓冲区时通过 ℳk 的一次前向传播实现它，将词元级对数概率缓存到磁盘，并在每个梯度步中复用。这将缓存的行为对数概率与每步重新计算的当前对数概率 πθ(τi) 解耦。

有界的离策略偏差
FIFO淘汰机制将缓冲区限制为 C 条轨迹；每轮采样 s 个样本时，最大模型版本滞后为 ⌊C/s⌋ 轮，因此每个缓存的 πθold 都来自 πθ 的有界窗口，生成轨迹的策略与正在更新的策略差异始终有限。相同窗口也约束了约束条件的过时性，因此跨约束组（公式2）仅混合最近的支架版本，模型不会被主要针对过时约束进行训练。

无额外 rollout 成本的复用
智能体RL的主要成本是 rollout（在环境中执行智能体：模型解码、工具调用和验证），而非梯度更新。在协同进化中，单轮探索产生的一组轨迹同时服务于两种更新：相同轨迹既驱动AEGIS约束更新（第4节），又通过共享缓冲区（第5.1节）驱动跨约束GRPO模型更新。GRPO通过回放消费这些轨迹而不自行发起rollout。因此添加模型更新的边际成本仅限于：(i) 每条轨迹一次缓存前向传播以记录 πθold；(ii) 梯度步本身，两者均无需rollout。没有轨迹是专为训练模型生成的。因此联合优化是经济的：仅以离线训练计算为代价获得模型改进，无需任何超出约束进化已有rollout的额外成本。

6实验
我们通过五个方面评估HarnessX：跨基准测试和模型系列的整体有效性（第6.2节）、变体管理策略对稳定性的影响（第6.3节）、进化架构与基础设施的相对贡献（第6.4节）、模型与测试工具联合协同进化的收益（第6.5节），以及预测失效模式的实证验证（第6.6节）。

6.1 实验设置
基准测试。
如表3所示，我们评估了涵盖多步检索、具身规划、网络交互、多轮对话和软件工程的五个基准测试。除非另有说明，每个实验最多运行T=15轮进化，若连续P=3轮未提交有效修改则提前停止。每轮均评估完整任务集（无子采样）。元智能体的令牌预算因基准而异（总计1亿至1.75亿），但在同一基准的任务智能体中保持恒定。

我们区分两种角色：元智能体（默认为Claude Opus 4.6版本）驱动AEGIS进化循环；任务智能体在进化后的约束框架下运行以完成基准测试任务。任务智能体涵盖三大模型家族（Claude Sonnet 4.6、GPT-5.4和Qwen3.5-9B），用于测试单个元智能体能否跨模型家族进化出有效的约束框架。

基线方法： (1) 静态约束框架：基于已发布的基准测试专用提示词和工具定义构建的HarnessX配置，在所有轮次中保持固定。(2) Claude代码SDK（CC SDK）11采用Claude代码SDK v0.0.25版本，模型="opus"（Claude Opus 4.6），最大轮次=200。实验于2026年5月进行。：单智能体进化器（每轮次使用单个LLM会话），在保持相同基础设施和轮次预算的前提下替代四阶段流程，从而将AEGIS的多阶段架构与共享基础设施隔离开来（见第6.4节）。该基线方法也可作为SICA[robeyns2025self]等单体式进化器的参照标准。

基准特定验证器下的任务成功率（%）。每项任务每轮获得两次独立尝试（pass@2：任一成功即视为解决），减少采样噪声，同时保留用于跷跷板约束的二进制每任务信号（以掩盖亚阈值成功率漂移为代价；第 6.3 节）。

所有报告的增益均在用于进化的同一任务集上测量；未评估对未见任务的外部泛化。

表 4 和图 4 报告了在 harness 进化前后 pass@2 成功率。AEGIS 改善了 15 个模型-基准配置中的 14 个，平均增益为 +14.5%（最高可达 +44.0%）。唯一停滞的配置（GAIA, GPT-5.4, Δ=0.0 ）反映了单 harness 进化在异构任务集上的一个基本局限性；第 6.3 节表明，变种隔离可以解决这个问题。一个配置在运行中途退化（ τ3 -Bench Telecom, − 14.0% 在 R7），由于累积的同类型编辑，在 R9 时恢复（第 6.6 节）。

整体表现。进化策略在15种配置中改进了14种。ALFWorld上的提升幅度从+11.2%到+44.0%，WebShop上为+13.0%到+18.0%，SWE-bench Verified上为+10.9%到+18.2%。在GAIA基准测试中，Sonnet 4.6（+9.7%）和Qwen3.5-9B（+17.1%）有所提升，而GPT-5.4停滞不前（Δ=0.0；解决其故障需要相互冲突的修改，单一控制策略无法兼顾）。在τ3-Bench测试中，GPT-5.4提升最大（+14.5%），而Qwen3.5-9B因接近天花板水平的93.5%基线表现仅获得+1.1%提升。

与基线表现的逆向关联。所有基准测试中，最弱的任务代理（Qwen3.5-9B）始终获得最大提升：ALFWorld +44.0%（基线53.0%）、GAIA +17.1%（基线20.3%）、SWE-bench Verified +18.2%（基线23.6%）。更强模型（Sonnet 4.6、GPT-5.4）在ALFWorld（+11.2%、+20.9%）和SWE-bench（+10.9%、+18.2%）上提升较小。例外是GAIA中的GPT-5.4（Δ=0.0），任务异质性使得单一控制策略无法提升整体准确率——这一现象促使我们在6.3节设计了变体隔离消融实验。整体模式表明：弱模型存在更多可通过控制层修改解决的行为缺陷；当基线表现足够高时，剩余故障往往需要任务特定适配而非全局改进。

跨模型泛化能力。元代理（Opus 4.6）无需特定家族适配就能为不同模型族的任务代理进化控制策略。在ALFWorld中，跨族代理（GPT-5.4: +20.9%，Qwen3.5-9B: +44.0%）比同族代理（Sonnet 4.6: +11.2%）提升更大，表明提升幅度与基线表现而非元代理族属相关性更高。

收敛速度与故障模式集中度相关。ALFWorld（GPT-5.4）在第4轮达到峰值，SWE-bench Verified（所有代理）在2-3轮达到峰值——这两种情况下故障集中在一两种组件类型，可实现快速收敛。GAIA（Sonnet 4.6）需要11轮迭代，因为故障涉及四种组件类型（提示词、工具、处理器、配置），迫使系统依次探索多个修改邻域。

τ3-Bench的领域间差异。τ3-Bench的平均增益掩盖了显著的领域间波动。GPT-5.4在电信领域提升+25.4%（第2轮67.5%→93.0%），零售领域+9.7%（第6轮84.2%→93.9%）。但Sonnet 4.6在电信领域单轮（第7轮）出现-14.0%倒退（由同类修改累积导致），至第9轮恢复（见6.6节）。这揭示了逐修改门控的结构性局限：连续同类修改产生的亚阈值耦合会不断积累，直至触发明显倒退。

SWE-bench的峰后衰退现象。

在 SWE-bench 验证（GPT-5.4）中，进化在 R3 时达到峰值 63.6%（+18.2%），但在 R5 时下降到 50.9%（从峰值下降 − 12.7%）；最终准确率仍然超过静态基线+5.4%。有两个因素加速了该基准上的退化：(1) 只有 55 个任务，每个任务的翻转移动使总准确率变化 ∼ 1.8%（与 n=103 ∼ 1.0%相比），因此较少的退化就足以产生可见的下降；(2) 结构代码编辑比提示编辑具有更广泛的爆炸半径。这与 GAIA GPT-5.4 停滞的情况类似：这两种情况都促使评估第 6.3 节中的变体隔离策略。

主要实验（表 4）使用全局策略：一个单一的 harness 在所有任务中进化。表 5 将此默认设置与 GAIA 上的变异隔离策略进行了比较（103 个任务，GPT-5.4，15 轮，AEGIS 进化器）。

全局的失效机制。全局策略为所有 103 个任务维护一个单一的挂钩。它在 R4 时达到峰值（73.8%），然后稳步下降：后续的编辑引入了阈值以下的回归，这些回归在 pass@2 的二进制信号下单独无法检测到，但会累积成整体下降。峰值与最终值的差距（ − 24.3%）远超过每轮二项式 95%置信区间（ ± 在 n=103 时为 p≈0.74 ），排除了评估噪声，并证实了灾难性遗忘（第 4.2 节）。这解释了 GAIA GPT-5.4 在表 4 中的 Δ=0.0 停滞：全局无法在这个异构任务集上持续改进。

为什么集成学习防止跨变体遗忘。集成路由维护高达 K 个 harness 变体，并将每个任务路由到具有最高先验成功率的变体。每个变体都会提出和评估编辑，因此一个改进一个簇的编辑不会导致另一个簇退化。比较证实了三个预测属性：(1) 非退化的聚合轨迹（峰值=最终），(2) 更晚的峰值（R14 vs. R4），表明持续的生产性探索，以及 (3) 更低的 token 消耗（107.8M vs. 143.7M），因为每个编辑只针对其目标簇进行评估，而不是针对整个任务集，并且编辑只针对其分配的簇，避免了当退化的单个 harness 被评估针对所有任务时积累的浪费提案。

概述。变体隔离解决了全局下的停滞现象，将 GAIA GPT-5.4 从 Δ=0.0 提升至+13.6%（87.4%，非退化）。探索了更细粒度的策略（领域感知聚类、任务级锦标赛），在试点规模（30-40 个任务， ≤ 8 轮）下进行了研究，但由于轮次和任务数量不足，无法进行具有统计学意义的比较。

为了将进化器架构与基础设施分离，我们用单个代理的 CC SDK 进化器替换了四阶段的 AEGIS 流程，该进化器共享相同的模型（Opus 4.6）、回合预算和基础设施。两个进化器都在变体隔离下运行（在 6.3 节中介绍），以确保非退化轨迹。表 6 报告了在 GAIA（103 个任务，GPT-5.4，15 回合）上的比较结果。

精度相当；效率有所不同。1.0%的精度差距在一个标准误差范围内（ ∼ 3.3% at n=103 ），表明在当前元智能体能力水平上，四阶段分解并未提高最终精度。然而，单智能体变体消耗了 ∼ 14%更多的 token（123.1M vs. 107.8M）。我们归因于 Digester 的压缩：它将 ∼ 10M 原始追踪 token 压缩为 ∼ 10K 结构化摘要，然后再供下游阶段使用。如果没有这个阶段，单智能体进化器必须截断追踪以适应其上下文窗口，产生信息较少的编辑，这些编辑更频繁地被门控拒绝，浪费了在失败提案上的 token。

含义。在变体隔离下，一个强大的元代理中，准确性的提升主要来自 HarnessX 的基础设施（支持隔离的 typed 组件，支持诊断的结构化追踪），而不是进化者的内部架构。四阶段分解提高了效率（ ∼ 减少 12% 的 token）和可解释性（可审计的中间产物），但在这个规模上没有可衡量的准确性提升。

本实验测试了是否将悬挂进化与模型 RL（第 5 节）交替进行能带来超越仅悬挂进化的收益。如图 5 所示，我们使用 Qwen3.5-9B 任务代理在 GAIA 和 WebShop 上比较这两种模式。两种条件都共享一个固定容量的 FIFO 回放缓冲区：每一轮将当前代理在适应批次上运行，一个固定验证器对生成的轨迹进行评分，悬挂进化（AEGIS）和模型训练（跨悬挂 GRPO）都在同一缓冲区上进行更新（第 5.1 节）。第 5 节预测每个单一优化路线会在其自身的极限处停滞：仅悬挂进化在脚手架极限处停滞，仅模型 RL 在训练信号极限处停滞。协同进化通过使模型能够内化连续悬挂版本引入的策略来解决这两个极限。

实验设置。我们在 GAIA 纯文本子集（103 个任务）和一个 WebShop 子集（100 个任务）上运行这两种模式，使用 Qwen3.5-9B 任务代理。GAIA 练习使用实时网络工具，其延迟和可用性波动，因此每个回合评估两次并取平均值。这两个子集都很小，所以我们设置优化器批处理为整个重放缓冲区，并将缓冲区大小设置为四回合滑动窗口：每个任务两个展开，GAIA 上有 824 个跟踪（ 103×2×4 ），WebShop 上有 400 个（ 100×1×4 ），这为 GRPO 提供了足够的组内样本以稳定估计优势。训练使用学习率 1×10−6 ，GRPO 裁剪 ϵ=0.2 ，无 KL 惩罚（系数 0 ），每回合 5 个训练步骤。GAIA 代理配备了网络搜索（百度 API）、网络获取、bash 和文件读取；WebShop 使用其环境内置的动作工具。奖励包括 GAIA 上的 0.9× 正确性加 0.1× 格式，以及 WebShop 的原生属性匹配奖励（任务只有在奖励 =1.0 时才通过）。

协同进化超越单纯工具进化。如图5所示，在共享经验回放池中交叉进行跨工具GRPO与工具进化训练，使两项基准测试的峰值成功率均得到提升：GAIA从37.4%升至41.7%（+4.3%），WebShop从49.0%升至54.0%（+5.0%），相较模型冻结基线平均提升4.7%。两条训练曲线在联合训练生效前（R4阶段）基本重合，此后开始分化——协同进化效果始终优于或持平单纯工具进化。这种优势持续到最终训练轮次（GAIA 36.4%→39.8%，WebShop 46.0%→50.0%），且在WebShop上表现更显著，因其模型层面仍有突破工具进化瓶颈的改进空间。协同进化不仅提升了峰值性能，更持续改善了最终精度。

协同进化突破工具天花板。单纯工具进化在GAIA和WebShop上分别停滞于37%和49%左右。协同进化通过跨工具GRPO使模型内化迭代工具版本的策略，后续修改得以基于习得行为而非修补固定模型的固有缺陷，从而突破了这些瓶颈。

6.6 失效分析 我们展示操作镜像（第4.2节）预测的三种典型故障案例：奖励破解、灾难性遗忘和探索不足。每个案例均记录首次显现的检测信号、通过轨迹分析确定的根本原因，以及最终结果——系统是否自主修复或需人工干预。图6按故障类型汇总了所有已确认和待处理案例。

HarnessX 的完整执行跟踪 τ 提供了超出标量奖励的诊断信息。案例研究（第 6.6 节）证实了这一点：检测 GAIA（R10 发布，R11 检测到）上的奖励攻击需要检查改进是如何发生的（格式利用与真实检索），而检测 ALFWorld（R4–R7）上的探索不足需要跟踪编辑类型分布和飞船预测准确性。这两个信号都无法仅从每个任务的二进制结果中恢复。

这些观察结果启发了一个设计原则：反馈信号的丰富程度决定了能够安全进行的进化复杂性上限。仅凭标量奖励，这三种异常情况都无法被检测到：得分变化无法区分奖励作弊与真正改进、探索不足与收敛、灾难性遗忘与评估噪声。只要存在前几轮跟踪记录用于比较，跟踪结构就能诊断出每种异常情况。τ3-Bench电信故障案例说明了这个边界：尽管有前五轮跟踪记录（R2–R6），累积的回归仍然逃过了跷跷板约束，因为没有单个编辑超过检测阈值。因此，结构化跟踪记录对于检测异常是必要的，但不足以预防异常：当耦合效应在单任务检测阈值下累积时，跟踪记录只能在损害发生后记录症状。

RL符号空间镜像是一种设计启发式方法，而非正式框架。经典RL收敛性保证需充分探索状态-动作空间，但当状态为符号化装备配置、动作为开放式代码编辑时，此条件无法满足。全局策略下，GAIA（GPT-5.4）完全停滞（15轮Δ=0.0）；变体隔离消融实验（第6.3节）恢复了稳定改进（最终=峰值87.4%），但无法保证该优势能延伸至更长周期（变体可能过度特化）或存在任务间依赖关系的任务分布（导致变体无法清晰分离）。该镜像亦无法预测何种病理现象将占主导：在τ3-Bench Telecom中，灾难性遗忘出现于第7轮；ALFWorld中探索不足主导第4-7轮；GAIA中奖励破解仅在第10轮浮现。

因此我们将其视为设计检查清单而非预测理论：它识别需防范的失效模式，但不预测其出现顺序、时机或相对严重性。这三种病理现象具有代表性而非穷尽性；其他RL现象（如适配批次与部署任务偏离时的分布偏移、困难基准上的奖励稀疏性）可能在符号空间表现为类似失效模式。

7.4 跨模型家族的泛化性 在ALFWorld中，Opus 4.6元代理为三个模型族的任务代理演化装备： • Sonnet 4.6（同家族）：83.6%→94.8%（+11.2%） • GPT-5.4（异家族）：76.9%→97.8%（+20.9%） • Qwen3.5-9B（异家族/较弱）：53.0%→97.0%（+44.0%）

逆向缩放效应（第6.2节）解释了增幅排序：收益与基线表现呈反比（Qwen>GPT>Sonnet），而非与元代理模型家族的亲缘性相关。所有配置均固定元代理（Opus 4.6）而变更任务代理，未评估较弱元代理能否达成可比增益。

补充消融实验（第6.4节）发现：当采用相同元代理模型与基础设施时，单代理演化器与四阶段AEGIS流程精度相当（86.4% vs 87.4%，n=103抽样误差范围内）。这表明在当前元代理能力水平下，四阶段分解主要提供效率增益（~12%令牌节省）和可审计性，而非可测量的精度提升。

7.5 成本-性能权衡 如表7详述，演化会产生前期计算成本，该成本会在后续任务调用中分摊。 表7：演化成本概要。所有主实验采用全局（单装备）策略；变体隔离行来自策略消融实验（第6.3节）。

策略消融实验（第6.3节）表明，在GAIA基准测试中，变体隔离策略相比全局策略既更有效（最终成功率87.4% vs 49.5%）又更高效（消耗107.8M vs 143.7M tokens）。token节省来自两方面：(1) 结构上，变体隔离策略下每个编辑只需针对目标集群而非完整任务集评估，降低了单轮评估成本；(2) 全局策略中持续退化的基线会导致更多候选方案无法通过门控，浪费token在永远不会部署的候选方案上。在进化快速收敛的基准测试中（ALFWorld R4-R7、SWE-bench R2-R3），全局策略已足够且不会在运行周期内出现明显退化。

进化后的控制框架还会影响单任务推理成本。在GAIA上，单任务token消耗降低约25%（定向工具选择缩短执行路径）；在ALFWorld上则增加约60%（任务分解提示延长了执行过程）。

部署时，进化后的控制框架是静态产物，无需元智能体推理；进化集之外的任务会被路由至在进化集上总体成功率最高的变体。在GAIA上，前期107.8M tokens的投入约经过1,300次调用即可摊薄（每次调用节省约83K tokens）。在ALFWorld上单任务成本增加，但回报是准确率提升（+11.2%）而非成本降低。

7.6 伦理考量 自我进化智能体系统需要明确监管。HarnessX提供三重机制：

1. 可审计性：每个部署的编辑都附带清单和回滚目标；被拒候选会存档并注明原因
2. 确定性门控：跷跷板约束会拒绝任何导致pass@2指标下已解决任务回退的编辑
3. 人在环路：门控层支持对超出可配置风险阈值的编辑进行人工审核（自动化实验中未启用）

τ3-Bench的失败案例（第6.6节）揭示了其局限：连续五个同类型编辑（R2-R6）累积了未达阈值的耦合效应（未被跷跷板约束检测），第六个编辑（R7）引发显著回退（-14.0%），但单个编辑均未违反约束。这是单编辑门控的结构性局限：无论前期在相同约束下表现出多少轮稳定，未达阈值的回退都会持续累积。

7.7 局限性 除上述限制外，还有五个因素制约结果的普适性： • 无保留评估：所有报告增益均基于进化使用的同一任务集测量。由于报告峰值准确率并在适应集本身评估，数据存在选择偏差和潜在过拟合 • 仅限离散动作空间：所有实验均使用基于文本的离散动作空间智能体，未测试框架是否适用于连续动作空间（如机器人控制） • 闭源元智能体：AEGIS需要具备多文件代码生成、结构化轨迹分析和多步规划能力的元智能体，尚未测试达到此能力水平的开源模型（如Qwen3.5-72B、Llama-4-Maverick） • 联合控制假设：协同进化要求同时控制框架进化与模型训练，实践中这两者常分属不同团队，缺乏跨团队协调时共享回放缓冲区（第5.1节）难以实现 • 基准覆盖范围：SWE-bench Verified仅使用55任务子集，τ3-Bench仅评估三个领域（零售/航空/电信），结论（特别是逆缩放效应）可能不适用于不同任务异质性领域或更大评估集

所有进化曲线均以pass@2作为主要指标：每个任务进行两次独立运行，只要其中一次成功即视为完成。这样既降低了对单次运行随机波动的敏感性，又保持了严格的任务完成标准。因基础设施故障（沙盒崩溃、API超时）而终止的运行计为失败而非排除，确保结果与官方排行榜标准可比。

9.4 进化协议与超参数 进化算法使用的超参数详见表8。在第0轮中，基线是配备基准测试专用工具注册表的成熟组合工具链，而非最小默认配置。因此图表显示的是相对于成熟初始工具链的增益。所有实验中元智能体均为Opus 4.6版本，任务智能体则采用不同配置：Sonnet 4.6、GPT-5.4和Qwen3.5-9B。由于不同任务的交互长度差异较大，单任务步数限制由对应基准测试决定。

表8：进化协议超参数