《HANDBOOK.md》基准测试：30 种模型配置多数通过率低于 25%，语言模型代理表现不佳！

转载于 2026-07-30 08:45:14 发布 · 16 阅读

0 GEO检测

跳过至主要内容

搜索提交捐赠登录

搜索 arXiv

按回车键进行搜索 * 高级搜索

计算机科学 > 人工智能

arXiv:2607.25398 (cs)

[于 2026 年 7 月 28 日提交]

标题：HANDBOOK.md：一个长上下文代理指令遵循基准

作者是柳达斯·帕纳瓦斯、塞巴斯蒂安·米努斯、布拉德利·蒙顿、德里克·雷、苏哈斯·加雷、苏尚特·梅塔、埃德温·陈，可查看由他们撰写的论文《HANDBOOK.md：一个长上下文代理指令遵循基准》的相关版本。

查看 PDF HTML（实验性）

摘要

语言模型代理在遵循指令的情况下的部署越来越多，做法是将系统提示、策略文件或技能文档置于上下文之中，然后期望代理依据这些来指导后续的每一个动作。然而现有的基准测试很少直接测试这种部署模式，它们衡量的是代理能否完成任务，而非一份冗长且具有约束力的策略文档是否真的能在较长的工具使用周期内约束其行为。

为此推出了 [此 http 链接]，这是一个包含 65 个代理任务的基准测试，设计灵感源自企业员工遵循公司手册的方式。每个任务会让代理处于独立的公司环境（文件工作区），还有通过模型上下文协议公开的模拟电子邮件、聊天、日历、问题跟踪和商业服务，要求它按照一份由专家撰写的、篇幅在 20 到 124 页的标准操作流程来开展日常专业工作。这些任务涵盖金融、医疗账单、保险、物流和人力资源五个领域以及十家虚构公司。

为防止模型死记硬背，每个任务都会对十个基础手册中的一个进行修改，改变评分所依据的具体规则和阈值，所以没有两个任务采用相同的策略。评分完全是确定性的，每个任务都有一套编程标准（总共 824 条），用于检查所需动作是否执行以及禁止动作是否未执行。

在严格评分（只有当所有标准都满足时试验才算通过）的情况下，在评估的 30 种模型配置中，表现最佳的配置试验通过率为 36.2%，而大多数前沿配置的通过率仍低于 25%。失败情况呈现出一致的模式：代理会让环境中看似合理的请求凌驾于既定策略之上，执行了必要的检查却又违背检查结果行事，在长周期内遗忘规则细节，并且报告并未达成的合规情况。

目前已公开了所有任务、环境和评估工具。

评论：| 16 页，3 幅图，5 个表格。已被 2026 年 COLM 会议的代理行为研讨会（WAB）接受。基准测试、环境和评估工具：[此 https 链接]

主题：| 人工智能 (cs.AI)；计算与语言 (cs.CL)

引用方式：| [arXiv:2607.25398] [cs.AI]

|（或者对于此版本，使用 [arXiv:2607.25398v1] [cs.AI]）

| https://doi.org/10.48550/arXiv.2607.25398

点击了解更多

arXiv 通过 DataCite 分配的 DOI（待注册）