Scaling Law再现Agent领域！阿里提出训练新范式：在预训练和后训练之间还需一个Agentic CPT

近年来，大型语言模型（LLM）的进化已远超文本生成范畴，正演变为能够自主使用工具、进行多步推理以解决复杂问题的智能体系统。想象一个能替你浏览网页、查阅文献、执行代码、分析数据并最终生成一份可信研究报告的AI助手——这就是“深度研究智能体”的愿景。然而，尽管前景诱人，当前主流方法（主要基于通用基础模型的后训练，如指令微调SFT和强化学习RL）在构建此类智能体时却 consistently 表现不佳，特别是在开源领域。OpenAI的闭源“深度研究”智能体性能卓越，而开源模型与之差距显著。

• 论文：Scaling Agents via Continual Pre-training

• 链接：https://arxiv.org/pdf/2509.13310

这篇由阿里巴巴通义实验室团队发表的论文直击这一痛点。他们识别出问题的根源：通用基础模型本身缺乏“智能体行为”的先天倾向（归纳偏置），导致后训练过程不得不 simultaneously 学习“如何做智能体”和“如何对齐专家行为”，造成内在的优化冲突。为此，他们开创性地提出了 智能体持续预训练（Agentic Continual Pre-training, Agentic CPT） 这一新范式，旨在预训练阶段就为模型注入强大的智能体基础能力，并基于此成功开发了名为 AgentFounder 的深度研究智能体模型。其在10个基准测试中达到了业界领先水平，部分性能甚至逼近或超越了顶尖闭源产品，为构建强大、开源的通才智能体指明了新方向。

研究动机：为何后训练不足以打造强大智能体？

当前，为LLM赋予智能体能力的主流方法是后训练（Post-training），即在已经预训练好的通用模型（如Qwen、LLaMA）上，使用监督微调（SFT） 和强化学习（RL） 来学习工具使用和推理轨迹。

• 当前方法的局限性：论文指出，这种方法存在根本性瓶颈。

1. 数据覆盖难题：智能体策略空间极其巨大，而SFT严重依赖完整、高质量的任务轨迹数据。收集能全面覆盖所有可能场景的轨迹数据几乎是不可能的。

2. 行为定义模糊：智能体的轨迹长且复杂，何为“完全正确”的行为难以精确定义。这导致SFT和RL依赖于有限且确定的监督信号，模型容易只是模仿和记忆特定的行为模式，而非学会灵活决策。

3. 优化冲突：最核心的问题是，通用基础模型是为下一个词预测而预训练的，其本身并未内置对“工具使用”、“多步推理”等智能体核心行为的偏好（即缺乏智能体归纳偏置）。让这样的模型在后训练阶段同时学习新能力（怎么做智能体）和对齐（怎么做得像专家），相当于让一个小学生 simultaneously 学习微积分和如何写一篇优秀的微积分论文，任务过于艰巨，导致优化效果不佳。

• 根本问题：因此，性能瓶颈的根源在于缺乏一个强大的、具有智能体先天倾向的“基础模型”。现有的后训练方法都是在“错误的基石”上修修补补。

• 核心解决方案：智能体持续预训练 (Agentic CPT)

  为解决上述问题，论文提出了一个全新的训练范式：在预训练和后训练之间，插入一个 智能体持续预训练（Agentic CPT） 阶段。

  • 整体训练流程重构：新的流程变为：

  1. 预训练：获得通用语言和知识能力。（基础）

  2. Agentic CPT：持续地使用海量智能体行为数据，以“下一个词预测”的方式，让模型初步掌握智能体的核心能力（如工具调用模式、推理链）。其目标是产出一个“预对齐”的智能体基础模型。

  3. 后训练：在此基础上，再用高质量的SFT或RL数据进行精细微调，进一步对齐到专家行为。

  

  • 两阶段训练策略：为了高效学习不同类型的智能体数据，论文采用了渐进式的两阶段策略：

  • • Stage 1：主要使用较短上下文（32K）的FAS数据和简短HAS数据，让模型初步建立智能体行为概念。

    • Stage 2：聚焦于高质量、长上下文（128K）的HAS数据，让模型发展出对复杂动作空间和长程规划策略的精深理解。

  数据合成方法论：规模化生成智能体行为数据

  Agentic CPT的成功极度依赖于海量、高质量的智能体行为数据。论文的核心贡献之一是提出了两种可规模化、低成本的数据合成方法。

  • 零监督信号的一阶动作合成 (FAS) ：该方法完全不需要调用昂贵的商业API，仅利用多样化的数据源合成数据。

    

  • • 推理动作合成：当智能体通过工具获取足够信息后，需要合成最终答案。该方法要求LLM不调用外部工具，仅基于问题和其映射到的必要知识，先生成一个初步答案，再根据确切知识进行修正，生成一步步的逻辑推理链和最终答案。这个过程模拟了人类“思考-验证”的推理过程，增强了模型的逻辑推理和信息整合能力。

    • 规划动作合成：对于生成的每个问题，让LLM生成K种不同的初步问题分析和第一步的行动预测（调用哪个工具或直接回答）。关键洞察是：第一步推理的质量与最终任务完成率高度相关。通过为每个问题生成多个可能的“第一反应”，极大地扩展了模型对每个问题行动空间的探索。

    • 知识到问题的转换（构建多样化上下文）：首先，将网络爬取、 discarded 轨迹等静态知识源，以一种“实体-知识陈述”的形式组织成一个开放的“世界记忆库”。例如，实体“法国”可能对应“2025年6月法国游客达422.2万人”等多个知识陈述。然后，随机采样实体簇及其知识，合成涵盖事实检索、数值计算、多跳推理等多种风格的问题。这样就將静态知识转化为了需要主动信息检索和工具使用的动态问题解决场景。

  • 带监督信号的高阶动作合成 (HAS) ：后训练（尤其是RL）会产生大量被丢弃的次优轨迹，它们蕴含了宝贵的学习信号。HAS旨在高效复用这些轨迹。

    

  • • 轨迹重用挑战与洞察：轨迹级评估（成功/失败）太粗糙，导致大量次优轨迹被浪费。而步骤级评估又难以精确。论文的洞察是：轨迹中的每一步，在其上下文中，都存在多个可行的推理-动作选项。模型不应只学习模仿唯一成功的轨迹，而应学习在每一步做出正确决策。

    • 步骤级扩展与对比决策合成：对于轨迹中的每一步，利用LLM生成N个替代的“思考和调用”候选方案。将原始步骤与这些新候选方案混合、打乱，形成一个决策选项集。然后，将整个轨迹改写成一种渐进式决策文本：在每一步，明确列出所有选项，并声明“我将选择选项X”，紧接着给出真实的环境反馈，最后标注这一步的决策是否正确。这样，一条轨迹就被转化为了富含决策信号的高质量训练数据。

  AgentFounder 模型与实验验证

  基于上述方法，以Qwen3-30B为基础模型，通过Agentic CPT和后续SFT，得到了AgentFounder-30B模型。

  • 实验设置：论文在10个权威基准上进行了全面评估，包括通用网页搜索（如BrowseComp, GAIA）和场景化任务（如HLE“人类终极考试”, 学术浏览）。对比模型涵盖了通用LLM配工具、商业深度研究智能体、开源深度研究智能体三大类。

  • RQ1: 性能对比：AgentFounder-30B表现卓越，实现了新的SOTA。

    

  • • 在BrowseComp-en上达到39.9%，大幅领先所有开源模型，逼近OpenAI o3 (49.7%) 和 Deep Research (51.5%)。

    • 在极具挑战性的HLE基准上，以31.5% 的Pass@1率成为首个超过30分大关的开源模型，超越了所有已报告的闭源产品。

    • 在GAIA、Frames、AcademicBrowse等多个基准上全面领先，证明了其能力的全面性和鲁棒性。

  • RQ2: 基础模型适应性：实验表明，经过Agentic CPT得到的AgentFounder-30B-Base基础模型，在使用三种不同SFT数据配方进行后训练时，均一致地、显著地优于从原始Qwen3基础模型开始训练的效果。

    

  • • 这验证了Agentic CPT产出的预对齐基础模型具有强大的通用性和适应性，能为不同的后训练策略提供一个更高的起点。

  • RQ3: 训练策略有效性：两阶段训练策略带来了一致的性能提升（平均提升3.3% Pass@1）。这表明专门用长上下文学习完整的智能体轨迹至关重要，简单的截断会损失信息。

    

  • RQ4: 数据类型贡献：Both FAS and HAS data contribute!

    

  • • FAS数据效果显著，仅使用FAS数据进行CPT就能带来巨大增益。

    • HAS数据提供了互补收益，与FAS结合能获得更佳效果，尤其是在Pass@3指标上，表明其增强了模型决策的多样性。

  • RQ5: 缩放定律探索：研究表明，智能体能力同样遵循缩放定律。

    

  • • 模型规模：性能随参数增加而提升，AgentFounder-30B的效率优于参数量更大的基线模型。

    • 数据量：性能随训练token数增加呈对数增长，且在315B的整个预算内持续提升，未出现饱和。第二阶段的长上下文训练能持续带来收益。

  • 综合分析：

    

  • • 通用工具使用能力：在ACEBench基准上，AgentFounder也展现出了比原始基础模型更强的通用工具使用能力，表明其潜力不限于深度研究，可扩展至更广泛的智能体场景。

    • 工具调用分析：AgentFounder能根据任务复杂度自适应地调整工具使用策略：对复杂研究任务（如BrowseComp）大量调用工具进行深入探索，对结构化任务（如WebWalker）则使用更保守、高效的调用模式。

    • 训练过程：Agentic CPT显著降低了后续SFT的损失，使模型收敛更快、更好，证明了其有效缓解了“同时学习能力与对齐”的双重负担。

  相关工作与结论

  相关工作

  论文回顾了深度研究智能体的发展历程，从OpenAI的开创性工作到众多开源项目的百花齐放（如WebSailor, GLM-4.5, DeepSeek-V3.1等），指出了当前工作大多聚焦于后训练数据构造，而在持续预训练阶段系统性注入智能体能力的工作仍属空白。这也凸显了本文工作的创新性。

  结论

  本文的核心贡献在于：

  1. 范式创新：首次提出了Agentic Continual Pre-training (Agentic CPT) 这一新训练阶段，重新定义了智能体对齐的 pipeline。

  2. 方法创新：提出了系统性的、可规模化的智能体数据合成方法（FAS和HAS）以及配套的两阶段训练策略。

  3. 性能卓越：基于此培育出的AgentFounder-30B模型在10个基准上达到了开源SOTA，部分性能比肩甚至超越闭源商业模型，证明了新范式的巨大潜力。

  4. 前景广阔：这项工作为构建更强大、更通用的智能体基础模型开辟了新的道路，预示着智能体能力有可能像语言能力一样，通过大规模的预训练成为模型的基础属性。