跳转至

APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/J-Ding519/APEx
领域: LLM 推理
关键词: 深度研究智能体, 经验蒸馏, 程序性技能, 测试期强化学习, 多模块闭环适应

一句话总结

APEx 提出了分层经验利用框架与执行器-蒸馏器-规划器三阶段轮换 GRPO 训练范式,将多轮工具交互轨迹蒸馏为类别级程序性技能,并在测试期通过无真实标签奖励与技能对齐正则化驱动在线强化学习自演进。

研究背景与动机

深度研究智能体(Deep Research Agents, DRAs)通过将大语言模型与外部搜索、代码及图像工具相结合,在开放域环境中展现出解决长程复杂问答与多源信息合成的强大潜力。然而,这类任务通常涉及长达数十轮的信息检索、跨模态验证与工具编排,智能体在缺乏经验沉淀的情况下极易在未知或相近复杂任务上重蹈覆辙,导致搜索陷入死循环或推理链断裂。现有的智能体记忆系统通常采用情景记忆(Episodic Memory)或反思记忆(Reflective Memory),前者存储并检索冗长且高度特定于特定任务的执行轨迹,在推断时给智能体上下文窗口带来沉重认知与 token 负担;后者依赖固定提示词将失败反馈压缩为离散反思文本,无法针对下游规划与执行策略的实际效用进行动态参数化优化。

更关键的矛盾在于,即便近期少数工作尝试将交互经验抽象为可复用的程序性记忆(Procedural Memory)或技能,这些技能大多仅作为外部冻结的静态知识伪影(Knowledge Artifacts)被动输入到上下文,与模型策略本身的参数更新处于解耦状态。在开放测试场景中,智能体既无法获得监督信号来修正策略漂移,也无法利用已积累的技能先验反哺在线测试期推理(Test-Time Reinforcement Learning, TTRL)。由此产生的困境是:单纯依靠无真实标签的伪奖励进行测试期自演进极其容易诱发严重的策略坍塌,而纯静态的外挂记忆检索又无法提升模型在复杂长程规划中的内生推理效能。

为了打破记忆重用与策略自进化的单向壁垒,本文的核心切入点是将智能体的长程交互体验构建为一个“执行收集—技能抽象—策略规划—测试期正则化自更新”的参数与非参数协同闭环。核心 idea:将多轮工具交互历史解耦组织为实例级轨迹记忆与类别级程序性技能的双层结构,构建执行器、蒸馏器与规划器的三模块轮换 GRPO 强化学习框架,并在测试期利用置信度加权的技能对齐奖励作为正则化先验,实现无真实标签下的自适应测试期强化学习与闭环记忆演进。

方法详解

整体框架

APEx 的完整架构由层次化经验记忆库(Hierarchical Experience Memory)、三模块闭环协作流水线(Executor-Distiller-Planner Loop)、三阶段轮换 GRPO 离线优化体系以及技能引导测试期强化学习(Skill-guided TTRL)四部分构成。系统在运行时维护类别-模态(Category-Modality)分桶的记忆库,在面对用户查询输入时,自适应检索相关的成功/失败实例记忆与宏观程序性技能,由规划器生成执行计划,执行器调用外部文本/图像搜索工具生成多轮推理轨迹,最后通过评估判别器对新轨迹进行沉淀和技能更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务查询输入 q"] --> B["分层经验检索与组织<br/>实例轨迹 RM(q) ⊕ 类别技能 RS(q)"]
    B --> C["执行器-蒸馏器-规划器闭环协作<br/>规划器生成计划与执行器多轮工具调用"]
    C --> D["三阶段轮换 GRPO 优化<br/>分阶段冻结交替训练执行、蒸馏与重规划"]
    D --> E["技能引导测试期强化学习<br/>多裁判无真实标签奖励 + 技能对齐正则化"]
    E -->|轨迹沉淀与技能演进| B
    E --> F["输出最终判定与答案"]

关键设计

1. 分层经验检索与组织:解决冗长实例检索认知负担与泛化策略缺失矛盾
传统情景记忆直接检索扁平的历史交互轨迹,不仅大幅挤占输入上下文窗口,而且具体的实体名称与噪声细节难以迁移;而单一的高层抽象又缺乏具体落地的操作细节。为此,APEx 设计了双层分层经验记忆库:底层为实例级轨迹记忆 \(\mathcal{M}\),将交互表示为元组 \(m_i=(q_i, \xi_i, y_i, w_i)\),涵盖原始问题、工作流摘要、执行正误结果以及历史重用胜率 \(w_i = \text{success\_count}_i / \text{usage\_count}_i\);顶层为类别级程序性技能 \(\mathcal{S}\),将同一任务类别 \(c \in \mathcal{C}\) 与输入模态 \(d \in \mathcal{D}\) 的多篇轨迹蒸馏为结构化技能文档 \(s_{c,d} = (P_{c,d}, F_{c,d}, w_{c,d}, n_{c,d}, \text{desc}_{c,d})\),明确记录标准规划步骤 \(P\)、常见失败陷阱 \(F\)、支持记忆数 \(n\) 与技能胜率 \(w\)。在检索阶段,系统利用双通道相似度(问题语义与图像标题上下文语义的凸组合)结合历史胜率加权计算排序分数: $\(f(q, m_i) = \alpha \cdot \widetilde{\text{sim}}(q, m_i) + (1-\alpha) \cdot w_i\)$ 分别抽取出 Top-\(k\) 的正向成功记忆与负向避坑记忆。对于技能层,则计算技能置信度 \(\gamma_{c,d} = w_{c,d} \cdot \min(n_{c,d} / N_{\text{threshold}}, 1)\),仅当置信度超过阈值 \(\epsilon_s=0.1\) 时才通过结构化拼接 \(E(q) = R_S(q) \oplus R_M(q)\) 注入规划上下文,使规划器在保有具体案例参考的同时依托精炼技能获得宏观策略引导。

2. 执行器-蒸馏器-规划器闭环协作:打通多工具长程交互、经验结构化抽象与动态重规划流
为防止单一模型既负责搜索又负责元认知反思带来的角色混淆与上下文过载,APEx 解耦并协同了三个专用模块:基于 Qwen2.5-VL-7B 的执行器 \(\pi_{\text{exec}}^\theta\) 严格专注于在给定规划 \(p\) 下调用外部离线/在线检索工具链(如文本检索服务 E5-base-v2/wiki25 和图像检索 Serper)生成轨迹 \(\tau\);基于 Qwen3-8B 的蒸馏器 \(\pi_{\text{dist}}^\phi\) 负责周期性扫描记忆桶,以单轮推理从 synthesize(初次合成)、refine(保守增量修正)、create(新策略分支创建)及 skip(样本不足跳过)四种操作中自主演进技能,严格遵循“以成功轨迹定义不变量、以失败轨迹定位修改点”的保守编辑准则;基于 Qwen3-8B 的规划器 \(\pi_{\text{plan}}^\psi\) 则在 \(q\) 与 \(E(q)\) 条件下生成初始方案 \(p_1\),并在执行器产出第一版轨迹后对观测进行二次审视,输出二值决策 \(d \in \{0, 1\}\);若 \(d=1\) 则触发反思重规划并生成补充策略 \(p_2\),从而形成自适应的闭环容错机制。

3. 三阶段轮换 GRPO 优化:克服多智能体跨模块信用分配难题与技能固定提示瓶颈
传统方法中蒸馏提示词与规划生成无法接收环境强化反馈,而端到端联合训练多智能体又面临巨大的梯度震荡与信用分配紊乱。APEx 采用基于 veRL 框架的三阶段轮换群体相对策略优化(Group Relative Policy Optimization, GRPO)。在阶段一中,冻结规划器与蒸馏器,对执行器采用结合答案准确率 \(R_{\text{acc}}\)、有效工具调用率 \(R_{\text{tool}}\) 和格式奖赏 \(R_{\text{fmt}}\) 的复合奖励进行微调;在阶段二中,冻结执行器与规划器,由 LLM 裁判针对蒸馏出的技能文档质量(流程具体度、避坑针对性与覆盖率)计算 \(R_{\text{quality}}\),并结合演化动作合理性奖赏 \(R_{\text{evolve}}\) 对蒸馏器进行参数更新,首次实现了将技能生成由静态提示词诱导转化为可优化的强化学习策略;在阶段三中,冻结执行器与蒸馏器,以两轮最终答案准确性以及鼓励“在首轮正确时及时停止、首轮失败时主动重规划”的决策奖励 \(R_{\text{dec}}\) 优化规划器: $\(R_{\text{plan}} = \alpha_1 R_{\text{acc}}(\hat{y}_2) + \alpha_2 R_{\text{acc}}(\hat{y}_1) + \alpha_3 R_{\text{fmt}} + \alpha_4 R_{\text{dec}}\)$ 三模块循环往复、渐进收敛,确保了各模块在自身能力边界内实现稳定且可预测的策略提升。

4. 技能引导测试期强化学习:消除开放域无标签自演进中的策略漂移与崩溃风险
当智能体部署于真实开放测试集时,真实标签 \(y^*\) 严格不可见,传统的自训练极易因为伪标签噪声而导致策略退化。APEx 提出了具有技能正则化锚定的 Skill-guided TTRL 机制,仅在线更新规划器参数 \(\psi\)。系统首先构建由三位专职大模型裁判组成的评审团:\(E_1\) 审查推理链条与逻辑自洽性,\(E_2\) 核验最终答案是否严格扎根于工具检索的事实证据以杜绝幻觉,\(E_3\) 评估回复的完整性与实质性,最后由仲裁器裁定生成无真实标签奖励 \(R_{\text{nogt}}\)。与此同时,为防止在线梯度更新脱离合规轨道,系统以检索到的类别技能 \(s_{c,d}\) 作为知识针锚,计算生成规划 \(p\) 对规范流程遵循程度及已知陷阱规避情况的对齐奖励 \(R_{\text{align}}\): $\(R_{\text{final}} = (1 - \lambda_s) R_{\text{nogt}} + \lambda_s R_{\text{align}}, \quad \text{其中 } \lambda_s = \lambda_{\text{base}} \cdot w_{c,d} \cdot \min\left(\frac{n_{c,d}}{N_{\text{threshold}}}, 1\right)\)$ 若技能已具备极高胜率和充分证据支持,系统还支持技能门控机制,将优势函数设为零(\(\hat{A}_i=0\))自动跳过冗余微调以节约显存与计算资源。通过这一机制,经过验证的高质量经验约束了测试期在线探索,实现免标注条件下的平稳能力飞跃。

损失函数 / 训练策略

离线阶段与测试期强化学习均统一采用 GRPO 算法。对每个训练输入 \(x\),策略采样 \(G\) 个候选回答 \(\{o_i\}_{i=1}^G\),计算群内标准化优势: $\(\hat{A}_i = \frac{R(o_i) - \text{mean}_j[R(o_j)]}{\text{std}_j[R(o_j)] + \epsilon}\)$ 策略目标函数包含 PPO 截断机制: $\(\mathcal{L}_{\text{GRPO}}(\eta) = - \mathbb{E}_{x, \{o_i\}} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min\left( r_{i,t}(\eta)\hat{A}_i, \, \text{clip}(r_{i,t}(\eta), 1-\epsilon, 1+\epsilon)\hat{A}_i \right) \right]\)$ 超参数设置上,所有阶段优化器选用 AdamW,PPO 截断阈值 \(\epsilon=0.2\)。执行器训练 batch size 为 128、群采样 \(G=8\)、学习率 \(1 \times 10^{-6}\);蒸馏器 batch size 为 64、群采样 \(G=8\)、学习率 \(1 \times 10^{-6}\);规划器训练 batch size 为 48、群采样 \(G=4\)、学习率 \(1 \times 10^{-6}\);测试期 TTRL 仅对规划器在测试集上以微小学习率 \(2 \times 10^{-7}\)、batch size 为 8、群采样 \(G=4\) 进行 1 个 epoch 的保守在线更新。

实验关键数据

主实验

在涵盖多模态图文问答(FVQA-test, SimpleVQA, LiveVQA, InfoSeek, MMSearch)与纯文本多跳推理(HotpotQA, 2WikiMultiHopQA)的 7 个基准测试中,APEx 与原生大模型、传统搜索智能体及先进记忆增强智能体进行对比:

数据集 / 评测基准 类型 GPT-5.4 Gemini-3-Flash Qwen2.5-VL-7B (基座) MMSearch-R1 MIA (前强记忆SOTA) APEx (本文) 相对基座提升
FVQA-test (域内) 图文 51.3 68.4 20.7 58.3 65.3 68.7 +48.0
HotpotQA (域内) 纯文本 60.2 66.2 12.6 39.2 64.0 67.8 +55.2
2WikiMultiHopQA 纯文本 64.9 68.4 20.5 48.3 71.6 75.2 +54.7
SimpleVQA (域外) 图文 55.9 72.3 30.2 55.2 63.8 66.3 +36.1
LiveVQA (域外) 图文 22.8 25.7 8.3 28.6 39.7 42.4 +34.1
InfoSeek (域外) 图文 45.6 66.5 23.6 49.5 64.7 66.9 +43.3
MMSearch (域外) 图文 47.4 67.9 7.2 43.3 60.6 63.8 +56.6
平均得分 (Avg.) 全域 49.7 62.2 17.6 46.1 61.4 64.4 +46.8

消融实验

为验证各模块的贡献度与必要性,论文在四个核心数据集上设计了经验利用维度、模块后训练优化维度与闭环自适应维度的全面消融:

配置与变体 FVQA (图文) SimpleVQA (图文) HotpotQA (纯文本) 2Wiki (纯文本) 平均准确率 (Avg.) 相比完整模型下降 (↓)
APEx 完整模型 68.7 66.3 67.8 75.2 69.5 —
经验利用消融
仅去掉实例记忆 (w/o Mem.) 67.4 64.8 65.7 72.9 67.7 ↓1.8
仅去掉程序技能 (w/o Skill) 64.9 62.7 65.6 72.3 66.4 ↓3.1
去掉全部经验 (w/o Both) 58.6 55.0 58.4 65.5 59.4 ↓10.1
模块 GRPO 优化消融
蒸馏器未经 GRPO (w/o Dis.) 66.4 63.7 65.8 72.7 67.2 ↓2.3
规划器未经 GRPO (w/o Plan.) 66.8 63.9 66.2 74.0 67.7 ↓1.8
执行器未经 GRPO (w/o Exec.) 61.0 58.0 58.2 67.2 61.1 ↓8.4
闭环与测试期机制消融
禁用测试期强化学习 (w/o TTRL) 64.6 60.8 63.5 72.4 65.3 ↓4.2
禁用迭代技能蒸馏 (w/o Iter.) 66.0 64.1 64.7 73.3 67.0 ↓2.5

关键发现

  • 结构化技能相比扁平实例记忆具备更强的规划主导力:消融显示去掉程序性技能导致综合性能下降 3.1 点,而去掉实例记忆仅下降 1.8 点;同时单纯使用技能的 APEx (Skill Only) 变体即可在 4 个任务上达到 67.7% 的平均准确率,以显著更小(单步 token 减少 45.6%、全流程消耗减少 36.8%)的上下文开销超越了依赖完整实例轨迹检索的强基线 MIA(66.2%),证明结构化知识压缩有效规避了实例层面的噪声干扰。
  • 执行器策略是基石,蒸馏器与规划器决定泛化上限:未对执行器进行 GRPO 训练会导致系统崩溃级掉点(平均下降 8.4 点),说明多轮工具调用的稳健执行能力是长程推理的前提;而针对蒸馏器设计的质量与演化奖赏,使蒸馏模块能产出更加具象、富有避坑价值的指导,带来 2.3 点的净收益。
  • TTRL 与动态蒸馏构建了正向自演化飞轮:禁用测试期自强化学习会导致性能直降 4.2 点;若仅做一次技能蒸馏而不把测试期产生的新成功/失败轨迹反馈进记忆库(w/o Iter.),性能也会折损 2.5 点。这证明了高质量经验引导测试期探索、探索沉淀更优轨迹、更优轨迹蒸馏出更强技能的闭环有效性。

亮点与洞察

  • 将技能蒸馏纳入强化学习优化回路:过去以 Reflexion 为代表的方法均将经验压缩视为基于人工 Prompt 的生成任务,APEx 首次将蒸馏器作为独立策略网络接入 GRPO,利用奖励模型对其操作类型与技能可执行度进行端到端优化,解决了提示词工程无法精细对齐下游规划需求的难题。
  • 免标签测试期探索的技能对齐锚定机制:在无监督的测试期场景中,单纯依靠多裁判大模型打分依然存在幻觉与共谋漂移风险。APEx 创造性地引入基于经验置信度动态加权的技能对齐惩罚项,以既有成功规律和已知缺陷为“引力锚”,巧妙平衡了在线策略探索与知识一致性。
  • 即插即用的执行器模型泛化迁移性:论文进一步实验证明,在完全不重新训练闭环结构的情况下,将开源执行器无缝替换为闭源大模型(GPT-5.4、Claude-Sonnet-4-6、Gemini-3-Flash),APEx 架构驱动的多轮表现相比标准 ReAct 依然取得 7.0% ~ 11.0% 的显著相对增益,证实其高阶规划与避坑经验具备跨模型通用性。

局限与展望

  • 作者承认的局限:受算力所限,目前的框架主要基于 7B/8B 级别的开源小模型(Qwen2.5-VL-7B 与 Qwen3-8B)验证,尚未探索在数百亿乃至千亿级规模参数的大模型底座上的缩放法则(Scaling Law);此外,三阶段轮换训练虽保障了单模块收敛稳定性,但在计算效率上属于串行阶段优化,未能完全发挥全模块端到端联合训练可能存在的协同乘数效应。
  • 自行发现的局限:测试期强化学习中依赖由三个 Qwen3-32B 判定模型构建的多维度裁判体系,在无真实标签时单步推理的计算成本与显存占用显著上升;若面对高度专业化、外部证据源受限的极冷门领域,裁判自身的事实核验准确度将受限,技能对齐项可能产生过度保守抑制创新的副作用。
  • 改进与延伸思路:未来可探索轻量化的裁判蒸馏网络以压缩 TTRL 阶段的显存开销;同时可将技能形式从单纯的文本步骤升级为具备参数化调用签名的可执行 Python 代码块或子智能体工作流(Sub-Agent Graph),并在多智能体网络之间实现跨主体技能共享与迁移。

相关工作与启发

  • vs Reflexion / Mem0 / ExpeL: 传统基于反思或外部经验库的智能体主要通过被动式向量检索将历史相似案例塞入上下文(In-context Memory),其知识是未经过强化学习验证的离散片段;APEx 将实例轨迹上升为带胜率和已知陷阱统计的类别级技能,并通过 GRPO 将参数自适应与非参数演化结合。
  • vs Search-R1 / MMSearch-R1 / Deepeyes: 纯粹的搜索型智能体依托强化学习内化了工具调用与多步反思,但在遭遇长跨度、多任务分布转移时缺乏跨任务经验积累,极易反复犯错;APEx 引入了层次化经验记忆库作为策略的持续先验缓冲,在显著降低记忆 token 消耗的同时实现了测试期自适应对齐。
  • vs 标准 TTRL (如基于多数投票的模型推理强化): 标准测试期强化学习严重依赖多路采样的多数投票(Majority Voting)进行伪奖励计算,在长程开放式问答中往往失效;APEx 提出了“多裁判可信度融合 + 历史技能合规性正则”的无标签打分新范式,为长程开放智能体的免标注自进化提供了可落地路径。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将经验蒸馏与测试期强化学习构建为闭环,并以技能对齐项作为无标签自进化的正则化锚,构思精巧且切中要害。]
  • 实验充分度: ⭐⭐⭐⭐⭐ [横跨 7 个图文与纯文本公认基准,对比覆盖原生 LLM、主流搜索智能体与先进记忆系统,消融与开销分析完整扎实。]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密自洽,数学表述与框架图同频呼应,附录全面公开了三模块完整的系统与判定提示词。]
  • 价值: ⭐⭐⭐⭐⭐ [为解决长程复杂研究型智能体在实际部署中重复犯错、上下文爆仓及缺乏自进化能力的问题提供了完整高效的工程与算法典范。]