DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://aclanthology.org/2026.emnlp-main.1117/
领域: LLM推理
关键词: 深度搜索智能体、自蒸馏、可验证环境、过程级监督、ReAct格式转换
一句话总结¶
本文提出面向深度搜索智能体的确定性可验证离线环境 DeepSearch-World 及自蒸馏框架 DeepSearch-Evolve,通过支架教师轨迹生成、实体级过程验证与反思重写,使开源 9B 模型无需闭源强模型蒸馏即可习得长程规划、记忆追踪与故障自愈能力。
研究背景与动机¶
大语言模型驱动的自主智能体正逐步从被动的单步文本生成迈向长程、主动的环境交互,具备多步任务规划、主动构造搜索查询、浏览多源网页并合成复杂证据的能力。为了让工具调用型智能体从自身交互经验中持续自我进化,现有主流范式主要分为两条路径:一是在自身生成的正向轨迹上进行监督微调(SFT),但模型表现往往在极少轮次后迅速饱和,性能严格受限于基座固有的表征瓶颈以及自收集轨迹的多样性匮乏;二是借助强化学习(如 GRPO 算法)结合终局可验证奖励进行探索优化,然而长程搜索任务中最终奖励信号极度稀疏且停留在整条轨迹层面,完全无法判定失败究竟源于初始查询构造偏差、工具路由失误、关键证据抽取失败还是推理合成幻觉。
在此背景下,策略内自蒸馏(On-Policy Self-Distillation, OPSD)尽管能通过将学生 rollouts 对齐到细粒度教师策略的高密度 token 分布来缓解奖励稀疏,但在长程工具交互中,真实的细粒度监督信号本质上附着于动作序列(即检索工具选择、跨文档证据验证、查询动态重构及状态回溯)。在真实动态或模拟不可靠的网络环境中,教师在每个工具调用步骤输出的分布充满噪声且极不稳定,导致分布漂移迅速累积。现有的自我进化闭环由此陷入了静态模仿缺乏突破、结果强化缺乏归因、高密度监督不可信赖的三重困境。长程搜索智能体迫切需要一个既能消除网络抖动与非确定性噪声、又能对中间交互动作提供细粒度可验证过程信号的结构化基石。
本文的切入视角在于:既然真实网络不可复现且缺乏中间真值,何不在全量离线百科超图上建立一个确定性、可精确复现且内嵌中间实体级验证的沙盒世界,让智能体在受控环境中进行带有支架引导的高质量探索。核心 idea:构建基于离线百万级维基图谱与两套确定性工具的 DeepSearch-World 环境,配合具备规划、工作记忆与实体反思机制的支架教师(Scaffold Teacher),通过渐进式实体级反馈与支架到标准 ReAct 的自蒸馏闭环(DeepSearch-Evolve),使小参数开源模型无需依赖专有大模型即可实现长程搜索行为的稳健自进化。
方法详解¶
整体框架¶
DeepSearch-Evolve 自蒸馏框架由三大核心模块紧密协同构成:(1) 确定性离线工具环境 DeepSearch-World:基于维基百科全量图谱与离线检索/阅读工具构建,承载 420K 经过特征模糊化处理的多跳复杂问答任务,提供无漂移、可精确复现的工具观测及实体级中间进度反馈;(2) 三阶段支架教师智能体(Scaffold Teacher):在交互中通过显式维护工作记忆(包含已完成目标、待办检查清单、经验教训与抽取事实)并接收环境分阶段反思指导,实现鲁棒的多跳链路探索;(3) 自进化蒸馏训练闭环(Self-Evolving Training Loop):教师生成轨迹经由拒绝采样与轨迹质量过滤后,通过支架至 ReAct 格式转换(Scaffold-to-ReAct Conversion)将外部状态与反思内化进思维链 <think> 标签,进而以加权重要性采样异步迭代微调学生模型。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多跳模糊问题与实体真值集"] --> B["DeepSearch-World 确定性离线环境<br/>BM25检索 + SQLite全量文章阅读 + 实体进度验证"]
B --> C["三阶段支架教师展开 (Scaffold Teacher)<br/>Plan规划初始化 + Act多轮记忆交互 + End扎实合成"]
C --> D["轨迹拒绝采样与质量过滤<br/>答案正确性初筛 + 冗余/对齐/一致性逻辑校验"]
D --> E["支架到 ReAct 格式转换<br/>隐藏中间实体真值 + 反思自纠错内化 + 状态工作记忆吸收"]
E --> F["加权重要性采样与异步微调<br/>衰减因子经验回放 + 离线至真实工具GRPO微调"]
F -->|更新参数成为下一轮教师策略| C
F --> G["标准可部署 ReAct 搜索智能体"]
关键设计¶
1. DeepSearch-World:基于离线百科图谱与双工确定性工具的可验证环境
针对在线搜索不可复现、网络响应慢以及动态网页内容缺乏过程级金标的痛点,该环境以维基百科超链接图 \(G=(V, E)\) 为底层拓扑。通过在图上采样多步随机游走路径 \(\tau = (v_1, \dots, v_H)\) 构建包含 420K 实例的高难度多跳问答池,并引入特征模糊化(Feature Fuzzification),将具体数值(如将精确年份模糊替换为年代,特定城市泛化为大区域),强迫智能体必须执行真实的多步检索而无法直接从预训练记忆中作弊。环境暴露出与标准网络代理完全对齐的双工工具:web_search_wiki 采用 Pyserini 构建的 Lucene BM25 检索后端,输入自然语言查询返回格式为标题、简短摘要和确定性 URL 的候选集合;visit_wiki 则通过基于 SQLite 偏移量索引实现两级快速寻址,直接根据 URL 提取全文内容。二者完全模拟现代浏览器的 snippet 列表与完整页面阅读逻辑,为大规模并发调用提供了毫秒级稳定支持。
2. 支架教师与环境嵌入式反思:状态化长程探索与实体级渐进反馈机制
长程搜索极易迷失于浩瀚的文档海洋中,产生检索发散或死循环。为此,教师策略在展开(Rollout)过程中引入显式认知支架(Scaffold),划分为 PLAN、ACT、END 三个阶段。在初始化阶段构建包含 completed_list(已达成子目标)、todo_list(动态待办清单)、experience(失败探索经验)及 information(抽取自正文的扎实事实)四大维度的结构化工作记忆。在 ACT 阶段执行最多 \(T_{\max}=30\) 步交互,并在每一步根据真实实体集 \(\mathcal{T}_i=\{e_{i,1}, \dots, e_{i,H}\}\) 与已完成集 \(\mathcal{S}_t\) 进行无序实体匹配验证。当智能体出现检索失败时,环境提供阶梯式反思反馈 \(r_t\):初次失败仅返回通用改写提示;多次重复失败则逐步释放规范实体名或模糊线索,从而在无外部专有模型干预下自然诱导出“搜索-失败-反思-重写-重试”的自愈行为链条。
3. 支架到 ReAct 的格式蒸馏转换:特权信息剥离与认知轨迹内化
外部注入的显式支架和环境反思虽然大幅提高了教师轨迹的探索成功率,但直接让模型依赖特权 prompt 或作弊反思会导致无法部署到真实开放网络。为此,在轨迹通过拒绝采样(答案正确性验证)和判别模型(过滤无效跳转与逻辑不一致)后,执行核心的 Scaffold-to-ReAct 格式重写。在每个决策步骤 \(t\),将原始的结构化状态 \(s_t\) 与环境反思 \(r_t\) 重新编排并合成为单个自主思维段落: $\(\langle\text{think}\rangle_t = \mathcal{P}_t \oplus \mathcal{R}_t \oplus \mathcal{A}_t\)$ 其中 \(\mathcal{P}_t\) 承载由工作记忆内化而来的目标规划与进度追踪,\(\mathcal{R}_t\) 严格隐去环境反馈中泄露的真实实体名称(将其转述为自主的自纠错反思,例如将“未匹配到 Erik Chisholm”改写为“上一查询未获得有效信息,需调整关键词重新检索”),\(\mathcal{A}_t\) 则保留针对当前具体动作 \(a_t\) 的局部决策理由。经过此番转换,外在支架完全熔铸为智能体内部自洽的 ReAct 思维轨迹。
4. 异步自进化微调闭环与经验回放重要性采样
为了避免在线强化学习中采样生成对梯度更新的串行阻塞,框架采用全异步训练架构。在每一进化轮次 \(R\),策略 \(\pi_{\theta_R}\) 在确定性沙盒中批量生成轨迹,一旦满足收集到 4,000 条高质量验证轨迹的门槛即刻触发一次全量微调。为了防范模型在自迭代中发生灾难性遗忘,系统采用指数衰减因子 \(\gamma=0.5\) 的重要性采样分布在历史轮次与最新轮次之间混合数据,优先保障最新自纠错模式的学习强度,同时平滑策略更新。针对离线 BM25 检索与真实世界 Google 搜索、Jina 页面抓取的领域漂移,框架最终仅需在 1,600 个真实工具样本上使用轻量 GRPO 进行环境交互微调,即可平滑桥接离线至实机(Offline-to-Real)的泛化鸿沟。
损失函数 / 训练策略¶
在微调更新环节,系统对环境验证合格的 ReAct 格式轨迹 \(\tilde{\tau} = (x, y_{1:T})\) 采用监督式自蒸馏损失: $\(\mathcal{L}_{\text{SFT}}(\theta) = \mathbb{E}_{\tilde{\tau} \sim \mathcal{D}^{(R)}} \left[ \sum_{t=1}^T \text{KL}\left(\delta_{y_t} \,\|\, \pi_\theta(\cdot \mid x, y_{<t})\right) \right]\)$ 该目标本质上等价于对经过筛选的高置信度轨迹进行条件负对数似然最小化。相比传统的策略内软概率蒸馏(OPSD),该设计规避了学生在偏离分布时教师生成不可靠或充满幻觉软标签的问题。模型在 Llama-Factory 架构下采用 DeepSpeed ZeRO-2 与 BFloat16 精度进行训练,学习率设为 \(5 \times 10^{-6}\),最长序列长度支持 32,768 tokens,每个轮次迭代 1 个 epoch,总计运行 11 轮自进化闭环。
实验关键数据¶
主实验¶
在 7 个涵盖深度搜索、专业级推理与复杂问答的权威评测基准上,DeepSearch-World-9B 与专有商用智能体、顶尖开源自研搜索智能体及原始基座模型进行全面对比(指标均为百分比得分):
| 模型 / 智能体 | BrowseComp | BrowseComp-ZH | HLE | GAIA | xbench | HotpotQA |
|---|---|---|---|---|---|---|
| 专有商业智能体 | ||||||
| OpenAI Deep Research | 51.5 | 42.9 | 26.6 | 67.4 | – | – |
| OpenAI-o3 | 49.7 | 58.1 | 20.2 | 70.5 | 65.0 | – |
| 开源搜索智能体 | ||||||
| R1-Searcher (7B) | 1.0 | – | 5.4 | 8.3 | – | 62.4 |
| Search-R1 (7B) | 0.4 | – | 13.0 | 18.7 | – | 63.2 |
| ZeroSearch (7B) | 1.4 | – | 8.6 | 9.9 | – | 32.4 |
| ASearcher (7B) | 3.2 | – | 13.8 | 22.1 | – | 71.0 |
| DeepResearcher (7B) | 1.8 | – | 6.0 | 24.0 | – | 56.6 |
| PokeeResearch (7B) | 6.2 | – | 17.6 | 49.2 | – | 71.6 |
| WebSailor (7B) | 6.7 | 14.2 | 12.8 | 37.9 | 34.3 | 92.8 |
| OffSeeker-DPO (8B) | 12.8 | 26.6 | 17.6 | 51.5 | 48.0 | – |
| WebExplorer (8B) | 15.7 | 32.0 | 17.3 | 50.0 | 53.7 | – |
| Marco-DR (8B) | 31.4 | 47.1 | – | 69.9 | 42.0 | – |
| MiroThinker-v1.0 (8B) | 31.1 | 40.2 | 21.5 | 66.4 | 34.0 | – |
| DeepDive (9B) | 6.3 | 15.1 | – | – | 35.0 | – |
| 基座与本文方法 | ||||||
| Qwen3.5-9B-Instruct (Backbone) | 7.4 | 13.5 | 16.7 | 23.9 | 20.0 | 45.3 |
| DEEPSEARCH-WORLD-9B (Ours) | 31.2 | 36.4 | 25.7 | 61.5 | 49.0 | 93.4 |
| 相对基座净提升 (\(\Delta\)) | +23.8 | +22.9 | +9.0 | +37.6 | +29.0 | +48.1 |
消融实验¶
针对轨迹过滤策略、过程监督反思强度以及支架格式转换等核心环节的系统性消融验证(指标均为百分比):
表 1:轨迹过滤机制对真实工具问答(Search-QA)准确率的影响消融
| 过滤配置机制 | Search-QA 准确率 (%) | 关键机制与影响解析 |
|---|---|---|
| w/o both (移除拒绝采样与质量过滤) | 46.4 | 包含大量未解出答案和冗余逻辑的噪声轨迹 |
| QF only (仅保留轨迹质量过滤器) | 48.1 | 缺乏对终局答案事实准确性的绝对约束 |
| RS only (仅保留答案正确拒绝采样) | 54.9 | 答案正确但存在大量低效搜索与弱对齐动作 |
| SDAR (基于分布自蒸馏对比基线) | 49.0 | 软标签在工具转移处受策略偏移影响失真 |
| Skill-SD (技能条件自蒸馏基线) | 47.8 | 预设技能模板未能适应长程多跳复杂探索 |
| DeepSearch-World-9B (RS + QF 组合) | 58.2 | 兼备答案强真值监督与动作步骤紧凑纯净度 |
表 2:过程监督级别与支架转换策略在验证集(DeepSearch-Val)上的性能消融
| 消融维度与实验配置 | DeepSearch-Val (%) | Search-QA (%) | 说明 |
|---|---|---|---|
| (A) 过程级反思监督强度 | |||
| 完整分阶反思 (Full staged reflection) | 31.9 | 58.2 | 渐进式释放提示,高效引导走出死胡同 |
| 仅通用反思 (Generic-only reflection) | 26.5 | 52.0 | 重复相同泛化提示,多步自愈成功率下降 |
| 无中间反思 (No reflection) | 24.7 | 49.0 | 仅保留终局答案判据,退化为经典稀疏过滤 |
| (B) 支架到 ReAct 转换机制 | |||
| 完整转换管线 (Full pipeline) | 31.9 | – | 状态工作记忆内化 + 反思去特权化改写 |
| 去除状态内化 (w/o state internalization) | 23.5 | – | 思维链失去长程任务拆解与待办清单把控 |
| 去除反思改写 (w/o reflection rewriting) | 16.7 | – | 未剥离特权标记导致测试期由于提示缺失严重崩塌 |
| 两者均去除 (w/o both) | 14.8 | – | 格式失配造成推理链条完全紊乱 |
关键发现¶
- 拒绝采样提供基础安全底线,质量过滤消除无效内耗:消融数据表明仅做答案匹配拒绝采样(RS)能从 46.4% 跃升至 54.9%,是提升最大的单项;追加质量过滤(QF)进一步扫除冗余死循环调用,最终使准确率达到 58.2%。
- 长程交互耐受度实现质的突破:在交互行为审计中,原生基座 Qwen3.5-9B-Instruct 平均仅交互 4.7 轮便仓促作答,页面阅读(visit)调用仅 0.9 次;而 DeepSearch-World-9B 平均持续展开 18.0 轮交互,执行 12.6 次检索并深入阅读 5.4 个完整页面,高阶推理能力评分从基座的 19% 飙升至 70%。
- 反思重写防止测试期分布崩溃:在转换消融中,直接将原始带
[REFLECTION]提示的环境信息输入模型会使性能从 31.9% 暴跌至 16.7%,证明必须将特权系统反馈内化为模型第一人称的主动自纠错思考,方可适应开放测试环境。
亮点与洞察¶
- 摆脱对闭源大模型轨迹合成的依赖:传统开源 Agent 多依赖 GPT-4o 或专用大模型离线生成百万条轨迹进行蒸馏,本文证明通过设计确定性沙盒和实体级分级反馈机制,同等规模小模型仅靠自身探索即可实现超常自进化。
- 离线可验证与在线实机工具的优雅解耦:利用 BM25 和 SQLite 构建了具有与真实 Google/Browser 相同输入输出模式的百万级离线沙盒,前 11 轮高并发生成全在低成本离线环境中完成,仅用 1,600 条真实样本做收尾对齐,极具工程借鉴价值。
- 支架学习与自主部署形态的无缝过渡:在训练阶段大胆使用显式 JSON 状态机和环境反馈来提供超强探索支架,而在监督信号转化时将其完全熔铸进标准
<think>标签,彻底避免了生产环境依赖外部复杂引导 prompt 的弊端。
局限与展望¶
- 知识领域受制于维基百科静态图谱:当前的离线世界完全构建自英语维基百科,对于时间敏感型实时资讯、私有垂直领域(如特定代码库、企业金融财报)的结构化检索支持仍然受限。
- 更新算法目前仍依赖 SFT 框架:尽管避免了 OPSD 的不稳定性,但本质仍属于迭代式拒绝采样微调;未来结合精确动作级优势分配的纯强化学习(如在线 PPO/GRPO)有望在策略自主探索与长程发散收敛上取得更优平衡。
相关工作与启发¶
- 对比 Marco-DR 与 WebSailor:二者高度依赖商用或更大参数(如 70B+)前沿基座生成的高质量合成轨迹;本文则在 9B 自身模型上闭环自蒸馏,在不失泛化能力的前提下大幅降低了训练成本。
- 对比 Search-R1 与 ZeroSearch:基于稀疏终局奖励的 RL 探索在长程复杂链条中往往因奖励迟滞而优化困难;本文通过中间环境反馈和状态内化,提供了极高密度的行为演进方向。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙地将离线可验证百科超图作为智能体自进化沙盒,结合支架反思内化机制突破传统奖励稀疏。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个主基准、多维度的交互行为深入剖析,并针对数据规模、过程监督和数据转换提供了详尽的消融支撑。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,图表表达直观,方法细节与提示工程公开透彻。
- 价值: ⭐⭐⭐⭐⭐ 为开源社区开发不依赖顶尖闭源模型的中小规模自主智能体提供了成熟可行的完整技术路径。