Quest: Training Frontier Deep Research Agents with Fully Synthetic Tasks¶

会议: NeurIPS 2026
arXiv: 2605.24218
OpenReview: https://openreview.net/forum?id=eKFW4EIOJx
代码: https://github.com/OSU-NLP-Group/Quest
领域: LLM Agent
关键词: 深度研究智能体, 合成任务, 评分标准树, 上下文管理, 强化学习

一句话总结¶

提出了开源深度研究智能体全栈方案 Quest，仅依赖 8K 完全合成的评分标准树（Rubric Tree）任务与三阶段训练（MT+SFT+RL），配合结构化上下文压缩与异步验证基础设施，使 35B 开源模型在跨客观事实检索与开放式报告合成的 8 个基准测试中逼近并超越顶尖闭源系统。

研究背景与动机¶

网络搜索范式正经历从传统关键词检索、检索增强生成（RAG）到自主多步证据搜集与长程综合的深度研究智能体（Deep Research Agents）的深刻跃迁。以 OpenAI DeepResearch、Google DeepMind 等为代表的专有系统虽然展现出分解复杂意图、多轮次网页交互与综合成文的能力，但其背后的数据工程、状态管理策略与强化学习训练配方均处于高度封闭状态。近期开源社区虽尝试通过特定场景数据训练开源智能体，却普遍面临能力剖面窄化的问题：多数开源方案（如 Tongyi-DR、OpenResearcher、REDSearcher）过度聚焦于“单答案客观事实检索”（Fact Seeking），将任务退化为可自动判定的单实体问答，难以应对需要跨信源聚合、结构化谋篇与深度洞察的开放式报告合成（Report Synthesis）；同时，模型在引用溯源与证据支撑（Citation Grounding）上的可信度也缺乏系统性优化。

这种割裂的根源在于深度研究任务内在的评价二元性与长程上下文退化。客观任务能够依托外部事实做确定性验证，而开放式综合报告则必须依赖多维度主观判断；若仅用单答案构建数据，强化学习时只能获得二元稀疏奖励（0/1），丧失了对结构组织、观点洞察与引用规范进行细粒度信用分配（Credit Assignment）的能力。此外，长程深度研究往往涉及数十甚至上百次网页浏览与工具交互，海量原始网页与中间思考轨迹极易造成上下文窗口溢出；既有简单丢弃历史（Discard-All）或滑动窗口（Keep-Last-N）的策略会盲目摧毁智能体的认知状态，导致反复重复搜索或关键信息遗忘。

为了打破对高昂人工标注的依赖并打通事实检索与报告综合的能力壁垒，本文提出了一种基于统一树状评估标准（Rubric Tree）的全合成数据驱动框架。核心 idea：将多源信息搜集与开放报告综合的评估标准统一分解为带可执行验证/多维度相对判别的树状评分标准（Rubric Tree），依托纯合成生成的 8K 结构化任务与分桶认知状态压缩（Context State），构建涵盖长程适配中间训练、会话级轨迹蒸馏与细粒度结果驱动强化学（GRPO）的三阶段开源训练闭环。

方法详解¶

整体框架¶

Quest 旨在构建兼具事实检索、引用溯源与报告合成能力的通用深度研究智能体。其整体工作流由数据驱动生成层、推理期状态管理机制以及三阶段训练管线深度耦合而成： 1. 纯合成数据构建管线：以 Google Trends 趋势关键词为探索种子，驱动强能力 LLM 展开自主网络探索，将客观任务与开放式报告任务统一表达为层级化的 Rubric Tree，并分别配套由 GPT-5 编写的可执行 Python 验证脚本或带锚点参考报告的成对判别协议； 2. 三态上下文状态管理器（Context Condenser）：在智能体交互上下文接近阈值（16K tokens）时，通过轻量级模型将原始长轨迹提炼为包含置信（Trusted）、不信任（Untrusted）与待求证（Uncertain）三类分桶的结构化认知快照，在全新上下文窗口中实现无状态膨胀的长程推演； 3. 三阶段模型训练配方：依次执行中间训练（MT，针对上下文摘要与网页噪声信息抽取）、监督微调（SFT，在凝结事件切分出的 Session 级轨迹上微调）、以及强化学习（RL，基于会话级分解、Rubric Tree 与引用事实核查组合奖励的异步 GRPO 优化）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["热点关键词种子 (Google Trends)"] --> B["树状评分标准合成与验证<br/>Rubric Tree 数据生成"]
    B --> C["分态认知上下文管理<br/>Context Condenser 压缩至三桶状态"]
    C --> D["两项自监督任务中间训练<br/>上下文摘要与 HTML 目标信息抽取"]
    D --> E["会话级结构化监督微调<br/>Session 级轨迹切分与反思重试蒸馏"]
    E --> F["结果驱动强化学习与异步架构<br/>结合事实核查奖励的异步 GRPO 优化"]
    F --> G["全能深度研究智能体 (Quest-35B)"]

关键设计¶

1. 树状评分标准（Rubric Tree）数据合成与可验证协议：打通客观与开放式任务的统一细粒度奖励

针对传统单答案训练无法泛化至开放式报告且 RL 缺乏细粒度信贷分配的痛点，Quest 提出了基于树状结构的约束分解生成体系。对于客观事实任务，利用大模型自主浏览网络提取多源事实约束，构建出根节点为总分、中间节点为属性类别、叶子节点为原子可验证事实的 Rubric Tree，并通过严格的迭代精炼与一致性过滤排除畸形树，最后由代码大模型自动合成可执行的 Python 脚本，以程序化方式校验智能体回答并产出连续归一化得分 $s_{\mathrm{rubric}} \in [0, 1]$；对于开放式报告任务，固定顶层为指令遵循、全面性、可读性与洞察力四大核心维度，自适应生成具体子节点并结合三次采样平滑权重。在评估开放式报告时，由判别模型同时对比候选报告 $r_{\mathrm{cand}}$ 与参考报告 $r_{\mathrm{ref}}$，得到各节点打分后计算相对胜率： $$\mathrm{Score} = \frac{J(r_{\mathrm{cand}})}{J(r_{\mathrm{cand}}) + J(r_{\mathrm{ref}})}$$ 该设计既彻底摆脱了人工编写测试用例的成本瓶颈，又避免了绝对打分中的通胀偏差与胜负平离散判别的梯度崩塌，为模型提供了平滑且富有区分度的监督信号。

2. 分态认知上下文管理（Context Condenser）：阻断上下文溢出并保留认知演进轨迹

长程深度研究往往耗费数十轮工具调用，若直接堆砌原始上下文，模型不仅在超过有效注意力范围后出现注意力弥散，且推理计算代价暴增。Quest 引入了事件驱动的 Context Condenser（由 GPT-5-mini 担任），当工作上下文达到 16K 阈值时触发压缩，输出标准 JSON 格式的 Context State，将信息清晰划分到三个互斥认知桶中： - Trusted 实体：已与检索 URL 严格交叉验证无误的事实，在后续交互中作为直接可用的确信知识，严禁重复检索； - Untrusted 实体：经多方比对证实存在冲突、谬误或不可靠的信息，明确注明不可信理由并在后续生成中降权； - Uncertain 实体：证据尚不完整、需要进一步验证的假设，附带明确的后续追问建议（如待访问 URL 或推荐检索 Query）。压缩完成后清空历史交互，模型在携带有最新 Context State 的纯净上下文窗口中重新启动推理。这赋予了智能体清晰的元认知状态，使其在超长步数下依然能有序推进研究目标而不迷航。

3. 会话级切分与反思蒸馏（Session-level SFT）：对齐推理期上下文边界与显存可扩展性

在轨迹收集阶段，针对客观任务未达到满分阈值（$\epsilon=1$）的样本，Quest 采用反思重试策略（Reflection-based Retry），将 Rubric 脚本报错信息作为反馈注入提示词，引导教师模型纠错并保留成功轨迹；同时利用回溯技术为所有终版报告自动补全段内行内引用（Inline Citations）。更关键的是，在模型训练时，Quest 颠覆了将全轨迹（可达 200K tokens）直接喂入模型的常规做法，而是以 Context Condenser 触发压缩的事件为界，将长轨迹切分成若干个连续的“会话片段（Sessions）”。每个 Session 仅包含上一次压缩注入的 Context State、当前窗口内的多轮工具调用与观测。这种设计不仅将长程训练的峰值显存需求严格限制在单卡上下文容纳极限内（仅需 16 张 H100 即可训练 200K+ token 的超长轨迹），而且在训练目标形式上实现了与推理期“滚动压缩-局部决策”机制的完美对齐，赋予模型外推至远超训练长度的交互能力。

4. 细粒度异步 GRPO 强化学习与引用事实核查：兼顾报告质量与证据可信度的策略优化

为了在探索更优搜索轨迹的同时根治智能体编造引用的幻觉顽疾，Quest 设计了结合任务目标完成度与引用可信度的复合奖励机制。对于生成的回答，抽取所有引用 URL 并核查其与主张的一致性，得到有效引用中受支持的比例 $s_{\mathrm{fact}} \in [0, 1]$，与 Rubric 奖励 $s_{\mathrm{rubric}}$ 复合为最终标量回报： $$R = 0.75 \cdot s_{\mathrm{rubric}} + 0.25 \cdot \min(s_{\mathrm{fact}}, s_{\mathrm{rubric}})$$ 其中 $\min$ 算子的引入极为精妙：它将事实核查得分的贡献上限锚定在任务完成度上，彻底封堵了“回答偏题却堆砌大量真实引用以此骗取高分”的奖励作弊路径。在系统架构上，针对树状评分平均耗时 4 分钟、长尾甚至高达 30 分钟的严重计算气泡，Quest 构建了解耦的异步架构：在 VERL 框架的 Rollout 与 Trainer 之外引入独立的 Ray 异步评估集群，生成样本即刻分发评测，Trainer 从完成队列中无阻塞拉取数据异步更新策略，使高开销的语义验证与大规模强化学习能够高效并行。

损失函数 / 训练策略¶

训练流程分步推进： 1. 中间训练（MT）：以 Megatron-LlamaFactory 在 32 张 H100 上执行单轮次全参数训练，使用学习率 $3 \times 10^{-6}$（常数调度器），包含 30 万条历史上下文压缩至结构化 JSON 的摘要任务，以及 105 万条基于 HTML 提取目标关键信息的自监督抽取任务，注入上下文缩减与噪声过滤的归纳偏置； 2. 监督微调（SFT）：基于 MT 权重在 8K 合成数据蒸馏出的 Session 级样本上全参数微调 3 个 epoch，学习率 $3 \times 10^{-6}$，最大序列长度 32,768 tokens； 3. 强化学习（RL）：基于 GRPO（不加 KL 散度约束）进行 80 个异步训练步（对应 320 次 mini-batch 参数更新），每个 prompt 采样 8 条 rollout，Actor 学习率设为 $1 \times 10^{-6}$，采样温度为 1.0，单次 rollout 允许上限 100 轮工具交互。

实验关键数据¶

主实验¶

在涵盖客观事实检索（BC、BC-Plus、M2W2、WideSearch、HLE、GAIA）与开放式报告撰写（DRB、LRB）的 8 大综合基准测试中，Quest-35B 与顶尖商业闭源系统及同规模开源 SOTA 模型的对比如下：

模型	类型	参数量 / 基座	BC (Acc.)	M2W2 (SR)	WideSearch (Acc.)	HLE (Acc.)	GAIA (Acc.)	DRB (RACE)	LRB (Overall)
OpenAI-DR	专有闭源	-	51.5	28.0	-	26.6	67.4	47.0	-
GPT-5	专有闭源	-	59.9	-	54.0	35.2	76.4	-	73.1
Claude Opus 4.5	专有闭源	-	67.8	-	76.2	43.2	-	50.6	-
Tongyi-DR	开源权重	Qwen3-30B-A3B	43.4	16.7	37.3	32.9	70.9	40.5	56.3
OpenResearcher	开源权重	Nemotron-3-30B	26.3	14.8	19.2	19.6	64.1	35.4	61.3
DR Tulu	开源权重	Qwen3-8B	-	1.6	-	-	-	43.4	-
Quest-30B	开源权重	Qwen3-30B-A3B	37.0	28.6	54.2	24.6	69.0	45.3	74.1
Quest-35B	开源权重	Qwen3.5-35B-A3B	64.6* / 45.5	30.7	60.6	37.2	80.8	48.2	68.2

注：* 表示在 BrowseComp 上沿用专有智能体评估惯例采用 Discard-All 策略时的评测成绩。

消融实验¶

针对训练阶段（Vanilla 基座、SFT、MT+SFT、全流程 MT+SFT+RL）对性能影响的对照消融结果如下：

配置	客观任务表现 (BC / GAIA)	开放式报告表现 (DRB / LRB)	核心表现说明
Vanilla (Qwen3.5-35B-A3B)	基线参考水平	基线参考水平	未适配深度长程搜索，缺乏工具调度稳定性
+ SFT	显著跃升 (客观全面提升)	略有下降	模仿蒸馏使得模型倾向于收敛至短答案事实，损害了开放式报告的多样性与展开深度
+ MT + SFT	进一步全面提高	回升并超越基线	中间训练增强了超长上下文抽取与状态压缩能力，普适性收益显著
+ MT + SFT + RL (Full Model)	维持高位 (GAIA/HLE 微降)	达到峰值性能	强化学习显著激发出深度报告综合与引用规范能力，仅在纯推理密集的极端题目上有轻微对齐税

关键发现¶

训练阶段各司其职：SFT 是建立搜索与工具使用基本语法行为的关键，但纯粹的 SFT 会导致在开放任务上向短答案过拟合；MT 注入的长上下文抗噪与压缩能力为多轮推演提供了稳固支架；RL 则是拉开开放式报告合成质量（DRB/LRB）与引用严谨度差距的核心动力。
小模型展现惊人潜力：在模型尺寸缩放实验中（2B、4B、9B 至 35B），即便是经过 SFT 的 Quest-2B，在 HLE 和 GAIA 等客观事实检索任务上的准确率也分别达到了接近甚至超越 OpenAI-DR 与 o3 的水准，表明高质量合成长程轨迹能极大激发小规模轻量模型的检索潜力，对高隐私需求的本地化部署（如医疗、法律调研）极具价值；但长篇报告综合能力依然受制于模型参数量，与 35B 存在客观代差。
负面探索经验宝贵：直接在 MT 阶段加入“搜索结果预测”会导致与“上下文状态摘要”目标产生表征冲突；引入 DPO 进行成对报告偏好学习极易因长文本多维方差导致策略崩塌；开放式评估若缺乏显式参考基准（Pointwise）会出现严重打分通胀（~50% 满分），而三元胜负（Win/Tie/Lose）则在前期因模型弱于教师而直接遭遇梯度消失。

亮点与洞察¶

Rubric Tree 范式彻底解决了自动化 RL 奖励稀疏与通胀矛盾：将复杂信息诉求拆解为带有逻辑层级且可叶子级验证的树状结构，使无人工标注的大规模合成任务不仅拥有程序化判题能力，还赋予了强化学习平滑稠密的细粒度 credit assignment 信号。
最小约束抑制奖励黑客（Reward Hacking）：在复合事实核查奖励时采用 $\min(s_{\mathrm{fact}}, s_{\mathrm{rubric}})$，形式极简却在机理上杜绝了智能体靠引用无意义真实来源骗分的漏洞。
解耦式会话训练与异步工程兼具学术与实用双重价值：将 200K+ token 超长轨迹降维解构为 Session 级分块训练，配合双层搜索缓存与 Ray 异步评估集群，让深度研究智能体的训练门槛从超算集群下放至常规 32 卡 H100 算力。

局限与展望¶

作者承认的局限：在极端复杂的专业推理基准（如 HLE、GAIA）上，全流程 RL 训练的模型相比仅进行 MT+SFT 的版本存在轻微的性能回落，显现出深度研究特化与通用推理能力之间的“对齐税（Alignment Tax）”。
独立观察与改进空间：当前的 Context Condenser 依赖于外部模型（如 GPT-5-mini）进行在线摘要，且在推理期若频繁触发会引入额外的 API 延迟与成本开销；未来应探索将轻量级状态压缩器权重彻底并入主干模型的多任务统一生成中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以完全合成的 Rubric Tree 统一客观事实与开放报告评价，并配以认知三态上下文压缩机制。
实验充分度: ⭐⭐⭐⭐⭐ 跨越 8 个全集与子集基准、对比 8 种主流开源与商业闭源模型，并系统公开了阶段消融、模型尺寸扩展以及失败尝试经验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，图表与公式表意精炼，负面尝试记录详实坦诚。
价值: ⭐⭐⭐⭐⭐ 彻底填补了开源社区在可复现、全栈透明的通用深度研究智能体训练方案上的空白。