DAGent: Evaluate-then-Grow Planning for Deep Research Agents¶
会议: NeurIPS 2026
arXiv: 2609.39154
代码: https://github.com/hanwenliu6825/DAGent
领域: 其他
关键词: 深度研究智能体, DAG规划, 多智能体系统, 强化学习, 信用分配
一句话总结¶
DAGent 提出循证递增式(Evaluate-then-Grow)任务图规划范式与拓扑感知强化学习算法 DAGRPO,克服了传统有向无环图智能体“先规划后修补”在证据最薄弱时过早锁死路径的缺陷,在大幅降低冗余计算与工具调用的同时显著超越开源与闭源前沿基线。
研究背景与动机¶
深度研究(Deep Research)要求智能系统在庞大的异构开放信息空间中自主导航、多跳检索并综合交叉验证数百个来源的证据,最终产出严密、可验证的复杂推理结论。针对长程信息密集型任务,基于有向无环图(DAG)的多智能体系统因其天然支持分支并行执行以及能够为各子任务隔离依赖上下文,成为超越传统线性 ReAct 与上下文压缩范式的前沿架构。然而,现有 DAG 深度研究系统(如 Flash-Searcher 与 FlowSearch)普遍遵循“先规划后修补”(Plan-then-Patch)模式:在真正开始检索前,系统必须预先静态生成覆盖全任务的初始图结构,随后仅在后续执行遇到死胡同或缺失证据时触发启发式算子对其进行被动修改与补丁修补。
这种规划机制暴露出根本性的时序与认知矛盾:它恰恰在对问题理解最为浅显、证据基础最为贫瘠的初始时刻,做出了最大力度的结构性规划承诺。深度研究的探索过程具有极强的演化不确定性,早期子任务的意外发现往往会彻底颠覆初始假设或开辟全新的调查方向;预先画好的庞大子任务树不仅容易锁定大量注定无效的分支,更会在后续被动修补时耗费数倍的计算资源去调整和剪枝,造成严重的内容漂移与推理预算浪费。此外,在针对此类系统的强化学习对齐中,标准的分组相对策略优化(GRPO)将整条轨迹的单一结果奖励均匀分摊到所有子任务动作上,完全忽视了执行图内部各节点对最终回答是否具备实质因果贡献的结构差异。
本文的切入角度是:彻底抛弃预先静态承诺全图的思维定式,将图结构的生长与执行过程中的证据置信度演化深度绑定,并使策略优化目标与图的增量构建历史严格对齐。核心 idea:提出循证递增式(Evaluate-then-Grow)规划范式与 DAGRPO 强化学习算法,由协调器根据已执行节点的置信度与不确定性逐批延展任务图,配合轻量摘要与按需轨迹召回的双层上下文架构,并在强化学习中依据答案祖先因果闭包实施拓扑条件信用分配与规划合规正则化。
方法详解¶
整体框架¶
DAGent 架构将深度研究任务抽象为增量构建的有向无环图 \(\mathcal{G}=(V, E)\),系统由负责全局调度决策的协调器(Orchestrator, \(\pi_O\))与负责具体环境交互的 ReAct 执行器(Executor, \(\pi_R\))集群协同驱动。整个流程不预先实例化完整图,而是以批次为单位交替执行“状态评估-图扩展-并行执行-结果沉淀”闭环。
在每一轮迭代中,协调器首先对上一批次执行器返回的结构化证据进行置信度与不确定性评估,根据评估状态选择针对薄弱节点派发细化重试(Refine),或实例化全新的一批子任务节点;属于同一批次且互无依赖的子任务由 ReAct 执行器并行调用外部搜索与页面提取工具完成;各节点执行产出轻量摘要供下游按依赖边选择性继承,同时完整保留交互轨迹供必要时按需回溯;当协调器判定证据足以回答根任务时,单独派发终端回答节点完成综合研判。在离线训练阶段,DAGRPO 算法利用图结构纯追加且依赖拓扑可溯的特性,反向追踪对最终答案产生因果贡献的节点闭包,对执行器与协调器实施差异化策略优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["复杂深度研究任务指令"] --> B["协调器状态评估<br/>评估已完成节点置信度与不确定性"]
B -->|存在不确定/未找到且有预算| C["派发细化节点 Refine<br/>调整检索策略重试 (上限3次)"]
B -->|证据充足或开启新分支| D["循证递增式图扩展<br/>动态生成新一批子任务与依赖边"]
C --> E["并行 ReAct 执行器集群<br/>工具调用检索与推理"]
D --> E
E --> F["分层上下文传播机制<br/>默认传递紧凑 QueryDoc"]
F -->|下游细节缺失时| G["按需回溯 RecallTool<br/>目标导向提取依赖交互轨迹"]
G --> E
F -->|满足终止条件| H["单节点生成最终回答 Answer<br/>汇聚祖先证据链完成综合研判"]
H --> I["拓扑感知强化学习 DAGRPO<br/>依赖闭包回溯加权与结构合规惩罚"]
关键设计¶
1. 循证递增式图扩展:按批次评估节点状态并动态延展任务依赖
为了解决预先构建全图导致在证据最弱时过度承诺的硬伤,DAGent 采用严格的增量追加(Append-only)图构建机制。任务图初始化为空,在第 \(k\) 轮迭代中,协调器 \(\pi_O\) 观察当前任务描述 \(\mathcal{T}\) 与图状态 \(\mathcal{G}_k\),联合输出状态评估向量 \(S_k\) 与新节点集合 \(V_k^{\text{new}}\):
$\(P_k = \pi_O(\mathcal{T}, \mathcal{G}_k) = (S_k, V_k^{\text{new}})\)$
评估状态 \(S_k\) 对上一批次节点划分为三类显式状态:Success(证据确凿充足)、Uncertain(获取到部分线索但存在存疑矛盾)与 Not Found(未检索到有效信息)。凡被判定为 Uncertain 或 Not Found 的节点,若其重试预算未耗尽,协调器强制为其指派细化节点(Refine Node),变更检索策略或关键词再次求证(每条探索线严格限制最多 1 次初始执行 + 2 次细化,共 3 次尝试)。对于生成的新节点集合 \(V_k^{\text{new}}\),每个节点 \(v_i\) 包含明确的子任务描述 \(\delta_i\)、执行提示词 \(p_i\) 以及必需的前驱依赖集合 \(\operatorname{dep}_i \subset V\)。只有当所有依赖节点均完成执行后,子节点方可被激活;同一批次中相互独立的节点被调度至并行执行器并发运行。当证据闭环成立时,协调器在 \(V_k^{\text{new}}\) 中单独调度终端答案节点(Answer Node),该节点依赖所有经筛选的核心证据节点,由系统统一调用大模型生成可追溯的最终答案。
2. 分层上下文传播机制:轻量化结构化摘要与按需深层轨迹召回
长程多步研究任务会迅速累积极其庞大的网页抓取文本与中间动作历史,若直接向下游无差错传递完整上下文,会导致注意力分散甚至超出模型上下文窗口;若过度压缩为单一会话摘要,又会丢失关键数值、特定论据原文等核心细节。DAGent 设计了双层解耦上下文传播架构:
- 默认选择性传播(Selective Propagation):每个执行器完成子任务后,仅产出一个极度紧凑的结构化文档 QueryDoc,记为 \(D_i = (\alpha_i, \operatorname{expl}_i, \operatorname{steps}_i, \operatorname{conf}_i, \operatorname{unc}_i)\),其中 \(\alpha_i\) 为提炼的答案核心,\(\operatorname{expl}_i\) 为论证逻辑,\(\operatorname{steps}_i\) 概述执行步骤,\(\operatorname{conf}_i \in [0, 1]\) 与 \(\operatorname{unc}_i\) 显式报告执行置信度与残余不确定性。下游节点 \(v_i\) 在启动时,默认仅接收其直接依赖的前驱节点的 QueryDoc 拼接上下文:\(C_i = \bigoplus_{j \in \operatorname{dep}_i} D_j\)。此机制将上下文复杂度严格约束在当前节点的入度(Fan-in)级别,而非全图节点总数或探索深度。
- 按需细粒度回溯(RecallTool):执行器在运行期间同时沉淀包含全部观察交互的完整轨迹 InteractionTranscript \(T_i = \langle (a_1^{(i)}, o_1^{(i)}), \ldots, (a_n^{(i)}, o_n^{(i)}) \rangle\)。当下游执行器发现上游 QueryDoc 无法支撑高精度比对(例如需要前驱网页中的原始表格段落或特定免责声明)时,可主动调用专用工具函数按需检索:
$\(E = \operatorname{Recall}(v_j, \text{goal}, T_j)\)$
专用抽取模型仅在指定依赖 \(v_j \in \operatorname{dep}_i\) 的完整轨迹 \(T_j\) 中按 \(\text{goal}\) 定向抽取高相关片段返回。实验表明 RecallTool 仅作为兜底通道被触发(在各基准测试中仅 11%–22% 的任务需要调用),在保持 90% 以上步骤高度轻量化的同时,彻底杜绝了有损压缩导致的关键信息丢失。
3. 拓扑感知强化学习:解耦角色归一化与依赖链闭包信用分配
在多智能体深度研究任务中,整个执行轨迹中不同节点对最终答案的贡献差异极大:部分分支直击核心因果链,而部分分支则是在探索后未被最终综合采纳的备选路径。传统 GRPO 将轨迹级终局奖励 \(R(\tau) \in \{0, 1\}\) 平铺到所有 rollout token 上,导致非关键甚至错误动作被误赋予高信用。DAGent 提出 DAGRPO,通过两大机制利用图结构的拓扑不变量:
- 角色解耦归一化(Role-Separated Normalization):协调器每轮仅有少数规划决策,而执行器在外部工具调用中产生数以百计的采样步长。为防止数量庞大的执行器梯度掩盖协调器的规划学习信号,DAGRPO 将采样组按协调器(Orchestrator)与执行器(Executor)独立划分为两个角色组,分别计算各自的均值与方差 \((\mu_u, \sigma_u), u \in \{\text{orch}, \text{exec}\}\)。
- 答案闭包条件信用分配(Topology-Conditioned Credit):由于 Evaluate-then-Grow 具有纯追加特性,执行过程中未发生任何删点或重接边操作,因此答案节点 \(t_{\text{answer}}\) 在最终图中的所有祖先集合直接构成其因果支持闭包 \(S(\tau)\)。对于处于因果闭包内的执行器节点 \(v_i \in S(\tau)\),全额保留其奖励值 \(R(\tau)\);而对于处于闭包外(未被采纳进最终结论)的执行器节点 \(v_i \notin S(\tau)\),其实际奖励值被衰减为 \(\alpha R(\tau)\)(其中 \(\alpha \in [0, 1]\),经敏感性分析最优取值为 \(0.5\))。这种乘性衰减避免了给未进入主线的探索动作赋予零奖励或惩罚(因其未选路径本身可能包含有价值的检索经验),有效强化了答案因果链上的决策权重。
损失函数 / 训练策略¶
DAGRPO 在基于 DAPO 非对称裁剪优势函数的基础上,结合协调器结构合规正则化进行端到端优化。采样 \(G\) 条轨迹 \(\tau\),联合优化目标定义为: $\(\mathcal{J}_{\text{DAGRPO}}(\theta) = \mathbb{E}\left[\frac{1}{|y_\tau|} \sum_{i, t} \min\left(\rho_{i, t}(\theta) \hat{A}_i^{(u)}, \operatorname{clip}(\rho_{i, t}(\theta), 1-\epsilon_\ell, 1+\epsilon_h) \hat{A}_i^{(u)}\right)\right]\)$ 其中 \(\rho_{i, t}(\theta)\) 为新旧策略的重要性采样比率,\(|y_\tau|\) 为总响应 token 数,非对称裁剪边界设置为 \(\epsilon_\ell = 0.20, \epsilon_h = 0.28\)。角色解耦优势函数 \(\hat{A}_i^{(u)} = (\tilde{r}_i^{(u)} - \mu_u) / \sigma_u\) 中,调整后奖励 \(\tilde{r}_i^{(u)}\) 规定如下: $\(\tilde{r}_i^{(u)} = \begin{cases} R(\tau), & u = \text{exec},\ v_i \in S(\tau) \\ \alpha R(\tau), & u = \text{exec},\ v_i \notin S(\tau) \\ R(\tau) + r_{\text{proc}}(\tau), & u = \text{orch} \end{cases}\)$ 其中 \(r_{\text{proc}}(\tau) = -\lambda_{\text{proc}} \min(N(\tau), K_{\text{proc}})\) 为结构合规惩罚项(实验中 \(\lambda_{\text{proc}} = 0.3, K_{\text{proc}} = 5\)),\(N(\tau)\) 为协调器违反规划约束的轮数(包括未对上一批次赋显式状态、不确定节点超重试预算、答案节点未单独成批、产生重复提示词或 JSON 格式非法等)。该惩罚强制协调器输出符合递增图执行语法的规划决策。训练采用 LoRA 微调全线性层,并配合微小 KL 惩罚系数(0.001)以保证策略稳定性。
实验关键数据¶
主实验¶
在涵盖本地稠密检索评估的 BrowseComp-Plus、结合实时网页搜索的复杂通用智能体评测 GAIA(文本子集 103 题)以及中文复杂研究基准 xbench-DeepSearch(100 题)上,DAGent 在不同参数规模与训练设定下全面超越各主流基线:
| 模型基座 | 规划范式 / 方法 | 上下文窗口 | BrowseComp-Plus (Pass@1 %) | GAIA (Pass@1 %) | xbench-DS (Pass@1 %) |
|---|---|---|---|---|---|
| Qwen3-8B (免训练) | ReAct Agent | 32K | 20.0 | 29.1 | 39.0 |
| ReAct Agent | 109K | 28.0 | 34.0 | 44.0 | |
| Summary Agent | 32K × N | 32.7 | 35.0 | 54.0 | |
| Fold Agent | 32K × N | 34.7 | 35.0 | 52.0 | |
| Flash-Searcher (Plan-then-Patch) | 32K × N | 34.7 | 38.8 | 55.0 | |
| DAGent (本文方法) | 32K × N | 40.0 | 46.6 | 60.0 | |
| Qwen3-32B (免训练) | ReAct Agent | 109K | 31.3 | 39.8 | 58.0 |
| Flash-Searcher (Plan-then-Patch) | 32K × N | 38.7 | 44.7 | 58.0 | |
| FlowSearch (Plan-then-Patch) | 32K × N | 43.3 | 51.5 | 63.0 | |
| DAGent (本文方法) | 32K × N | 47.3 | 55.3 | 65.0 | |
| Qwen3-235B (免训练) | ReAct Agent | 109K | 52.0 | 57.3 | 64.0 |
| Summary Agent | 32K × N | 56.0 | 52.4 | 60.0 | |
| Fold Agent | 32K × N | 54.7 | 53.4 | 62.0 | |
| Flash-Searcher (Plan-then-Patch) | 32K × N | 52.7 | 55.3 | 70.0 | |
| DAGent (本文方法) | 32K × N | 61.3 | 63.1 | 72.0 | |
| Qwen3-8B (强化学习) | GRPO-ReAct Agent | 109K | 34.7 ± 2.4 | 36.9 ± 1.9 | 48.0 ± 2.0 |
| GRPO-Fold Agent | 32K × N | 41.3 ± 1.3 | 38.8 ± 2.6 | 56.0 ± 3.0 | |
| GRPO-DAGent (无拓扑结构奖励) | 32K × N | 46.0 ± 1.2 | 50.8 ± 1.1 | 63.0 ± 1.0 | |
| DAGRPO-DAGent (本文全套) | 32K × N | 49.6 ± 1.0 | 53.4 ± 1.0 | 65.7 ± 1.5 |
消融实验¶
在 Qwen3-32B 免训练模式下对框架组件进行系统剥离验证(Table 2),并在 Qwen3-8B 强化学习设置下检验 DAGRPO 各奖励分量及衰减超参 \(\alpha\) 的敏感性(Table 3):
| 实验组别 | 模型与配置 | BrowseComp-Plus (%) | GAIA (%) | xbench-DS (%) | 综合均值 (%) | 相对变化 (\(\Delta\)) |
|---|---|---|---|---|---|---|
| 框架组件消融 | DAGent (Full) | 47.3 | 55.3 | 65.0 | 55.9 | — |
| (Qwen3-32B 免训练) | Plan-then-Patch 变体 | 42.0 | 50.5 | 61.0 | 51.2 | -4.7 |
| 去除递增规划 (单次预先生成全图) | 33.3 | 42.7 | 55.0 | 43.7 | -12.2 | |
| 去除选择性传播 (传递全量历史) | 34.7 | 44.7 | 57.0 | 45.5 | -10.4 | |
| 去除结构化摘要 QueryDoc | 39.3 | 47.6 | 60.0 | 49.0 | -6.9 | |
| 去除交互轨迹 (禁用 RecallTool) | 43.3 | 52.4 | 63.0 | 52.9 | -3.0 | |
| DAGRPO 奖励消融 | DAGRPO (\(\alpha=0.50\), 正则开启) | 49.6 | 53.4 | 65.7 | 56.2 | — |
| (Qwen3-8B 强化学习) | \(\alpha=0.00\) (闭包外奖励清零) | 44.0 | 49.5 | 61.0 | 51.5 | -4.7 |
| \(\alpha=0.25\) | 48.7 | 52.4 | 64.0 | 55.0 | -1.2 | |
| \(\alpha=0.75\) | 48.0 | 52.4 | 64.0 | 54.8 | -1.4 | |
| \(\alpha=1.00\) (去除拓扑信用分配) | 47.3 | 51.5 | 64.0 | 54.3 | -2.0 | |
| 去除合规正则化项 (\(r_{\text{proc}}\)) | 48.0 | 52.4 | 65.0 | 55.1 | -1.1 | |
| 同算力标准 GRPO 基线 | 46.0 | 50.8 | 63.0 | 53.3 | -3.0 |
关键发现¶
- 规划范式的本质差距:在相同组件栈下,将 Evaluate-then-Grow 替换为 Plan-then-Patch 机制,平均准确率立跌 4.7 个百分点(55.9% \(\rightarrow\) 51.2%);若退化为完全不具备动态修补能力的单次静态 DAG 规划,整体性能剧烈下滑 12.2 个百分点,充分印证了循证动态伸展对长程研究任务的决定性作用。
- 计算资源与工具调用的精简效应:相较于预先承诺大量无效分支的 Plan-then-Patch 系统,DAGent 的闭包外非必要执行节点比例从 0.40 / 0.30 骤降至 0.25 / 0.20。Plan-then-Patch 变体在三个数据集上额外消耗了 40%、29%、18% 的 token 以及 35%、27%、21% 的外部搜索调用,耗时高出 23%–35%,证实 DAGent 的性能提升源自更精准的证据驱动探索而非单纯算力堆砌。
- 因果拓扑信用的最优折中:在强化学习中,直接对闭包外节点赋零奖励(\(\alpha=0\))会导致探索崩溃,效果甚至劣于标准 GRPO;而全额平均分配奖励(\(\alpha=1.0\))又丧失了拓扑区分度。设定 \(\alpha=0.5\) 既保留了闭包外有益检索动作的探索价值,又有效倾斜了对主因果依赖链的激励。
亮点与洞察¶
- 增量构建将因果拓扑化为天然不变量:通过坚持“纯追加”(Append-only)的递增扩展设计,节点执行时的依赖环境与终局拓扑中的祖先路径完全吻合,使得免重新模拟的轻量拓扑信用溯源与角色解耦优化在数学上严谨可解。
- QueryDoc 与 RecallTool 的梯次解耦:将入度级别的紧凑结构化证据作为通信主体,同时将大容量原始轨迹作为按需回溯缓存,以极小的工程代价兼顾了上下文窗口的轻量化(降低 90% 通信冗余)与深层细节的保真度。
- 强化学习反哺推理期执行结构:DAGRPO 优化后,智能体在没有显式设计任何效率惩罚项的前提下,平均节点数减少 1.3–1.9 个,闭包外节点比例下降 0.05–0.09,展现出模型自主收敛于高效高密推理路径的能力。
局限与展望¶
- 文本模态原生性约束:系统内核基于文本抽象构建,面对包含多模态复杂图表/音视频的多模态任务(如 GAIA 全集)时,需要借助前置提取器将其转译为文本,尚未在递增规划主循环内部直接原生表征多模态状态。
- 对初始检索质量的下界依赖:系统的循证演化完全依赖外部检索工具返回的观测,若初始检索池完全未覆盖核心实体,协调器可能会在偏离的假设空间中发生连续无效派发。
- 开卷报告生成的泛化性待验证:当前评测基准主要针对具有闭式客观判决答案的复杂研究问题,对于开放式长篇商业研报或学术综述创作的支撑效果仍需进一步设计评估验证。
相关工作与启发¶
- vs FlowSearch / Flash-Searcher:二者均属于 Plan-then-Patch 体系,在执行前静态预设全图并在后续打补丁;DAGent 则是 Evaluate-then-Grow,每一步图扩展均以执行结果置信度为条件,执行路径紧凑且避免无效分支。
- vs HiAgent / Context Folding (FoldAct):此类方案沿线性单智能体轨迹执行上下文压缩或树状折叠;DAGent 采用拓扑图隔离各子任务依赖,利用并行执行降低长程依赖负担,并通过 DAGRPO 实现了非均匀的图结构因果信用分配。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次打破 DAG 智能体先规划后修补的思维惯性,将增量构图与拓扑强化学习深度结合。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多尺度开源模型、闭源顶尖模型、4 家厂商横向比对,包含详尽的机制消融与计算足迹分析。
- 写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰,数学推导严整,设计动机与实验现象逻辑闭环完美。
- 价值: ⭐⭐⭐⭐⭐ 为解决长程复杂深度研究智能体的规划脆性与通信/算力膨胀提供了极具工业落地价值的范式。