Dense Process Supervision for Search Agents via Fact Utility Estimation¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 医疗 LLM
关键词: 检索智能体, 过程监督, 事实效用估计, 贝叶斯推断, 强化学习
一句话总结¶
针对搜索智能体强化学习中结果奖励信号稀疏且难以回溯中间步骤真实价值的局限,FactAgent 将交互历史显式解构为事实库,借助群体 rollout 统计进行贝叶斯效用估计与势能奖励塑形,以密集过程监督显著提升了多跳知识问答性能与检索精度。
研究背景与动机¶
大语言模型驱动的自主搜索智能体通过交替调用外部检索工具与多步推理,展现出突破静态内部参数限制、完成复杂现实任务的强大潜力。为了增强智能体在动态开放环境中的规划与信息整合能力,强化学习(如基于群体相对策略优化的 GRPO 框架)已成为主流训练范式。然而,绝大多数现存强化学习方法完全依赖结果级奖励(Outcome Rewards),仅根据最终输出答案的正确与否对完整轨迹赋予标量反馈。这种稀疏、滞后的反馈无法提供细粒度的决策指引,使得智能体在多步搜索轨迹中面临严重的信用分配(Credit Assignment)难题。
在真实的复杂多跳问答中,中间步骤与最终答案的因果联系极其隐蔽且受上下文动态制约。一个最终答对的搜索轨迹并不意味着其中每一次工具检索和证据提取都是必要且高质量的,模型极易产生冗余甚至带有虚假关联的检索偏好;反之,最终回答错误的轨迹也并不代表前期所有检索和中间推理全盘皆误,直接抹杀高价值线索会导致探索萎缩。更关键的是,主流 ReAct 架构直接在提示词中累积非结构化交互历史,随着探索轮次增加导致上下文急剧膨胀,不仅极大加重了自注意力计算开销,也让隐式状态的价值分解在统计上变得几乎不可能。
为从根本上打破这一僵局,本文认为应当将连续非结构化的交互历史离散化为显式可解释的知识单元,使得中间决策的贡献能够被统计测量。核心 idea:将搜索智能体的中间证据显式解构为结构化事实库,通过对群体采样轨迹中的语义等价事实簇进行贝叶斯后验效用估计,并借助势能奖励塑形将其转化为密集的步级过程奖励,在不引入额外外部奖励模型的前提下实现精准的信用分配。
方法详解¶
整体框架¶
FactAgent 构建了基于事实库的马尔可夫决策过程(MDP),将状态表示从非结构化交互历史 \(h_t\) 替换为紧凑的显式元组 \(s_t = (Q, o_t, F_t)\),其中 \(Q\) 为原始问题,\(o_t\) 为当前最新观测(覆盖上一步观测以保证提示词长度恒定),\(F_t\) 为动态累积的结构化事实库。在每个推理步 \(t\),智能体执行三类动作之一:发出查询获取环境观测的 search、从观测中抽取结构化三元组并更新事实库 \(F_{t+1} = F_t \cup K_t\) 的 assert、以及基于事实库与当前观测输出最终结论的终止动作 answer。在训练阶段,模型在 GRPO 采样组中生成多条轨迹,通过双阶段语义聚类将分散的事实聚结为语义簇,运用贝叶斯统计推断各簇的后验效用,并利用势能奖励塑形与时间因果重分配机制,将局部过程优势回传至相应的检索与抽取决策中。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入问题 Q 与环境交互"] --> B["显式事实库构建<br/>提取结构化三元组更新 Ft 并保持恒定上下文"]
B --> C["双阶段事实语义聚类<br/>E5 向量初筛与严格逻辑规则约束"]
C --> D["贝叶斯效用估计与相对增益<br/>共轭 Beta 后验推断簇级成功率差值"]
D --> E["势能奖励塑形与因果反向回传<br/>PBRS 保策略最优且向检索动作分配信用"]
E --> F["混合优势优化<br/>合并全局结果优势与密集过程优势更新策略"]
关键设计¶
1. 显式事实库构建:解决长程交互上下文膨胀与隐式证据不可归因痛点
传统 ReAct 智能体在多轮搜索中累加全部历史文本,在多轮交互后输入长度呈线性爆炸,不仅逼近上下文窗口极限,而且非结构化文本使中间决策的因果归因难以进行。FactAgent 将状态解耦为 \((Q, o_t, F_t)\),每次调用 assert 动作时,智能体从最新检索片段 \(o_t\) 中提炼结构化事实三元组及其短文本摘要写入 \(F_t\)。论文在理论上严格证明了在语义充分性假设下,事实库 \(F_t\) 是完整交互历史 \(h_t\) 针对未来环境反馈和最终回报的充分统计量,保证了状态转移的马尔可夫性质与最优策略等价性(\(V^{\text{hist}}(h)^* = V^{\text{fact}}(\Phi(h))^*\))。这不仅将输入上下文长度削减近 75%,更将连续的推理过程离散化为可统计评估的语义证据单元。
2. 双阶段事实语义聚类:解决自然语言事实表述发散与统计稀疏性痛点
若直接针对自然语言生成的事实计算效用,由于在小规模采样组(如 \(G \in [4, 16]\))中绝大多数具体事实仅出现一次甚至不重合,经验统计几乎完全失效。为此,FactAgent 引入双阶段聚类算法构建等价类 \(C_k = \{f \in \mathcal{F}(\tau) \mid f \sim f_{\text{rep}}\}\)。第一阶段利用 E5 稠密嵌入计算余弦相似度并设置高召回阈值(\(\sigma_{\text{sim}} = 0.95\));第二阶段施加保守的确定性逻辑规则过滤:严格执行否定一致性检验(杜绝将“A 是 B”与“A 不是 B”合并)、精确数值匹配(防止数字或年份被嵌入模糊化)、关系短语语义校验,以及双向主谓宾反转测试(如“A 创立了 B”与“B 由 A 创立”)。该设计兼顾了跨表述泛化与事实严谨性,为群体级统计聚合奠定了稳固基础。
3. 贝叶斯效用估计与相对增益:解决小样本群体采样高方差与信用分配失准痛点
在小规模 rollout 组中,偶发性成功容易导致经验胜率出现极端跳变。FactAgent 采用贝叶斯后验均值估计事实簇的潜在成功概率 \(\theta_k\)。为每个簇赋予对称先验 \(\theta_k \sim \text{Beta}(\epsilon, \epsilon)\)(实验设 \(\epsilon = 0.5\)),设组内包含该簇的轨迹数为 \(N(C_k)\),其中成功的轨迹数为 \(S(C_k)\),推导得出后验均值: $\(P(C_k) = \mathbb{E}[\theta_k \mid S(C_k), N(C_k)] = \frac{S(C_k) + \epsilon}{N(C_k) + 2\epsilon}\)$ 为了与 GRPO 的组相对优化机制天然对齐,定义相对效用 \(V(C_k) = P(C_k) - \bar{P}_{\text{group}}\),其中 \(\bar{P}_{\text{group}} = \frac{1}{G} \sum_{i=1}^G R(\tau_i)\) 为当前组的经验均值。正效用表明该事实簇与高于平均水平的成功率正相关,负效用则表征与失败关联,直接充当簇级优势代理。
4. 势能奖励塑形与因果反向回传:解决过程奖励破坏策略最优性与时间延迟痛点
任意添加的人工启发式步级奖励极易引发奖励黑客攻击(Reward Hacking)并改变最优策略。FactAgent 采用势能奖励塑形(PBRS),定义状态势能函数为覆盖事实簇相对效用的非线性有界和:
$\(\Phi(s_t) = \tanh\left(\sum_{C \in \mathcal{U}_t} V(C)\right)\)$
其中 \(\mathcal{U}_t\) 为事实库中包含的不重复语义簇集,仅在获取全新有效信息时产生非零步级塑形奖励 \(r^{\text{shape}}_t = \Phi(s_t) - \Phi(s_{t-1})\),数学上严格保证了策略不变性。进一步考虑到事实的抽取(assert)在因果上完全依赖于前序检索步骤(search),算法引入回传分配机制,将塑形收益按比例 \(\alpha = 0.2\) 重新分配:抽取步获得 \(r^{\text{proc}}_t = (1-\alpha) r^{\text{shape}}_t\),对应的前序检索步获得 \(r^{\text{proc}}_{t'} = \alpha r^{\text{shape}}_t\)。这促使智能体不仅学会精确抽取,更学会发出高信息增益的检索查询。
损失函数 / 训练策略¶
训练在 verl 强化学习框架上展开,基础模型采用 Qwen2.5-3B/7B-Instruct,训练集由 NQ 与 HotpotQA 训练集混合构成。总优势函数结合全局结果优势与局部过程优势:\(A^{\text{total}}_{i,j} = A^{\text{outcome}}_i + \Omega \cdot r^{\text{proc}}_{i,j}\)(默认权重 \(\Omega = 0.5\))。优化目标聚合组内各轨迹各步骤的带裁剪代理损失: $\(\mathcal{J}(\theta) = \mathbb{E}\left[ \frac{1}{\sum n_i} \sum_{i=1}^G \sum_{j=1}^{n_i} \min\left(\rho_{i,j} A^{\text{total}}_{i,j}, \text{clip}(\rho_{i,j}, 1-\epsilon_{\text{clip}}, 1+\epsilon_{\text{clip}}) A^{\text{total}}_{i,j}\right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right]\)$ 其中 \(\rho_{i,j}\) 为重要性采样比,\(\epsilon_{\text{clip}} = 0.2\),\(\beta = 0.001\)。同时对格式解析错误设置 \(-0.1\) 罚分,对重复检索设置 \(-0.01\) 罚分,并在事实库为空时强制将回答正确性的结果奖励置为 0。
实验关键数据¶
主实验¶
在单跳(NQ, TriviaQA, PopQA)与多跳(HotpotQA, 2Wiki, MuSiQue, Bamboogle)共 7 个问答基准上与主流检索智能体对比(精确匹配率 Exact Match, %):
| 骨干模型 | 方法 | NQ | TriviaQA | PopQA | HotpotQA | 2Wiki | MuSiQue | Bamboogle | 加权平均 EM |
|---|---|---|---|---|---|---|---|---|---|
| Qwen2.5-3B | Naive RAG | 34.8 | 54.4 | 38.7 | 25.5 | 22.6 | 4.7 | 8.0 | 34.4 |
| Qwen2.5-3B | Search-R1 | 34.1 | 54.5 | 37.8 | 32.4 | 31.9 | 10.3 | 26.4 | 37.7 |
| Qwen2.5-3B | Zerosearch (Google) | 41.4 | 57.4 | 44.8 | 27.4 | 30.0 | 9.8 | 11.1 | 39.5 |
| Qwen2.5-3B | GiGPO | 42.0 | 59.5 | 42.4 | 36.9 | 37.0 | 12.6 | 64.1 | 42.7 |
| Qwen2.5-3B | ReSearch (Google) | 20.4 | 33.5 | 17.3 | 35.6 | 39.3 | 17.3 | 37.6 | 29.1 |
| Qwen2.5-3B | AutoRefine | 43.6 | 59.7 | 44.7 | 40.4 | 38.0 | 16.9 | 33.6 | 44.3 |
| Qwen2.5-3B | FactAgent (无 RL) | 22.1 | 41.1 | 20.1 | 26.1 | 23.3 | 4.3 | 18.4 | 25.7 |
| Qwen2.5-3B | FactAgent (RL) | 43.9 | 60.3 | 42.3 | 42.6 | 43.1 | 16.9 | 32.8 | 45.4 |
| Qwen2.5-7B | Naive RAG | 34.9 | 58.5 | 39.2 | 29.9 | 23.5 | 5.8 | 20.8 | 36.4 |
| Qwen2.5-7B | Search-R1 | 39.3 | 61.0 | 39.7 | 37.0 | 41.4 | 14.6 | 36.8 | 43.2 |
| Qwen2.5-7B | Zerosearch (Google) | 43.6 | 65.2 | 48.8 | 34.6 | 35.2 | 18.4 | 27.8 | 45.2 |
| Qwen2.5-7B | GiGPO | 46.4 | 64.7 | 46.1 | 41.6 | 43.6 | 18.9 | 68.9 | 47.7 |
| Qwen2.5-7B | ReSearch (Google) | 40.9 | 63.7 | 44.6 | 43.5 | 47.6 | 22.3 | 42.4 | 48.0 |
| Qwen2.5-7B | FactAgent (无 RL) | 33.0 | 55.1 | 36.7 | 29.2 | 23.8 | 9.1 | 20.8 | 34.9 |
| Qwen2.5-7B | FactAgent (RL) | 46.3 | 69.4 | 46.7 | 44.6 | 51.5 | 19.4 | 44.0 | 51.2 |
消融实验¶
在 Qwen2.5-7B-Instruct 上对关键模块进行消融验证(EM, %):
| 配置变体 | 单跳平均 (Single-Hop) | 多跳平均 (Multi-Hop) | 总平均 EM | 变动幅度说明 |
|---|---|---|---|---|
| FactAgent 完整版 (RL) | 55.5 | 45.8 | 51.2 | 完整模型基线 |
| 仅保留字面精确匹配聚类 (EM-only) | 52.4 | 44.4 | 48.9 | 平均下降 2.3%,语义表述泛化受损 |
| 移除奖励回传机制 (w/o redistribution) | 50.6 | 38.7 | 45.4 | 多跳骤降 7.1%,前序检索动作失去信用指引 |
| 移除密集过程奖励 (仅结果奖励 GRPO) | 47.5 | 31.4 | 40.5 | 多跳崩塌 14.4%,退化为稀疏奖励导致的探索迷航 |
关键发现¶
- 过程奖励对复杂推理至关重要:完全移除密集过程监督后,模型多跳问答性能从 45.8% 暴跌至 31.4%(总平均暴跌 10.7%)。实验追踪表明,仅靠结果奖励时智能体无法建立
assert证据与最终成功之间的因果关联,而 FactAgent 使关键事实召回率提升近 40%。 - 反向因果回传有效解耦检索与抽取:移除奖励回传后多跳性能大幅下降 7.1%,说明若不将事实价值反哺给前序发起检索的查询,模型极易产生低效盲目的搜索行为。
- 冷启动 SFT 的实质作用是稳定而非提分:实验发现 SFT 虽能规范动作 JSON 格式以防崩溃,但经过 RL 后 SFT 初始化版本的平均 EM(49.5%)反而略低于直接 RL(51.2%),证明 SFT 并不能提高最终性能上限。
- 高效上下文压缩与低计算开销:在第 8 轮交互时,FactAgent 输入 Token 占用仅为传统 ReAct 架构的约 1/4;单步训练增加的聚类耗时仅 2.75 秒,整体训练效率与传统 GRPO 几乎相当。
亮点与洞察¶
- 将连续不可分的交互历史映射为离散事实库:通过在 MDP 中设计确定性更新的事实库并提供充分统计量证明,使得原本模糊的中间状态具备了离散可数、可做群体统计分析的实体载体。
- 免除外部 Reward Model 的内在贝叶斯过程监督:无需昂贵的人工过程标注或易受欺骗的外部判别模型,直接在 GRPO 采样组内通过贝叶斯先验与后验差值提取出高保真的相对优势。
- 可复用的通用设计范式:该套“结构化工作记忆 + 语义聚类抽象 + 贝叶斯统计效用 + 势能奖励塑形”的思路,能够非常自然地迁移到长文本代码生成、长程复杂工具调用及自动化数据调研等所有面临严重信用分配困境的智能体强化学习任务中。
局限与展望¶
- 状态重建增加显存开销:为在每个步骤精确计算策略梯度更新,需要针对每步状态构建独立的上下文环境,导致 GPU 显存峰值开销高于直接只算最终步骤梯度的结果级基线。
- 聚类质量与采样组规模强相关:效用估计的稳定性直接受制于语义等价性判定规则的准确度以及群体 rollout 数量,极端极端小样本下统计误差依然不可忽视。
- 当前局限于确定性问答环境:目前实验主要在静态维基百科检索基准上完成验证,尚未向真实动态 Web 环境(如 GAIA 等高度不确定、开放式的长流程 Agent 任务)全面拓展。
相关工作与启发¶
- vs Search-R1 / ReSearch: 现有方法直接端到端通过全文本交互历史与最终答案匹配度进行 GRPO 训练;FactAgent 则通过事实库维持常数级输入长度,并用密集过程奖励精准奖惩中间检索与抽取,在多跳场景下显著超越稀疏奖励基线。
- vs GiGPO / AutoRefine: GiGPO 在原始隐式状态空间做状态簇聚集,容易因表述扰动而失效;AutoRefine 依赖启发式检索特异性指标;FactAgent 则聚焦于显式事实等价簇,基于严格因果后验与势能塑形保证策略最优性。
- vs VinePPO: VinePPO 依赖高成本的单步分支与大规模蒙特卡洛多轮展开估计价值;FactAgent 无需昂贵的在线分支展开,直接从现成的采样组轨迹中聚合统计强度,兼顾了高效性与强表现。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将状态解耦为显式事实库并从群体 rollout 中解析贝叶斯后验效用,构思极为巧妙]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7 个单跳与多跳权威基准,包含详细消融、理论证明、计算开销及效用分布分析]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽,理论假设与算法设计紧密扣合,图表表达清晰准确]
- 价值: ⭐⭐⭐⭐⭐ [为搜索与工具型 Agent 的过程级信用分配开辟了极具实用价值的免外部模型新路径]