跳转至

DualStake: Dual-Path Confidence Calibration in Deep Research Agent

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/FloXXXt/DualStake
领域: 大模型智能体
关键词: Deep Research Agent, 置信度校准, 强化学习, 证据置信度, 赌注奖励

一句话总结

针对深度研究智能体(Deep Research Agent)在多轮检索推理中存在的严重过度自信问题,本文通过实证与机制分析发现检索后证据置信度(E-Conf)比生成后回答置信度(A-Conf)具备更强的不确定性表征并显著主导后者,据此提出双路校准框架 DualStake,利用带边界截断的赌注式奖励联合监督两路置信度,在不牺牲回答准确率的前提下大幅降低校准误差。

研究背景与动机

深度研究智能体通过多轮信息检索、动态证据聚合与决策导向推理,已成为解决复杂知识密集型任务的主流范式。在实际部署与人机协同场景中,智能体不仅需要给出精确答案,还必须对自身知识边界具备可靠的感知能力,即输出经过良好校准的置信度。然而,现阶段的大模型在强化学习(如 GRPO)优化以及长程搜索轨迹迭代后,普遍表现出严重的过度自信,使得模型自述的置信度数值与实际回答正确率发生严重脱节,无法直接用于下游拒答(abstention)或风险控制。

现存的置信度校准工作几乎全部遵循「单步终局评估」设定,仅在生成完整答案后由模型输出最终言语置信度。这种事后静态校准完全忽略了多轮交互检索智能体特有的认知状态演化过程:智能体在每一次发起搜索并吸收外部文档时,其认知不确定性都在随证据的积累而动态波动。仅依赖序列末尾的回答置信度,不仅无法捕捉推理轨迹中不确定性的迁移,更难以解释模型在何种阶段产生了虚假的认知安全感。

针对多轮检索中的不确定性动态,本文在 Search-R1 范式的基础上扩展出步骤级置信度查询,并在最后一次检索后引出「证据置信度」(E-Conf),与生成答案后的「回答置信度」(A-Conf)形成对照。多层次的探测与因果干预分析揭示了一个关键认知现象:E-Conf 的内部表征比 A-Conf 包含显著更强的真实正确性判别信号,且 A-Conf 在很大程度上是由前置的 E-Conf 因果驱动塑造的,而非独立反映答案正确性。核心 idea:将检索后的证据置信度与生成后的回答置信度纳入统一的双路强化学习校准框架,利用带边界截断的对称赌注奖励(DualStake)让高置信度同步放大正确奖励与错误惩罚,在稳定策略更新的同时实现多阶段置信度与真实正确率的精确对齐。

方法详解

整体框架

DualStake 构建于基于强化学习的多轮深度研究管线之上(以 Search-R1 为基础交互协议)。在交互过程中,模型接收用户查询后自主决定生成检索词 <search>query</search> 或直接作答。外部检索器(如 E5 结合 Wikipedia 索引)返回前 \(k\) 篇文档 <information>...</information> 后,模型不仅需要更新后续动作,还被要求即时输出当前证据下的步骤置信度 <confidence>X</confidence>。当完成最终轮次检索时,该位置引出的置信度定义为证据置信度(Evidence Confidence, E-Conf,记为 \(c_{\text{evi}}\));而在最终生成答案 <answer>...</answer> 之后输出的置信度则为回答置信度(Answer Confidence, A-Conf,记为 \(c_{\text{ans}}\))。

为了联合对齐两路置信度并规避强化学习训练中的极端分值退化,DualStake 引入了双路赌注奖励机制。整体强化学习目标由基础正确性奖励、格式规范奖励以及两项对称的带边界赌注校准奖励构成,通过渐进式线性预热调度器平滑注入策略梯度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户查询与多轮检索环境<br/>Query + Search Environment"] --> B["步骤置信度增强管线<br/>检索后即时引出 E-Conf 与终局 A-Conf"]
    B --> C["带边界截断的赌注式校准奖励<br/>基于 F1 正确率的正负对称放大与区间约束"]
    C --> D["双路置信度联合监督与预热调度<br/>E-Conf 与 A-Conf 协同对齐策略梯度"]
    D --> E["校准输出与高可靠决策<br/>兼顾高准确率与低 ECE/AURC 的 Agent"]

关键设计

1. 步骤置信度增强管线:捕捉检索动态与表征差异 传统的言语化置信度评估仅在答案末尾让模型打分,导致模型对证据充分度缺乏显式反思。针对该缺陷,智能体在每次调用外部检索并接收到外部文档后,被强制要求在专用标签 <confidence>X</confidence> 内输出介于 1 到 9 之间的整数置信度(归一化到 \([0, 1]\) 之间)。经过严谨的探测分析,研究发现前置的证据置信度 E-Conf 在未加校准微调时天然具备比末尾 A-Conf 更好的校准性能(ECE 显著更低),且线性探测在所有 Transformer 层(0 到 28 层)均显示 E-Conf 隐层对正确性的区分度远高于 A-Conf。进一步的均值激活补丁(activation patching)实验表明,将错误样本在最后 E-Conf token 处的隐层替换为正确样本的均值隐层,会导致最终 A-Conf 的期望打分产生极其显著的因果跃升(峰值 \(\Delta = +0.363\)),而替换答案 token 仅带来 \(+0.073\) 的微弱影响。这证明了 A-Conf 严重受 E-Conf 的先入为主驱动,因此必须将置信度引出前置到检索证据节点。

2. 带边界截断的赌注式校准奖励:遏制极端优化并奖惩对称 为了让模型自主感知风险并抑制过度自信,本文借鉴严格真确评分规则(Proper Scoring Rules)设计了基于对赌机制的奖励函数。将归一化置信度 \(c \in [0, 1]\) 视为智能体为当前推理押下的「赌注」,当答案正确度指标 \(q \in [0, 1]\)(由 token 级别 F1 评估)较高时,模型获得正比于置信度 \(c\) 的奖励;反之,若在低质量答案上盲目高估,将承受相同尺度的严厉惩罚。然而,若直接优化未经约束的 raw stake 目标 \((2q - 1) \cdot c\),强化学习算法为了追求收益最大化或完全规避惩罚,极易将置信度打分推向 \(0.0\) 或 \(1.0\) 的数值两极,诱发策略崩塌并破坏基础问答正确性。为此,设计了带边界截断的置信度映射:

\[R_s = (2q - 1) \cdot \min\Big(\max(c, m^-), m^+\Big)\]

其中 \(m^+\) 设定上限截断(默认 0.9),消除了过高置信度带来的无限投机冲动;\(m^-\) 设定下限截断(默认 0.1),防止模型在不确定时无底线地压低置信度来逃避所有惩罚。双向截断锁定了校准奖励的有效梯度范围,使策略网络能够专注学习合理的中间概率刻度。

3. 双路置信度联合监督与预热调度:协同约束与平稳过渡 如果仅单向监督 E-Conf,模型虽然能较好评估证据质量,但无法直接校准终端面向用户的 A-Conf,导致终端指标改善受限;而如果仅监督终端 A-Conf,直接的反向传播梯度往往会强行扭曲生成概率,进而损伤回答准确率(例如准确率由 0.375 跌至 0.367)。DualStake 采取双路并行的联合优化目标:

\[R_{\text{DualStake}} = R_{\text{corr}} + R_{\text{form}} + \alpha(t) \cdot R_{\text{evi}}^s + \beta(t) \cdot R_{\text{ans}}^s\]

其中 \(R_{\text{corr}} = q\) 保证问答准确率主任务不受侵蚀;\(R_{\text{form}}\) 为格式合规奖励(两对标签格式完全正确时给 0.1,格式错误则清零置信度且不赋予校准奖励);\(R_{\text{evi}}^s\) 与 \(R_{\text{ans}}^s\) 分别是对 \(c_{\text{evi}}\) 与 \(c_{\text{ans}}\) 计算的截断赌注奖励。为了防止在强化学习早期策略尚未掌握稳定检索生成模式时过早施加校准扰动,系数 \(\alpha(t)\) 与 \(\beta(t)\) 均配置了线性预热调度:在初始训练步数 \(t_{\text{start}}\) 内权重为 0,随后线性递增至预设峰值 \(\alpha\) 与 \(\beta\)(默认均衡设定 \(\alpha = 0.25, \beta = 0.25\))。这种设计实现了知识检索与终局表达两处认知节点在梯度层面的和谐共振。

实验关键数据

主实验

在由 NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle 与 SimpleQA 组成的 8 项权威知识问答基准上,以 Qwen2.5-7B 作为基干模型,对比推理阶段评估、事后温度缩放与序列概率校准,以及前沿强化学习校准基线(MSCR、RLCR)。评估指标包括准确率(ACC)、期望校准误差(ECE,越低越好)、受试者工作特征曲线下面积(AUC,越高越好)以及布里尔分数(BS,越低越好)。

方法 类型 准确率 (ACC)↑ ECE↓ AUC↑ Brier Score (BS)↓
Qwen2.5-7B (Base) Inference Only 0.137 0.633 0.581 0.555
GRPO (Vanilla) Post-hoc Base 0.370 0.518 0.552 0.497
+ Temperature Scaling Post-hoc Calib. 0.370 0.151 0.538 0.249
+ Sequence Probability Post-hoc Calib. 0.370 0.322 0.511 0.335
MSCR (Xuan et al., 2026b) Training-time 0.335 0.300 0.647 0.299
RLCR (Damani et al., 2025) Training-time 0.367 0.188 0.682 0.258
DualStake (本文) Training-time 0.375 0.178 0.712 0.220

注:DualStake 在大幅优化校准指标(ECE 较 Vanilla GRPO 暴降 0.340,AUC 提升 0.160,BS 改善 0.277)的同时,回答准确率达到 0.375,超越了所有训练期校准竞争基线,避免了常见以牺牲任务性能换取校准度(如 MSCR 准确率跌至 0.335)的负面效应。

在跨模型泛化实验中,Qwen2.5-7B-Instruct 经 DualStake 优化后取得 ACC 0.367、ECE 0.160、AUC 0.742、BS 0.213(较 GRPO 的 ECE 0.480 和 AUC 0.644 改善显著);最新紧凑型架构 Qwen3-4B 上亦取得 ACC 0.359、ECE 0.182、AUC 0.726、BS 0.237,展现了强劲的跨架构通用性。

消融实验

针对边界截断设计(Margin Clipping)以及双路权重分配(\(\alpha, \beta\)),作者在 Qwen2.5-7B 遍历了 8 个数据集的消融实验(总权重保持 \(\alpha + \beta = 0.5\)):

实验配置 (\(\alpha, \beta\)) 截断设计 (Margin) 平均 ACC↑ 平均 ECE↓ 平均 AUC↑ 平均 BS↓ 现象说明
E-Conf 独占 (0.5, 0.0) w/o Margin 0.370 0.528 0.504 0.512 无截断导致策略震荡,校准无效
E-Conf 独占 (0.5, 0.0) w/ Margin 0.376 0.463 0.702 0.425 单独监督 E-Conf 无法压低 A-Conf 的 ECE
偏向 A-Conf (0.1, 0.4) w/ Margin 0.369 0.169 0.688 0.227 偏向回答路可降低 ECE 但牺牲了 AUC 与准确率
A-Conf 独占 (0.0, 0.5) w/o Margin 0.336 0.221 0.693 0.247 无截断直接惩罚回答端严重损害准确率
A-Conf 独占 (0.0, 0.5) w/ Margin 0.367 0.172 0.700 0.223 准确率仍有掉点 (0.367 vs 0.375)
均衡双路 (0.25, 0.25) w/ Margin (默认) 0.375 0.178 0.712 0.220 综合性能最优:兼顾最高 AUC 与最强任务表现

关键发现

  • 边界截断是强化学习稳定的生命线:在未引入边界截断时,无论采用哪种权重配置,训练曲线都会在初始几十步出现剧烈波动甚至奖励失稳。加入 \([0.1, 0.9]\) 截断不仅将整体准确率提升了近 1 个百分点,且使 AUC 从 \(0.504 \sim 0.552\) 显著跃升至 \(0.700\) 以上。
  • 单独监督任一路均存在致命缺陷:仅监督 E-Conf 时,终端 A-Conf 的 ECE 仍然高企在 0.463;而仅监督 A-Conf 时,模型往往直接通过削弱生成探索来迎合奖励,导致问答准确率从 0.375 跌至 0.367。只有双路均衡联合优化(0.25 / 0.25)才能达成 Pareto 最优。
  • 选择性预测(Selective Prediction)收益显著:在以置信度为阈值的拒答与选择性作答评估中,DualStake 在四项复杂多跳数据集上的风险覆盖曲线下面积(AURC)从 GRPO 的 0.600 降至 0.516(相对降幅达 13.5%);在 20% 低覆盖率高确定性区间,NQ 准确率从 53.5% 跃升至 65.9%,SimpleQA 准确率从 29.9% 暴增至 54.2%。

亮点与洞察

  • 透视智能体置信度演化的时序机理:通过对 Transformer 各隐层的线性探测与均值激活补丁,实证证明了检索后的证据节点是整个研究链条中最富含真实不确定性信号的锚点,打破了以往将智能体视为单步端到端黑盒模型的传统研究范式。
  • 赌注与截断的优雅平衡:将博弈对赌思想转化为 RL 稠密奖励,通过简单的截断技巧巧妙化解了强化学习对极端分数的投机偏好,为解决智能体多目标强化学习中的「刷分崩塌」提供了简单通用的工程模板。
  • 广泛的泛化与可迁移性:该双路监督范式天然契合任何包含中间推理、思考片段(CoT)或外部工具调用的复合 Agent 系统,其设计思路可直接外推至代码执行 Agent 的「运行前测试估计」或数学解题 Agent 的「草稿检查置信度」。

局限与展望

  • 计算资源限制与模型规模边界:作者实验受限于计算资源,主干模型覆盖在 3B 至 7B 范围,尚未在 70B+ 或前沿闭源商用 Deep Research 架构上验证极端长程交互时的行为演化。
  • 步骤级置信度的动态自适应机制不足:当前设计为每次检索强制输出一次置信度,且赌注边界超参(0.1 与 0.9)在整个轨迹中为全局固定静态设定,未来可探索根据搜索深度和问题复杂度自适应调节奖励容限的动态机制。

相关工作与启发

  • vs Search-R1 (Jin et al., 2025): Search-R1 仅利用问答正确性奖励指导搜索与推理的联合学习,放任了过度自信的滋生;本文在 Search-R1 之上架设了步骤级置信度引出与双路赌注强化学习,填补了智能体自主不确定性校准的空白。
  • vs RLCR (Damani et al., 2025) 与 MSCR (Xuan et al., 2026b): 前者引入 Brier-score,后者引入间隔边界,但均局限于对终端生成结果做单路校准;DualStake 首次发掘了证据置信度更深层次的因果决定性,通过双路协同实现了显著更优的 AUC (0.712 vs 0.682/0.647) 与更高的问答准确率。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统剖析 Deep Research Agent 多轮检索过程中的置信度因果流动,发现 E-Conf 的主导性,具备极强的洞察力。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种主流开源模型、8 项权威 QA 基准,提供详尽的隐层探测、激活干预、参数消融与选择性预测实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,从经验现象观察到表征机制探测,再顺理成章收束至算法设计,逻辑极其严密。
  • 价值: ⭐⭐⭐⭐⭐ 对于提升 Agent 在高风险应用场景下的安全可信赖度与主动弃权机制具有重要实用价值。