跳转至

CAS: Conformalized Agentic Search via Adaptive Retrieval and Policy Weighting

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/S1llyBird/CAS
领域: 大语言模型智能体
关键词: 智能体搜索, 共形预测, 自适应检索, 强化学习微调, 策略加权

一句话总结

针对搜索智能体在强化学习微调中面临的检索噪声、证据截断与模型盲目过自信双重可靠性危机,本文提出 CAS 框架,在检索端利用自适应预测集(APS)实现具备统计覆盖保证的动态文档截断,在训练端利用自适应共形推断(ACI)量化置信度并折扣低置信度轨迹的 GRPO 损失,大幅提升推理准确率并消除冗余搜索。

研究背景与动机

大语言模型与外部检索工具的深度协同已从早期的静态“检索-生成”(RAG)范式演进为更加灵活自主的智能体搜索(Agentic Search)。在此类范式中,模型将内部多步思维链推理与外部工具调用动作交织在连续的生成轨迹之中,能够依据自身知识边界自主决定何时发起搜索、如何解析返回证据并进行后续修正。为了最大化智能体在复杂问答与多跳推理任务上的策略表现,基于强化学习(RL,如 GRPO)对搜索智能体进行微调逐渐成为核心技术路线,使得模型能自主探索多轮检索与思考的有效路径。

然而,当前的搜索智能体在 RL 探索与优化过程中面临着严峻的可靠性危机,其根源来自检索侧与训练侧的双重结构性缺陷。首先,在检索交互端,现有智能体无一例外采用启发式的固定 Top-K 截断策略;由于不同用户查询的复杂度与证据分布极不均匀,固定的文档窗口对于简单事实查询不可避免地注入冗余实体噪声甚至产生“迷失在中间”(Lost in the Middle)现象,而面对复杂多跳查询时又极易截断关键链条证据,迫使智能体发起无意义的多次补偿检索。其次,在强化学习微调端,基于稀疏二元匹配奖励(Exact Match)的渐进优化会严重恶化模型的概率校准质量,诱导模型产生显著的盲目过自信(Overconfidence);缺乏严谨置信度约束的模型不仅频繁生成幻觉答案,更会在未充分探索时对侥幸猜测(Lucky Guesses)进行过度强化,陷入极低效、高冗余的无效工具调用怪圈。

由于传统的启发式阈值无法提供有限样本下的统计有效性,且强化学习过程中模型策略与生成分布随迭代动态漂移彻底打破了经典统计推断的独立同分布(i.i.d.)假设,亟须一种既具严格统计覆盖保证又能适应动态分布漂移的可靠性建模范式。核心 idea:本文提出共形化智能体搜索(CAS),在检索侧引入自适应预测集(APS)将统计覆盖率转化为基于查询难度的动态文档截断,在训练侧通过自适应共形推断(ACI)追踪动态分布并量化答案级置信度,进而对 GRPO 策略损失实施置信度加权折扣,构建端到端具备统计可靠性保证的高效搜索智能体。

方法详解

整体框架

CAS 框架旨在建立大语言模型内部思维链推理与外部检索环境交互之间的可靠统计桥梁,在整个智能体探索与策略更新生命周期中提供双边共形预测保证。输入用户问题后,智能体遵循严格的生成语法在 <think>...</think> 标签内展开内部推理;一旦触及知识边界,模型输出包裹在 <search>...</search> 标签内的查询 query 暂停生成,并触发外部稠密检索器。检索端并不直接返回固定数量文档,而是通过 APS 模块依据局部查询不确定性自适应输出满足边际覆盖保证的最简文档子集,包裹在 <information>...</information> 中反馈给模型继续思考;此循环持续推进直至模型在 <answer>...</answer> 内输出最终答案。在策略优化阶段,训练端从采样得到的一组轨迹中抽取最终答案的负对数似然(NLL)作为非一致性得分,经由 ACI 在动态演进的策略流上追踪自适应分位数阈值,据此判定轨迹置信度并对 GRPO 的优势损失实施自适应加权调整。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与多轮轨迹采样<br/>严格语法控制生成流程"] --> B["自适应预测集检索截断<br/>Softmax概率累积超动态阈值"]
    B --> C["指数平滑自适应共形推断<br/>动态追踪滑动窗口NLL分位数"]
    C --> D["置信度感知策略损失加权<br/>折扣低置信度幸运猜测更新"]
    D --> E["输出优化后的高可靠搜索策略<br/>抑制冗余检索与幻觉输出"]

关键设计

1. 自适应预测集检索截断:依据输入查询不确定性动态构建具有统计覆盖保证的文档集

传统搜索智能体采用固定 Top-K 截断,无法感知不同子问题的难度差异,容易在简单查询中塞入干扰项或在复杂多跳查询中漏掉关键支撑事实。针对此痛点,CAS 在检索端引入自适应预测集(APS)方法,将用户指定的容错率 \(\alpha_{\text{APS}}\) 转化为严谨的非一致性度量。当外部稠密检索器返回初始候选文档集合及其原始打分后,系统首先通过 Softmax 归一化为各文档的关联概率 \(p(d_i|q)\) 并按降序排列;随后系统依序累加排序后的概率质量,直至累积概率首次达到或超过预先校准的统计分位数阈值 \(\hat{q}_{\text{APS}}\)。该机制使得模型在面对高确定性的单跳查询时能够紧凑地仅返回 1-2 篇高置信文档,而在面对模糊或多歧义实体时自动扩展保留更多候选文档,在数学上严格保证了至少 \(1 - \alpha_{\text{APS}}\) 的边际覆盖率,有效斩断了因证据缺失导致的链式幻觉与因上下文冗长引入的注意力分散。

2. 指数平滑自适应共形推断:在强化学习策略漂移下动态量化答案级置信度

强化学习过程中策略模型 \(\pi_\theta\) 持续更新,历史样本分布与当前策略输出之间存在严重的非平稳分布偏移(Distribution Shift),使得依赖固定分布的经典共形预测彻底失效;同时策略在二元稀疏奖励驱动下极易产生置信度校准坍塌。为此,CAS 采用自适应共形推断(ACI)算法动态调整目标错误率。对于每个输入采样的第 \(i\) 条轨迹,算法计算其 <answer> 标签内所有答案 token 的平均负对数似然(NLL)作为非一致性得分:

\[s(x_t, y_i) = \frac{1}{|M_i|} \sum_{j \in M_i} \left( -\log \pi_\theta(y_j \mid y_{<j}, x_t) \right)\]

为了平抑单步批次带来的局部波动,CAS 采用平滑加权的历史未覆盖率指数移动平均(EMA)来递推更新时刻 \(t+1\) 的名义错误率 \(\alpha_{t+1} = \alpha_t + \gamma (\rho - \sum_{s=1}^t v_s \text{err}_s)\),其中权重 \(v_s \propto 0.95^{t-s}\)。系统维护一个大小为 2000 的滚动历史打分校准窗口计算经验分位数阈值 \(\hat{q}_t = \hat{Q}_t(1 - \alpha_t)\),若真实答案或高质量生成脱离预测集,阈值自适应上调放宽,反之收紧,从而在任意策略动态漂移下实现无分布假设的渐近覆盖频率收敛。

3. 置信度感知策略损失加权:惩罚低置信度探索并协同相对优势消除侥幸猜测

标准强化学习在面对偶然猜对的低置信度轨迹时会盲目赋予正向奖励,导致模型学到脆弱乃至错误的因果关联,加剧盲目过自信。CAS 将 ACI 产出的动态分位数阈值 \(\hat{q}_t\) 注入 GRPO 目标函数中,定义轨迹级动态置信度权重 \(\omega_i\):当答案 token 的 NLL 得分 \(s(x_t, y_i) \le \hat{q}_t\) 时判定为可靠轨迹,赋予标准权重 \(\omega_i = 1\);若 \(s(x_t, y_i) > \hat{q}_t\) 则判定为低置信度轨迹,赋予折扣系数 \(\omega_i = \eta\)(实验设定 \(\eta = 0.5\))。优化目标表述为:

\[\mathcal{L}_{\text{GRPO}}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \omega_i \mathcal{L}_{\text{clip}, i}(\theta) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right]\]

该机制与组内归一化优势值 \(A_i\) 形成双重约束协同:对于“蒙对”但模型内部极度不确定的样本(\(A_i > 0\) 但 \(s > \hat{q}_t\)),正向梯度更新被直接减半,阻断了投机行为;对于模型“过度自信却犯错”的灾难性样本(\(A_i < 0\) 且 \(s \le \hat{q}_t\)),全额保留负向惩罚以迫使其纠偏,从而从根本上重塑了智能体在复杂探索环境下的稳健学习轨迹。

一个完整示例

以复杂多跳问答“Which hockey team does the younger brother of Sean James Pronger currently work for?”(肖恩·詹姆斯·普朗格的弟弟目前为哪支冰球队工作?)为例: 1. 多跳分解与初次检索:模型在 <think> 中识别出该问题包含“寻找亲属关系”与“查询就职团队”两步,并在知识边界处生成查询 <search> Sean James Pronger younger brother </search>。 2. 自适应证据截断:由于该实体关系较为冷门但指向集中,APS 依据归一化检索概率分布自适应保留了 4 篇相关文档(包含 Chris Pronger 在大学时期与其兄 Sean 一同打球的经历),排除了其余数十篇无关长尾维基页面,成功将关键实体定位为“Chris Pronger”。 3. 链式推理与二次检索:模型在吸收第一跳信息后,自主发出精准的第二跳查询 <search> Chris Pronger current team </search>。 4. 置信度收敛与答案输出:针对这一单一事实查询,APS 敏锐检测到底层概率高度集中,仅截断返回 2 篇高度确信的高分文档(明确注明其担任佛罗里达黑豹队高级顾问)。模型迅速退出搜索循环,输出 <answer> Florida Panthers </answer>。 5. 训练端 ACI 审校:该轨迹最终答案的 NLL 得分显著低于当前动态阈值 \(\hat{q}_t\),被标记为高置信且完全匹配正确答案,在 GRPO 优化中获得全额正向梯度奖励(\(\omega_i = 1\));若模型在第二跳未搜索直接凭幻觉生成错误球队或偶然蒙对但 NLL 偏高,则会立即触发 ACI 折扣惩罚或全额劣势惩罚。

损失函数 / 训练策略

CAS 训练在规则奖励引导下配合 GRPO 展开。奖励函数由准确率奖励与格式奖励构成:\(r(x, y) = r_{\text{acc}} + r_{\text{fmt}}\),其中 \(r_{\text{acc}} = \text{EM}(a_{\text{pred}}, a_{\text{gold}}) \in \{0, 1\}\);格式奖励 \(r_{\text{fmt}}(y) = \gamma \cdot [-r_{\text{acc}}(1 - I_{\text{valid}}) + (1 - r_{\text{acc}})(I_{\text{valid}} + 0.5 I_{\text{ans}}(1 - I_{\text{valid}}))]\),缩放因子 \(\gamma = 0.2\)。当答案正确时对格式违规施加 \(-0.2\) 惩罚以防奖励黑客,未答对时则提供密集的语法结构引导。GRPO 采样组大小设为 \(G = 5\),每步采样 512 个 prompt,单步上限 4 轮交互;Actor 学习率设为 \(1 \times 10^{-6}\),KL 散度惩罚系数 \(\beta = 0.001\)。ACI 步长 \(\gamma = 0.005\),目标失效率 \(\rho = 0.25\),APS 显著性水平 \(\alpha_{\text{APS}} = 0.20\)。

实验关键数据

主实验

论文在七个开域问答基准上对 CAS 进行了全面评测,涵盖单跳任务(NQ, TriviaQA, PopQA)与复杂多跳推理任务(HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle),采用 Exact Match (EM) 作为衡量指标。

方法 骨干模型 通用单跳QA均值 多跳复杂QA均值 全局总平均 EM
Direct Inference - 0.167 0.109 0.134
CoT - 0.020 0.011 0.015
Standard RAG - 0.426 0.152 0.270
IRCoT - 0.208 0.161 0.181
Search-o1 - 0.324 0.203 0.255
SFT - 0.215 0.147 0.176
Rejection Sampling - 0.371 0.186 0.265
Search-R1 Qwen2.5-3B-Instruct 0.451 0.249 0.336
CAS (本文) Qwen2.5-3B-Instruct 0.498 0.328 0.401 (+0.065)
Search-R1 Qwen3-8B 0.496 0.329 0.400
Search-R2 (闭源基线) Qwen3-8B 0.540 0.375 0.446
CAS (本文) Qwen3-8B 0.541 0.407 0.464 (+0.018)

在详细的分数据集表现上,CAS 在 Qwen3-8B 骨干下表现格外亮眼:NQ 达到 0.490(对比 Search-R1 0.440)、TriviaQA 达到 0.668、PopQA 达到 0.465、HotpotQA 达到 0.463(对比 Search-R1 0.372)、2Wiki 达到 0.431、Musique 达到 0.213(对比 Search-R1 0.157)、Bamboogle 达到 0.520。

消融实验

基于 Qwen2.5-3B-Instruct 骨干进行模块级消融与超参数敏感性分析(固定评测单跳、多跳及全局 EM):

配置 / 变体 通用单跳QA均值 多跳复杂QA均值 全局总平均 EM 变动说明
CAS 完整模型 (默认配置) 0.498 0.328 0.401 全套模块启用 (\(\rho=0.25, \alpha_{\text{APS}}=0.20\))
去掉 ACI 置信度加权 (-ACI) 0.481 0.311 0.384 失去置信度约束,过自信导致幻觉,总分下降 0.017
去掉自适应检索截断 (-APS) 0.490 0.313 0.389 回退至固定 Top-K (\(K=3\)),单跳噪声加剧且多跳漏证据
宽松过滤阈值 \(\rho = 0.10\) 0.497 0.302 0.386 仅过滤 10% 样本,置信度引导不充分退化至基线
严苛过滤阈值 \(\rho = 0.40\) 0.495 0.273 0.368 40% 轨迹被强行折扣,有效奖励信号被过度稀释
激进检索截断 \(\alpha_{\text{APS}} = 0.35\) 0.476 0.294 0.372 平均返回仅 2.4 篇文档,证据严重缺失
保守大窗口检索 \(\alpha_{\text{APS}} = 0.05\) 0.504 0.234 0.350 平均返回 4.8 篇文档,多跳任务中冗余噪声灾难性暴增

关键发现

  • 双边协同效应显著:单独移除 ACI 或 APS 均会导致全局表现下滑约 0.012~0.017。追踪训练动态显示,-ACI 变体产生显著更高且波动剧烈的工具调用次数(平均单题调用一度飙升至近 2.0 次),模型陷入“过自信产生幻觉去检索”或“缺乏信心胡乱二次确认”的两极困境;而 -APS 变体由于固定窗口缺乏关键证据,迫使模型发起额外搜索调用补偿,工具调用量同样居高不下。
  • 动态 ACI 对抗分布漂移极其关键:在训练启动的第 0-20 步,策略模型剧烈更新,未平稳分布导致低置信样本比例瞬间产生脉冲尖峰;静态共形预测完全无法应对这种非 i.i.d. 冲击,而 ACI 的自适应更新率 \(\alpha_t\) 迅速响应并平滑收敛至目标失效率 \(\rho\),维持了训练过程的高度平稳。
  • 多跳推理对检索窗口噪声极度敏感:当将 \(\alpha_{\text{APS}}\) 压低到 0.05 时,平均检索文档增加到 4.8 篇,单跳通用任务虽因覆盖全面微升至 0.504,但多跳任务因上下文被长尾噪声填满而断崖式下跌至 0.234;默认的 \(\alpha_{\text{APS}} = 0.20\)(平均 3.4 篇文档)达成了抗噪与信息覆盖的极佳帕累托前沿。

亮点与洞察

  • 将统计学习界的共形预测引入自主智能体交互循环:摆脱了过往依赖模型显式输出置信度数字(Verbalized Confidence)却因多轮工具断裂无法校准的顽疾,首次从统计学角度为检索截断和强化学习轨迹有效性提供了坚实的有限样本覆盖边界。
  • 以双重约束机制破解 RL 探索中的“侥幸猜测”难题:通过把 ACI 产出的动态分位数门控与 GRPO 的组内相对优势 \(A_i\) 巧妙相乘,对“碰巧蒙对但极不确定”的样本打折、对“盲目自信却答错”的样本施加满额负反馈,显著提升了策略探索的样本效率。
  • 检索端动态紧致性为推理显存和时延减负:通过 APS 对文档集合实行概率累加截断,在保证 \(1-\alpha\) 边际覆盖率的前提下平均仅检索 3.4 篇文档,避免了长文档注意力被稀释,兼具理论美感与实际工程价值。

局限与展望

  • 专业垂类知识领域尚未验证:当前评测集中在通用常识与维基百科体系的开域问答,在代码演进、生物医学、金融法规等专业术语分布密集且检索器置信度高度长尾的领域,其校准效果仍待进一步检验。
  • 依赖强外部教师模型构建初始校准集:检索端 APS 的校准集需要借助大模型(如 DeepSeek-V3.2)进行复杂多跳子问题的分解并充当相关性标注裁判,在完全缺乏优质教师模型的孤岛环境下落地成本偏高。
  • 局限于结果级共形约束:CAS 当前的置信度量化聚焦在最终答案的 NLL 上,尚未将共形预测的统计保证延伸至多步思维链的中间推理子步骤(Process Reliability),未来可探索步级(step-level)共形验证机制。

相关工作与启发

  • vs Search-R1 / Search-R2: Search-R1 采用端到端 RL 探索检索交互但使用固定的 Top-K 检索,训练时缺乏置信度正则,导致后期严重过自信与冗余调用;Search-R2 引入 actor-refiner 架构增加系统开销。CAS 则在单智能体范式下,纯靠统计共形理论从数据流层面压制噪声与过拟合,精度超越 Search-R2。
  • vs Adaptive-RAG / Search-o1: Adaptive-RAG 依赖轻量分类器预先判定查询难度,分类器自身容易出现泛化错误;Search-o1 依靠复杂的测试期自我反思和多轮验证,推断开销巨大。CAS 在统一的生成轨迹内由模型自主触发检索,并利用 APS 的连续概率累加提供无分布假设的理论覆盖保障。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将自适应共形预测体系与强化学习搜索智能体深度融合,统计理论视角极具开创性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖七大常用开域与多跳数据集,对比基线全面,训练动态曲线与敏感度剖析详实透彻。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅,数学推导与算法伪代码完备,图表展现形式极具启发性。
  • 价值: ⭐⭐⭐⭐⭐ 为解决自主智能体训练崩溃、盲目过自信与检索冗余调用提供了兼具理论依据与落地实效的标杆范式。