OASES: Outcome-Aligned Search-Evaluation Co-Training for Agentic Search¶

会议: NeurIPS 2026
arXiv: 2604.03675
OpenReview: https://openreview.net/forum?id=2604.03675
代码: https://github.com/RUC-GSAI/OASES
领域: LLM Agent
关键词: 智能体搜索, 过程奖励, 强化学习, 协同训练, 多跳问答, 信用分配

一句话总结¶

OASES 提出一种结果对齐的搜索与评估协同训练框架，利用可验证结果指标评估中间搜索状态的可解答性并构造望远镜式伸缩过程奖励，通过单模型共享参数同策略训练彻底消除了外部评估器带来的分布漂移与目标脱节，在 5 项复杂问答基准上大幅超越现有强 RLVR 基准。

研究背景与动机¶

智能体式搜索（Agentic Search）使大语言模型能够通过多步交互、自主规划检索查询并整合外部证据，来解决复杂的知识密集型多跳问答任务。基于可验证奖励的强化学习（RLVR）成为训练此类智能体的主流范式。然而，纯结果导向的奖励（Outcome-only reward）极度稀疏，无法为轨迹中间的单步搜索决策提供有效的信用分配（Credit Assignment）。传统的中间过程监督方法通常依赖外部模型、启发式规则、文档相似度代理指标或基于语言模型困惑度变化的信息增益（Information Gain），但这往往面临代理目标与最终任务目标脱节，以及静态评估器与不断演进的策略模型之间的分布不匹配（Evaluator-Policy Mismatch）两大致命缺陷。

为此，论文提出了 OASES（Outcome-Aligned Search-Evaluation Supervision），一种结果对齐的搜索与评估联合训练框架。其核心思想在于：利用同一个可验证的结果评测指标（如 F1 / EM），评估中间搜索状态下累积的证据能够回答原始问题的能力，并将连续搜索状态间的可验证得分差作为密集的步骤级过程奖励。核心 idea：利用统一的可验证下游解答性指标构造望远镜式伸缩过程奖励，并通过单模型多角色共享参数的同策略协同训练，实现搜索决策与中间状态评估的闭环互促并彻底消除评估器与策略失配。

方法详解¶

整体框架¶

OASES 的核心架构旨在解决多步搜索过程中的信用分配难题。传统 RLVR 仅在智能体输出最终答案 $\hat{y}$ 时给予标量奖励 $\gamma_{\text{out}}$，中间的多轮思考 $\langle\text{think}\rangle$、查询生成 $\langle\text{search}\rangle$ 与环境观察 $\langle\text{result}\rangle$ 缺乏直接梯度引导。

OASES 引入有序搜索状态序列 $\{s_t\}_{t=0}^T$。在每个搜索状态 $s_t$ 下，复用同一策略模型 $\pi_\theta$ 作为状态评估器，生成基于当前已检索证据的候选评估答案 $\tilde{y}_t$。通过与真实答案 $y$ 比对计算可验证得分 $\gamma_t = R(\tilde{y}_t, y)$。相邻状态的得分增量 $\gamma_t - \gamma_{t-1}$ 被转化为搜索轨迹中对应动作的步骤级过程奖励 $r_t^{\text{proc}}$。同时，状态评估轨迹自身以 $\gamma_t$ 作为最终奖励加入联合经验池，通过 PPO 算法对策略模型进行双任务协同优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Q["原始问题 q 与环境交互"] --> S0["初始状态 s0"]
    S0 --> Act1["生成思考与搜索动作 c1, a1"]
    Act1 --> Obs1["检索观察结果 o1"]
    Obs1 --> S1["中间状态 s1"]
    S1 --> ActT["多轮迭代检索 ct, at, ot"]
    ActT --> ST["最终状态 sT"]
    ST --> FinalAns["最终答案生成 y_hat"]

    S0 -. 评估Prompt .-> Eval0["评估回答 y_tilde_0"]
    S1 -. 评估Prompt .-> Eval1["评估回答 y_tilde_1"]
    ST -. 评估Prompt .-> EvalT["评估回答 y_tilde_T"]

    Eval0 --> Score0["状态得分 γ0"]
    Eval1 --> Score1["状态得分 γ1"]
    EvalT --> ScoreT["状态得分 γT"]

    Score0 & Score1 --> Diff1["过程奖励 r1 = α(γ1 - γ0)"]
    Score1 & ScoreT --> DiffT["过程奖励 rt = α(γt - γt-1)"]
    FinalAns --> OutReward["结果奖励 r_out"]

    Diff1 -. 赋给动作 token .-> Act1
    DiffT -. 赋给动作 token .-> ActT
    OutReward -. 赋给答案 token .-> FinalAns

关键设计¶

1. 生成式状态可解答性评测与望远镜伸缩奖励（Generative State Evaluation & Telescoping Rewards）

不同于以往基于 LM 条件概率/交叉熵来估计黄金答案似然变化的信息增益方法，OASES 让模型显式针对 $s_t$ 执行生成任务输出具体答案 $\tilde{y}_t$。这避免了将标准答案强行拼在未完成上下文后带来的答案泄露与作弊捷径。将每个搜索步的奖励定义为： $$r_t^{\text{proc}} = \alpha (\gamma_t - \gamma_{t-1}), \quad t=1,\dots,T$$ 整条轨迹的过程奖励总和呈现望远镜抵消特性： $$\sum_{t=1}^T r_t^{\text{proc}} = \alpha \sum_{t=1}^T (\gamma_t - \gamma_{t-1}) = \alpha (\gamma_T - \gamma_0)$$ 整条轨迹的总累积回报为 $G^{\text{OASES}}(\tau) = \gamma_{\text{out}} + \alpha(\gamma_T - \gamma_0)$。在理想终止状态 $\gamma_T \approx \gamma_{\text{out}}$ 且 $\alpha=1$ 时，等价于 $2\gamma_{\text{out}} - \gamma_0$。这一设计确保过程奖励完全源自客观可验证指标的实质提升，惩罚引入噪声文档导致信息退化的搜索动作（此时 $\gamma_t < \gamma_{t-1}$，获得负奖励），从根本上避免了代理奖励导致的虚假捷径优化。

2. 共享参数的端到端同策略协同训练（Shared-Parameter On-Policy Co-Training）

OASES 摒弃了独立的 Process Reward Model (PRM) 或静态 Teacher 评测模型，直接用同一个参数集合 $\theta$ 扮演搜索与评估两重功能。在每个训练批次中，主搜索产生的轨迹为评估任务提供了高度真实且与当前策略分布完全一致的局部状态分布 $s_t \sim \pi_\theta$；反过来，状态评估生成的精准度提升又为搜索策略提供了可靠且校准的步级奖励。这一闭环消除了外部评测器的评测漂移与策略失配问题。在推理阶段，仅激活主搜索 Prompt，不增加任何推理时延与参数内存。

3. 外部观察掩码与非对称步级奖励分配（Observation Masking & Stepwise Credit Assignment）

在轨迹优化中，环境返回的检索文本片段 $\langle\text{result}\rangle o_t$ 不属于策略自身生成内容，OASES 在计算 PPO 损失时对所有环境观察 token 严格执行损失掩码（Masking）。过程奖励 $r_t^{\text{proc}}$ 被精准附着于触发第 $t$ 次搜索调用的末尾 token（标记为 $m_t$），而最终结果奖励 $r^{\text{out}}$ 则赋予最终答案的结束 token $m_{\text{ans}}$： $$\rho_k^{\text{search}} = \sum_{t=1}^T \mathbb{I}[k = m_t] r_t^{\text{proc}} + \mathbb{I}[k = m_{\text{ans}}] r^{\text{out}}$$ 对于评估轨迹 $\tau_t^{\text{eval}}$，其状态得分 $\gamma_t$ 赋予评估答案的末尾 token $m_t^{\text{eval}}$，从而使 GAE 优势估计能精准回传到各自的关键决策点。

损失函数 / 训练策略¶

OASES 将主搜索轨迹样本 $(\tau^{\text{search}}, \rho^{\text{search}})$ 存入 $\mathcal{B}^{\text{search}}$，并将所有评估轨迹样本 $(\tau_t^{\text{eval}}, \rho^{\text{eval},t})$ 存入 $\mathcal{B}^{\text{eval}}$，构建联合经验回放池 $\mathcal{B} = \mathcal{B}^{\text{search}} \cup \mathcal{B}^{\text{eval}}$。

在联合经验池上，利用广义优势估计（GAE）计算目标回报 $\hat{G}$ 与优势值 $\hat{A}$。Actor 策略模型通过带有截断的比率损失进行优化： $$\mathcal{L}_{\text{actor}}(\theta) = -\mathbb{E}_{(x, \hat{A}) \sim \mathcal{B}^{\text{search}} \cup \mathcal{B}^{\text{eval}}} \left[ \min\left( r(\theta)\hat{A}, \; \text{clip}(r(\theta), 1-\epsilon, 1+\epsilon)\hat{A} \right) \right]$$ 其中 $r(\theta) = \frac{\pi_\theta(x \mid x_{<})}{\pi_{\theta_{\text{old}}}(x \mid x_{<})}$。Critic 价值网络则在联合经验池上拟合状态价值估计： $$\mathcal{L}_{\text{critic}}(\phi) = \mathbb{E}_{(x_{<}, \hat{G}) \sim \mathcal{B}^{\text{search}} \cup \mathcal{B}^{\text{eval}}} \left[ \left( V_\phi(x_{<}) - \hat{G} \right)^2 \right]$$ 训练阶段在 HotpotQA 与 2WikiMultihopQA 的混合数据集上进行，采用 verl 框架并基于 vLLM 引擎进行交互采样，基座采用 Qwen2.5-7B-Instruct，检索系统为 Wikipedia 结合 E5 dense retriever。

实验关键数据¶

主实验¶

在 Qwen2.5-7B-Instruct 基座上，对比传统问答、标准 Agentic 搜索系统及最新的过程监督类搜索方法，测试涵盖单跳与多跳复杂推理基准：

方法类型	方法 (Method)	NQ (F1/EM)	HotpotQA (F1/EM)	2Wiki (F1/EM)	Bamboogle (F1/EM)	MuSiQue (F1/EM)	平均 (Avg. F1/EM)
标准基线	Direct LLM	17.16 / 5.98	25.25 / 17.60	25.80 / 22.03	14.38 / 8.00	10.14 / 2.57	18.55 / 11.24
	Naive RAG	37.26 / 18.59	36.69 / 27.45	27.06 / 21.98	26.87 / 16.80	9.32 / 3.52	27.44 / 17.67
Agentic 搜索	Search-o1	32.43 / 15.71	44.86 / 34.07	39.69 / 32.71	37.56 / 27.20	20.11 / 11.09	34.93 / 24.16
	Search-R1	40.98 / 20.78	51.24 / 39.77	47.10 / 39.71	48.43 / 36.54	22.50 / 12.70	42.05 / 29.90
	R1-Searcher	41.15 / 21.61	55.55 / 43.31	50.64 / 43.97	54.62 / 44.00	27.74 / 18.16	45.94 / 34.21
过程监督方法	StepSearch	39.79 / 19.81	50.02 / 38.31	44.35 / 37.59	50.32 / 39.20	27.50 / 18.16	42.40 / 30.61
	ReasonRAG	39.65 / 19.78	41.53 / 31.24	36.58 / 31.39	40.53 / 28.80	16.37 / 8.94	34.93 / 24.03
	TIPS	40.38 / 20.30	45.98 / 35.34	42.95 / 36.51	46.20 / 36.00	18.59 / 10.59	38.82 / 27.75
	SubSearch	41.00 / 21.00	54.30 / 43.04	51.71 / 46.15	51.08 / 42.40	23.24 / 15.06	44.27 / 33.53
本文方法	OASES (Ours)	43.62 / 22.60	60.62 / 47.17	58.14 / 50.48	56.99 / 48.00	30.73 / 19.03	50.02 / 37.46
相比最佳基线	绝对增益	+2.47 / +0.99	+5.07 / +3.86	+6.43 / +4.33	+2.37 / +4.00	+2.99 / +0.87	+4.08 / +3.25

消融实验¶

为验证共同训练（Co-Training）与过程奖励设计的必要性，作者评估了不同评估器形式及各模块剥离后的效果：

变体配置 (Method Variant)	HotpotQA (F1 / $\Delta$)	2Wiki (F1 / $\Delta$)	MuSiQue (F1 / $\Delta$)
完整 OASES	60.62 / -	59.69 / -	30.73 / -
移除联合优化 (w/o joint opt.)：
- 策略模型自身评估 (无评估训练)	57.16 / -3.46	57.81 / -1.88	27.46 / -3.27
- 冻结 Qwen-7B 评估器	57.65 / -2.97	57.93 / -1.76	27.88 / -2.85
- 冻结 Qwen-14B 评估器	57.57 / -3.05	58.85 / -0.84	26.93 / -3.80
- 冻结 Qwen-32B 评估器	57.11 / -3.51	58.51 / -1.18	28.05 / -2.68
- 冻结 GPT-4o 评估器	57.38 / -3.24	58.82 / -0.87	28.24 / -2.49
移除过程奖励 (w/o proc. reward, $\alpha=0$)	58.80 / -1.82	58.64 / -1.05	27.62 / -3.11
移除联合优化与过程奖励 (Base 纯结果RL)	58.42 / -2.20	58.00 / -1.69	28.79 / -1.94

关键发现¶

模型规模无法弥补分布偏离：即使采用更强大的冻结 GPT-4o 作为外部状态评估器，智能体多跳推理 F1 仍落后 OASES 达 0.87~3.24，证明外置评估模型无法适配动态策略的局部状态分布。
协同训练杜绝评估能力退化：仅优化搜索策略而不回传评估梯度会导致评估分支在长程局部状态下发生严重幻觉或退化为 Prompt 复制，破坏过程奖励的保真度。
高计算性价比：状态评估分支生成的额外 token 仅占训练总 token 的 14.94%，在推理时评估分支完全关闭，达成零额外推理延迟的高实用价值。

亮点与洞察¶

以因果解答性取代启发式相似度：将传统单纯统计高频词或向量余弦相似度改为测试当前状态能否实质回答原始目标，精准抑制无用甚至具有误导性的搜索噪音。
轻量共生架构：单模型双任务 Prompt 切换免除了复杂繁琐的独立 PRM 采集与预训练流程，开辟了自对齐 Agentic 搜索新途径。

局限与展望¶

依赖确定性验证信号：目前算法构建建立在具确定性基准参考答案的基础之上，在完全主观发散、无标准参考答案的开放式探索场景中仍面临可解答性度量挑战。
未来方向：探索结合多源异步环境并发检索，以及在拒识采样与更长程思维链下的动态伸缩泛化机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出状态可解答性望远镜过程奖励与单模型搜索-评估同策略协同训练框架。
实验充分度: ⭐⭐⭐⭐⭐ 五大多跳问答权威基准评测，覆盖全维度消融与冻结模型对照。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号推导严谨自洽。
价值: ⭐⭐⭐⭐⭐ 为解决多步智能体搜索中的长期信用分配瓶颈提供了通用而高效的标准范式。