Reducing Credit Assignment Variance via Counterfactual Reasoning Paths¶

会议: NeurIPS 2026
arXiv: 2605.16302
OpenReview: https://openreview.net/forum?id=fUJHl1y866
论文: https://arxiv.org/abs/2605.16302
领域: 因果推理
关键词: 强化学习, 信用分配, 反事实推理, 过程奖励塑形, 大语言模型

一句话总结¶

提出隐式行为策略优化（IBPO），通过同输入下多条推理轨迹的反事实对比与局部修复，在无需逐步标注和额外价值网络的前提下构建过程级隐式优势估计，有效降低信用分配方差并加速长程复杂推理收敛。

研究背景与动机¶

大语言模型在多步数学证明和程序生成等复杂推理任务中展现出强大能力，而基于强化学习（RL）的后训练已成为扩展其推理深度的核心范式。然而，以 GRPO 和 GSPO 为代表的序列级强化学习算法严重依赖终端稀疏奖励，这导致信用分配问题处于病态条件：环境仅在整条轨迹生成结束时给出标量反馈，并将其粗粒度地均匀广播给所有中间决策步。

这种序列级监督引发了严峻的“学习税”（learning tax）瓶颈。在多步推理中，最终答案的对错往往仅取决于极少数甚至单个局部 token 的失误；大量整体逻辑清晰、仅含单一微小错误的“可恢复轨迹”由于最终答案错误而被粗暴判定为完全负样本，抹杀了其中高价值的中间推理片段；反之，存在逻辑漏洞却碰巧碰对答案的轨迹却被错误奖励。这种反馈机制极大地放大了策略梯度方差，导致策略在修正早期微小错误时陷入海量低效采样与参数震荡，在正样本极度稀缺的难题场景下尤为致命。而现有引入过程监督的方法（如 PRM）又面临昂贵的人工标注代价、蒙特卡洛滚动的巨大噪声以及跨域泛化能力脆弱等现实阻碍。

本文的核心洞察在于：即使完全缺乏单步级别的人工标注与过程价值模型，针对同一输入采样的多条推理轨迹之间的分歧与不一致性，天然隐含了极具信息量的反事实决策信息。核心 idea：将同 prompt 下的多条推理轨迹视为备选决策的反事实近似，通过多轨迹对比与局部修正生成隐式过程级塑形奖励与 token 梯度掩码，在无需单步标注和价值网络的条件下实现低方差的细粒度信用分配。

方法详解¶

整体框架¶

隐式行为策略优化（IBPO）并非替代底层序列级策略优化器（如 GSPO 或 GRPO），而是作为一个通用的反事实信用分配机制，将稀疏终端奖励转化为过程敏感的细粒度学习信号。其整体流程包含三个核心阶段：首先在策略网络下针对输入问题采样多条候选推理轨迹并由验证器获得终端稀疏奖励；随后针对其中的错误轨迹建立反事实对照组，由模型执行对比修正并经过规则防全重写过滤，生成可恢复性塑形标量或 token 级编辑掩码；最后将塑形优势与修正任务辅助目标联合注入序列级优化器完成单轮策略更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题 x"] --> B["多轨迹并行采样与终端稀疏验证<br/>生成候选轨迹并由 Verifier 获取 r(x,y)"]
    B --> C["反事实轨迹对齐与比对算子<br/>配对目标错误轨迹与参考轨迹"]
    C --> D["自校正生成与防全重写过滤<br/>生成修正解并过滤复制及幻觉"]
    D --> E["隐式过程优势估计与梯度掩码<br/>计算塑形奖励与 token 级更新掩码"]
    E --> F["双目标联合策略优化<br/>主任务优势更新 + 辅助修正行为泛化"]

关键设计¶

1. 反事实轨迹对齐与比对算子：提取同组备选决策的过程分歧

针对序列级奖励无法定位局部失误的痛点，IBPO 构建了多轨迹对比算子 \(\mathcal{M}\)。对输入 \(x\)，策略 \(\pi_\theta\) 首先并行采样 \(G\) 条轨迹。对其中的错误目标轨迹 \(\tau_i\)，算法在组内选取 \(K-1\) 条备选参考轨迹构建元组 \(\mathcal{T}_i = (\tau_i; \tau_{i,\mathrm{ref}}^{(1)}, \dots, \tau_{i,\mathrm{ref}}^{(K-1)})\)。若组内存在正确轨迹，则优先从中均匀采样作为参考；若全组皆错，则均匀采样其他互异的错误轨迹。算子 \(\mathcal{M}\) 通过模型对备选路径的交叉对比，提取不同中间步骤导致的走向差异，输出刻画目标轨迹可恢复程度的比较信号 \(s_i \in [0, 1]\) 或 token 级更新掩码 \(\mathbf{m}_i \in \{0, 1\}^{T_i}\)。

2. 基于可恢复性的奖励塑形与全重写过滤：阻断作弊并赋予过程信用

为将对比信号转化为规范的标量反馈，IBPO 定义了基于可恢复性（recoverability）的塑形函数。模型将输入、错误轨迹与参考轨迹拼接为修正提示 \(\tilde{x} = (x; y, y^{\mathrm{ref}})\)，生成自校正输出 \(\hat{y} = \mathcal{C}(x; y, y^{\mathrm{ref}})\)。当且仅当原始轨迹错误但修正输出成功通过终端验证时，赋予非负过程奖励 \(\Delta = \rho = 0.5\)；若修正失败则不施加额外负向惩罚，避免将模型修正能力不足误判为原轨迹质量缺陷。同时为防止模型弃用原推理从头生成无关联正解进行“奖励作弊”（reward hacking），设计了标准化编辑距离过滤：当校正结果与原错误轨迹偏离度过大且反而过分贴近参考答案时判定为 full rewrite，将塑形奖励置零：

\[\Delta(x; y, y^{\mathrm{ref}}) = \rho \cdot \mathbb{I}\left[r(x, y) = 0 \wedge r(x, \hat{y}) = 1 \wedge \neg\mathrm{rewrite}(y, \hat{y}, y^{\mathrm{ref}})\right]\]

3. Token 级编辑距离梯度掩码：精准隔离无害推理步骤

针对整句梯度惩罚误伤局部正确推理片段的问题，IBPO 提出了 token 级掩码机制（IBPO-mask）。当自校正成功后，利用序列对齐计算原始答案 \(y\) 与修正答案 \(\hat{y}\) 之间的未修改 token 集合 \(\mathcal{U} = \{t : y_t = \hat{y}_t\}\)。在策略梯度的反向传播中，构建指示变量 \(m_t = \mathbb{I}[t \notin \mathcal{U}]\)，仅对修正改动的 token 施加组内归一化优势更新，而将未修改的 token 梯度完全阻断：

\[\nabla_\theta \mathcal{J}^{\mathrm{mask}} \propto \frac{1}{M} \sum_{t=1}^T m_t \cdot \widehat{A}(y) \cdot \nabla_\theta \log \pi_\theta(y_t \mid y_{<t}, x), \quad M = \max\left(1, \sum_{t=1}^T m_t\right)\]

此举使得组内计算的优势信号精准投影至产生分歧和错误的局部 token，从根本上防止惩罚有效的中间推理步骤。

4. 修正行为联合优化与正向后向迁移：单阶段内化纠错能力

为消除推理阶段额外调用多轮修正提示的高额延迟与计算开销，IBPO 将自校正行为本身视为策略网络在条件输入 \(\tilde{x}_i\) 下的辅助决策任务，并在单轮循环内联合优化。每个修正输入 \(\tilde{x}_i\) 独立成组并采样 \(G_c\) 个输出进行组内优势归一化，得到辅助目标 \(\mathcal{J}_{\mathrm{corr}}(\theta)\)。总目标为：

\[\mathcal{J}_{\mathrm{total}}(\theta) = \mathcal{J}_{\mathrm{main}}(\theta) + \eta \mathcal{J}_{\mathrm{corr}}(\theta)\]

从多任务学习视角，辅助比对纠错任务能显著提升局部错误的可观测性，产生强大的正向后向迁移（positive backward transfer），促使模型在基础推理生成阶段自然内化自我审视与错误规避机制。

损失函数 / 训练策略¶

训练采用单阶段策略迭代。主任务采用融合塑形奖励的 GSPO 替代目标，其中重要性采样比率 \(s_i(\theta)\) 在整序列或未掩码 token 间计算，优势项通过组内均值与方差中心化归一化：\(\widehat{A}_i = (r'(x, y_i) - \mu') / \sigma'\)。超参数方面，塑形系数 \(\lambda \in [0.4, 1.2]\)（在 \(\lambda = 0.6\) 取得峰值），辅助任务权重 \(\eta > 0\)，全重写编辑距离阈值 \(\alpha = 60\%\)。

实验关键数据¶

主实验¶

在严格对齐端到端训练总算力（包含采样、对比修正、验证及反向传播等全部 GPU 开销）的协议下，在 Qwen3-32B 与 Qwen3-Next-80B-A3B-Thinking 两大模型及三大高难度数学与代码基准上进行 pass@1 评测（5 个随机种子均值与 95% 置信区间）：

数据集	模型	GSPO+IBPO (本文标量)	GSPO+IBPO (mask 变体)	GSPO (基线)	相比 GSPO 提升
AIME25	Qwen3-32B	85.3 ± 1.2%	85.9 ± 1.1%	77.1 ± 1.4%	+8.2% / +8.8%
LiveCodeBench	Qwen3-32B	75.3 ± 1.1%	76.0 ± 1.0%	64.6 ± 1.5%	+10.7% / +11.4%
HMMT25	Qwen3-32B	62.6 ± 1.4%	63.1 ± 1.3%	55.6 ± 1.3%	+7.0% / +7.5%
AIME25	Qwen3-Next	93.8 ± 1.5%	94.4 ± 1.3%	90.1 ± 1.1%	+3.7% / +4.3%
LiveCodeBench	Qwen3-Next	75.3 ± 1.3%	75.8 ± 1.2%	70.9 ± 1.7%	+4.4% / +4.9%
HMMT25	Qwen3-Next	80.4 ± 1.6%	81.1 ± 1.4%	75.9 ± 1.4%	+4.5% / +5.2%

消融实验¶

基于 Qwen3-32B 在三项高难度推理基准上对 IBPO 各核心组件的消融验证（指标为准确率 %）：

配置	AIME25	LiveCodeBench	HMMT25	说明
完整 IBPO (\(K=2\))	85.3	75.3	62.6	完整反事实多轨迹对比与联合训练
IBPO (mask 变体)	85.9	76.0	63.1	引入 token 级编辑掩码的精细梯度更新
IBPO (仅奖励塑形)	80.3	70.2	59.7	移除修正行为的联合多任务训练
IBPO (\(K=1\), 无参考轨迹)	78.6	65.9	57.1	仅输入自身单轨迹尝试自校正，退化为普通 self-correction
GSPO + 测试时 Prompt 修正	78.2	65.3	56.4	仅在推理期通过 prompt 执行对比修正，无训练阶段优化
原始 GSPO 基线	77.1	64.6	55.6	纯序列级稀疏终端奖励更新

关键发现¶

反事实对比参考至关重要：当对比组退化为仅包含自身单个轨迹（\(K=1\)）时，AIME25 准确率从 85.3% 骤跌至 78.6%，表明模型单凭自身输出难以定位微妙错误，跨轨迹的反事实路径分歧是精准发现局部缺陷的关键信息源。
算力效率大幅跃升：在 Qwen3-Next 上达到 0.75 训练奖励阈值时，GSPO+IBPO 仅需 GSPO 耗费算力的 \(0.63\times\)，训练曲线展现出显著更小的高频波动与平稳上升趋势，验证了方差降低的理论推导。
Token 级掩码带来进一步收益：IBPO(mask) 在所有基准上均超越标量塑形版本，证明在反向传播中屏蔽未改动正确 token 能有效避免惩罚有效推理步骤。

亮点与洞察¶

反事实视角的无监督过程监督：打破了“过程监督必须依赖外部密集标注或复杂 PRM”的传统假设，巧妙借助同输入多样本的分歧构建因果对比，以极低代价实现了过程级信用分配。
正向后向迁移抑制“学习税”：通过将辅助对比纠错与主干生成在单阶段联合优化，使模型在单次前向推理时自然内化审敛能力，无需在测试期付出多轮交互的推理时算力开销。
编辑距离防作弊与防穿刺设计：通过双重编辑距离判定（偏离过大且贴近参考）精准识别完全重写，有效封堵了强化学习在引入自纠错奖励时极易发生的 reward hacking 漏洞。

局限与展望¶

依赖确定性验证器：当前验证机制主要针对数学和代码等答案可判定的任务，在开放式生成、对话或长文写作等依赖主观评判的场景下，验证器噪声可能影响可恢复性判定的准确性。
多轨迹采样的训练期开销：虽然在同等算力预算下样本效率更高，但多路径采样与修正输入拼接依然增加了显存峰值和单步计算复杂度，大规模扩展时需要更高效的批处理并行调度。
潜在的代码语义局限：代码任务中使用 token 级编辑距离仅是语法层面的轻量近似，未来可结合抽象语法树（AST）或控制流图（CFG）执行更贴合程序语义的反事实归因。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 创新性地从反事实因果推理角度解决 LLM 强化学习信用分配方差难题，视角新颖且理论扎实。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 32B 与 80B 强基模、四大基准、严格的算力对齐协议及严谨置信区间与消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、数学推导清晰，机制与实证分析高度自洽。
价值: ⭐⭐⭐⭐⭐ 为大模型长程推理的高效稳定强化学习训练提供了通用、即插即用的新范式。