Learning Robust Reasoning through Guided Adversarial Self-Play¶
会议: NeurIPS 2026
arXiv: 2602.00173
OpenReview: https://openreview.net/forum?id=BiyhNYlJ62
论文: https://arxiv.org/abs/2602.00173
领域: Reasoning
关键词: 鲁棒推理, 对抗自博弈, 可验证奖励强化学习, 分布内修复引导, 错误诊断与恢复
一句话总结¶
提出 GASP（引导式对抗自博弈）框架，通过单模型扮演污染者与推理智能体进行对抗博弈，结合基于自身分布内修复片段的轻量模仿引导，仅凭最终结果可验证奖励即可让模型学会诊断错误并自适应修复，显著提升推理鲁棒性并抑制表征漂移。
研究背景与动机¶
基于可验证奖励的强化学习（RLVR）与群体相对策略优化（GRPO）极大激发了大语言模型的长思维链推理潜能，使大型推理模型（LRM）在数学与代码基准上取得了惊人突破。伴随终局答案正确性优化，模型有时会偶然涌现出自我反思、复查中间步骤以及中途修正等“顿悟”（aha-moment）行为。然而，这类行为仅仅是优化终局奖励的副产物，现有后训练管线从未显式训练模型在何种情况下应当怀疑前序上下文、如何定位中间逻辑不一致性，以及遭遇错误信息时如何稳健恢复。
在实际人机交互或多智能体协作部署中，推理模型几乎无法处于完全可信的信息真空。提示词、历史推理前缀或协作智能体的部分解答常伴随噪声、笔误或诱导性信息。应力测试表明，即便在模型自身完全能够独立答对的高难度数学题上，若在其正确思维链中人为注入局部连贯但逻辑错误的微小扰动片段，模型往往盲目顺从错误前缀导致灾难性崩塌，甚至呈现出模型越大越容易盲从的“逆向扩展”（inverse scaling）缺陷。而在元推理诊断与扰动稳健性评测中，模型同样面临定位不出第一处错误、在轻微词法句法改动下频繁失准的软肋。这一矛盾的根源在于：现有 RLVR 仅在干净无瑕的上下文中奖励终局正确，导致策略一旦脱轨（off-trajectory）便因在错误状态空间中成功率极低，无法在纯结果驱动的稀疏奖励下采样到正向反馈梯度。
面对这一系统性脆弱性，本文尝试探索：能否在无需人工过程标注或外部专家教师介入的前提下，完全借助终局可验证奖励将脆弱的推理模型锻造成具备自诊断与自修复能力的鲁棒系统？核心 idea：将单模型参数复用为对抗自博弈双方，由污染者探索局部连贯的诱导性扰动，驱动推理智能体在真实受污环境下学习错误诊断与修复，并引入分布内修复引导（in-distribution repair guidance）打破稀疏奖励僵局以抑制表征漂移。
方法详解¶
整体框架¶
GASP 的核心设计是针对模型能够独立正确求解的数学问题子集构建双角色对抗自博弈。系统在同一套骨干模型参数 \(\theta\) 上，通过不同角色提示词分别实例化“污染者”（Polluter）与“推理智能体”（Agent）。污染者在保留正确推理前缀 \(c_{0:\alpha}\) 的基础上，对后续的局部短窗口 \(w^{\mathrm{clean}}\) 进行语义连贯但事实错误的定向篡改，构造受污上下文 \(s^{\mathrm{poll}} = (q, c_{0:\alpha}, w^{\mathrm{poll}})\)；推理智能体则以 \(s^{\mathrm{poll}}\) 为起点继续生成推理轨迹 \(\tau_{\mathrm{off}}\)。环境终局根据最终答案正确性判定奖励：若智能体识破错误并成功修复得到正确答案，智能体获得正奖励，而污染者因未能诱导失败获得零奖励；反之，若智能体被误导致错，污染者获得奖励。针对训练初期智能体自发修复概率过低、GRPO 优势信号全零的探索困境，系统利用对比干净与受污窗口提取策略自身高概率的分布内短修复片段 \(w^{\mathrm{fix}}_{\theta}\) 进行轻量模仿引导，使博弈双方交替演进形成动态鲁棒课程。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入正解题目与基线正确轨迹<br/>(q, a*) 与 c=(c_0:α, w_clean, ...)"] --> B["1. 离轨受污上下文构建<br/>截断比例 α 提取局部窗口 w_clean"]
B --> C["2. 角色条件对抗自博弈<br/>污染者改写生成局部连贯错误 wpoll"]
C --> D["3. 受污推理与终局答案验证<br/>智能体以 spoll 展开续写，比对答案 a*=a_off"]
D --> E["4. 分布内修复引导机制<br/>对比提示提取分布内自修复片段 w_fix"]
E --> F["5. 双角色交替策略优化<br/>智能体 G-GRPO 与污染者 GRPO 迭代更新"]关键设计¶
1. 离轨受污上下文构建：解耦解题能力与抗干扰鲁棒性
以往的鲁棒性分析常混淆基础解题能力不足与受诱导干扰失效。为彻底剥离这一混淆变量，GASP 首先在温度 0.7 下对训练问题进行 4 次独立采样，仅筛选出基线模型能够 100% 独立正解的题目子集。对于筛选出的题目，提取一条正确思维链轨迹 \(c = (c_1, \dots, c_T)\)，并在离散截断比例 \(\alpha \in \{0, 0.25, 0.5, 0.75\}\) 处实施截断，保留前缀 \(c_{0:\alpha}\)。随后截取紧随其后的局部思维片段（约占总 token 数的 10%）作为干净基准窗口 \(w^{\mathrm{clean}}\)。这种设计确保了前缀 \(c_{0:\alpha}\) 具备充分的上下文真实性，后续一旦替换为错误片段 \(w^{\mathrm{poll}}\) 产生受污前缀 \(s^{\mathrm{poll}} = (q, c_{0:\alpha}, w^{\mathrm{poll}})\)，推理智能体在该条件下的失败完全归因于对诱导信息的脆弱顺从，而非题目超出认知负荷。
2. 角色条件对抗自博弈：利用终局检验驱动自适应鲁棒课程
GASP 在同一模型权重上通过提示词切换角色，无需维护判别器或外部评判模型。污染者角色接收题目、前缀 \(c_{0:\alpha}\) 与原始干净窗口 \(w^{\mathrm{clean}}\)，受严格的就地改写约束：必须保持行文风格、句子数量与局部数学连贯性，但在公式、数值或推导步骤中植入破坏真实性的局部错误。推理智能体角色则直接在 \(s^{\mathrm{poll}}\) 条件下以常规系统提示词展开续写，不添加任何“请注意纠错”的额外测试期提示。对于智能体轨迹 \(\tau_{\mathrm{off}}\)，环境计算可验证答案奖励 \(r_{\mathrm{solve}} = \mathbb{I}\{a_{\mathrm{off}} = a^\star\}\)；污染者奖励则严格定义为诱导失败信号： $$ \mathcal{R}^{\mathrm{poll}} = 1 - r_{\mathrm{solve}} = 1 - \mathbb{I}{a_{\mathrm{off}} = a^\star} $$ 双方均采用 GRPO 进行多样本优势计算与策略优化。在交替更新进程中，随着智能体纠错能力增强，固定的粗糙篡改逐渐失效，迫使污染者自发探索出更具迷惑性、更深层的数学逻辑漏洞；反过来推动智能体习得更谨慎细致的校验与回退机制，形成自适应递进的鲁棒训练难度阶梯。
3. 分布内修复引导机制：化解稀疏探索死锁并抑制表征漂移
在受污上下文 \(s^{\mathrm{poll}}\) 初始阶段，模型在上下文惯性作用下几乎必然顺着错误继续推导，单次采样恢复正确答案的概率 \(p_\theta\) 极低。在组大小为 \(G\) 的 GRPO 采样中，整组全部失败的概率 \((1-p_\theta)^G \approx 1 - G p_\theta\) 极高，导致组内优势值方差为零或信噪比极低，策略梯度退化为无方向的随机抖动。若引入 GPT-5 等强外部教师提供修复片段 \(w^{\mathrm{fix}}_{\mathrm{T}}\)，虽在语义上正确，但在学生模型分布下对数似然极低（\(\pi_\theta(w^{\mathrm{fix}}_{\mathrm{T}} \mid s^{\mathrm{poll}}) \approx 0\)），在带有 KL 惩罚的微调下不仅一阶梯度提升量受限，还会强行扭曲隐藏表征引发严重表征漂移与域外问答能力遗忘。
GASP 提出利用模型自身生成分布内的修复片段。通过为模型提供显式对比提示词 \(p^{\mathrm{fix}}_\theta\)（同时呈现 \(w^{\mathrm{clean}}\) 与 \(w^{\mathrm{poll}}\) 并指示其就地指明矛盾、纠正关键步并向前推导一步），模型能够高概率生成符合自身语言习惯与先验路径的短修复片段 \(w^{\mathrm{fix}}_\theta \sim \pi_\theta(\cdot \mid p^{\mathrm{fix}}_\theta)\)。该片段在部署输入 \(s^{\mathrm{poll}}\) 下本就具备非平凡先验概率，满足 \(\pi_\theta(w^{\mathrm{fix}}_\theta \mid s^{\mathrm{poll}}) \gg \pi_\theta(w^{\mathrm{fix}}_{\mathrm{T}} \mid s^{\mathrm{poll}})\)。理论推导表明一阶目标增量满足： $$ \Delta J \approx \eta \, \omega \, \pi_\theta(w^{\mathrm{fix}} \mid s^{\mathrm{poll}}) \, Q_\theta(s^{\mathrm{poll}}, w^{\mathrm{fix}}) \, \big|\nabla_\theta \log \pi_\theta(w^{\mathrm{fix}} \mid s^{\mathrm{poll}})\big|2^2 $$ 高似然样本能带来显著更大的有效参数步长且无需剧烈改变隐空间流形。将该模仿项与结果奖励 GRPO 线性融合，得到智能体端联合优化目标： $$ J)\big] $$ 该设计在训练初期提供高信噪比的脱困势能，一旦模型能够自主采样出成功轨迹，GRPO 强化信号即可顺利接管。}GRPO}}^{\mathrm{rec}}(\theta) = J_{\mathrm{GRPO}}^{\mathrm{rec}}(\theta) + \lambda J_{\mathrm{guide}}(\theta), \quad \text{其中 } J_{\mathrm{guide}}(\theta) = \mathbb{E}\big[\log \pi_\theta(w^{\mathrm{fix}}_\theta \mid s^{\mathrm{poll}
损失函数 / 训练策略¶
优化阶段对 1.5B 至 4B 参数模型采用全量参数微调，8B 模型（Qwen3-8B）在注意力与 MLP 投影层挂载 rank=64 的 LoRA 适配器。优化器选用 AdamW，配合 bfloat16 混合精度与梯度检查点，峰值学习率 \(3 \times 10^{-6}\)，余弦退火伴随 10% 步数热身，梯度范数裁剪阈值为 1.0。GRPO 采样参数设定为组大小 \(G=64\)，采样温度 0.7（top-k=50, top-p=1.0），裁剪比率 \(\epsilon=0.2\)。引导项系数在 1.5B/4B 上初始化为 \(\lambda=0.07\)，在 8B 上初始化为 \(\lambda=0.04\)，并在训练尾期线性退火至 0 以保证最终策略完全对齐纯结果强化目标。模型采用分块交替优化（blocked schedule）：智能体连续执行 5 步梯度更新（固定污染者），随后污染者连续执行 5 步梯度更新（固定智能体并将智能体轨迹视作黑盒环境反馈，不跨轨迹反向传播），持续迭代。
实验关键数据¶
主实验¶
评估体系横跨四种开源推理基准模型（1.5B 至 8B），核心考察五维能力：干净环境准确率（Clean Acc）、污染上下文恢复率（Recoverability，由留存的 GPT-5 强污染器评测）、元推理错误诊断能力（Diagnosability，MR-GSM8K 与 MHPP 代码诊断 ACCreason）、自然扰动稳健性（Reliability，RUPBench 的 GSM8K 与 CommonsenseQA 子集）以及自身错误解答自我修正率（Self-Revision \(\Delta\)GSM8K）。
下表汇报在各模型独立正解子集上剔除基础能力混淆后的鲁棒性评测结果（pass@1，3次运行均值±标准差）：
| 模型 | 方法配置 | Clean Acc (GSM8K) | Recoverability (GSM8K) | Diagnosability (MR-GSM8K) | Diagnosability (MHPP) | Reliability (GSM8K) | Reliability (CQA) | Self-Rev (ΔGSM8K) | 综合均值 (Avg) |
|---|---|---|---|---|---|---|---|---|---|
| R1-Distill-Qwen-1.5B | 初始基线 | 58.7 | 12.4 | 12.1 | 8.4 | 24.3 | 16.2 | 0.2 | 18.9 |
| 无引导自博弈 (ASP) | 60.2±1.6 | 34.4±4.5 | 15.8±2.1 | 11.2±1.8 | 38.7±2.3 | 19.5±2.1 | 2.1±0.3 | 26.0 | |
| 教师引导 (GASP-T) | 65.8±1.7 | 52.7±4.2 | 24.1±2.2 | 17.3±1.9 | 57.5±2.7 | 28.8±2.3 | 2.8±0.4 | 35.6 | |
| GASP (本文) | 70.3±2.4 | 95.6±2.2 | 87.4±3.1 | 82.1±3.5 | 91.2±2.8 | 91.7±2.9 | 6.1±0.5 | 74.9 | |
| DeepScaleR-1.5B | 初始基线 | 67.9 | 14.3 | 13.8 | 9.1 | 25.6 | 17.4 | 0.2 | 21.2 |
| 无引导自博弈 (ASP) | 69.2±1.2 | 36.7±5.1 | 18.3±2.4 | 13.5±2.0 | 41.4±2.5 | 22.1±2.3 | 1.9±0.3 | 29.0 | |
| 教师引导 (GASP-T) | 70.8±1.4 | 56.0±4.6 | 27.8±2.6 | 20.6±2.1 | 61.8±2.9 | 33.1±2.5 | 2.6±0.4 | 39.1 | |
| GASP (本文) | 72.4±2.1 | 98.6±1.1 | 90.2±2.7 | 85.8±3.2 | 94.3±2.1 | 92.6±2.4 | 8.2±0.6 | 77.4 | |
| Qwen3-4B | 初始基线 | 77.2 | 13.8 | 15.4 | 11.2 | 27.9 | 19.8 | 2.3 | 23.9 |
| 无引导自博弈 (ASP) | 79.2±1.1 | 40.5±5.2 | 22.7±2.6 | 17.9±2.3 | 45.6±2.8 | 26.3±2.5 | 4.6±0.5 | 33.8 | |
| 教师引导 (GASP-T) | 81.4±1.2 | 61.4±4.0 | 34.9±2.7 | 27.4±2.4 | 67.5±2.6 | 39.1±2.7 | 6.3±0.6 | 45.4 | |
| GASP (本文) | 82.9±1.9 | 98.2±1.2 | 92.8±2.3 | 88.5±2.9 | 96.1±1.8 | 94.7±2.1 | 9.3±0.7 | 80.4 | |
| Qwen3-8B (LoRA) | 初始基线 | 84.9 | 14.7 | 18.2 | 13.5 | 33.3 | 22.1 | 4.2 | 27.3 |
| 无引导自博弈 (ASP) | 87.3±1.5 | 44.4±2.1 | 26.9±2.8 | 21.4±2.5 | 59.8±2.9 | 30.2±2.7 | 6.4±0.6 | 39.5 | |
| 教师引导 (GASP-T) | 89.9±1.6 | 66.9±2.4 | 40.7±2.9 | 32.5±2.6 | 88.6±2.7 | 44.1±2.6 | 8.8±0.7 | 53.2 | |
| GASP (本文) | 93.7±3.2 | 98.7±0.8 | 95.1±1.9 | 91.6±2.4 | 97.8±1.1 | 96.3±1.6 | 10.7±0.8 | 83.4 |
消融实验¶
为明确对抗自博弈组件与修复引导源的具体贡献，作者在全量基准（包含未预先筛选正解的原始测试集）上展开了细粒度消融，对比了冻结污染者（GASP-p-fixed）、采用 GPT-5 外部强污染者（GASP-p-gpt-5）、外部教师修复引导（GASP-T）以及无引导自博弈（ASP）的表现：
| 配置说明 | 恢复率 (GSM8K) | 诊断 Acc (MR-GSM8K) | 诊断 Acc (MHPP) | 扰动鲁棒性 (GSM8K) | 扰动鲁棒性 (CQA) | 全量基准均值 (Avg) |
|---|---|---|---|---|---|---|
| R1-Distill-Qwen-1.5B 基线 | 9.8 | 4.5 | 2.9 | 33.3 | 37.1 | 17.5 |
| 纯结果对抗博弈 (ASP，无修复引导) | 26.3±1.8 | 11.2±0.7 | 5.2±0.4 | 44.4±1.9 | 45.3±1.8 | 26.5 |
| 固定污染者规则 (GASP-p-fixed，无自博弈) | 30.8±1.6 | 13.0±1.0 | 6.0±0.5 | 52.0±2.0 | 53.5±1.9 | 31.1 |
| 教师修复引导 (GASP-T，GPT-5 修复) | 35.5±1.5 | 15.1±1.2 | 7.0±0.6 | 59.9±2.1 | 61.2±2.0 | 35.7 |
| 外部强对抗者 (GASP-p-gpt-5，GPT-5 作污染者) | 74.2±1.3 | 40.8±1.9 | 15.4±1.1 | 63.9±2.2 | 64.0±2.0 | 51.7 |
| 完整 GASP (分布内自引导 + 在线自博弈) | 78.5±1.2 | 43.7±2.1 | 16.9±1.2 | 64.8±2.3 | 64.7±2.1 | 53.7 |
| Qwen3-8B (LoRA) 基线 | 7.2 | 16.2 | 8.2 | 53.6 | 69.9 | 31.0 |
| 纯结果对抗博弈 (ASP，无修复引导) | 34.4±2.3 | 28.7±1.9 | 14.4±1.2 | 69.9±2.6 | 85.4±2.1 | 46.6 |
| 固定污染者规则 (GASP-p-fixed，无自博弈) | 40.2±1.7 | 33.0±1.6 | 16.6±1.3 | 79.8±2.0 | 90.5±1.6 | 52.0 |
| 教师修复引导 (GASP-T，GPT-5 修复) | 46.4±1.6 | 38.7±2.0 | 19.4±1.7 | 89.0±1.9 | 94.0±1.5 | 57.5 |
| 外部强对抗者 (GASP-p-gpt-5，GPT-5 作污染者) | 83.0±0.8 | 68.5±2.0 | 50.5±2.4 | 89.5±1.6 | 94.5±1.3 | 77.2 |
| 完整 GASP (分布内自引导 + 在线自博弈) | 85.7±0.7 | 72.7±2.1 | 54.1±2.8 | 89.8±1.5 | 94.8±1.2 | 79.4 |
关键发现¶
- 恢复率质的飞跃：在已知模型能正解的题目上，初始模型的错误上下文恢复率仅为 12.4%–14.7%，极易被几行伪造推导带入歧途。经 GASP 训练后，恢复率跃升至 95.6%–98.7%，彻底纠正了“盲信前缀”的脆弱病态。
- 元推理诊断与自纠错全面泛化：虽然训练过程完全未曾接触代码环境或 MR-GSM8K 的 step-by-step 评分模版，GASP 在 MHPP 代码首错定位与成因分析（ACCreason）上仍从基线的 8.4%–13.5% 跃升至 82.1%–91.6%；在自身错误解的自纠错提升（\(\Delta\)GSM8K）上，从几乎无法修正（0.2%–4.2%）跃升至 6.1%–10.7%。这证明通过对抗学到的“怀疑前缀—回溯不一致—重拟轨迹”逻辑已转化为深层通用的元推理能力。
- 干净精度不降反升，破除鲁棒性妥协税：通常对抗防御往往伴随干净测试集掉点（robustness tax）。然而在四种模型上，GASP 使得 GSM8K 干净准确率反而提升了 5.2% 至 11.6%（例如 R1-1.5B 从 58.7% 提升至 70.3%，Qwen3-8B 从 84.9% 提升至 93.7%）。消融与定性分析表明，智能体养成了内生复查与严谨求证习惯，显著减少了非强迫性计算粗心。
- 分布内自引导显著优于外部教师：在表征漂移分析中，GASP-T 因强行克隆低似然外部教师片段，其在 PCA 投影空间中的隐状态质心漂移距离 \(d^{(\ast)}\) 明显高于 GASP，导致其在 TruthfulQA 等无涉测试集上掉点明显；而 GASP 不仅学习收敛速度快数倍，还能最大程度维持原始表征几何结构。
亮点与洞察¶
- 将脆弱性转为自博弈的内生驱动源：以往工作将推理模型在受污前缀下的盲从视作单纯的对齐缺陷，而 GASP 敏锐地意识到“生成连贯伪造前缀”与“受前缀误导”恰好是一体两面的能力，巧妙借由对抗自博弈将这一弱点转化为零人工标注、零教师依赖的自适应训练闭环。
- 揭示分布内引导的梯度机理：从理论一阶展开与迷宫类比双重视角严格证明，向策略先验概率极低的教师解做行为克隆，在低似然区域导致的梯度更新信噪比低下且严重破坏表征稳定性；而从策略自身提取反差修复解，能以最小参数微调获得最大一阶奖励增量。
- 极具通用性的脱轨恢复训练范式：本方法提出的“离轨扰动—分布内短引导—端到端强化结果检验”链路，天然可拓展至智能体长程规划（如环境状态失真时的重规划）、多模型交互对齐（防范来自其他智能体的误导信息）以及代码自动调试等复杂决策任务。
局限与展望¶
- 算力开销与采样成本较高：每轮交替迭代需要先运行基线筛选并由污染者采样多条篡改候选，智能体端需维持 \(G=64\) 的并发 rollout 探索，整体后训练吞吐量相比纯监督微调或单向 RLVR 增加了约 2 至 3 倍的采样计算量。
- 数学与代码外领域的形式化边界：当前验证完全依赖可验证终局奖励（如数学题最终数值或单元测试结果）。若将该机制迁移至开放域非确定性写作、长程对话或缺乏形式化断言的通用任务，如何构建可靠的终局奖励将构成关键瓶颈。
- 未来方向：探索动态自适应截断比率 \(\alpha\) 的采样策略，使对抗污染更精准地聚焦于推导的关键分支节点；将单次离线诊断引导升级为多轮博弈交互中的主动反问与测试探针生成。
相关工作与启发¶
- vs SCoRe (Kumar et al., 2024)：SCoRe 专注于让模型基于多轮在线 RL 修正第一轮自身生成的错误，但其错误依赖自发产生且难以控制扰动分布；GASP 引入对抗自博弈中的主动污染者，主动探索防御弱点并借助分布内引导克服冷启动死锁。
- vs SPIN (Chen et al., 2024) 与语言对抗博弈：SPIN 等传统文本自博弈主要依赖成对偏好对比人类静态数据；GASP 紧密契合 RLVR 范式，通过可验证终局奖励与思维链窗口篡改，开辟了纯结果监督下的鲁棒推理对抗学习新途径。
- vs 外部教师蒸馏 (Teacher-guided Distillation)：常规方案倾向于使用 GPT-4/5 等商业大模型生成纠错黄金轨迹；本文从理论与实验层面严谨论证了外部教师解的“离分布”本质及其诱发的表征漂移，倡导利用模型自生先验作为最平滑的引导杠杆。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将可验证奖励 RLVR、对抗自博弈与分布内修复引导无缝融合，立意极为新颖]
- 实验充分度: ⭐⭐⭐⭐⭐ [四种尺度模型，统一五维鲁棒基准，结合迷宫抽象模拟与 PCA 表征漂移分析，论据极其坚实]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，动机深刻，数学推导与实验直觉高度契合]
- 价值: ⭐⭐⭐⭐⭐ [直击大推理模型易受误导的逆向扩展痛点，所提技术范式对下一代高可靠推理模型构建具有重要指导意义]