Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning¶
会议: NeurIPS 2026
arXiv: 2605.11636
OpenReview: https://openreview.net/forum?id=MSi0qsfsNZ
代码: https://github.com/MiliLab/Seirenes
领域: LLM 推理
关键词: 大语言模型推理, 对抗自博弈, 上下文干扰, 强化学习, GRPO
一句话总结¶
Seirênes 提出了参数共享的对抗自博弈强化学习框架，让单个模型同时演化为生成具有欺骗性提示的“对抗者”与克服干扰恢复核心逻辑的“推理者”，将上下文脆弱性转化为动态自适应训练信号，显著提升大语言模型的独立数学推理与鲁棒推理能力。
研究背景与动机¶
基于可验证奖励的强化学习（RLVR）与思维链扩展已成为推动大语言模型复杂推理突破的核心引擎，使得前沿模型在国际数学奥林匹克等顶级竞技中展现出极高的推理水准。然而，现有模型在非理想输入分布下表现出极强的脆弱性：一旦题目中引入看似相关却多余的信息、无关背景叙述、结构性重构或虚假关联，推理链路便容易发生灾难性偏转。先前的基准评测表明，仅仅对数学问题进行结构重构就可能导致模型准确率断崖式下跌近 30%，而在检索增强或长上下文场景中混入无关干扰项同样会使推理性能大幅滑坡。
这种脆弱性的根源在于，标准基准测试中的题目通常极为纯净规范，模型仅通过拟合表面模式和推理捷径便能获得正向奖励，进而掩盖了底层的逻辑盲区与推理短板。近期兴起的自博弈方法（如 R-Zero、Absolute Zero 等）虽然通过自主构造新任务或验证器实现了能力演进，但它们主要在“任务生成”维度展开博弈，并未针对推理过程本身的抗干扰机制进行强化。另一方面，现有的辅助提示增强方法普遍采用合作式脚手架（Cooperative Scaffolding），容易让模型产生对外部有益提示的过度依赖，难以根本解决真实开放场景中伴随噪声与误导信息的鲁棒推理难题。
本文的切入视角是逆向利用这种上下文敏感性：上下文干扰不应仅仅作为评测时的压力测试，更应转化为模型内部自我演化的高质量训练信号。既然希腊神话中的塞壬（Seirênes）用美妙歌声诱使水手偏离航线，那么在训练中让模型演化出类似诱导能力的“对抗者”，就能动态探查出当前推理策略的最薄弱环节。核心 idea：构建单模型参数共享的对抗自博弈闭环，模型同时扮演生成局部合理但具有误导性提示的对抗者与在干扰下恢复问题真实逻辑的推理者，利用非对称性能降幅奖励驱动双向协同演化，使上下文干扰从故障模式转变为模型自主进化的高效训练信号。
方法详解¶
整体框架¶
Seirênes 的核心设计是在单一模型参数 \(\theta\) 下，通过角色提示词（Role Conditioning）同时激活两个相互竞争的分布：推理者 \(\pi_\theta^\mathrm{R}\) 与对抗者 \(\pi_\theta^\mathrm{Adv}\)。对于给定的数学问题 \(q\)，系统并不直接修改原题语义，而是构建包含纯净基线采样、对抗提示合成以及干扰条件下推理验证的三阶段配对采样束（Paired Rollout Bundle），从而精确剥离出对抗提示所引起的因果性能降幅。随后，系统将采样产生的纯净推理轨迹、对抗提示序列以及抗干扰推理轨迹分配给三个正交的更新分支，通过有界先进先出（FIFO）队列进行解耦调度与梯度更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数学题目 q"] --> B["配对采样与因果扰动隔离<br/>R1纯净基线 / R2对抗提示 / R3干扰推理"]
B --> C["非对称性能降幅奖励<br/>计算成功率差距 Δ = p(q) - p(q, h)"]
C --> D["解耦更新流与有界FIFO调度<br/>过滤零优势组并独立累积至刷新阈值"]
D --> E["参数共享联合更新<br/>纯净GRPO + 对抗REINFORCE + 鲁棒GRPO"]
E --> F["输出：高鲁棒独立推理模型"]关键设计¶
1. 配对采样与因果扰动隔离：构建无干扰基准与定向干扰轨迹 为了精准分离出上下文对抗提示对模型推理的因果干扰效应，Seirênes 放弃了单一的上下文输入模式，为每个训练样本 \(q\) 严密组织三阶段展开过程： 首先，在纯净阶段（R1），推理者在原题 \(q\) 上独立采样 \(G_1\) 条无干扰解答轨迹 \(\{o_i^{(1)}\}_{i=1}^{G_1}\)，并通过可验证环境获取客观奖励 \(R_i^{(1)} \in \{0, 1\}\)，从而计算出纯净经验解决率 \(\hat{p}(q) = \frac{1}{G_1} \sum_{i=1}^{G_1} R(q, o_i^{(1)})\)。该数值实时反映了模型在当前状态下对该题的内生掌握难度。 其次，在对抗提示生成阶段（R2），参数共享的模型切换为对抗者角色，针对原题生成 \(G_2\) 个误导性候选提示 \(\{h_k\}_{k=1}^{G_2}\)。对抗者被专门引导生成符合数学直觉、看似正确的虚假推导或捷径假设（例如伪造的对称性结论或局部简化假设），以诱导推理者步入逻辑歧途。 最后，在干扰推理阶段（R3），系统将原题与生成的对抗提示拼接为组合输入 \(q \oplus h_k\)，推理者在此干扰上下文中重新对每个提示采样 \(G_3\) 条轨迹 \(\{o_{k,j}^{(3)}\}_{j=1}^{G_3}\)，并在原题相同的真实答案校验器下评估得分，得到加权提示解决率 \(\hat{p}(q, h_k) = \frac{1}{G_3} \sum_{j=1}^{G_3} R(q, o_{k,j}^{(3)})\)。这种严格配对的结构保证了底层任务、验证标准和输入定义的一致性，使得后续所有信用分配完全聚焦于上下文干扰所诱发的推理偏差。
2. 非对称性能降幅奖励：自适应锚定对抗激励的有效区间 在自博弈对抗训练中，最大的病态风险是对抗者与受试者陷入两极坍塌：若题目过难，推理者原本就无法解答，对抗者生成的任何无意义噪声都会轻易归因于攻击成功；若题目过于简单或提示无效，双方又缺乏梯度反馈。为此，Seirênes 设计了基于性能降幅的非对称经验奖励机制：
由于解决率严格落在 \([0, 1]\) 之间，对抗者的即时奖励天然被约束在 \([-(1 - \hat{p}(q)), \hat{p}(q)]\) 区间内。这一优良数学性质从机制层面上实现了两端自适应抑制：在困难区间（\(\hat{p}(q) \to 0\)），正向奖励被自然截断，避免对抗者因模型自身知识匮乏而搭便车；在过度简单区间（\(\hat{p}(q) \to 1\) 且 \(\hat{p}(q, h_k) \to 1\)），推理者免疫攻击，对抗者获得的更新量趋近于零。最终，最强烈的正向激励被完全聚集在“纯净状态下能做对、但被提示误导做错”的高价值有效边界上。利用 \(G_1\) 与 \(G_3\) 轨迹平均获得的方差缩减效应，系统采用带截断梯度的 REINFORCE 风格损失直接优化对抗者 token 序列：
3. 解耦更新流与有界FIFO调度：消除梯度干扰并摊销采样开销 三阶段采样机制虽然逻辑完备，但直接将不同角色与语义的梯度进行简单批次混合（Naive Batch Pooling）极易引发策略扰动与破坏。Seirênes 采用三流解耦更新架构，将纯净基线、对抗提示生成以及抗干扰推理分别划分为独立的更新队列。系统首先执行零优势过滤（\(A_s(g) \neq 0\)），剔除缺乏学习信号的全对或全错样本，仅将具备辨别力的数据送入对应的角色专用有界先进先出（Bounded FIFO）缓冲区。当某个更新流积累的数据量达到设定的刷新大小 \(M_s\)（纯净流 \(M_c\)、对抗流 \(M_\mathrm{adv}\)、鲁棒流 \(M_r\)）时，系统才会触发对应分支的参数反向传播，并仅消耗当前批次容量，保留未满溢的有效轨迹，从而消除了传统在线过滤反复拒绝-重新采样的算力浪费。
为应对三阶段采样带来的吞吐瓶颈，系统进一步在工程底层实现了“延迟感知流水线调度（Latency-Aware Scheduling）”：由于 R1 纯净推理与 R2 对抗提示生成均仅依赖原题 \(q\) 且互无依赖，系统将 R2 请求与 R1 并行提交至推理引擎。由于长思维链推理在批次内部序列长度不均，计算引擎中天然存在显存与计算气泡，而短小精悍的 R2 提示生成恰好填充了这些空闲计算槽位，使得 R1+R2 的合并耗时几乎与单次 R1 持平。同时，R1 的客观答案校验被异步置于后台，与 R3 采样阶段重叠执行，最终将推理关键路径压缩到了极限。此外，系统维护已掌握题库（Mastered Set \(\mathcal{M}\)），对即使在对抗提示下也能稳定答对的样本降低采样权重，将算力精准倾斜至最薄弱的推理前沿。
损失函数 / 训练策略¶
整个训练框架由三个并行的损失项驱动： 1. 纯净推理损失（\(\mathcal{L}_\mathrm{clean}\)）：采用标准 GRPO 算法优化 R1 轨迹，保证模型在原始无干扰分布上的数学解题核心能力持续向上演进； 2. 对抗生成损失（\(\mathcal{L}_\mathrm{Adv}\)）：利用上述经验降幅奖励优化对抗者的提示生成分布，不断探索推理者的思维短板； 3. 鲁棒推理损失（\(\mathcal{L}_\mathrm{robust}\)）：同样采用组相对策略优化（GRPO），但在干扰拼接输入 \(q \oplus h_k\) 下展开计算：
优化器采用 AdamW，恒定学习率为 \(1 \times 10^{-6}\)，禁用 KL 惩罚（\(\beta = 0\)），并采用非对称裁剪阈值（\(\varepsilon_\mathrm{low} = 0.2, \varepsilon_\mathrm{high} = 0.28\)）。FIFO 缓冲区设置最大滞后 3 个优化步以防策略漂移。
实验关键数据¶
主实验¶
论文在七大高难度数学竞赛与推理基准（AIME 2024–2026、IMO-Bench、MINERVA Math、OlympiadBench、HMMT 2026）上，对三种不同规模与架构的模型（Qwen2.5-7B、Qwen3-4B、Qwen3-30B-A3B MoE）进行了纯净无提示环境下的独立推理能力评测。各基线均在相同或相当的训练算力预算下展开对比。
| 模型 | AIME24 | AIME25 | AIME26 | IMO-Bench | MINERVA | Olympiad | HMMT26 | 平均得分 (AVG) | 绝对提升 (\(\Delta\)) |
|---|---|---|---|---|---|---|---|---|---|
| Qwen2.5-7B-Instruct | 10.2 | 5.5 | 5.3 | 8.8 | 29.4 | 34.9 | 2.7 | 13.8 | – |
| + ExGRPO | 14.2 | 13.2 | 9.0 | 9.9 | 29.9 | 42.0 | 6.0 | 17.7 | +3.9 |
| + LUFFY | 13.9 | 12.9 | 12.3 | 11.0 | 32.8 | 41.5 | 6.3 | 18.7 | +4.9 |
| + SAGE | 15.8 | 13.7 | 9.3 | 11.2 | 31.6 | 42.2 | 6.3 | 18.6 | +4.8 |
| + DAPO | 14.1 | 12.0 | 9.3 | 9.5 | 30.5 | 42.1 | 4.3 | 17.4 | +3.6 |
| + Seirênes (Ours) | 22.8 | 15.4 | 17.8 | 13.3 | 34.7 | 48.0 | 8.5 | 22.9 | +9.1 |
| Qwen3-4B-Instruct | 61.5 | 48.8 | 56.8 | 34.1 | 35.4 | 66.3 | 31.9 | 47.8 | – |
| + Scaf-GRPO | 61.6 | 49.1 | 54.3 | 33.9 | 38.6 | 67.1 | 32.2 | 48.1 | +0.3 |
| + SAGE | 60.1 | 49.1 | 57.8 | 32.5 | 41.1 | 67.2 | 29.9 | 48.2 | +0.4 |
| + InT | 66.6 | 58.9 | 64.7 | 38.8 | 38.3 | 67.8 | 37.9 | 53.3 | +5.5 |
| + Dr.GRPO | 65.0 | 63.3 | 64.9 | 38.0 | 39.4 | 68.3 | 37.2 | 53.7 | +5.9 |
| + DAPO | 63.0 | 60.2 | 62.2 | 37.7 | 40.1 | 68.3 | 33.0 | 52.1 | +4.3 |
| + Seirênes (Ours) | 74.3 | 64.9 | 70.8 | 41.9 | 42.8 | 71.9 | 39.4 | 58.0 | +10.2 |
| Qwen3-30B-A3B | 75.0 | 60.6 | 75.1 | 40.5 | 35.0 | 70.0 | 41.0 | 56.7 | – |
| + DAPO | 78.6 | 66.8 | 75.2 | 44.3 | 40.6 | 72.8 | 42.3 | 60.1 | +3.4 |
| + Seirênes (Ours) | 81.8 | 74.1 | 79.7 | 46.7 | 41.7 | 74.3 | 49.0 | 63.9 | +7.2 |
消融实验¶
为验证 Seirênes 带来的抗干扰提升能否泛化至训练分布之外的真实扰动，论文测试了模型在结构扰动（MATH-Perturb）与生成式无关干扰项（GSMIR、MMLU-Perturb、OpenBookQA-Perturb）下的表现。下表中，扰动准确率（Perturb Acc）越高越好，鲁棒性退化率（Robustness Degradation）越低越好。
| 模型 | Math-P-Hard (↑) | Math-P-Simple (↑) | 扰动平均准确率 (↑) | GSMIR 退化 (↓) | MMLU-P 退化 (↓) | OBook-P 退化 (↓) | 平均退化幅度 (↓) |
|---|---|---|---|---|---|---|---|
| Qwen3-4B-Instruct | 73.9 | 93.9 | 83.9 | 2.96 | 9.39 | 19.03 | 10.46 |
| + Scaf-GRPO | 71.7 | 93.9 | 82.8 | 3.57 | 9.12 | 19.03 | 10.57 |
| + SAGE | 76.3 | 95.7 | 86.0 | 4.34 | 7.54 | 19.62 | 10.50 |
| + InT | 76.1 | 94.8 | 85.4 | 7.39 | 8.25 | 17.92 | 11.19 |
| + Seirênes (Ours) | 79.1 | 97.4 | 88.2 | 3.05 | 4.91 | 16.21 | 8.06 |
此外，在 40 小时相同物理墙钟算力对比中，Seirênes 显著快于且高于同算力预算下扩大 Rollout 批次的 DAPO（\(G_1=24\)）；在静态对比实验中，由 Gemini 3 Flash 生成的高质量离线静态提示随训练推进迅速饱和失效（有效攻击斜率衰减为负），而 Seirênes 动态在线演化的对抗提示保持了正向攻击增长率（斜率 \(+0.057\%\)/step），最长连续施压周期达 11 步。
关键发现¶
- 对抗演化驱动全面推理提升：Seirênes 在所有评测模型和数据集上均取得显著增益，Qwen3-4B 均分提升高达 +10.2 点，超越了引入外部强模型轨迹的基线方法。在训练集截止日期之后发布的崭新测试集（AIME 2026、HMMT 2026）上，模型同样展现出大幅飞跃，排除了训练数据污染或模板记忆的嫌疑。
- 合作式脚手架的双刃剑效应：引入有益提示的合作基线（SAGE、InT、Scaf-GRPO）在受到对抗干扰时，平均退化幅度（10.50%～11.19%）甚至高于未经微调的指令基模型（10.46%），暴露出对外部提示的“盲从”倾向；而 Seirênes 将平均退化幅度压低至 8.06%，培养了批判性审查提示的严密审题习惯。
- 生成的对抗陷阱具有跨模型可迁移性：4B 参数量 Seirênes 演化出的对抗提示呈现出“特洛伊木马”结构（前置步骤合情合理，中途埋入虚假断言或错误对称性归纳），将其迁移攻击闭源旗舰模型时，导致 GPT-5.1 准确率平均下降 3.9 点，Gemini 3 Flash 下降 5.2 点（在 AIME26 与 IMO-Bench 上分别大跌 10.0 和 12.9 点），证明对抗者学到了普适的数学逻辑陷阱。
亮点与洞察¶
- 将脆弱性转为内生训练动能：传统工作将上下文易受干扰视为模型缺陷或被动防御评测，Seirênes 巧妙将对抗提示合成整合进 RL 自博弈闭环，把被动漏洞转变为主动锻造鲁棒推理的进化磨刀石。
- 单模型自博弈的非对称奖励锚定：无需维护昂贵的双模型对峙，参数共享模型在双角色间自适应平衡；非对称奖励形式天然化解了自我对抗中的梯度崩溃和无效对弈，实现极高的算力转化效率。
- 工程管线极致压榨计算气泡：巧妙利用思维链长尾不均导致的计算气泡填充短对抗序列，并发执行纯净生成与对抗合成，辅以异步验证与 Bounded FIFO 队列，使得三阶段复杂自博弈得以在常规硬件上高效平稳运行。
局限与展望¶
- 采样计算开销依然高于纯净RL：尽管设计了并发流水线与已掌握题目剪枝，但在单个 prompt 上同时维护三阶段采样依然带来了额外的推理计算成本，未来需探索高价值对抗上下文的记忆重用机制。
- 攻击能力的潜在双刃剑风险：模型自主进化生成的“特洛伊木马”数学误导提示具有高度欺骗性与跨模型攻击力，若被恶意滥用可能用于对抗性干扰其他自主智能体系统，需要配套构建安全过滤与防御规范。
- 单一架构容量限制：目前对抗者与推理者强行共享相同的模型容量，未来可探索非对称容量架构（例如轻量级专门对抗头或解耦模型）以进一步拓展博弈的策略空间。
相关工作与启发¶
- vs R-Zero / Absolute Zero: 现有推理自博弈通常聚焦于从零生成新题目或构造自动化验证器；本文将博弈维度锚定在任务上下文本身，保持底层题目与客观验证器绝对不变，直接针对推理推导过程的健壮性进行对抗重塑。
- vs SAGE / Scaf-GRPO / InT: 现有上下文增强方法依赖有益的“脚手架”式指导，易使模型产生上下文依赖依赖与提示盲从；本文反其道而行之，通过对抗性误导提示驱动模型学会批判性检验与纠错，不仅提升了纯净推理，更大幅压低了对抗扰动退化率。
- vs 传统对抗训练 (RARL / PAIRED): 传统对抗强化学习依赖连续控制扰动或参数解耦的双网络架构，本文利用离散自然语言提示实现高层语义扰动，并利用角色提示在单模型参数下完成了端到端闭环训练。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将自然语言对抗提示生成与参数共享自博弈融入可验证奖励推理强化学习闭环。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 大顶尖数学竞赛基准、3 种模型规模、算力等效消融、扰动鲁棒性及对闭源前沿模型的黑盒迁移测试。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨优美，形式化定义精炼清晰，工程实现细节与理论动机紧密自洽。
- 价值: ⭐⭐⭐⭐⭐ 为解决长链条大模型推理在复杂噪声场景下的幻觉与脆弱性提供了通用、高效且不依赖外部教师模型的全新训练范式。