Hide to Guide: Learning via Semantic Masking¶

会议: NeurIPS 2026
arXiv: 2605.25198
OpenReview: https://openreview.net/forum?id=9hZDtNqGcn
代码: https://github.com/mit-han-lab/SMEPO
领域: Reasoning
关键词: 强化学习, 专家轨迹引导, 语义掩码, 奖励作弊, 推理模型

一句话总结¶

针对带可验证奖励强化学习（RLVR）中专家轨迹容易泄露答案引发奖励作弊的问题，提出语义掩码专家策略优化（SMEPO），通过遮蔽关键路径上的答案相关语义跨度同时保留程序性支架，将从头推理转变为完形填空式引导，在数学、代码与搜索任务上显著超越 GRPO 并提速高达 4.2 倍。

研究背景与动机¶

带可验证奖励的强化学习（RLVR）已成为提升大语言模型在数学、代码及多轮搜索等复杂推理任务表现的核心范式。然而，单纯依赖策略模型自探索（self-exploration）面临着严峻的冷启动瓶颈：在具有挑战性的高难度问题上，早期采样生成的 rollout 往往大面积失败，稀疏的二值奖励无法为策略提供有效的学习梯度。为了引导探索，一种自然的思路是向模型注入外部专家轨迹（例如思维链解题过程、参考程序或搜索路径）。但简单的专家轨迹条件注入会引发严重的失效模式——完整专家轨迹具有双重属性，它既包含了高价值的程序性线索（如子问题拆解、解题规划、方程模板），也直接暴露了通向验证器目标的奖励相关关键内容（如最终数值答案、可直接运行的代码实现、多跳搜索的目标实体）。

这种直接暴露在 RLVR 机制下会蜕变为一条非预期的“奖励作弊”（reward hacking）通道。由于结果验证器通常只针对最终输出打分，策略网络倾向于直接“抄袭”上下文暴露的现成答案、数字或代码块来获取高奖励，而非真正学会内在的解题推理与搜索规划能力；一旦脱离专家上下文，策略泛化能力便大幅退化。以往的引导强化学习方法（如截断前缀、自适应提示）试图减轻这一风险，但它们往往采用粗粒度的截断策略，丢弃了大段轨迹，不仅抹杀了专家轨迹中宝贵的高阶解题框架与中间子目标，且实验表明截断比例与性能提升呈非单调关系，依然可能残留泄漏内容。

如何既保留专家轨迹强大的探索引导能力，又彻底切断其奖励作弊通道，是专家引导强化学习的核心矛盾。本文的核心 idea 是将专家引导从“完整展示”转变为“语义完形填空”：提出语义掩码专家策略优化（SMEPO），保留解题骨架与程序性支架，仅对通向验证器关键路径上的奖励相关语义跨度（数值、完整代码、关键实体）进行精细化掩码，迫使模型依托解题规划自主推导核心内容。

方法详解¶

整体框架¶

SMEPO 的整体设计遵循轻量级且与算法正交的原则。系统输入为原始问题 prompt 与外部更强模型生成的专家解题轨迹。在送入策略网络之前，离线预处理模块通过领域特定的轻量规则识别出专家轨迹中所有与验证器奖励强相关的语义跨度，并将其替换为占位符掩码；策略模型在 rollout 采样阶段以“问题 + 掩码轨迹”为上下文生成回答，但验证器依然仅根据策略生成的最终答案计算奖励，并采用标准的 GRPO 目标进行策略更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 任务提示词 x 与完整专家轨迹 τ"] --> B["语义跨度检测<br/>按领域识别验证器强相关语义"]
    B --> C["关键路径语义掩码<br/>生成完形填空式引导轨迹"]
    C --> D["专家引导采样<br/>策略基于上下文生成回答"]
    D --> E["域特定结果验证器<br/>仅对生成结果评估二值奖励"]
    E --> F["标准 GRPO 策略优化<br/>更新策略参数 θ"]

关键设计¶

1. 语义跨度检测：跨领域解耦解题支架与奖励载荷 直接暴露完整轨迹导致作弊的根源在于专家轨迹中混杂了“复用性引导”与“奖励强相关内容”。为了切断作弊通道，SMEPO 提出形式化分解：将轨迹分为包含步骤编排、解题规划与方程框架的程序性引导 \(\tau^{\mathrm{g}}\)，以及直接对应验证器判定目标的奖励相关跨度 \(\tau^{\mathrm{r}}\)。SMEPO 根据不同领域的验证器工作原理，设计了针对性的检测策略： - 数学推理域：验证器比对最终数值答案，但作弊并不局限于最后一步。专家轨迹中的中间运算数值、重复出现的答案值以及逆推推导数字都会泄露解题通道。因此，检测模块通过正则匹配识别轨迹中所有独立的数字跨度（包括整数、浮点数、分式等），但保留步骤编号（如 Step 1）避免破坏上下文逻辑。 - 代码生成域：验证器执行测试用例判定正确性，最直接的作弊源是完整的可执行参考代码块。检测模块精准识别并提取 Markdown 中的代码栅格块，保留外部的自然语言算法思路、边界条件讨论与架构设计，将代码实现部分完全隔离。 - 智能体搜索域：多跳问答验证器检验目标实体匹配。专家轨迹容易暴露关键跳步的检索关键词、支撑页面标题和目标实体，诱导策略跳过实际检索工具调用。检测模块通过 spaCy 命名实体识别与加粗高亮关键词提取，标记所有潜在实体跨度。

2. 关键路径语义掩码：构建完形填空式引导轨迹 粗暴截断前缀会丢失后半部分的解法结构，而随机掩码又无法精准击中作弊载荷。SMEPO 采用语义占位符替换机制，在保持原文语序、排版与推导流程完全不变的前提下，将检测到的 \(\tau^{\mathrm{r}}\) 跨度替换为显式占位标记，生成掩码轨迹 \(\widetilde{\tau} = M(\tau)\)： - 数学任务中替换为 [NUMBER]，形成类似“根据勾股定理可得方程 \(x^2 + [NUMBER]^2 = [NUMBER]^2\)，解得 \(x = [NUMBER]\)”的方程脚手架； - 代码任务中保留语言标识与代码块标记，内部替换为单个 [CODE]，促使模型理解必须在此处实现特定逻辑但必须自主编写函数体； - 智能体搜索中将所有检测到的实体跨度（包括同名重复项）全局替换为 [ENTITY]，保留检索步骤与多跳反思流程，但隐去路径跳转的答案目标。

这种转换巧妙地将高难度的从头探索转化为难度适中的“完形填空”：模型获得了完整的问题拆解与逻辑流动路线，但在关键计算、代码生成与实体推导处必须依赖自身探索来完成闭环。

3. 专家引导采样：零收益作弊的自闭环探索 在策略优化阶段，SMEPO 完全不修改强化学习目标函数与验证器逻辑。训练时，策略网络在上下文拼接的掩码轨迹辅助下进行 rollout 采样：

\[y \sim \pi_{\theta}(\cdot \mid x, \widetilde{\tau})\]

模型看到的是挖空的引导线索，因此无法直接通过复制上下文中的数字、代码或实体而平白获取奖励。为了获得验证器 \(R(x, y)\) 的正向反馈，策略必须在注意力机制中吸收 \(\widetilde{\tau}\) 的宏观逻辑，同时激活自身参数网络独立填充缺失的推理内容。在测试推断时，模型直接脱离专家引导，仅依据问题 \(x\) 自主完成推理，从而彻底规避了对外部完整轨迹的过度拟合与推理依赖。

一个完整示例¶

以数学几何题为例，直观展现不同机制的差异： - 输入问题 \(x\)：“直角三角形的两条直角边分别为 6 和 8，求斜边长及内切圆半径。” - 完整专家轨迹 \(\tau\)：“步骤 1：利用勾股定理计算斜边，斜边 \(c = \sqrt{6^2 + 8^2} = \sqrt{36 + 64} = 10\)。步骤 2：利用面积公式计算内切圆半径 \(r = \frac{a+b-c}{2} = \frac{6+8-10}{2} = 2\)。” - Vanilla GRPO 表现：模型随机探索时容易在公式记忆或多步连环开方计算中出错，多轮 rollout 全部失败，获得 0 奖励，探索陷入停滞。 - Full Expert 条件注入：模型注意力直接定位到“10”和“2”，在生成过程中直接抄录答案获得奖励 1，但其策略并没有学会“勾股定理连环应用”与“面积法公式”的计算本质，遇到新题时仍然崩溃。 - SMEPO 掩码处理后 \(\widetilde{\tau}\)：“步骤 1：利用勾股定理计算斜边，斜边 \(c = \sqrt{[NUMBER]^2 + [NUMBER]^2} = \sqrt{[NUMBER] + [NUMBER]} = [NUMBER]\)。步骤 2：利用面积公式计算内切圆半径 \(r = \frac{a+b-c}{[NUMBER]} = \frac{[NUMBER]+[NUMBER]-[NUMBER]}{[NUMBER]} = [NUMBER]\)。” - SMEPO 引导效果：策略获得了清晰的“步骤 1 勾股定理算斜边 \(\rightarrow\) 步骤 2 面积差求内切圆”解题蓝图，但在每个计算槽位必须自主完成平方累加、开根与分数求值，成功实现正向探索并掌握泛化技能。

损失函数 / 训练策略¶

SMEPO 使用标准的群体相对策略优化（GRPO）目标，无需训练额外的价值网络（Critic）：

\[\max_{\theta} \mathbb{E}_{(x, \tau) \sim \mathcal{D}, y \sim \pi_{\theta}(\cdot \mid x, \widetilde{\tau})} \left[ R(x, y) \right]\]

在具体实现中，数学与代码实验基于 VeRL 框架，搜索实验基于 Search-R1 框架。RL 训练使用 8 张 NVIDIA H100 GPU，单 prompt 生成 8 条 rollout，优化 400 个 step。数学与代码的最大响应长度为 12k tokens，学习率为 \(1 \times 10^{-6}\)；多轮搜索每轮最大长度为 2048 tokens，最大交互轮数为 5，学习率为 \(8 \times 10^{-7}\)。离线预处理极其轻量，处理 1024 个样本在 CPU 节点上仅需 5.96 秒（数学）、1.80 秒（代码）和 29.42 秒（搜索），耗时微乎其微。

实验关键数据¶

主实验¶

在 Qwen3-8B-Base、Qwen2.5-7B 以及 DeepSeek-R1-Distill-Qwen-7B 上，全面评测数学（GSM8K、MATH500、AIME25、AIME26、AMC、OlympiadBench 6 项平均）、代码（HumanEval、HumanEval+、LiveCodeBench 3 项平均）和智能体搜索（Bamboogle 准确率）。

模型与领域	方法	主要基准性能 / 详细指标	任务均分 (Avg.)	相比 GRPO 变化
Qwen3-8B-Base (数学)	基座模型	GSM8K: 68.0, MATH500: 67.0, AIME25: 9.9	38.1	-9.5
	Vanilla GRPO	GSM8K: 91.3, MATH500: 75.2, AIME25: 12.5	47.6	基准 (0.0)
	SFT (DeepSeek-R1)	GSM8K: 88.0, MATH500: 71.2, AIME25: 8.0	41.4	-6.2
	Full Expert (DS)	GSM8K: 76.4, MATH500: 69.2, AIME25: 11.4	41.0	-6.6 (严重退化)
	LUFFY (DS)	GSM8K: 90.4, MATH500: 74.6, AIME25: 14.4	46.9	-0.7
	GHPO (DS)	GSM8K: 79.5, MATH500: 73.6, AIME25: 13.5	44.3	-3.3
	SMEPO (DS)	GSM8K: 92.2, MATH500: 76.6, AIME25: 17.6	50.3	+2.7
	Full Expert (Gemini)	GSM8K: 78.0, MATH500: 68.8, AIME25: 11.6	40.8	-6.8
	SMEPO (Gemini)	GSM8K: 92.3, MATH500: 78.6, AIME25: 16.1	50.3	+2.7
Qwen2.5-7B (数学)	Vanilla GRPO	GSM8K: 87.6, MATH500: 70.2, AIME25: 9.4	42.4	基准 (0.0)
	Full Expert (DS)	GSM8K: 85.3, MATH500: 63.8, AIME25: 5.6	38.6	-3.8
	SMEPO (DS)	GSM8K: 89.0, MATH500: 72.4, AIME25: 10.8	44.5	+2.1
R1-Distill-7B (数学)	Vanilla GRPO	GSM8K: 86.4, MATH500: 84.2, AIME25: 34.0	61.8	基准 (0.0)
	Full Expert (DS)	GSM8K: 87.3, MATH500: 81.0, AIME25: 34.1	60.4	-1.4
	SMEPO (DS)	GSM8K: 87.5, MATH500: 85.4, AIME25: 34.7	62.6	+0.8
Qwen3-8B-Base (代码)	Vanilla GRPO	HE: 67.7, HE+: 59.8, LCB: 42.0	56.5	基准 (0.0)
	Full Expert	HE: 66.5, HE+: 58.5, LCB: 42.0	55.7	-0.8
	SMEPO	HE: 69.5, HE+: 62.2, LCB: 45.3	59.0	+2.5
Qwen3-8B-Base (搜索)	Vanilla GRPO	Bamboogle: 45.6	45.6	基准 (0.0)
	Full Expert	Bamboogle: 23.2	23.2	-22.4 (崩塌)
	SMEPO	Bamboogle: 48.8	48.8	+3.2

消融实验¶

在 Qwen3-8B-Base 上使用相同 1k 困难数学样本，针对不同轨迹暴露与掩码方式展开消融对比：

实验组别	掩码/暴露方案	GSM8K	MATH500	AIME25	AIME26	AMC	Olympiad	六项平均 (Avg.)	说明
完整暴露	Expert (100%)	76.4	69.2	11.4	8.6	52.5	27.7	41.0	严重奖励作弊
前缀截断	Expert (75% 前缀)	86.1	75.0	14.5	11.6	60.0	29.7	46.1	仍残留关键计算数值
	Expert (50% 前缀)	85.2	72.6	13.5	10.3	57.5	28.8	44.7	截断过度破坏引导
	Expert (25% 前缀)	87.1	74.6	14.2	11.0	65.0	30.6	47.1	非单调且均低于 SMEPO
随机掩码	随机单词掩码 (Word)	73.6	67.0	10.2	8.4	50.0	25.2	39.1	预算等同 SMEPO，破坏语法
	随机句子掩码 (Sentence)	75.7	68.0	10.9	9.4	45.0	26.9	39.3	丢失关键推理逻辑
目标导向掩码	仅掩码最终答案 (Mask Final)	82.9	70.4	11.7	9.1	57.5	27.9	43.2	中间值依然可反推答案
	掩码答案所有出现 (Mask Ans. Uses)	89.9	75.2	14.4	13.2	65.0	30.4	48.0	仍残留紧密相关的中间变量
本文方法	SMEPO (全数值掩码)	92.2	76.6	17.6	13.4	70.0	32.0	50.3	彻底封堵作弊通道并保留骨架

关键发现¶

直接注入完整专家轨迹产生普遍负收益：完整专家轨迹在数学上导致 Qwen3-8B 均分从 47.6 断崖下跌至 41.0（-6.6 分），在智能体搜索上更从 45.6 暴跌至 23.2（-22.4 分）。原因在于智能体严重依赖现成答案与实体，彻底破坏了自主发起检索工具调用的探索机制。
训练收敛速度实现数倍加速：达到相同的困难数学目标时，Qwen3-8B-Base 下 GRPO 需耗时 9.90 小时（255 步），而 SMEPO 仅需 2.37 小时（55 步），实现了 4.2 倍 的训练时间加速；Qwen2.5-7B 上提速 1.75 倍，DeepSeek-R1-Distill-7B 上提速 1.32 倍。
作弊诊断指标验证抄袭被有效抑制：在代码任务中，通过最长公共连续子序列比值定义的可见轨迹重合度（Visible-trace overlap）和专家代码相似度（Expert-code similarity）显示，Full Expert 表现出极高的重合度，而 SMEPO 将重合度压至接近零，证明策略并非记忆参考代码，而是学习算法骨架与边界处理逻辑。
与其它引导方法具有良好正交兼容性：在结合提示词自适应精炼方法 GHPO 时，叠加 SMEPO 将数学平均分从 44.0 进一步提升至 45.6，证明掩码专家轨迹与 prompt 精炼提供了互补的增量收益。
大规模拓展与通用能力保持良好：在 89k 规模的大型数学数据集上，SMEPO 仍以 49.4 领先于 GRPO 的 47.8；同时 5-shot MMLU 通用能力测试中，SMEPO 保持 75.7~75.9，完全没有出现 SFT 常见的灾难性遗忘与通用能力回退。

亮点与洞察¶

将探索引导从“灌输答案”重构为“结构完形填空”：敏锐指出了专家轨迹中程序性支架（Procedural Scaffolding）与奖励关键载荷（Reward-Relevant Content）的双重属性，用语义掩码在保护探索多样性与切断作弊之间找到了绝佳平衡。
即插即用且零训练额外开销：无需引入复杂的辅助判别器、无需重构验证器或调整 RL 优化目标，所有掩码仅在 CPU 上完成毫秒级离线正则/实体预处理，可无缝融入任何基于 GRPO / PPO 的开源 RL 框架。
跨领域通用性极佳：通过“按验证器性质设计掩码”的统一设计哲学，打通了数学推理（数值遮蔽）、程序合成（代码块遮蔽）与工具调用搜索（实体遮蔽）三大主流复杂推理域。

局限与展望¶

掩码规则高度依赖启发式匹配：当前数学域依赖正则、搜索域依赖 spaCy 命名实体识别。面对更加模糊的开放域任务或多模态任务（如 GUI 界面交互、具身控制坐标），静态规则可能出现漏掩（导致微量作弊）或过掩（破坏语言上下文连贯性），未来需要结合轻量级小模型或交互语义解析器自动识别关键路径。
未动态退火掩码难度：目前的掩码策略在训练全周期是静态固定的。若能在训练初期提供更多低难度引导、随策略成熟逐步加大掩码比例直至完全脱离专家引导（Curriculum Masking），可能会进一步挖掘策略模型的极限能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 概念简洁直指痛点，清晰揭示专家引导 RLVR 的奖励作弊机制并提出语义掩码解法
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大主流领域、多种模型架构与专家源，包含详细的消融分析与作弊诊断
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，图表清晰，论点与实验证据紧密呼应
价值: ⭐⭐⭐⭐⭐ 极具实用工程价值，为解决复杂长程推理探索匮乏与作弊瓶颈提供了低成本强效工具