Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding¶

会议: NeurIPS 2026
arXiv: 2610.07342
代码: https://github.com/VietHoang1512/rgpo
领域: Reasoning
关键词: 强化学习, 纯在线探索, 推理脚手架, 自适应提示, 奖励稀疏性

一句话总结¶

针对可验证奖励强化学习（RLVR）在困难推理任务中面临的严重奖励稀疏与容量瓶颈，本文提出自适应脚手架指导的策略优化框架（RGPO），将参考推理过程仅作为模型在线自我修订的临时脚手架，并通过奖励门控仅将超越无提示表现的模型自生成高质量解回填蒸馏到原始无提示分布中，大幅提升语言与视觉语言模型的推理能力与样本效率。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR，如 PPO、GRPO 等）已成为激发大语言模型与视觉语言模型长链条复杂推理能力的核心范式。然而，纯在线策略（on-policy）强化学习的优化效率高度受限于当前策略模型的推理容量。当训练样本超出模型当前解决能力时，模型在给定的采样预算内可能完全无法生成正确的解题轨迹，导致可验证奖励极端稀疏甚至全局归零。这种能力与难度的错配在中小规模模型（如 2B/3B）上尤为严重，策略梯度算法因缺乏正向奖励梯度而陷入停滞，无法在最有价值的困难样本上取得突破。

现有尝试缓解奖励稀疏的方法大多依赖外部示范或离线专家轨迹（如专家 SFT、混合优化或拒绝采样）。然而，这类方案存在深刻的核心矛盾：直接在参考解答上进行似然最大化往往会强迫模型拟合偏离自身自然输出分布的专家轨迹，引发严重的分布偏移、浅层记忆与退化泛化；同时，强行要求外部数据与 RL 任务统一输出格式也会给小模型带来巨大的格式学习负担。此外，固定或全程暴露外部提示（Always-on Hint）容易诱导模型产生“提示滥用”（Hint Abuse），使模型退化为走捷径输出答案，而在测试期去除提示时推理能力完全崩溃。

受认知心理学中“生产性失败”（Productive Failure）与“支架式教学”（Scaffolding）的启发，学习者在接收指导前必须先经历自主解题的挣扎，且外部指导只能作为渐进式退出（fading）的临时脚手架而非直接抄袭的目标。本文的核心 idea 是：将标准 RL 探索与动态脚手架修订解耦，模型先在无提示下自主探索，仅在探索失败时引入自适应长度的中间推理链辅助生成自修正轨迹，且只有经奖励验证严格优于无提示尝试的自生成解，才以纯无提示 prompt 为条件进行监督对齐蒸馏，从而在不改变推理期输入的前提下打破探索困境。

方法详解¶

整体框架¶

RGPO 构建在标准 RLVR 训练循环之上，将每个训练样本的处理划分为“无提示探索阶段”与“自适应脚手架引导修订阶段”。在每一轮训练中，模型首先在原始无提示输入下进行标准策略采样，计算基于组内相对奖励（GRPO）或全局归一化（REINFORCE++）的策略梯度损失。当且仅当无提示采样的所有轨迹均未能攻克问题时，调度器根据历史表现动态截取参考题解的前缀片段，构建包含原题、部分参考推理链与历史错误反馈的修订提示词（Refinement Prompt），促使模型自我纠错生成独立的完整候选解。生成的候选解必须通过验证器检验，唯有达到更高奖励且严格优于无提示轨迹的样本才被采纳至辅助缓存池中，最终在条件仅为原始无提示 prompt 的分布下进行对齐更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本与参考题解<br/>Prompt x, Rationale s, Answer a"] --> B["阶段一：无提示探索<br/>采样 K 条轨迹计算 RLVR 损失"]
    B --> C{"解题状态检验<br/>是否至少存在一条正确轨迹？"}
    C -->|是：成功探索| D["收缩脚手架级别<br/>减少下一轮提示量"]
    C -->|否：全部失败| E["阶段二：脚手架修订<br/>依据 hint level 截取 s 前缀构建修订 Prompt"]
    E --> F["引导生成与奖励门控<br/>模型生成候选解，检验 r(y) > max(r_unguided)"]
    F -->|通过门控| G["无提示条件监督蒸馏<br/>在原始 Prompt x 下最大化 log π(y)"]
    F -->|未通过| H["丢弃无效修订候选"]
    G --> I["阶段三：状态自适应更新<br/>递增脚手架级别并更新策略参数"]
    D --> I

关键设计¶

1. 自适应脚手架调度：依能力动态调配引导强度

为了解决认知辅导中的“援助困境”（Assistance Dilemma，即援助过少导致陷入停滞、援助过多诱导浅层走捷径），RGPO 摒弃了全局固定的提示方案，设计了自适应渐进课程调度器。整个训练划分为 $N+1$ 个阶段（epoch），第 0 阶段完全关闭脚手架（提示长度级别 $g_i^{(0)}=0$），用于准确探测模型对各样本的固有初始解决能力。在后续阶段中，参考推理链 $s_i$ 被切分为 $N$ 个有序片段，模型在第 $t$ 阶段接收的前缀长度为 $h_i^{(t)} = [s_{i,1}; \ldots; s_{i,g_i^{(t)}}]$。

调度的核心机制在于动态双向反馈更新：如果在阶段 $t$ 模型在无提示下依然未能采样到任何正确轨迹（即正确性指示器 $C_i^{(t)} = 0$），则下一阶段脚手架级别增加 1（暴露更多前缀片段帮助探索）；反之，只要无提示采样中涌现出至少一条正确轨迹（$C_i^{(t)} = 1$），则下一阶段级别减少 1，将辅助退火撤除： $$g_i^{(t+1)} = \begin{cases} \min(g_i^{(t)} + 1, N), & \text{if } C_i^{(t)} = 0 \\ \max(g_i^{(t)} - 1, 0), & \text{if } C_i^{(t)} = 1 \end{cases}$$ 该机制确保了计算资源和指导强度精确聚焦于模型当前解题的“最近发展区”，在保持模型独立推理泛化性的同时消除无效探索。

2. 奖励门控修订过滤：将引导轨迹作为提议分布

外部提供的推理链或专家解法可能并不完全契合当前模型的推理风格，甚至在现实应用中包含噪声或格式缺陷。RGPO 并不假定每一次引入提示都能带来有效的推理，而是将引导下的前向推理视为一种“候选生成分布”（Proposal Distribution）。

在引导生成阶段，模型输入由原题 $x_i$、部分推理脚手架 $h_i^{(t)}$ 以及上一轮错误解的格式与准确率反馈 $f_i^{(t)}$ 组合而成，生成独立的修订候选 $\tilde{y}$。随后，验证器对候选解施加严格的奖励门控准则（Reward Gate）： $$\tilde{y}_{i,k}^{(t)} \in \mathcal{B}_{\mathrm{RGPO}} \iff \tilde{r}_{i,k}^{(t)} > \max_{j} r_{i,j}^{(t)} + \delta$$ 在精确奖励设定下（$\delta = 0$），只有当修订轨迹的奖励严格超越所有无提示候选（即成功由错转对）时，才被接纳。未通过验证的引导生成直接丢弃，从根本上阻断了错误推理或幻觉解法对训练过程的毒化。

3. 跨上下文监督蒸馏：从脚手架条件向真实任务分布迁移

常规辅助学习方法往往在附带提示的上下文 $\tilde{x}_i^{(t)}$ 下优化似然，这会导致模型产生测试期的上下文依赖——一旦评估时去掉提示，模型表现就会发生雪崩式下滑。

RGPO 采用了解耦的交叉蒸馏设计。虽然高质量解 $\tilde{y}$ 是在包含脚手架的富信息提示 $\tilde{x}_i^{(t)}$ 下激发出来的，但在参数更新时，辅助损失函数强制以原始无提示问题 $x_i$ 为条件： $$\mathcal{L}_{\mathrm{SFT}}(\theta) = -\mathbb{E}_{(x_i, \tilde{y}) \in \mathcal{B}_{\mathrm{RGPO}}} \left[ \sum_{\tau=1}^{|\tilde{y}|} \log \pi_\theta (\tilde{y}_\tau \mid x_i, \tilde{y}_{<\tau}) \right]$$ 联合优化总损失函数为 $\mathcal{L}_{\mathrm{total}}(\theta) = \mathcal{L}_{\mathrm{RL}}(\theta) + \lambda_t \mathcal{L}_{\mathrm{SFT}}(\theta)$。这一设计的精髓在于：提示只是唤醒正确轨迹的探索催化剂，最终沉淀到参数中的是模型在纯净输入下自主复现完整优质推理链的能力。

一个完整示例¶

考虑一个长链条立体几何计数问题：“长方体切去 8 个角后新图形有多少条棱？” 1. 阶段 1（无提示尝试）：模型输入原题，生成候选解：“每个角切掉后增加 1 条棱、减少 2 条棱，因此 $24$ 条棱”。验证器判定错误（准确率得分 0，奖励为 0）。无提示下 $K=4$ 条轨迹均未命中。 2. 阶段 2（构建脚手架）：由于 $C_i = 0$，系统激活 $1/3$ 脚手架（如提示文本：“思考长方体原有的 12 条棱，每个角被切掉后会发生什么变化…”）并附带前次格式与错误反馈，指令要求模型在 <think> 内重新生成完整独立解答。 3. 模型生成修订解：在结构提示引导下，模型纠正分析：“长方体初始有 12 条棱、8 个顶点；每个顶点被切去会生成一个三角形切面，产生 3 条新棱且原棱缩短但不消失；新增 $8 \times 3 = 24$ 条，最终共有 $12 + 24 = 36$ 条棱，最终答案 \boxed{36}”。 4. 奖励门控与蒸馏：验证器给出 1.0 满分，严格高于先前的 0 分，轨迹入池；随后在不含“思考长方体原有…”的纯净原题 Prompt 下最大化该解答的对数似然；下一轮该题脚手架级别回退。

损失函数 / 训练策略¶

训练采用两阶段批次策略，强化学习基线采用 GRPO 或 REINFORCE++。GRPO 对每题的 $K$ 个无提示采样进行局部组归一化优势估计；当 $\mathcal{B}_{\mathrm{RGPO}}$ 包含合格样本时，计算有监督辅助损失并乘上自适应加权系数 $\lambda_t \in [10^{-4}, 10^{-2}]$。训练底座语言模型选用 Qwen2.5-3B（在 DAPO-Math-27K 上训练 3 个 epoch），多模态模型选用 Qwen2-VL-7B-Instruct 与 2B-Instruct。采用 FSDP2、bfloat16 全精度与梯度检查点进行高效训练。

实验关键数据¶

主实验¶

在纯文本数学与综合推理评测中（评测时严格无任何提示），RGPO 在分布内四大数学基准（AIME24、MATH-500、OlympiadBench、Minerva Math）与分布外泛化基准（ARC-C、GPQA-Diamond、MMLU-Pro）上全面大幅超越同类方法：

方法	AIME24 (avg@32)	MATH-500	OlympiadBench	Minerva Math	In-Dist Avg	ARC-C	GPQA-D	MMLU-Pro	Out-Dist Avg
Vanilla Qwen2.5-3B	2.9	39.8	12.0	9.8	16.1	44.8	11.4	28.8	28.3
GRPO (标准RLVR)	4.3	44.0	18.2	12.2	19.7	45.0	11.8	28.0	28.3
CHORD (动态SFT加权)	4.5	46.6	20.2	13.0	21.1	40.0	11.0	26.4	25.8
LUFFY (离线策略引导)	3.3	40.0	18.0	13.2	18.6	40.8	11.2	24.0	25.3
GHPO (自适应引导)	4.0	42.2	19.6	12.8	19.7	45.5	12.0	28.2	28.6
QuestA (问题增广)	3.9	42.0	19.6	12.4	19.5	44.8	12.0	29.0	28.6
BREAD (专家锚点分支)	4.1	44.4	20.4	13.4	20.6	45.5	11.8	29.2	28.8
HINT (前序SOTA)	4.9	48.6	20.2	13.4	21.8	48.8	11.8	30.2	29.9
RGPO (本文)	5.1	55.2	24.9	22.1	26.8	51.2	14.7	30.8	32.2

在多模态视觉数学推理评测中（以 Qwen2-VL-7B 为底座，评测 MathVista-Math 与 MMStar-Math）：

模型 / 方法	MMStar-Math (Overall)	MathVista-Math (All)	MV-GEO	MV-ALG	MV-GPS	MV-TQA
Qwen2-VL-7B-Instruct (基座)	46.4	41.11	35.85	41.57	36.54	56.45
LLaVA-OneVision-7B	-	67.04	69.34	67.04	69.71	58.06
InternVL2-8B	66.8	62.59	62.26	62.92	62.50	62.90
Qwen2.5-VL-7B-Instruct	66.8	66.66	65.56	66.29	65.87	69.35
R1-VL-7B	68.4	69.63	68.87	69.66	69.71	69.35
Mulberry (多模态推理模型)	66.8	68.52	67.92	68.54	68.75	67.74
MM-Eureka (纯RLVR)	-	72.59	71.22	72.66	72.60	72.58
RGPO (Qwen2-VL-7B + 本文)	70.1	73.65	73.47	73.62	73.89	70.35

消融实验¶

在合成受控仿真实验（包含含噪专家参考，测试集划分为简单任务与必须经历 4 步困难决策的困难任务）中，对核心组件进行了完全消融：

配置 / 变体	测试全集准确率 (%)	困难测试集准确率 (%)	简单测试集准确率 (%)	困难训练集拟合率 (%)	机制分析与诊断
RGPO (完整方案)	99.4 ± 0.1	99.5 ± 0.2	99.3 ± 0.1	99.5 ± 0.1	兼顾简单与困难样本，成功打破稀疏奖励探索屏障
Unguided GRPO (标准RL)	74.2 ± 1.5	0.0 ± 0.0	99.1 ± 0.1	0.0 ± 0.0	困难任务无正样本采样，梯度归零陷入彻底停滞
Full hint (全程暴露完整提示)	1.0 ± 0.0	1.0 ± 0.0	1.0 ± 0.0	1.0 ± 0.0	产生严重提示依赖与捷径学习，去提示后准确率退化至随机盲猜
Hint-conditioned RL	74.4 ± 1.4	0.4 ± 0.8	99.3 ± 0.1	0.4 ± 0.9	在提示上下文中优化策略梯度，跨分布迁移效率极差
RL + SFT(ref) (混合参考SFT)	77.9 ± 0.7	12.8 ± 5.6	99.7 ± 0.0	18.7 ± 1.6	强行拟合含有噪声/错误的参考解答，错误决策被反复固化
RGPO w/o gate (去除奖励门控)	77.8 ± 0.8	12.8 ± 5.6	99.5 ± 0.1	18.7 ± 1.6	错误修订被无差别蒸馏，性能与单纯专家 SFT 完全一致
RGPO, full hint always	1.0 ± 0.0	1.0 ± 0.0	1.0 ± 0.0	71.2 ± 0.5	严重过拟合训练集提示，泛化准确率崩溃至 1%

关键发现¶

奖励门控是安全蒸馏的生命线：消融数据显示，一旦去除奖励门控（RGPO w/o gate），模型在困难任务上的准确率立即从 99.5% 暴跌至 12.8%。这是因为不经检验的引导轨迹可能包含错误，盲目蒸馏会强化错误认知。
全提示（Full Hint）导致致命的推理捷径：如果全程给模型提供完整解答，训练期奖励虽迅速蹿升，但模型生成的 token 长度显著缩短，完全蜕变为从提示中搬运答案；测试期去除提示后准确率坍塌至 1.0%。
样本利用效率实现成倍跨越：在 Qwen2-VL-2B 实验中，RGPO 达到 GRPO 最终收敛精度所需的训练步数减少了 2.95 倍（约 $3\times$ 加速），且最终性能显著更高；对于极不稳定的 REINFORCE++，RGPO 彻底解决了其梯度发散或不收敛的问题。
动态调度有效减少提示依赖：统计显示，进入自适应阶段时仅约 20% 的样本激活了脚手架，随着训练深入，该比例在第 3 轮自动回退至 15%，验证了脚手架在模型自主掌握解题能力后成功淡出（fading）。

亮点与洞察¶

将外部题解降级为“脚手架提议”而非“拟合目标”：传统离线 RL 或混合 SFT 极力让模型拟合专家 token 序列，RGPO 则独辟蹊径——只用专家题解触发模型自身的修正，最终模型只学习由自己策略产生的高奖励轨迹，巧妙避开了格式冲突与分布不匹配。
富上下文引导，贫上下文优化：生成修订时提供充分提示与历史反馈，更新参数时则剥离所有辅助信息、仅对原始问题求似然。这一设计从根源上杜绝了对推理期外部提示的依赖，实现了真正意义上的推理能力沉淀。
格式鲁棒性与探索熵保持：实验表明，在结构繁琐的模板（如 Mulberry）下混合 SFT 会引发剧烈的策略熵崩溃（Entropy Collapse），而 RGPO 配合简洁的 <think> 标签能够在稳步提升胜率的同时维持健康的策略熵，保护多样化推理探索。

局限与展望¶

依赖初步的参考推理数据：RGPO 虽然不要求参考数据格式与 RL 统一，但仍需数据集中存在可用于切分的参考解答或解析（如竞赛解析、程序解法等），在完全没有专家参考痕迹的纯开放探索领域难以直接套用。
双阶段采样的额外显存与前向计算开销：对于未解出的样本需要执行额外的引导前向生成，尽管被门控的高质量样本只有一部分，但相比标准单轮 rollout 增加了约 30%-50% 的推理开销。
未来方向：探索动态基于模型不确定性自动生成提示切分粒度，而非简单的字符/词元均匀切分；将该框架拓展到多步 Agent 工具调用与长程代码生成中。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将认知心理学支架式教学理论优雅映射到 RLVR 探索与无提示跨上下文蒸馏中]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖受控合成仿真、3B 语言模型多项数学/常识基准以及 2B/7B 多模态视觉语言模型，分析极为透彻]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑紧密，理论分析（命题 1 与定理 2）严谨，实验图表信息量极其丰富]
实用价值: ⭐⭐⭐⭐⭐ [代码已开源，能以极高性价比解决中小模型推理 RL 训练停滞与奖励稀疏顽疾]