Parameter Exploration for RLVR via Variational Learning¶

会议: NeurIPS 2026
arXiv: 2608.09805
OpenReview: https://openreview.net/forum?id=p3hX7ae4x4
代码: https://github.com/insait-institute/C3PO
领域: LLM 推理
关键词: 强化学习, RLVR, 参数空间探索, 变分学习, GRPO

一句话总结¶

本文提出面向可验证奖励强化学习（RLVR）的扰动参数策略优化（3PO）算法族，利用变分学习从参数后验分布中自适应采样带噪模型生成轨迹，打破动作空间探索受限于相对排序不变的瓶颈，显著缓解 GRPO 的零优势组困境并提升数学与代码推理性能。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR）已成为提升大语言模型复杂推理与代码生成能力的核心后训练技术范式。然而，当前的 RLVR 算法普遍受制于模型在强化学习前的先验能力瓶颈，由于策略完全依赖模型自生成轨迹进行优化，高质量、高奖励的解空间轨迹往往在初始先验分布中概率极低，导致策略在训练早期极难探索到有效路径。这一问题在使用分组相对优势计算（GRPO）时尤为致命：当某道提示词对应的所有采样轨迹要么全对、要么全错时，组内奖励方差归零，优势信号完全消失，形成大量空转的“零优势组（zero-advantage groups）”，严重阻碍训练收敛并浪费巨额算力。

现有应对策略主要集中在动作空间（Action Space）调控，例如提高采样 Softmax 温度、加入熵正则化项或设计优势加权整形机制。然而，调整温度仅能改变输出分布的方差平坦度，本质上严格保留了词表内 Token 的相对排名顺序（Rank-Preserving），根本无法改变生成首选词的相对次序；若强行在高温下采样，全词表概率被均匀拉平，极易引入无关噪声词导致生成退化与乱码。类似地，动作空间探索常常采样出语法残缺或逻辑断裂的无效轨迹，反而加剧了低质 rollouts 的比例。

针对动作空间探索的本质局限，本文转向经典强化学习中久经考验但尚未在 LLM RLVR 中落地的参数空间探索（Parameter-Space Exploration）。通过在模型参数空间采样临近策略，可以在保持轨迹语义连贯的同时直接重排 Token Logit 顺序。核心 idea：利用变分学习（IVON 优化器）在训练过程中自适应学习参数近似后验分布，通过从后验中采样多个带噪扰动策略来生成 rollout，并设计分块噪声采样（C3PO）将各扰动模型的轨迹混合进同一优势组，以此最大化组内探索多样性并拯救零优势组。

方法详解¶

整体框架¶

Perturbed Parameter Policy Optimization（3PO）旨在通过变分参数后验采样，为 RLVR 引入正交于传统动作空间采样的全新探索轴。算法以二阶变分优化器 IVON 为基础，通过对角海森矩阵（Hessian）度量各参数的不确定性，并根据有效样本量（ESS, \(\lambda\)）自适应调控注入参数的方差大小。在训练循环中，系统周期性从变分后验中采样一个或多个参数扰动模型，由扰动模型并发执行环境交互与轨迹 rollout 生成；随后将收集到的轨迹汇聚计算组相对优势，并反向传播更新后验均值与方差。

根据采样模型数量与轨迹分组聚合机制，本文设计了三种递进的探索策略：单样本批处理扰动（B3PO）、多样本蒙特卡洛平均（M3PO）以及分块扰动组聚合（C3PO）。其中 C3PO 将单个提示词的 \(G\) 条 rollout 分配给 \(N\) 个不同的独立参数扰动模型生成，使同一优势计算组内天然包含多个异质策略的解答思路，从而最大化策略间的多样性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 Batch"] --> B["变分后验参数采样<br/>IVON Reparameterization"]
    B --> C["分块扰动生成策略<br/>N 个独立扰动模型各采样 G/N 条轨迹"]
    C --> D["重要性权重序列修正<br/>Seq-MIS 截断过滤分布偏移"]
    D --> E["组内相对优势聚合<br/>混合 N 个扰动模型的 G 条轨迹"]
    E --> F["IVON 梯度反向传播<br/>更新后验均值 m 与对角 Hessian h"]

关键设计¶

1. 变分后验参数采样：基于海森自适应方差的平滑参数空间扰动

传统固定高斯噪声或随机权值扰动容易破坏深层网络的稳定表征，导致输出崩溃。3PO 采用广义变分学习框架，利用 IVON 优化器学习网络参数的高斯近似后验分布 \(q(\boldsymbol{\theta}) = \mathcal{N}(\mathbf{m}, \text{diag}(\boldsymbol{\sigma}^2))\)。在每个优化步中，参数不再是确定性单点估计，而是通过重参数化技巧从后验采样：

\[\hat{\boldsymbol{\theta}} = \mathbf{m} + \boldsymbol{\sigma} \odot \mathbf{z}, \quad \mathbf{z} \sim \mathcal{N}(0, \mathbf{I})\]

其中各维度的标准差 \(\boldsymbol{\sigma}\) 与网络曲率自适应关联，定义为：

\[\boldsymbol{\sigma} = \frac{1}{\sqrt{\lambda (\mathbf{h} + \delta)}}\]

式中 \(\mathbf{h}\) 为在线估计的对角海森矩阵，\(\delta\) 为权重衰减项，\(\lambda\) 为有效样本量（Effective Sample Size, ESS）。平坦方向对应较小的海森值，被允许注入更大噪声以激励宽泛探索；而尖锐敏感方向受到严密约束，避免策略漂移过大破坏语义连贯。\(\lambda\) 起到等效于“参数空间逆温度”的作用，通过单标量即可全局调节探索强度。

2. 分块扰动生成策略：打破组内同质性的 C3PO 聚合机制

直接采用单次扰动（B3PO）虽然能在批次间带来变化，但在当前批次内所有 rollout 仍由同一套扰动参数生成，一旦该参数陷入错误局部，组内依然全部失败产生零优势。M3PO 虽然利用 \(M\) 次蒙特卡洛采样并在各自组内独立计算优势后再做梯度平均，但在固定计算预算下缩减了每个组的规模（\(G/M\)），降低了单组内命中正确解的概率。

为解决这一两难，C3PO 提出了分块噪声机制（Chunked Noising）：对于包含 \(G\) 个 rollouts 的提示词，首先从后验分布中独立采样 \(N\) 个互不相同的参数模型 \(\{\hat{\boldsymbol{\theta}}_1, \dots, \hat{\boldsymbol{\theta}}_N\}\)；每个模型仅负责生成 \(G/N\) 条轨迹。随后将这 \(N\) 组轨迹合并进同一个大小为 \(G\) 的共享候选池，在该混合大组内统一计算相对优势 \(A_{i,t} = (r_i - \text{mean}(\mathbf{r})) / \text{std}(\mathbf{r})\)。由于组内候选轨迹源自具有微小认知差异的不同策略分支，答对与答错的对比信号被大幅激活，直接从源头拯救了原本同质全错的零优势组。

3. 序列重要性加权修正：消除生成模型与更新模型分布漂移的 Seq-MIS 机制

在 C3PO 中，参与轨迹生成的策略是 \(N\) 个临时扰动模型 \(\pi_{\hat{\boldsymbol{\theta}}_n}\)，而参数更新的目标是中心后验模型 \(\pi_{\boldsymbol{\theta}}\)（或下一个扰动点）。这种训练与推理引擎间的策略漂移（Training-Inference Mismatch）会导致常规 token 级重要性采样权重剧烈波动。为此，C3PO 引入了序列级重要性采样与掩码机制（Seq-MIS）。

该机制在序列层级评估生成策略与基准策略的似然比，并将超出稳健阈值范围 \([0.5, 2.0]\) 的异常序列权重予以截断掩码，阻断严重失真样本的破坏性梯度传播。消融实验证实，缺少 Seq-MIS 修正的 C3PO 训练曲线几乎彻底走平无法收敛，这一设计是多参数模型异步生成时确保优化稳定性的关键基石。

损失函数 / 训练策略¶

3PO 采用基于 Token 级的裁剪重要性采样策略目标。对于提示词 \(\mathbf{x} \sim \mathcal{D}\) 及其生成的 \(G\) 个候选响应序列 \(\{\mathbf{y}^{(i)}\}_{i=1}^G\)，目标函数定义为：

\[\mathcal{L}^{\text{3PO}} = \mathbb{E}_{\mathbf{x}, \{\mathbf{y}^{(i)}\}} \left[ \frac{1}{\sum_{i} |\mathbf{y}^{(i)}|} \sum_{i=1}^G \sum_{t=1}^{|\mathbf{y}^{(i)}|} \min \left( R_{i,t} A_{i,t}, \, \text{clip}(R_{i,t}, 1-\epsilon, 1+\epsilon) A_{i,t} \right) \right]\]

其中重要性采样比率 \(R_{i,t} = \frac{\pi_{\boldsymbol{\theta}}(y_t^{(i)} \mid \mathbf{x}, \mathbf{y}_{<t}^{(i)})}{\pi_{\text{old}}(y_t^{(i)} \mid \mathbf{x}, \mathbf{y}_{<t}^{(i)})}\)，裁剪阈值设为 \(\epsilon = 0.2\)。网络优化使用 IVON 优化器，在 RLVR 阶段学习率设为 \(1.0\)，Hessian 初始化为常数 \(h_0 = 0.001\)，\(\beta_1 = 0.9, \beta_2 = 0.9999\)。对于 Olmo-3-7B，有效样本量超参数选定为 \(\lambda = 10^9\)；对于敏度更高的 Qwen2.5-Math-7B 则设定为 \(\lambda = 10^{10}\)。

实验关键数据¶

主实验¶

在 DAPO-MATH-17k 数据集上完成 RLVR 训练后，测试评估覆盖 AIME 2024–2026、MATH-500、AMC 2023 和 Minerva 六大核心数学基准，报告 8 次采样无偏估计的 Pass@1（%）均值与标准误。

模型	方法	AIME '24	AIME '25	AIME '26	MATH-500	AMC	Minerva	平均得分
Olmo-3-1025-7B	SFT 基线	16.68 ± 2.12	21.05 ± 2.26	12.70 ± 2.13	78.07 ± 0.68	51.12 ± 3.53	30.51 ± 0.11	35.02 ± 0.51
	标准 GRPO	25.41 ± 2.92	22.08 ± 2.48	19.16 ± 3.45	84.92 ± 0.47	69.37 ± 3.50	36.99 ± 0.94	42.99 ± 0.51
	GRPO (EntReg)	23.75 ± 2.35	23.33 ± 2.45	17.91 ± 2.68	84.60 ± 0.58	68.43 ± 2.89	36.58 ± 0.95	42.43 ± 0.53
	GRPO (Polaris)	26.25 ± 2.65	20.83 ± 2.63	15.83 ± 3.47	84.87 ± 0.63	64.37 ± 2.94	36.63 ± 0.99	41.46 ± 0.54
	GRPO (KLCov)	24.16 ± 2.23	24.58 ± 2.78	16.25 ± 2.93	83.87 ± 0.68	66.56 ± 3.45	38.28 ± 0.94	42.28 ± 0.49
	B3PO	25.41 ± 2.76	25.00 ± 2.34	15.00 ± 2.34	83.30 ± 0.58	70.31 ± 3.01	37.36 ± 0.92	42.73 ± 0.48
	M3PO	25.83 ± 3.48	24.58 ± 2.53	17.91 ± 2.64	85.05 ± 0.51	69.37 ± 3.27	36.58 ± 0.83	43.22 ± 0.49
	C3PO (本文)	27.50 ± 2.91	26.25 ± 2.58	19.16 ± 2.94	84.52 ± 0.48	70.00 ± 3.43	36.81 ± 0.93	44.04 ± 0.46
Qwen2.5-Math-7B	SFT 基线	14.58 ± 2.50	20.00 ± 3.12	12.50 ± 2.39	65.25 ± 1.93	59.38 ± 2.98	24.59 ± 1.15	32.72 ± 0.36
	标准 GRPO	24.17 ± 3.25	25.42 ± 3.51	20.42 ± 3.05	88.20 ± 0.96	70.62 ± 3.01	43.38 ± 1.20	45.36 ± 0.35
	GRPO (EntReg)	23.33 ± 3.34	24.17 ± 3.67	15.83 ± 3.19	86.28 ± 0.99	65.62 ± 3.06	42.65 ± 1.18	42.98 ± 0.34
	GRPO (Polaris)	22.92 ± 3.46	26.67 ± 3.35	21.25 ± 3.14	87.75 ± 1.02	72.81 ± 2.97	43.29 ± 1.26	45.78 ± 0.32
	GRPO (KLCov)	22.92 ± 3.13	24.58 ± 3.58	20.42 ± 3.20	87.75 ± 0.94	71.88 ± 2.63	43.20 ± 1.24	45.12 ± 0.37
	B3PO	23.75 ± 3.14	25.42 ± 3.65	24.17 ± 3.19	87.68 ± 0.96	72.81 ± 2.62	43.34 ± 1.21	46.20 ± 0.37
	M3PO	23.75 ± 3.11	25.42 ± 3.44	24.17 ± 3.29	88.58 ± 0.95	73.44 ± 3.00	43.01 ± 1.20	46.39 ± 0.36
	C3PO (本文)	25.00 ± 3.21	27.08 ± 3.12	26.25 ± 2.93	88.10 ± 0.93	71.25 ± 2.67	43.61 ± 1.22	46.88 ± 0.38

在代码生成任务（CodeR1-12K 上训练，LiveCodeBench-v6 评测）中，C3PO 取得 15.17 的通过率，显著优于标准 GRPO 及动作空间 baseline，展现出跨任务域的稳健优势。

消融实验¶

针对 Olmo-3-1025-7B 深入分析有效样本量（ESS, \(\lambda\)）敏感度以及各模块变体效果：

配置 / 变体	ESS (\(\lambda\))	平均 Math Pass@1 (%)	说明
C3PO (默认)	\(10^9\)	44.04 ± 0.46	完整模型（\(N=4, G=16\)），兼顾多样性与稳定性
C3PO (小 ESS / 过大噪声)	\(10^8\)	0.00 ± 0.00	噪声过大破坏模型基础能力，导致训练完全崩溃
C3PO (大 ESS / 弱噪声)	\(10^{10}\)	41.42 ± 0.54	噪声过小，策略间差异减弱，探索能力受限
B3PO	\(10^8\)	41.90 ± 0.51	单样本单批次扰动，噪声大时震荡严重
B3PO	\(10^9\)	42.73 ± 0.48	适中噪声，表现略逊于标准 GRPO
B3PO	\(10^{10}\)	42.19 ± 0.53	趋于退化为标准单模型优化
M3PO	\(10^8\)	42.93 ± 0.51	\(M=4\) 独立估计后平均，对小 \(\lambda\) 具有更强容忍度
M3PO	\(10^9\)	43.22 ± 0.49	平衡点，计算均等约束下小组多样性受限
M3PO	\(10^{10}\)	43.59 ± 0.51	较大 \(\lambda\) 下梯度方差更低，微弱提升
C3PO (各向同性各层相同噪声)	\(10^9\)	42.12	缺少 IVON Hessian 曲率指导，后期收敛平台明显变差
C3PO (无 Seq-MIS 序列校正)	\(10^9\)	接近停滞	策略漂移未被校正，Reward 曲线彻底走平

关键发现¶

多模型采样对拯救零优势组至关重要：在整个训练周期内，3PO（特别是 M3PO 与 C3PO）持续从原本 GRPO 全部做错的提示词中挽救出有效解；相反，动作空间方法（Polaris 等）由于高温引起的无序扰动，丢失的成功组远多于挽救的组。
高难度任务收益更显著：在相对复杂的 AIME 系列以及 LiveCodeBench 上，3PO 的增益幅度（最高超 5.8%）明显大于 MATH-500 等基础基准，说明当先验策略能力较弱时，参数空间的定向微扰能够有效解锁隐藏解空间。
SFT 阶段的 Hessian 先验可免除：实验表明加载 SFT 阶段学到的 Hessian 状态与冷启动常数初始化 \(h_0\) 表现无统计差异（SFT 阶段较短导致海森仍近乎各向同性），这意味着 3PO 可即插即用在任何公开开源模型上，无需前置变分微调。

亮点与洞察¶

将参数空间探索引入 LLM RLVR 领域：敏锐指出了传统动作空间探索（如采样温度）受制于相对排名不变性（Rank-Preserving）的机理缺陷，利用模型权重的连续微扰打破这一壁垒。
C3PO 的组间分块汇聚设计：不仅在多模型间分摊生成负担，更巧妙地把参数异质性直接注入到 GRPO 的组归一化分母中，用极小的工程调度代价将“策略异质性”转变为直接的“奖励方差探索信号”。
可复用的通用后训练插件：IVON 优化器仅维护一阶动量与对角海森矩阵，显存占用与标准 AdamW 完全一致，能够作为通用后训练套件无缝整合进各类强化学习基座。

局限与展望¶

工程系统墙钟耗时存在开销：当前由于底层 vLLM 连续批处理引擎对多套参数权重的动态加载支持欠缺，多模型采样目前导致约 1.5 倍的墙钟耗时（尽管理论 FLOPs 几乎完全一致）。
静态超参数与对角近似：当前 \(\lambda\) 为常数静态设置，未引入退火调度机制；同时对角海森矩阵忽略了层间跨权重的协方差结构，探索方向未达完全结构化。
未来方向：探索与非对角后验估计结合、自适应噪声调度策略，以及将参数探索推广至超大规模（70B+）模型在极难竞赛级推理任务上的 Scaling 规律。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将变分参数空间探索深度结合进 LLM RLVR 范式，视角独到且机理解释清晰。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖两大主流模型体系、六大数学基准与真实代码环境，消融实验设计非常完备。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，图文对照紧凑，对动作空间与参数空间探索差异的剖析极为透彻。
价值: ⭐⭐⭐⭐⭐ 为解决推理大模型 RLVR 训练中的熵崩溃与探索受限难题提供了全新的理论与工程路线。