Consolidating Rewarded Perturbations for LLM Post-Training

会议: NeurIPS 2026
arXiv: 2605.31494
代码: https://github.com/oooranz/CoRP
领域: LLM对齐
关键词: 大语言模型后训练, 无梯度优化, 权重扰动聚合, 兼容性重加权, 验证门控

一句话总结

针对权重空间后训练（如 RandOpt）在推理阶段需对测试样本执行数十次前向推理投票的高昂代价，本文提出无梯度算子 CoRP，通过发掘高奖励扰动在权重空间的低秩子空间共性并结合兼容性重加权与留出验证门控，以单次前向推理部署合并更新，在仅用十分之一采样预算下恢复超半数集成增益。

研究背景与动机

大语言模型的后训练（Post-Training）通常被形式化为“采样-评分-更新”的强化学习循环。以基于可验证奖励的强化学习（RLVR）与同策略蒸馏（On-Policy Distillation）为代表的主流技术路线，本质上均通过梯度下降将轨迹级或词元级的奖励信号反向传播写回模型权重。大量关于思维链与推理微调的机理研究表明，后训练的核心作用并非凭空植入全新的推理回路，而是激发并激活预训练阶段模型已蕴含的能力。基于这一洞察，近期以 RandOpt 为代表的探索将该循环直接平移到参数权重空间：围绕预训练底座权重采样高斯扰动，在小型支持集上筛选出高奖励的“任务专家”，并在推理阶段通过多数投票（Majority Vote）聚合这些专家的预测。

然而，RandOpt 的预测级集成（Prediction-Level Ensembling）面临着极高的部署代价与形式局限。为了取得与 PPO/GRPO 相当的性能，其推理时通常需要 \(K \approx 50\) 次模型前向计算，且基于多数投票的离散集成机制无法直接推广至自由形式的开放式文本生成任务。一个直接的替代思路是将这些高奖励扰动直接折叠整合为单次权重更新。但在高维参数空间中，各独立扰动之间近乎相互正交，简单的奖励加权平均会因为不同专家方向的相互干涉而导致有效信号被抵消，无法实现增益融合；而已有的模型合并技术大多基于独立微调检查点构建，无法直接应对随机扰动群体的正负号与曲率特性。

通过对 5 个模型族、5 类推理任务构成的 25 组“模型-任务”对进行系统诊断，本文发现所有任务的高奖励扰动均在固定的坐标投影子空间中展现出稳健可复现的低秩结构，但仅有 40% 的设定存在统计显著的均值方向共识。这一几何事实揭示了共享信号的存在性与异构性。核心 idea：将高奖励扰动的整合解耦为“奖励提议方向”与“基于对齐与正交色散的兼容性重加权”，并引入严格惩罚回归的留出验证门控，构建单次前向可部署的无梯度后训练更新算子。

方法详解

整体框架

CoRP（Consolidating Rewarded Perturbations）旨在将无梯度采样获得的高奖励扰动群体 \(\mathcal{P} = \{(\Delta_i, r_i)\}_{i=1}^N\) 整合为单一的模型更新量 \(\bar{\Delta}\)，使部署模型 \(\hat{\theta} = \theta_0 + \eta \bar{\Delta} / \|\bar{\Delta}\|\) 仅需单次前向推理。方法将小型任务支持集 \(D_{\mathrm{sup}}\)（如 200 个样本）划分为互不重叠的三折数据：构建折 \(A\)、门控验证折 \(B\) 和步长探测折 \(P\)。

流程整体分为两个递进的加权通道与严谨的验证级联：首先在构建折 \(A\) 上依据奖励分位数筛选精英扰动并计算第一阶段的提议方向；随后评估每个扰动对该提议方向的投影对齐度与正交色散，抑制引入不相容结构的高奖励扰动，得到整合更新方向；最后通过留出验证门控评估净收益并剔除回归样本，校准部署步长后交付模型，必要时可执行协方差自适应的中心迭代。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["预训练权重与支持集数据<br/>θ0 及划分数据集 A, B, P"] --> S1["奖励加权提议<br/>筛选 top-q 分位数扰动并指数加权"]
    S1 --> S2["兼容性重加权<br/>结合方向对齐度与正交色散抑制干涉"]
    S2 --> S3["留出验证门控<br/>评估构造得分并严惩回归样本"]
    S3 --> S4["局部中心迭代<br/>低秩协方差自适应多轮探索"]
    S4 --> Out["单模型部署交付<br/>θ^ = θ0 + η Δ¯ / ‖Δ¯‖"]

关键设计

1. 奖励加权提议：通过指数倾斜提炼精英群体的主导方向

直接使用全量随机扰动会引入海量低奖励噪声。CoRP 首先提取支持集构建折 \(A\) 上奖励排名前 \(q\) 分位数的精英扰动子集 \(E_q = \{i : r_i \ge \tau_q\}\)。为了放大高分扰动的主导作用并兼顾群体平滑，采用带有逆温度超参数 \(\beta > 0\) 的 softmax 指数加权计算一阶段先验均值方向 \(m^{(1)}\)：

\[w_i^{(1)} = \frac{\exp(\beta r_i)\,\mathbf{1}[i \in E_q]}{\sum_{j} \exp(\beta r_j)\,\mathbf{1}[j \in E_q]}, \qquad m^{(1)} = \sum_{i=1}^N w_i^{(1)} \Delta_i\]

该提议向量提炼了支持集上行之有效的作用方向，但仅反映了单体有效性（Usefulness），并未度量不同扰动相互叠加时的相容性。

2. 兼容性重加权：联合对齐度与正交色散消除方向干涉

高奖励扰动可能携带着与群体主方向冲突的正交分量。为了防止不相容结构破坏模型的既有能力，CoRP 为每个精英扰动计算两个几何指标：与提议方向 \(m^{(1)}\) 的余弦相似度 \(a_i = \cos(\Delta_i, m^{(1)})\)（度量支持度），以及在正交补空间上的投影平方残差 \(d_i = \|\Delta_i - \Pi_{m^{(1)}}\Delta_i\|^2\)（度量色散干涉）。随后在二阶段加权中将两者经 \(z\)-score 标准化后纳入指数项：

\[w_i^{(2)} = \frac{\exp\left(\beta r_i + \gamma_a z(a_i) - \gamma_d z(d_i)\right)\mathbf{1}[i \in E_q]}{\sum_j \exp\left(\beta r_j + \gamma_a z(a_j) - \gamma_d z(d_j)\right)\mathbf{1}[j \in E_q]}\]

式中 \(\gamma_a\) 强化与共识方向一致的基向量，\(\gamma_d\) 惩罚向正交维度发散的扰动，从而计算得到凝聚更新量 \(\bar{\Delta} = \sum_{i=1}^N w_i^{(2)} \Delta_i\)。该机制成功将模型合并（Model Merging）的思想拓展至无梯度的单底座扰动合并场景。

3. 留出验证门控：严格惩罚回归并动态校准部署步长

在有限支持集上计算的更新容易过拟合。CoRP 引入严格的交叉验证拦截机制，将支持集拆出互斥的验证折 \(B\) 与探测折 \(P\)。在构建折 \(A\) 上生成的候选更新 \((q, \beta, \eta)\) 需在折 \(B\) 上接受构造得分 \(s^B\) 与准确率下置信界（LCB）的双重检验：

\[s^A(q, \beta, \eta) = \frac{|F^A(q, \beta, \eta)| - \lambda |G^A(q, \beta, \eta)|}{|A|}, \qquad \widehat{\mathrm{LCB}} = \widehat{\Delta\mathrm{Acc}} - z_{\mathrm{LCB}}\,\widehat{\mathrm{SE}}(\Delta\mathrm{Acc})\]

其中 \(F\) 为模型修补的错题集合，\(G\) 为底座原本做对但更新后出错的退步集合（Regressions），惩罚权重设为 \(\lambda = 2.0\)。只有当候选更新在验证折 \(B\) 上构造得分大于 0 且准确率改变量的单侧 95% 置信下界显著为正时才被准许进入下一轮；若所有候选均未达标，则算子主动放弃更新（Abstain）并回退到原始底座权重 \(\theta_0\)。最后在探测折 \(P\) 上针对乘子网格 \(\{\alpha_j\}\) 校准实际部署步长 \(\alpha \eta\)。

4. 局部中心迭代：基于低秩协方差自适应的多轮空间探索

单次扰动采样受限于以 \(\theta_0\) 为中心的高斯覆盖范围。当首轮更新 \(\theta_1\) 被门控接收后，局部流形发生迁移。CoRP 支持在更新后的中心继续迭代，利用前一轮精英扰动的兼容性加权二阶矩矩阵拟合局部协方差：

\[\Sigma_t = \lambda_{\mathrm{iso}} I_d + (1 - \lambda_{\mathrm{iso}}) U_t \Lambda_t U_t^\top\]

式中 \((U_t, \Lambda_t)\) 为前一轮精英扰动的截断秩 \(r=8\) 特征分解，\(\lambda_{\mathrm{iso}} = 0.5\) 维持各向同性底噪以保留探索自由度。新一轮扰动在此有偏协方差下生成，并通过完全相同的留出折门控机制判定是否推进至 \(\theta_{t+1}\)，使得无梯度探索能沿着高收益低秩流形持续演进。

实验关键数据

主实验

在 5 种参数规模（0.5B 至 8B）、3 种架构底座（Qwen2.5、OLMo3、Llama-3.1）以及涵盖算术搜索（Countdown）、小学数学（GSM8K）、奥数级复杂推理（OlympiadBench）、创意写作（ROCStories）和代码生成（MBPP）的 25 组基准上全面评测。CoRP 采样预算仅为 \(N=500\)（为 RandOpt 的 1/10），在保持单次前向推理的前提下全面对比基线。

模型	方法	训练成本 (FLOPs)	推理前向数	25对均分	Countdown	GSM8K	OlyBench	ROCStories	MBPP
全平均 (25对)	Base	–	1	41.9	–	–	–	–	–
	PPO	\(1\times 10^6\)	1	47.7	–	–	–	–	–
	GRPO	\(1\times 10^6\)	1	48.8	–	–	–	–	–
	RandOpt (K=1)	\(1\times 10^6\)	1	43.5	–	–	–	–	–
	RandOpt (K=50)	\(1\times 10^6\)	50	56.3	–	–	–	–	–
	CoRP (本文)	\(\mathbf{1\times 10^5}\)	1	50.0	–	–	–	–	–
Qwen2.5-3B-Inst	Base	–	1	59.7	10.0	79.8	24.5	54.7	69.5
	PPO	\(1\times 10^6\)	1	55.6	35.3	83.1	34.4	49.0	76.3
	GRPO	\(1\times 10^6\)	1	55.6	32.6	83.2	29.0	56.3	77.0
	RandOpt (K=1)	\(1\times 10^6\)	1	49.1	10.4	81.4	30.3	54.6	69.1
	RandOpt (K=50)	\(1\times 10^6\)	50	59.4	58.4	87.1	39.2	56.5	75.9
	CoRP (本文)	\(\mathbf{1\times 10^5}\)	1	56.2	36.9	82.3	32.5	59.1	70.3
OLMo3-7B-Inst	Base	–	1	61.3	64.8	82.9	28.7	64.0	65.9
	PPO	\(1\times 10^6\)	1	63.4	69.0	88.4	28.0	64.7	67.7
	GRPO	\(1\times 10^6\)	1	64.0	68.5	87.0	27.9	65.8	70.8
	RandOpt (K=1)	\(1\times 10^6\)	1	64.2	74.4	83.2	37.5	64.2	66.5
	RandOpt (K=50)	\(1\times 10^6\)	50	70.0	85.0	89.5	35.4	64.5	75.1
	CoRP (本文)	\(\mathbf{1\times 10^5}\)	1	67.4	78.9	84.8	39.2	64.8	69.1

消融实验

在 Qwen2.5-3B-Instruct 与 OLMo3-7B-Instruct 上对各核心组件进行解耦消融（指标为测试准确率及相对底座的增量 \(\Delta\)）。

配置	Qwen-3B GSM8K	Qwen-3B ROCStories	OLMo-7B GSM8K	OLMo-7B ROCStories	说明
Base	79.81 (–)	54.73 (–)	82.92 (–)	64.04 (–)	原始未经后训练的预训练底座
reward only (\(\gamma_a=\gamma_d=0\))	80.97 (+1.16)	54.70 (-0.03)	84.16 (+1.24)	63.31 (-0.73)	仅按奖励指数加权平均，易出现负迁移
reward + alignment (\(\gamma_d=0\))	80.89 (+1.08)	53.97 (-0.76)	84.69 (+1.77)	62.82 (-1.22)	仅强调方向对齐度，缺乏对正交扩散的约束
reward + dispersion (\(\gamma_a=0\))	79.76 (-0.05)	54.66 (-0.07)	84.57 (+1.65)	63.40 (-0.64)	缺乏明确主导方向时单独惩罚色散效果微弱
no gate (无验证门控)	80.67 (+0.86)	54.59 (-0.14)	85.63 (+2.71)	63.66 (-0.38)	直接采纳训练折最优候选，ROCStories 发生性能倒退
no iteration (单轮无迭代)	82.31 (+2.50)	56.71 (+1.98)	84.82 (+1.90)	64.61 (+0.57)	仅执行第一轮合并，略逊于全模型
Full CoRP (完整模型)	82.31 (+2.50)	59.11 (+4.38)	84.82 (+1.90)	64.81 (+0.77)	融合兼容性重加权、留出验证门控与局部自适应迭代

关键发现

• 打破预测集成壁垒：CoRP 在全基准 25 个设定上的总体均分达到 50.0，超越了单扰动方案 RandOpt K=1（43.5）达 6.5 个百分点，并击败了等算力梯度基线 PPO（47.7）与 GRPO（48.8），成功将 50 次前向投票集成（56.3）超过 56% 的增益沉淀至单一模型权重中。
• 算力开销大幅压缩：CoRP 仅需 \(N=500\) 采样规模即可饱和主要收益，训练 FLOPs 为 RandOpt 与强化学习基线的 10%，推理前向开销较 RandOpt (K=50) 降低 98%。
• 错误分解印证真实能力修复：评测结果分解显示，CoRP 在 Countdown 与 OlympiadBench 上的增益主要由“实质推理修复”（Reasoning Fixes，即底座答案错误而适配后做对）贡献，而非单纯的格式规范化；同时验证门控成功将退步率（Regressions）压缩至显著低于单扰动基线的水平。
• 参数合并算子无法直接替代：对比朴素加权平均、Top-\(r\) 主子空间投影以及类似 TIES-Merging 的稀疏符号合并，TIES 在随机高斯扰动上因正负号无结构性物理意义而在多个任务中造成性能倒退（如 ROCStories 下降 1.72%），证明了 CoRP 针对扰动群体所设计的对齐与色散机制的必要性。

亮点与洞察

• 从统计几何视角揭示后训练的低秩本质：论文通过 Split-Half 半数抽样统计量严谨证明，高奖励高斯扰动在 25 个设定中 100% 具备一致重合的低秩子空间，为无梯度权重更新提供了坚实的经验几何基石。
• 兼顾方向共识与正交色散的优雅加权公式：巧妙地将方向对齐度奖励与正交扩散惩罚结合，在无需任何二阶曲率反传的前提下有效抑制了多专家混合时的相互干涉。
• 鲁棒防崩塌的留出验证与主动弃权设计：以构造得分与统计置信下界（LCB）作为门控准入条件，使算子在面对不可靠提议时具备优雅弃权回退机制，避免在小样本支持集上过拟合。

局限与展望

• 依赖可验证奖励与支持集：当前 CoRP 与 RandOpt/RLVR 一致，高度依赖于包含确定性判定规则或外部代码执行器的支持集（Support Set），难以直接无缝迁移到缺乏客观反馈的开放式主观对话任务。
• 小模型压缩差距依然存在：在 0.5B 等超小参数量模型上，CoRP 与 50 次多数投票集成之间仍存差距，表明小模型的各向扰动专家正交性更强，单向量合并在表达容量上面临结构性瓶颈。
• 权重与轨迹采样的混合演进空间：未来的重要方向是将权重空间扰动采样与轨迹空间 RLVR / 强化学习轨迹自探索深度结合，融合多层次能力激发途径。

相关工作与启发

• vs RandOpt (Gan & Isola, 2026): RandOpt 首次提出通过高斯权重扰动暴露底座专家并采用推理期多数投票（\(K=50\)），开销巨大且仅限分类/离散答案。CoRP 证明了扰动群体的低秩共享几何，通过兼容性重加权与留出验证门控将其折叠为单模型单次前向推理部署，并大幅节省 90% 采样预算。
• vs 参数空间模型合并 (TIES / DARE / Model Soups): 传统 Model Merging 方法针对独立精调且具备特定正负号、梯度曲率与参数幅值的独立 Checkpoint；而面对完全随机且近乎正交的高维高斯扰动，符号剪裁与简单平均均会失效。CoRP 引入基于提议方向的投影相似度与正交色散度量，开创了适用于扰动群体的参数融合新范式。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [首次在参数空间将随机高奖励扰动成功凝聚为单模型更新，彻底解决了预测集成的推理成本瓶颈]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 种主流模型规模与 5 类任务共 25 组配对，结合详尽的消融、几何诊断与错误分解分析]
• 写作质量: ⭐⭐⭐⭐⭐ [几何洞察深入透彻，数学形式优雅且叙事逻辑一气呵成]
• 价值: ⭐⭐⭐⭐⭐ [为端侧或延迟敏感场景下的无梯度后训练与轻量模型能力激活提供了极具吸引力的全新技术路径]

相关论文

• [NeurIPS 2026] Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training
• [NeurIPS 2026] SCOPE-RL: Stable and Quantitative Control of Policy Entropy in RL Post-Training
• [ICLR 2026] Spectrum Tuning: Post-Training for Distributional Coverage and In-Context Steerability
• [NeurIPS 2025] Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training
• [ICLR 2026] Fluent Alignment with Disfluent Judges: Post-training for Lower-Resource Languages