Power Distribution Bridges Sampling, Self-Reward RL, and Self-Distillation

会议: NeurIPS 2026
arXiv: 2605.04542
论文: https://arxiv.org/abs/2605.04542 https://openreview.net/forum?id=AjW8i6kx9F
代码: https://github.com/tom4649/power-self-distillation
领域: 模型压缩
关键词: 幂分布, 自奖励强化学习, 自蒸馏, 幂采样, 分布锐化

一句话总结

揭示幂分布是幂采样目标、自奖励 KL 正则化强化学习闭式最优解及离线自蒸馏教师分布的三者统一桥梁，提出将高代价推理采样摊销为离线监督微调的幂自蒸馏方法。

研究背景与动机

近年来强化学习（RL，如 RLHF、RLVR 与 GRPO）在提升大语言模型复杂推理能力上取得了显著进展，但其根本驱动机制仍存在广泛争论。经验性 pass@k 分析表明，随着采样数量增加，经 RL 训练的模型往往无法超越预训练基座模型，提示 RL 的收益在很大程度上并非引入了全新知识，而是体现为一种“分布锐化”（distribution sharpening）效应，即将概率质量向基座模型已有高概率推理路径汇聚。循此视角，无需额外训练或外部奖励的纯推理期幂采样（power sampling）能够逼近乃至匹敌后训练 RL 模型的推理水平，但这伴随着极高昂的 MCMC 拒绝采样或序贯重要性采样计算开销。

这种现象背后的核心矛盾在于：推理期采样优化、自奖励强化学习以及知识蒸馏在表象上各行其道，缺乏一个统一的理论纽带将它们联系起来；同时，推理期幂采样计算代价极其昂贵，而低成本的单步逐 token 温度缩放或局部提议又因缺失全局上下文而无法逼近真实的序列级幂分布。如果能厘清采样、RL 与蒸馏之间的内在同构关系，就能理解自改进能力的共同根源，并探索能否把推理期的大算力开销摊销到离线训练中。

本文的切入角度是深入分析幂分布本身的数学性质与优化对应，证明自奖励 KL 正则化 RL 的闭式解析解恰好就是该幂分布，并据此设计逆向代理目标。核心 idea：以序列级幂分布为理论枢纽统一幂采样、自奖励强化学习与自蒸馏，证明逐 token 局部逼近的结构性缺陷，并通过将逆向 KL 转化为前向 KL 提出“幂自蒸馏”（Power Self-Distillation），将推理期高昂的幂采样计算代价彻底摊销至离线自监督微调中。

方法详解

整体框架

本文探讨的核心对象是由基座策略 \(\pi\) 和幂指数 \(\alpha > 1\) 诱导的序列级幂分布 \(\pi_\alpha(y \mid x) \propto \pi(y \mid x)^\alpha\)。整个理论与算法流水线分为三层：首先从采样视角剖析局部逼近序列级幂分布的固有结构性屏障；接着证明当奖励设为模型自身的序列对数似然（self-reward）时，KL 正则化 RL 的封闭最优解完全等价于幂分布；最后将自奖励 RL 的在线逆向 KL 最小化问题转化为教师-学生的前向 KL 优化，导出离线最大似然估计形式的“幂自蒸馏”算法，并在理论上给出自奖励锐化界、真实奖励协方差增益以及学生近似误差的泛化保证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基座模型策略 π(y|x)"] --> B["1. 序列级幂分布与局部逼近分析<br/>逐token缩放/单步提议缺失后缀信息"]
    B --> C["2. 自奖励强化学习闭式等价<br/>KL正则化RL最优策略与幂分布严格重合"]
    C --> D["3. 幂自蒸馏算法构建<br/>逆向KL转化为前向KL，离线SFT摊销推理开销"]
    D --> E["4. 自奖励锐化与协方差增益理论<br/>自奖励单调锐化与真实奖励转移保证"]
    E --> F["部署学生模型 q_θ<br/>标准自回归推理获得超越幂采样的性能与低延迟"]

关键设计

1. 序列级幂分布与局部逼近的结构性信息屏障：揭示轻量采样无法替代全局幂采样的理论根源

针对推理期能否用廉价的逐 token 操作替代序列级幂采样的疑问，本文在理论上证明了局部近似方法存在结构性缺陷。对于逐 token 温度缩放 \(\pi_{\mathrm{temp},\alpha}(y_t=s \mid x, y_{<t}) \propto \pi(y_t=s \mid x, y_{<t})^\alpha\)，其与真正的序列级幂分布单步边缘概率 \(\pi_{\mathrm{pow},\alpha}(y_t=s \mid x, y_{<t})\) 之间的胜率比（odds ratio）严格受后续后缀分布的 \(\alpha\) 阶 Rényi 熵控制：

\[\frac{\pi_{\mathrm{pow},\alpha}(y_t=a \mid x, y_{<t})}{\pi_{\mathrm{pow},\alpha}(y_t=b \mid x, y_{<t})} \bigg/ \frac{\pi_{\mathrm{temp},\alpha}(y_t=a \mid x, y_{<t})}{\pi_{\mathrm{temp},\alpha}(y_t=b \mid x, y_{<t})} = \exp\Big((1-\alpha)\big(H_\alpha(q_{t,a}) - H_\alpha(q_{t,b})\big)\Big)\]

其中 \(q_{t,s}\) 表示给定前缀与当前 token \(s\) 后基座模型的后缀补全分布。由于 \(1-\alpha < 0\)，序列级幂分布会显著抑制后续 Rényi 熵更大的候选路径，倾向于未来展开更确定、更尖锐的分支。进一步地，在序贯重要性采样（SIS）中，使单步增量权重方差最小的唯一最优提议分布恰恰是序列级条件分布 \(\pi_\alpha(y_t \mid x, y_{<t})\)。这表明任何仅利用当前 step 本地 logits 的轻量近似都不可能在无后缀信息的前提下复现幂分布，确立了推理期幂采样的结构性昂贵性。

2. 自奖励 KL 正则化强化学习与幂分布的闭式对齐：建立采样与 RL 之间的内在统一

针对强化学习与无训练幂采样表象割裂的问题，考虑带基准参考模型 \(\pi\) 的 KL 正则化强化学习目标 \(J_\beta(q; \pi, r) = \mathbb{E}_{x \sim \mu}[\mathbb{E}_{y \sim q}[r(x,y)] - \beta D_{\mathrm{KL}}(q(\cdot \mid x) \,\|\, \pi(\cdot \mid x))]\)。经典理论表明其解析最优解为指数倾斜分布 \(\pi_\beta^\star(y \mid x) \propto \pi(y \mid x) \exp(\beta^{-1} r(x,y))\)。当将奖励函数特化为完全无需外部标注或人工反馈的自奖励 \(r_{\mathrm{self}}(x, y; \pi) = \log \pi(y \mid x)\) 时，指数项与基座对数似然直接叠加：

\[\pi_\beta^\star(y \mid x) \propto \pi(y \mid x) \exp\big(\beta^{-1} \log \pi(y \mid x)\big) = \pi(y \mid x)^{1 + \beta^{-1}}\]

只需令幂指数 \(\alpha = 1 + \beta^{-1} > 1\)，自奖励 RL 的闭式最优解便与序列级幂分布 \(\pi_\alpha\) 严格恒等。这在数学上证明了幂采样本质上是在直接对自奖励 RL 的理论最优解进行显式蒙特卡洛抽样。

3. 幂自蒸馏算法：将逆向 KL 在线搜索摊销为前向 KL 离线监督微调

针对自奖励 RL 依赖在线策略生成且训练极其不稳定、以及推理期幂采样耗时极长的问题，本文通过目标重写推导离线自蒸馏形式。由于优化 \(J_\beta\) 等价于最小化逆向 KL 散度 \(D_{\mathrm{KL}}(q(\cdot \mid x) \,\|\, \pi_\alpha(\cdot \mid x))\)，其要求从待学习策略 \(q\) 采样并进入训练回环。本文引入前向 KL 替代目标 \(D_{\mathrm{KL}}(\pi_\alpha(\cdot \mid x) \,\|\, q(\cdot \mid x))\) 作为离线蒸馏代理，两者在总体分布族上的理论最优解均唯一对应 \(\pi_\alpha\)。前向 KL 展开后转化为最大化教师样本在学生策略下的期望对数似然：

\[\min_q \mathbb{E}_{x \sim \mu}\big[D_{\mathrm{KL}}(\pi_\alpha(\cdot \mid x) \,\|\, q(\cdot \mid x))\big] \iff \max_{q \in \Pi_\alpha} \sum_{i=1}^n \log q(y_i \mid x_i), \quad y_i \sim \pi_\alpha(\cdot \mid x_i)\]

算法实现（Algorithm 1）分为两阶段解耦进行：离线阶段对 prompt 集合利用 Metropolis-Hastings 幂采样生成一次性教师补全集 \(\mathcal{D} = \{(x_i, y_i)\}_{i=1}^n\)；训练阶段直接在 \(\mathcal{D}\) 上对补全 token 执行标准因果语言建模微调（SFT）。学生模型在部署时恢复纯自回归解码，将推理开销彻底降低至基座模型水平。

4. 自奖励锐化保证与真实奖励协方差增益转移：刻画自改进成立的理论边界

针对缺乏外部奖励时模型性能能否迁移到真实任务（如数学推理准确率）的根本疑问，本文给出了完备的理论刻画： - 自奖励锐化：在样本量 \(n\) 和幂指数 \(\alpha\) 足够大时，幂自蒸馏经验极大似然估计策略 \(\widehat{\pi}\) 能够以高概率将概率质量聚焦在自奖励最大值集合 \(\bm{y}^\star(x) = \arg\max_y \log \pi(y \mid x)\) 上，严格实现 \((\epsilon, \delta)\)-sharpening。 - 协方差驱动的真实增益：对任意外部真实奖励 \(r^\star\)，期望收益随锐化参数 \(\alpha\) 的导数恰好等于真实奖励与自奖励在幂分布下的协方差：

\[\frac{\partial}{\partial \alpha} \mathbb{E}_{y \sim \pi_\alpha}[r^\star(x,y)] = \mathrm{Cov}_{y \sim \pi_\alpha}\big(r^\star(x,y), r_{\mathrm{self}}(x,y)\big)\]

• 学生模型性能转移界：结合全变差距离与 Pinsker 不等式，学生策略 \(q\) 相比基座策略 \(\pi\) 的真实期望收益满足：

\[\mathcal{R}(q) - \mathcal{R}(\pi) \ge \Gamma_\alpha - \Delta_r \sqrt{\frac{\mathbb{E}_{x \sim \mu} D_{\mathrm{KL}}(\pi_\alpha(\cdot \mid x) \,\|\, q(\cdot \mid x))}{2}}\]

其中 \(\Gamma_\alpha\) 为沿幂路径累积的协方差积分。这表明只要基座模型本身的对数似然与正确性正相关（协方差为正），且前向 KL 拟合充分紧凑，教师的幂采样增益即可稳定迁移至蒸馏学生。

损失函数 / 训练策略

幂自蒸馏的训练完全采用离线监督微调范式。对于离线收集的教师数据集 \(\mathcal{D} = \{(x_i, y_i)\}_{i=1}^n\)（其中 \(y_i\) 由 MCMC 幂采样器在 \(\alpha=4.0\) 条件下采集），训练损失采用仅对补全 token 计算的掩码负对数似然损失：

\[\mathcal{L}(\theta) = -\sum_{(x, y) \in \mathcal{D}} \sum_{t=1}^T \log q_\theta(y_t \mid x, y_{<t})\]

优化时采用 AdamW 优化器配合 LoRA 低秩适配微调，在保持基座参数冻结的同时快速拟合幂教师分布。

实验关键数据

主实验

主实验在数学竞赛基准 MATH500 上对 Qwen2.5-Math-7B 进行了系统评测，对比基座模型（Base）、随机权重控制组（RandW）与幂自蒸馏模型（Power-distilled）在不同采样策略下的准确率（真实奖励 \(r^\star\)）与序列平均对数似然（自奖励 \(r_{\mathrm{self}}\)）。

模型配置	采样策略	全部补全均值 \(r^\star(\uparrow)\)	全部补全均值 \(r_{\mathrm{self}}\)	自奖励 Best-of-N \(r^\star(\uparrow)\)	自奖励 Best-of-N \(r_{\mathrm{self}}\)
RandW (随机对照)	Standard	0.000 ± 0.000	-13.406 ± 0.008	0.000	-13.309
RandW (随机对照)	Power (\(\alpha=4\))	0.000 ± 0.000	-12.370 ± 0.014	0.000	-12.133
Base (Qwen2.5-Math-7B)	Standard	0.508 ± 0.016	-0.316 ± 0.043	0.680	-0.097
Base (Qwen2.5-Math-7B)	Temperature (\(\tau=0.25\))	0.683 ± 0.014	-0.061 ± 0.015	0.756	-0.036
Base (Qwen2.5-Math-7B)	Power (\(\alpha=4\))	0.714 ± 0.006	-0.077 ± 0.001	0.742	-0.062
Power-distilled (本文)	Standard	0.643 ± 0.025	-0.089 ± 0.005	0.764	-0.042
Power-distilled (本文)	Temperature (\(\tau=0.25\))	0.722 ± 0.009	-0.043 ± 0.001	0.768	-0.034

消融实验与高难度数学任务泛化

为了验证方法在高难度数学竞赛题（AMC23 与 AIME24）上的外推有效性与稳健性，作者评估了不同采样与蒸馏组合的性能：

数据集	模型与配置	全部补全 \(r^\star(\uparrow)\)	全部补全 \(r_{\mathrm{self}}\)	Best-of-N \(r^\star(\uparrow)\)	Best-of-N \(r_{\mathrm{self}}\)	说明
AMC23	Base / Standard	0.350	-0.173	0.400	-0.087	基座基线
AMC23	Base / Temperature	0.502	-0.063	0.575	-0.045	局部温度缩放
AMC23	Base / Power (\(\alpha=4\))	0.525	-0.051	0.525	-0.051	推理期高开销幂采样
AMC23	Power-distilled / Standard	0.506	-0.063	0.600	-0.031	离线蒸馏+标准自回归解码
AMC23	Power-distilled / Temperature	0.575	-0.030	0.600	-0.018	离线蒸馏+低温解码(最佳)
AIME24	Base / Standard	0.075	-0.225	0.133	-0.100	高难奥数基线
AIME24	Base / Power (\(\alpha=4\))	0.133	-0.042	0.133	-0.042	推理期幂采样
AIME24	Power-distilled / Standard	0.133	-0.091	0.200	-0.052	蒸馏模型无额外采样达平
AIME24	Power-distilled / Temperature	0.117	-0.038	0.100	-0.026	自奖励达到最高锐度

关键发现

• 幂自蒸馏成功实现自改进并超越昂贵采样：在 MATH500 上，经过仅 500 条幂采样数据蒸馏的学生模型结合温度解码，均值准确率达 72.2%，超越了基座模型执行复杂 MCMC 幂采样的 71.4%，而推理延迟仅为普通的自回归解码水平。
• 协方差条件得到严格验证：在随机权重模型 RandW 上，幂采样虽然机械性地提高了自奖励（从 -13.406 提升至 -12.370），但准确率始终为 0，因为其 logits 与数学正确性完全缺乏正协方差；而在具备推理能力的模型上，两者呈现强正相关，使得自奖励提升自然拉动真实推理准确率跃升。
• 自奖励 Best-of-N 是极具竞争力的无外部验证器选择方案：仅依靠模型自身的对数似然打分进行候选重排，在几乎所有配置下均带来显著的推理增益（例如在 MATH500 上基座标准采样准确率从 50.8% 提升至 68.0%），进一步印证了自奖励的指导价值。

亮点与洞察

• 优雅的三角理论统一：首次在数学上闭环论证了“幂采样目标 = 自奖励 KL-正则化 RL 闭式解 = 自蒸馏教师”，用一套自洽的概率图景彻底解耦并重新诠释了当前 LLM 推理后训练与推理期计算扩展的本质。
• 前向 KL 替代技巧的巧妙离线化：敏锐地将在线自奖励 RL（逆向 KL）转化为以幂分布为目标的前向 KL 优化，将难以收敛且不稳定的在线策略优化转化为简单可复现的离线有监督微调（SFT），且严格证明了两者的目标重合性。
• 即插即用的无外部奖励自提升范式：不依赖外部 Verifier、PRM 或真实标签，仅利用模型自身的生成与似然即可形成闭环飞轮，为无法构建低成本自动评估器的开放域推理任务提供了普适优化路径。

局限与展望

• 基座能力绑定的性能天花板：自奖励锐化本质上是从基座模型已有支持集中重分配概率质量，若基座模型先验极弱或存在系统性认知盲区，蒸馏过程无法无中生有地创造新能力。
• 模型规模覆盖有待扩展：论文主要实验集中在 7B 级别及小尺寸模型上（Qwen2.5-Math-7B, Phi-3.5-mini, Tulu-3-8B），超大规模前沿模型（如 70B+）上的幂分布特性与蒸馏鲁棒性仍有待大规模算力验证。
• 离线教师样本收集门槛：尽管推理解码代价被完全摊销，但离线生成阶段仍需运行多步 MCMC 幂采样构造高质量数据集，如何进一步加速离线教师轨迹采样是一个实用工程方向。

相关工作与启发

• vs Karan & Du (2026) 幂采样：Karan 等人开创性地使用 Metropolis-Hastings 幂采样在推理期探索分布锐化，但每次推理耗费数十倍算力；本文证明了其无法被单步局部提议替代的本质，并通过前向 KL 自蒸馏将其实用化为离线微调，彻底免去推理期开销。
• vs Huang et al. (2025) 自改进锐化理论：Huang 等人形式化了自奖励提升作为计算加速的锐化机制；本文在此基础上向前推进，证明自奖励指数倾斜就是幂分布本身，并给出了针对任意真实奖励的协方差变化率定理与学生蒸馏泛化转移界。
• vs BoN / 奖励模型蒸馏 (Gui et al., 2024; Amini et al., 2025)：先前蒸馏工作普遍依赖外部标量奖励模型或规则验证器；本文方法完全摆脱外部奖励信号，纯粹依赖模型自奖励机制完成蒸馏闭环。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次以幂分布统合采样、自奖励RL与自蒸馏，并给出严格的协方差增益与局部信息瓶颈证明。
• 实验充分度: ⭐⭐⭐⭐☆ 涵盖多模型与多个数学、代码和问答基准，主实验与消融对比清晰，唯模型参数量受限于 7B 级别。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导层层递进、逻辑严密，图文对照高度自洽，符号与叙述极为流畅。
• 价值: ⭐⭐⭐⭐⭐ 为大模型推理计算扩展与后训练机制提供了深刻的理论洞见，兼具强大的离线落地实用性。

相关论文

• [NeurIPS 2026] Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information
• [ICML 2026] The Role of Feedback Alignment in Self-Distillation
• [ICLR 2026] SkillFactory: Self-Distillation for Learning Cognitive Behaviors
• [NeurIPS 2026] ReST-RL: Reinforcing LLM Reasoning through Unified Self-Training and Value-Guided Search
• [ICLR 2026] RESTRAIN: From Spurious Votes to Signals — Self-Training RL with Self-Penalization