Revisiting On-Policy Adversarial Black-Box Distillation: Calibrating Groupwise Re-Ranking¶
会议: NeurIPS 2026
arXiv: 2609.39757
代码: https://github.com/2018cx/GRGC
领域: 其他
关键词: 黑盒知识蒸馏, 在线对抗蒸馏, 最优传输, 组相对策略优化, 奖励几何校准
一句话总结¶
针对在线对抗黑盒知识蒸馏中判别器 Bradley-Terry 损失倾向于造成学生样本组内奖励坍缩、破坏 GRPO 优势估计的几何失配问题，本文提出组级奖励几何调控（GRGC），通过判别器侧高斯最优传输校准与策略侧组幂变换调制，在仅增加约 0.1% 开销的前提下显著提升蒸馏质量与优势鲁棒性。
研究背景与动机¶
大语言模型虽然在广泛的复杂自然语言处理任务中展现出卓越能力，但其庞大的参数量导致了极其高昂的计算开销与服务部署成本。知识蒸馏作为一种经典的轻量化技术，能够将百亿或千亿级教师模型的能力有效迁移至更紧凑的学生模型中。然而，当前最先进的前沿大模型（如 GPT-5、Doubao-Seed 等）普遍仅通过文本生成 API 对外提供服务，不开放内部 logits、激活状态或隐层表征，这使得传统的白盒蒸馏机制完全失效，学术界与工业界因而转向仅依赖生成文本的黑盒知识蒸馏。
在黑盒蒸馏范式中，早期广泛采用的序列级蒸馏（SeqKD）直接将离线教师回复作为监督微调目标，其本质上属于离线（off-policy）行为克隆，导致学生模型在自主 rollout 推理时饱受暴露偏差和分布漂移之苦。为了引入在线（on-policy）探索机制，近期以 GAD 为代表的在线对抗黑盒蒸馏范式利用判别器（Critic）充当在线奖励模型，与学生策略构成对抗训练环路，并通过组相对策略优化（GRPO）对学生采样的回复组分配优势值进行更新。这种设计避免了在策略优化期间频繁、昂贵地在线调用黑盒教师 API，具有很高的实用价值。
然而，在线对抗蒸馏架构在判别器与优势构建的交界面处暴露出严重的“组级奖励几何失配”矛盾。判别器通常采用标准的 Bradley-Terry（BT）成对交叉熵损失进行训练，其目标仅在于区分教师回复与学生回复，但严格的数学分析表明，在固定学生组均值的切片上，BT 目标唯一偏好于零组内方差（即完全坍缩）。与之相反，GRPO 的策略更新完全依赖于同一个 prompt 下学生自身采样组内的相对奖励间隙；一旦判别器输出的奖励组发生尺度坍缩或排序间隔过度脆弱，组归一化优势极易在扰动噪声下发生符号翻转与梯度失真，从而彻底破坏组级策略更新的稳定性。
针对判别器判别目标与组内相对优化需求之间的结构性脱节，本文从奖励几何形态切入，在奖励生成源头与策略优势消耗端实施端到端联合约束。核心 idea：提出组级奖励几何调控（GRGC）框架，在判别器训练阶段通过中心化高斯最优传输（CGC）正则化拉开具有平滑间隙的非退化组分布，并在策略更新前通过组幂变换调制（PGM）保序放大有效间隙，构建高信噪比且抗扰动的 GRPO 优势信号。
方法详解¶
整体框架¶
GRGC 围绕在线对抗黑盒蒸馏的数据流管线展开，核心目标是校准学生采样组在生成和消耗过程中的奖励几何分布。在算法流程中，对于给定的输入 prompt \(x\)，学生策略模型采样生成包含 \(N\) 个候选回复的组 \(\{G(x)_i\}_{i=1}^N\)。判别器（Critic）分别对黑盒教师提供的真实回复 \(y\) 以及 \(N\) 个学生回复打出标量评分，产生原始奖励向量 \(\{r_i\}_{i=1}^N\)。为了解决原始奖励易坍缩的问题，GRGC 在判别器端施加判别器侧几何校准（CGC），迫使排序奖励与高斯分位数对齐；在策略优化阶段，算法对经过良好校准的奖励进行组均值与方差标准化，并通过策略侧组调制（PGM）实施幂函数重映射得到变换奖励 \(\{\hat{r}_i\}_{i=1}^N\)，最后标准化为 GRPO 优势向量 \(\{A_i\}_{i=1}^N\) 驱动学生策略更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入 Prompt x"] --> B["学生策略采样候选回复组<br/>生成 N 个回复 G(x)_i"]
A --> C["获取教师目标回复 y<br/>API 离线生成"]
B --> D["判别器 Critic 评分<br/>计算标量评分 D(y) 与 r_i"]
C --> D
D --> E["判别器侧几何校准 (CGC)<br/>一维均值中心化高斯最优传输匹配"]
E --> F["联合对抗更新 Critic<br/>BT 对抗损失 + OT 几何正则"]
D --> G["策略侧组调制 (PGM)<br/>组标准化 z_i 与有符号幂变换"]
G --> H["优势构建与策略优化<br/>计算组归一化优势 A_i 并执行 GRPO"]关键设计¶
1. 判别器侧高斯最优传输校准（CGC）：消除组内奖励坍缩与方差漂移 该设计直接针对 BT 判别损失在固定均值下导致学生奖励方差趋近于零的病态偏好。为了使判别器输出的组奖励具有良好的数值分散度与平滑的排位间隙，CGC 引入以当前组均值 \(\mu_x = \frac{1}{N}\sum_{j=1}^N r_j\) 为中心的离散高斯参考分位数分布 \(\nu_x^{(N)}\)。由于一维空间中最优传输具有闭式解，只需将原始奖励按升序排列为 \(r_{(1)} \le \dots \le r_{(N)}\)，并令标准正态分位数 \(q_j = \Phi^{-1}(\frac{j-0.5}{N})\)，构造目标分位数 \(t_j = \mu_x + q_j\)，即可将 squared 2-Wasserstein 距离显式写为欧氏排序匹配损失： $\(\mathcal{L}_{\mathrm{OT}}(x) = \mathcal{W}_2^2(\hat{\mu}_x, \nu_x^{(N)}) = \frac{1}{N}\sum_{j=1}^N \bigl(r_{(j)} - (\mu_x + q_j)\bigr)^2\)$ 理论证明，以经验组均值 \(\mu_x\) 进行平移是该模板匹配的全局唯一最优解，且具备平移不变性（\(\mathcal{L}_{\mathrm{OT}}(r + c\mathbf{1}) = \mathcal{L}_{\mathrm{OT}}(r)\)），这保证了该项仅约束组内离散程度与排位几何，而不干扰判别器对教师和学生整体得分的全局上下浮动。高斯分位数具有温和的尾部展开特性，相比线性等间距模板能够有效兼顾中心模糊样本与极端样本，相比重尾的 Laplace 或 Logistic 分布又避免了向两端过度集中间隙。
2. 策略侧组幂变换调制（PGM）：保序放大高区分度优势边界 CGC 虽然稳定了奖励组的尺度并消除了坍缩，但其本质是方差稳定与几何规整，在训练早期并不会主动激进化拉开优质样本与普通样本的对比边界。若直接输入标准 GRPO，次优样本之间微小的数值差距会被噪声淹没。PGM 首先对组奖励进行零均值单位方差标准化，随后应用参数为 \(\gamma > 1\) 的有符号多项式幂变换： $\(z_i = \frac{r_i - \mu_x}{\sigma_x + \varepsilon}, \quad \hat{r}_i = \mathrm{sign}(z_i)|z_i|^\gamma\)$ 由于幂函数在正负半轴均严格单调递增，该变换严格保持了判别器诱导的原始排序次序。更重要的是，对于落在同一符号侧且绝对值超过阈值 \(\rho\) 的样本对，该变换将其有效间隔放大至少 \(\gamma \rho^{\gamma-1}\) 倍。这种受控的非线性增益保留了连续的幅度区分度，避免了传统 Top-1 增益造成的稀疏更新，同时也克服了纯基于 Rank 或 CDF 映射带来的绝对幅度信息丢失。
3. 对抗蒸馏与优势驱动优化闭环：从间隙放大到单步策略分离 最终送入策略梯度更新的组归一化优势由变换后的奖励计算得到： $\(A_i = \frac{\hat{r}_i - \mathrm{mean}(\{\hat{r}_j\})}{\mathrm{std}(\{\hat{r}_j\}) + \varepsilon}\)$ 在成组 Softmax 替代目标的分析中，任意两样本之间的单步对数几率变化精确等于优势差 \(\eta_{\mathrm{pg}}(A_i - A_j)\)。在带截断的 PPO/GRPO 目标下，优势估计误差会引发代理损失的有界失真。通过 CGC 提升组内抗扰动性并经由 PGM 放大可分辨优势，整个优化闭环确保了在面对判别器判别噪声时，具有真实质量差异的学生回复能够稳定且确定性地拉开梯度贡献，从而高效拟合黑盒教师的能力边界。
损失函数 / 训练策略¶
整个蒸馏管线采用两阶段训练：首先利用离线教师回复对学生策略进行 1 个 epoch 的监督热身微调（Warmup），随后进入 1 个 epoch 的交替对抗蒸馏。在对抗训练阶段： - 判别器优化：判别器联合最小化成对 BT 判别损失与组最优传输校准正则： $\(\mathcal{L}_{\mathrm{critic}}(x) = \frac{1}{N}\sum_{i=1}^N -\log \sigma(D(y) - D(G(x)_i)) + \lambda_{\mathrm{OT}} \mathcal{L}_{\mathrm{OT}}(x)\)$ 超参数固定为 \(\lambda_{\mathrm{OT}} = 0.01\)，无需繁复调优。 - 学生策略优化：使用调制后的优势向量 \(\{A_i\}_{i=1}^N\) 执行 GRPO 策略梯度优化，设置采样组大小 \(N=8\)，KL 散度惩罚系数 \(\beta = 0.001\)，采样温度为 0.8，幂变换指数设为 \(\gamma = 1.5\)。由于最优传输和幂变换均直接作用于一维标量数组，额外引入的前反向时间占比低于 0.11%。
实验关键数据¶
主实验¶
主实验在 LMSYS-Chat 对话训练集上展开，黑盒教师涵盖 GPT-5-Chat 与开启思考模式的 Doubao-Seed-2.0，学生模型包含 Qwen2.5 (1.5B/3B) 和 Llama-3.2 (1B/3B)。评测采用 Qwen2.5-72B 担任自动裁判，在域内测试集（LMSYS）以及三个分布外（OOD）基准（DollyEval、SelfInst、VicunaEval）上全面统计评分与胜率。
下表汇报以 GPT-5-Chat 为教师时的代表性实验对比结果：
| 学生模型架构 | 蒸馏算法 | LMSYS 分数 (胜率) | Dolly 分数 (胜率) | SelfInst 分数 (胜率) | Vicuna 分数 (胜率) |
|---|---|---|---|---|---|
| GPT-5-Chat | Teacher | 51.21 (53.2%) | 49.57 (49.4%) | 49.71 (49.2%) | 50.27 (55.0%) |
| Qwen2.5-3B | 蒸馏前基线 | 45.79 (11.9%) | 44.93 (4.0%) | 46.56 (12.8%) | 47.85 (3.8%) |
| SeqKD | 47.06 (18.4%) | 45.62 (7.2%) | 46.83 (16.9%) | 48.25 (20.0%) | |
| GAD | 48.44 (25.1%) | 46.19 (8.2%) | 47.33 (16.9%) | 48.76 (28.8%) | |
| GRGC (本文) | 50.19 (45.3%) | 47.40 (26.6%) | 48.99 (30.6%) | 50.48 (38.8%) | |
| Qwen2.5-1.5B | 蒸馏前基线 | 41.93 (4.8%) | 39.78 (0.6%) | 41.06 (5.0%) | 43.24 (0.0%) |
| SeqKD | 45.43 (18.8%) | 42.91 (4.6%) | 44.34 (11.2%) | 47.41 (11.3%) | |
| GAD | 46.05 (15.7%) | 42.97 (7.6%) | 45.27 (9.9%) | 47.78 (12.5%) | |
| GRGC (本文) | 47.36 (26.1%) | 45.16 (18.6%) | 47.42 (20.2%) | 48.81 (27.5%) | |
| Llama-3.2-3B | 蒸馏前基线 | 44.46 (13.8%) | 45.72 (8.0%) | 47.25 (16.5%) | 47.98 (5.0%) |
| SeqKD | 45.99 (17.3%) | 47.19 (11.2%) | 47.38 (16.5%) | 48.40 (22.5%) | |
| GAD | 46.51 (15.9%) | 47.67 (11.6%) | 48.34 (21.5%) | 48.52 (21.3%) | |
| GRGC (本文) | 49.07 (40.1%) | 48.91 (33.4%) | 49.28 (30.2%) | 49.57 (26.3%) |
消融实验¶
消融实验系统性验证了 CGC 与 PGM 两大模块在不同对抗训练 Epoch 下的协同机制，以及不同目标分布与变换形式的影响（基于 GPT-5 蒸馏至 Qwen2.5-3B 和 1.5B）：
表 1：核心组件消融及训练轮次交互（LMSYS 评测分数）
| CGC (判别器侧校准) | PGM (策略侧调制) | 1 个对抗 Epoch (3B / 1.5B) | 2 个对抗 Epoch (3B / 1.5B) | 说明 |
|---|---|---|---|---|
| \(\times\) | \(\times\) | 48.44 / 46.05 | 48.52 / 46.37 | GAD 原始基线 |
| \(\checkmark\) | \(\times\) | 47.52 / 46.40 | 49.60 / 47.38 | 仅 CGC：早期整理几何、后期充分发挥 |
| \(\times\) | \(\checkmark\) | 48.88 / 46.44 | 48.95 / 46.69 | 仅 PGM：拉大初始差距但缺乏底层平滑度 |
| \(\checkmark\) | \(\checkmark\) | 50.19 / 47.36 | 50.27 / 47.70 | 完整模型：双阶段协同效果最优 |
表 2：判别器校准参考分布与调制算子变体对比（Qwen2.5-1.5B）
| 对比类别 | 具体变体配置 | LMSYS 测试分数 | 其他测试集均分 | 说明 |
|---|---|---|---|---|
| CGC 目标先验 | 仅方差正则 (Variance only) | 46.83 | 46.61 | 缺乏对各排位间隙的几何约束 |
| 线性均匀分位数 (Linear) | 47.00 | 46.79 | 间距固定僵化，无法表达中心模糊性 | |
| 重尾 Laplace 分位数 | 46.52 | 46.32 | 极端排位分配过多方差，尾部激进 | |
| 高斯分位数 (Gaussian, 本文) | 47.36 | 47.13 | 对称且平滑过渡，几何适配度最佳 | |
| PGM 变换形式 | 累积概率分布 (CDF) | 46.63 | 46.74 | 压缩了极端优势，边界信息损失严重 |
| 仅胜者提升 (Top-1 Boost) | 46.44 | 46.41 | 仅奖励第一名，更新过于稀疏 | |
| 绝对名次映射 (Rank) | 46.69 | 46.35 | 丢失原始连续幅度置信度信息 | |
| 组幂变换 (Group Power, 本文) | 47.36 | 47.13 | 保序且自适应放大已分离边界 |
关键发现¶
- 两模块形成时间互补：在仅训练 1 个对抗 Epoch 时，单独使用 CGC 在 3B 模型上甚至略低于 GAD（47.52 vs 48.44），原因在于 OT 正则在初期专注于整理无序几何结构而未激进拉开候选差距；而 PGM 恰好补足了早期优势区分度不足的问题，使得两者结合在 1 个 Epoch 即跃升至 50.19 分。
- 高阶统计量优于粗糙方差控制：表 2 证明单纯约束方差（46.83）相比高斯 OT 约束（47.36）显著落后，表明排位间距的平滑渐进几何结构对优势稳定性具有关键理论支撑。
- 极端低离散度被彻底根除：在完整 1500 步训练中，GAD 出现低离散度（相对标准差 \(<0.15\)）的比例常年保持在 8.5% 左右，而 GRGC 将其压制在 1.9% 以下（且触发情况全部为 8 个候选回复字符完全一致的极端重复情况）。
- 极小计算代价换取显著收益：在 8 卡 A100 环境下，单步平均耗时约 37~62 秒，而 CGC 与 PGM 合计引入的额外计算延迟仅 0.04 秒，整体耗时占比仅 0.06%~0.11%，完全可忽略不计。
亮点与洞察¶
- 切中对抗黑盒蒸馏的界面暗礁：揭示了判别器的成对交叉熵判别目标天然偏好组内零方差的数学本质，指出了“判别器判别精度高并不等于组内优化信号好”这一被长期忽视的系统性矛盾。
- 极具工程美感的一维最优传输应用：没有生搬硬套复杂的连续分布 Sinkhorn 迭代，而是巧妙利用一维高斯分位数的保序闭式解，仅需一次排序与平方和求导即可实现全组几何约束。
- 通用性可泛化至多类成组强化学习：将“先通过几何先验规整组分布、再通过非线性算子保序放大显著间隙”的理念解耦，这种前置几何调控思想完全可迁移至通用的无价值模型 RL（如 DeepSeek-R1 采用的纯规则 GRPO）以及偏好对齐场景中。
局限与展望¶
- 依赖连续多候选采样假设：当前方法依赖于每个 prompt 采样足够多样化的回复候选组（\(N \ge 4\)）。在极高温度或极低多样性导致全组生成完全同质化文本时，最优传输无法消除这种内在的数据退化。
- 固定幂指数的泛化边界：目前超参数 \(\gamma = 1.5\) 采用全局常数设定，未来可探索根据训练阶段动态退火的自适应自调节指数，在初期强化探索、在后期收敛精度。
- 缺乏在多模态复杂任务上的验证：论文主要在纯文本指令与通用对话基准上验证，尚未拓展至带有视觉、音频等连续条件输入的多模态在线对抗蒸馏体系中。
相关工作与启发¶
- vs SeqKD: 传统的序列级蒸馏采用离线监督训练，存在不可避免的暴露偏差与复合误差；本文属于在线对抗蒸馏架构，并在判别器与策略优化之间建立了平滑稳定的几何传输界面。
- vs GAD: GAD 建立了在线交替对抗蒸馏环路，但放任判别器 BT 损失造成的学生组内奖励坍缩与噪声放大；本文针对其痛点引入 CGC 与 PGM，将低离散度病态比例由 8.5% 压缩至 1.9% 以下，实现了全方位的大幅性能超越。
- vs 传统最优传输知识蒸馏 (WCoRD / KNOT): 以往方法多用于在白盒场景下对齐教师与学生的词表分布、中间激活或对比表征；本文首次将一维最优传输用于约束黑盒对抗判别器的成组奖励发射几何，拓展了 OT 在强化学习对齐界面的应用维度。
评分¶
- 新颖性: ⭐⭐⭐⭐ [首次深入剖析在线对抗黑盒蒸馏中 BT 判别器与组内相对优势的几何失配问题，提出闭式高斯 OT 规整与组幂变换]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖双 API 教师、两大开源小模型家族与多尺度、域内与 OOD 四大数据集，且提供严格的数学证明与微观几何诊断]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密流畅，数学推导清晰完整，图表与符号设计极为专业规范]
- 价值: ⭐⭐⭐⭐⭐ [以几乎为零的工程计算开销（\(<0.1\%\)）显著加固了在线黑盒蒸馏管线，对低成本大模型落地具有极高实用价值]