Co-Evolving Policy Distillation¶

会议: NeurIPS 2026
arXiv: 2604.27083
领域: 模型压缩
关键词: 在线策略蒸馏, 强化学习, 多专家协同进化, 行为模式一致性, 多模态推理

一句话总结¶

针对混合数据 RLVR 的能力冲突与传统静态多专家在线策略蒸馏（MOPD）中师生行为漂移导致的吸收效率低下问题，本文提出协同进化策略蒸馏（CoPD），让多个能力分支在并行探索自身领域强化学习的同时交替进行双向相互在线策略蒸馏，将师生行为距离始终维持在高效吸收区间，打破了统一模型无法超越专家的传统天花板。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR）与在线策略蒸馏（OPD/MOPD）已成为大模型后训练（Post-Training）阶段激发复杂推理能力的核心范式。然而，当研究者试图将文本推理、图像理解与视频分析等多种异构专家能力整合到单一统合模型中时，现有两类主流范式均遭遇了结构性的能力损耗瓶颈。直接将多领域数据混合进行联合 RLVR 训练会面临严重的“能力发散（Capability Divergence）”成本：不同领域的优化目标在梯度空间互相拉扯与冲突，导致“跷跷板效应”，提升某一能力往往以牺牲另一能力为代价。

为规避这种梯度冲突，学术界与工业界普遍转向“先分头训练专家、再事后蒸馏”的两阶段流水线：先基于同一基座模型分别在各子领域独立进行 RLVR 训练至收敛，得到各领域的专用专家模型，随后通过静态多教师在线策略蒸馏（MOPD）将所有专家的知识压缩进统一学生模型。然而，先导实验揭示出该流水线存在一个被长期忽视的严重隐患：当独立专家各自训练至收敛后，其输出分布与基座学生模型在采样轨迹上的行为模式（Behavioral Patterns）已经发生剧烈漂移，对称 KL 散度上升了一个数量级，导致 Top-$k$ Token 重叠率显著下降。实验严格证实，在线策略蒸馏的知识吸收效率与师生间的行为重叠度呈强正相关（$r=0.89, R^2=0.79$）；当行为距离过大时，学生在自身轨迹上极难有效吸收专家的密集监督信号。

这种“混合训练梯度冲突”与“事后蒸馏行为脱节”的矛盾，揭示出真正高效的知识整合必须满足两项互斥却又耦合的条件：既要在空间上隔离单领域的探索以彻底消除梯度冲突，又要在时间上动态维持师生间适度的行为一致性以保证高吸收率。本文的核心 idea 是：将多专家独立训练与事后蒸馏合二为一，提出协同进化策略蒸馏（CoPD），让多个能力分支并行训练，并在各自进行领域 RLVR 探索的同时交替执行跨分支双向相互 OPD，以单领域 RLVR 拉开知识差距提供信息量，以交替相互蒸馏拉近行为距离维持高吸收率，实现边进化边对齐的全合一能力整合。

方法详解¶

整体框架¶

CoPD 构建了一个支持多分支协同进化的并行训练架构。以经典的文本与图像双分支设置为例，系统初始化两个共享基座权重 $\theta_0$ 的并行分支 $\pi_{\theta_j}$ 与 $\pi_{\theta_k}$，分别对应能力数据集 $\mathcal{D}_j$ 与 $\mathcal{D}_k$。整个训练过程由 $N$ 个交替循环组成，每个循环内严格划分为两个互补阶段：在分支专属 RLVR 阶段（Phase I），各分支独立在自身数据上执行 $S_{\mathrm{RL}}$ 步强化学习探索，深入能力前沿并拉开知识差距；在相互 OPD 阶段（Phase II），各分支互为师生，在保持本领域基础训练的同时，在对方数据上生成轨迹并接受对方模型的 Token 级密集对齐监督，执行 $S_{\mathrm{OPD}}$ 步相互蒸馏以快速吸收新知并拉近行为模式。训练结束后，由于两分支始终保持紧密的动态行为耦合，权重差异极小，可通过简单的参数平均（Parameter Merging）直接融合成最终的高性能统一模型。

对于包含文本、图像、视频等 $K > 2$ 个分支的多领域场景，为了避免全配对蒸馏带来的 $O(K^2)$ 计算复杂度膨胀，CoPD 采用以文本推理分支为中枢的星形拓扑（Hub-and-Spoke Topology）：以文本分支作为共享 Hub，分别与图像、视频等 Spoke 分支进行双向相互 OPD，利用多模态模型底层均依赖 LLM 推理核心的特性完成跨领域高效知识互通。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["共享基座模型<br/>参数初始化 θ0"] --> B["阶段 I：分支专属 RLVR<br/>各分支在自身领域数据独立探索"]
    B --> C["阶段 II：双向相互在线策略蒸馏<br/>互为师生在对方数据生成轨迹并提供 Token 监督"]
    C -->|循环 N 轮动态交替| B
    C --> D["参数平均融合<br/>直接合并各分支权重得到统一模型"]

关键设计¶

1. 分支专属强化学习探索：拉开知识前沿与有效认知差

在每个循环的 Phase I 中，分支 $k$ 独立在自身能力数据集 $\mathcal{D}_k$ 上执行 $S_{\mathrm{RL}}$ 步 GRPO（Group Relative Policy Optimization）优化。对于采样的 Prompt $x \sim \mathcal{D}_k$，模型采样一组 Rollouts $\{y_i^{(k)}\}_{i=1}^G$，并由可验证奖励函数 $r_k$ 进行规则评分。GRPO 的训练目标函数为： $$\mathcal{L}_{\mathrm{RLVR}}^{(k)}(\theta_{k})=\mathbb{E}_{x\sim\mathcal{D}_{k}}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|y_{i}|}\sum_{t=1}^{|y_{i}|}\min\!\left(\rho_{i,t}^{(k)}\hat{A}_{i}^{\mathrm{RL}},\;\mathrm{clip}\!\left(\rho_{i,t}^{(k)},1-\epsilon,1+\epsilon\right)\hat{A}_{i}^{\mathrm{RL}}\right)\right]$$ 其中 $\rho_{i,t}^{(k)}$ 为重要性采样比率，$\hat{A}_i^{\mathrm{RL}}$ 为组内奖励标准化后的优势值。该设计的关键在于物理隔绝不同模态的梯度回传，完全消除了混合训练中的跨领域冲突 $\Phi(\mathcal{D}_1, \mathcal{D}_2)$。更重要的是，专属 RLVR 周期性地拉开两分支之间的知识边界与行为差距，为后续蒸馏创造了充沛的“信息差”；若无此阶段的充分探索，两个分支将退化为行为完全同质化的无信息状态。

2. 双向相互在线策略蒸馏：跨分支闭环监督与行为拉近

在每个循环的 Phase II 中，各分支互换师生角色，在交叉数据上同步进行知识吸收与行为拉近。分支 $k$ 从对方数据集 $x' \sim \mathcal{D}_j$ 中采样 Prompt 并由自身策略生成 Rollout $y^{(k)}$，而分支 $j$ 作为教师在每个生成位置 $t$ 提供 Token 级的对齐监督信号： $$\delta_{i,t}^{(k\leftarrow j)}=\log\pi_{\theta_{j}}(y_{i,t}^{(k)}\mid x',y_{i,<t}^{(k)})-\log\pi_{\theta_{k}}(y_{i,t}^{(k)}\mid x',y_{i,<t}^{(k)})$$ 该差值直接作为跨领域更新的 Token 级优势值 $\hat{A}_{i,t}^{(k)}=\beta_k \delta_{i,t}^{(k\leftarrow j)}$。在相互 OPD 期间，模型并不会暂停本领域的原生 RLVR 训练，而是将原生批次与跨领域蒸馏批次交替组合更新。这种双向闭环机制确保了教师模型传授的是刚探索出的最新领域技巧，而学生模型由于始终处在协同进化轨道上，其 Top-$k$ 行为重叠度 $\mathcal{O}_k$ 稳定保持在 0.90 以上的高效吸收区，彻底解决了传统静态 OPD 因教师过度漂移而“教不会”的结构性难题。

3. 节奏解耦与免对齐参数合并：低成本收敛至统一模型

CoPD 的训练动态严格受控于两个超参数的节奏平衡：分支探索步数 $S_{\mathrm{RL}}$ 与蒸馏巩固步数 $S_{\mathrm{OPD}}$。实验表明 $S_{\mathrm{RL}}:S_{\mathrm{OPD}} = 1.5:1$ 为黄金分割比例——步数过大容易导致分支过度漂移超出吸收窗口，步数过小则难以积累足够的差异化新知识。得益于持续的相互蒸馏约束，各分支的权重更新始终被锚定在相邻的参数盆地内，没有出现单飞分支常见的参数正交与发散现象。训练终了时，系统无需任何复杂的权重重排列或耗时的高阶融合算法，仅需对各分支参数进行简单线性平均 $\theta^* = \frac{1}{K}\sum_{k=0}^{K-1} \theta_k$，即可无损保留各领域专长并融合成具备全栈推理能力的统一模型。

损失函数 / 训练策略¶

整个算法严格遵循两阶段交替迭代优化（Algorithm 1）。基座模型采用 Qwen3-VL-4B-Instruct，基于 verl 与 EasyR1 构建的 EasyVideoR1 框架实现。文本推理数据采用 Polaris-Dataset-53K，图像推理采用 MMFineReason-123K，视频推理采用经过 Qwen3-8B-VL 难度过滤的 40K 适中样本。训练全局学习率固定为 $1\times 10^{-6}$，最大上下文及生成长度为 16,384 tokens，单 Prompt 采样 8 条 Rollouts（采样温度 1.0），GRPO 截断边界设为 $\epsilon_{\mathrm{low}}=0.2, \epsilon_{\mathrm{high}}=0.28$。CoPD 的总训练步数严格对齐静态 OPD 与 Mixed RLVR 的等效计算吞吐量，确保对比的公平性。

实验关键数据¶

主实验¶

在涵盖 7 项图像理解评测集与 5 项竞赛级数学推理评测集的双分支主流实验中，CoPD 全面超越了基座模型、各领域单专家、混合 RLVR 以及两类单向静态 OPD 基线。

评测领域 / 基准	Base Model	Image-Expert	Text-Expert	Mixed RLVR	Static OPD (V→T)	Static OPD (T→V)	CoPD (本文)
图像推理 (7项均值)	54.00	55.76	54.88	55.69	55.99	56.44	56.97
MMMU	65.06	65.28	65.72	66.39	65.94	67.50	66.94
MMMU-Pro	53.03	53.89	53.05	54.28	54.09	54.71	55.10
MathVista	73.20	75.10	73.90	75.10	74.20	76.05	75.75
MathVision	55.07	55.69	55.82	56.96	55.82	56.53	57.88
ZeroBench (sub)	21.41	21.41	22.01	21.86	21.41	21.71	24.40
WeMath	52.38	59.14	55.24	57.43	60.95	58.86	59.81
MathVerse	57.82	59.84	58.41	57.81	59.50	59.71	58.88
文本推理 (5项均值)	55.78	55.51	57.89	55.48	56.23	56.09	58.76
AIME 2025	46.88	47.50	48.33	44.58	43.54	45.42	49.58
AIME 2024	58.96	55.83	60.21	57.92	59.79	58.33	60.42
HMMT 2025	25.83	21.67	27.50	24.17	25.83	26.67	30.83
MATH-500	92.80	93.90	93.65	93.55	93.45	93.40	94.50
Minerva Math	54.41	58.64	59.74	57.17	58.55	56.62	58.46
全基准总均值 (Overall Avg.)	54.74	55.65	56.13	55.60	56.09	56.29	57.71

在进一步扩展的文本、图像、视频三分支实验中，CoPD 同样展现出优异的扩展能力，在总均值上达到 58.12%，超越了多教师蒸馏 MOPD（56.99%）以及各独立专家（Video-Expert 仅 56.39%）。

消融实验¶

在 Qwen3-VL-4B 模型上对双向蒸馏组件以及参数合并操作进行全面消融：

实验配置	图像推理均值 (Vis. Avg.)	文本推理均值 (Text Avg.)	全基准总均值 (Overall Avg.)	说明
CoPD (完整模型)	56.97	58.76	57.71	双向相互蒸馏 + 参数合并
w/o I-OPD (去除图像端对文本的蒸馏)	56.78	57.41	57.04	文本推理大幅掉点 1.35%
w/o T-OPD (去除文本端对图像的蒸馏)	56.48	57.78	57.02	图像推理掉点 0.49%
Text-Branch Only (仅保留文本分支，不合并)	56.26	58.61	57.24	图像能力退化，但已显著超静态 OPD
Image-Branch Only (仅保留图像分支，不合并)	56.78	57.17	56.94	文本能力回落，但已显著超静态 OPD

关键发现¶

双向蒸馏不可或缺：去除任一方向的 OPD 均会导致对应领域的下游指标发生断崖式下跌，证实了相互传授新知是协同进化的基石。
单分支即超静态基线：即便利去最终的模型权重合并（Merge），仅评估经历过协同进化的单侧分支（Text-Branch Only 达到 57.24%，Image-Branch Only 达到 56.94%），其综合能力依然大幅超越了经历完整多阶段蒸馏的静态 OPD 基线（56.09% 与 56.29%），证明协同进化过程本身已使单一模型内化了对偶能力。
动态行为闭环的观测证实：训练监控表明，基线方法中两分支的对称 KL 散度随着步数剧烈放大，而 CoPD 在 RLVR 阶段轻微散开后，总能通过随后的相互 OPD 迅速将 Top-10 Token 重叠率拉回 0.90 以上，行为距离始终处于最佳吸收窗口。

亮点与洞察¶

提出在训练进行时蒸馏而非事后蒸馏：打破了传统“先训好专家再做蒸馏”的固化心智，将蒸馏前移至策略优化过程之中，通过双向协同解决了强化学习特有的领域发散难题。
突破“学生无法超越专家”的天花板：在多项竞技数学与复杂视觉基准上，CoPD 训练出的统合模型最终成绩不仅超越了多任务混合训练，更直接超越了仅在单领域死磕的专门化专家模型（如 AIME 2025 达到 49.58% 对比 Text-Expert 的 48.33%），实现了真正的多模态能力正向互促。
模型并行训练作为新型 Scaling 范式：通过 Hub-and-Spoke 拓扑解耦多领域训练，既规避了混合大 Batch 带来的梯度对抗，又利用分布式资源并行推进各子能力演进，为多模态通用推理模型的规模化后训练提供了极具工程优雅性的解法。

局限与展望¶

算力开销对齐：协同进化过程需要并行维护多个分支的前向推理与反向更新，尽管总步骤吞吐量与基线严格对齐，但瞬时显存和多卡协同的通信调度开销高于单一模型串行流水线。
非对称领域难度适配：当前实验采用固定的交替步数比（如 1.5:1），对于收敛速度迥异的领域（如快速收敛的格式任务 vs 极难收敛的数学证明），静态步数比例可能不是全局最优，未来可探索自适应节奏调整机制。
更宽广领域的扩展验证：论文验证了文本、图像与视频三分支，尚未涵盖代码合成、工具调用与具身控制等更大跨度的异构模态。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了事后多专家蒸馏的传统假设，首创行为重叠驱动的并行协同进化架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 项图文视多模态强推理基准，包含详尽的行为散度动态追踪与消融。
写作质量: ⭐⭐⭐⭐⭐ 动机严谨，形式化推导清晰自然，理论假设与先导实验环环相扣。
价值: ⭐⭐⭐⭐⭐ 为后训练时代异构大模型能力融合提供了极其关键的方法论与工程参考。