DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation¶
会议: NeurIPS 2026
arXiv: 2605.15532
领域: 多模态VLM
关键词: 多模态知识蒸馏, 视觉语言模型, 答案分歧度, 提示词合成, 在策略蒸馏
一句话总结¶
本文揭示了现有多模态推理数据集中高达 69% 的样本属于教师与学生输出完全一致的“零分歧陷阱”，并提出通过答案分歧度度量与两阶段定向合成管道 DeltaPrompts，显著提升紧凑型 VLM 的在策略蒸馏与迁移性能。
研究背景与动机¶
知识蒸馏是赋予轻量级视觉语言模型（VLM）强大学习能力与复杂推理技巧的核心路径。近年来，学术界围绕蒸馏目标函数的设计开展了大量工作，例如提出在策略蒸馏（On-Policy Distillation, OPD）来缓解学生分布偏移，或是引入反向 KL 散度与各类正则化项来稳定优化过程。然而，在算法不断演进的同时，推动蒸馏过程所依赖的问题与提示词（prompts）却极少受到系统性检验。绝大多数研究依然直接复用现有的标准图表、文档或通用多模态数据集（如 ChartQA、InfoVQA 等），或者仅凭启发式难度规则对数据进行机械式筛选与拼凑。
这种启发式数据构建策略隐藏着一个致命的效率瓶颈：知识蒸馏本质上是通过教师监督信号来最小化两者的输出分布分歧，如果一个输入提示词让教师和学生模型产生几乎完全相同的答案分布，那么该样本所能提供的梯度更新信号微乎其微。论文实证分析表明，在现有的主流图表与文档推理数据集中，高达 69% 的样本实质上是“零分歧提示词”（zero-delta prompts）。直接在这些样本上训练，学生模型的性能提升会在极小规模时迅速陷入饱和，单纯堆砌数据量无法换来持续的能力跃升；而如果简单粗暴地过滤掉零分歧样本，剩余提示词在特征空间中的语义多样性会急剧缩减近 30%，使模型陷入狭窄的失效模式中。
为了打破这种“分歧度与多样性不可兼得”的零分歧陷阱，必须跳出固定语料过滤的传统思路，将现有数据转变为合成高价值提示词的种子。本文的核心 idea 是：将离散终解答案空间的分布散度定义为答案分歧度（Answer Divergence, \(\Delta\)），并以此为指导准则，利用教师模型自身先通过种子引导合成扩展问题池，再通过提取学生推理失败技能进行定向增强与一致性过滤，构建高分歧且高多样性的 DeltaPrompts 蒸馏基底。
方法详解¶
整体框架¶
DeltaPrompts 的核心流水线围绕“量化模型功能性差距”与“定向生成高分歧多样化题目”展开。输入为现有的多模态图表/文档及高分辨率感知图像与基础提示词种子，输出为经过严格分歧度筛选的 20 万高质量合成蒸馏数据集 DeltaPrompts。系统分为四大核心环节：首先基于采样轨迹与判别模型计算提示词在离散终解空间上的答案分歧度 \(\Delta\)；其次利用教师模型进行少样本种子引导生成以扩充候选池；接着提取学生推理相比教师所缺失的显式技能，驱动技能引导生成向学生弱项倾斜；最后通过教师一致性解题验证与零分歧硬剔除，产出兼具高分歧与高特征多样性的训练问题。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态种子数据与图像源"] --> B["阶段1：答案分歧度量化<br/>离散终解KL散度计算"]
B --> C["阶段2：种子引导生成<br/>少样本提示扩充候选池"]
C --> D["阶段3：技能引导生成<br/>对比提炼学生缺陷技能并定向驱动"]
D --> E["阶段4：教师解题一致性与零分歧剔除<br/>保留高置信度非零分歧样本"]
E --> F["输出：DeltaPrompts 数据集<br/>用于在策略/离策略多模态蒸馏"]关键设计¶
1. 答案分歧度量化：基于离散终解等价类的功能性差距建模 针对全序列 token 级散度计算极其昂贵且易被同义词微小表述偏差主导的痛点，本文将评估视角收敛至模型最终输出的离散答案空间 \(\mathcal{A}\)。给定从完整生成序列映射到最终答案的抽取函数 \(\mathcal{E}: \mathcal{Y} \rightarrow \mathcal{A}\)，模型 \(\pi\) 诱导的终解离散分布定义为 \(P_{\pi}(a|x) = \mathbb{E}_{y \sim \pi(\cdot|x)}[\mathbb{I}(\mathcal{E}(y) = a)]\)。输入提示词 \(x\) 的答案分歧度 \(\Delta(x)\) 即为学生与教师在离散答案分布上的反向 KL 散度： $\(\Delta(x) = \mathbb{D}_{\text{KL}}\left(P_{\theta}(\cdot|x) \parallel P_{T}(\cdot|x)\right)\)$ 在实际执行中，由于穷举序列不可行，算法针对每个提示词分别从教师 \(\pi_T\) 与学生 \(\pi_\theta\) 采样 \(K=16\) 条推理轨迹。为克服开放式文本或自由表达中的字面差异，引入独立裁判大模型（Qwen3-32B）对 16 次采样的终解进行语义等价性聚类，并配合拉普拉斯平滑（伪计数加 1）构建经验离散分布 \(\widehat{P}_T(a|x)\) 与 \(\widehat{P}_\theta(a|x)\)。这使得即便在无标准答案标签的开放合成场景下，也能极其廉价且鲁棒地判定教师与学生是否产生了真正的功能性结论分歧。
2. 种子引导生成：少样本示范驱动的跨图像问题池扩展 针对直接从现有数据中硬过滤高分歧样本会导致数据多样性坍塌达 29.4% 的缺陷，流水线将现有数据降级为仅供参考的生成“种子”。给定从种子库中采样的少样本图像-提示词对 \((x_i, I_i)_{i=1}^N\)（实践中 \(N=1\) 即可保证生成质量）以及一张全新的输入图像 \(I'\)，由教师模型 \(\pi_T\) 自行充当数据生成器，合成适合新图像的复杂推理问题 \(x' \sim \pi_T(\cdot|(x_1, I_1), \dots, (x_N, I_N), I')\)。该阶段充分激活了教师模型对复杂视觉场景的先验理解，能够在不依赖人工标注的前提下，快速铺开涵盖全新视觉实体和推理结构的大规模候选题目池。
3. 技能引导生成：以错误对比提炼的弱项精准靶向 单纯的种子仿写仍带有盲目性，无法主动探测学生模型的知识盲区。本设计通过对比推理轨迹显式提取学生模型的认知短板：在已有的非零分歧样本中，各抽取一条导致终解不同的学生轨迹 \(\tau_\theta\) 与教师轨迹 \(\tau_T\)（即 \(\mathcal{E}(\tau_\theta) \neq \mathcal{E}(\tau_T)\)）。随后提示教师模型对比两条轨迹，输出一段简短的自然语言技能描述（例如“对图表中的对数刻度进行插值推导”），以此构建出学生缺失的离散技能特征库。在第二阶段生成中，采样 \(K=10\) 个技能标签 \(s_1, \dots, s_K\) 并作为显式条件输入生成器： $\(x' \sim \pi_T(\cdot|(x_1, I_1), \dots, (x_N, I_N), s_1, \dots, s_K, I')\)$ 实验表明，先经种子生成扩充再施加技能引导，高分歧样本的转化收率（Yield）可从常规基线的 31% 大幅跃升至 57%，同时表征多样性指标 E-Vendi 提升至 142.47，真正实现了“针对弱项、越出越精”。
4. 教师解题一致性与零分歧剔除：去伪存真的双重过滤机制 模型合成问题极易出现语义歧义、条件缺失或根本无解的病态问题。为此流水线设定了严格的解题验证：对生成的候选问题 \(x'\)，先让教师模型独立采样运行 16 次，计算其多数投票一致率 \(\text{avg@16}\)。只有当 \(\text{avg@16} \ge 0.5\)（即教师在超过半数采样中能稳定得出一致结论）时，该问题才被视作有效可解题保留。随后，再次测定学生与教师在该题上的实际经验分歧度 \(\widehat{\Delta}(x')\)，彻底剔除所有 \(\Delta = 0\) 的零分歧样本。该设计既避免了噪声不可解问题（HardPrompts）污染训练流，又通过适度容忍非绝对确定性（无需苛求 \(\text{avg@16}=1.0\)）极大保留了探索边界的样本多样性。
损失函数 / 训练策略¶
在策略蒸馏（OPD）采用学生自分布采样与反向 KL 散度优化： $\(\mathcal{L}_{\text{OPD}}(\theta) = \mathbb{E}_{x \sim \mathcal{D}} \left[ \mathbb{E}_{\widehat{y} \sim \pi_\theta(\cdot|x)} \left[ \log \frac{\pi_\theta(\widehat{y}|x)}{\pi_T(\widehat{y}|x)} \right] \right]\)$ 工程实现上，基于 verl 框架与 vLLM 架构解耦训练节点。由于 235B 教师模型巨大，采用外部专用独立 vLLM 服务集中计算教师对学生轨迹的 token 对数似然 \(\log \pi_T(\widehat{y}|x)\)，单台 GB200 节点可支持多达 512 路并行采样。OPD 训练采用学习率 \(5\times 10^{-7}\)，全局批大小 128，每题生成 4 条采样轨迹，进行单轮 epoch 训练，最大生成序列限制为 16,384。针对非推理模型的离策略 SFT 实验，则采用教师生成的 4 条轨迹进行标准交叉熵微调，学习率设为 \(5\times 10^{-5}\)，批大小 512，训练 5 个 epoch。
实验关键数据¶
主实验¶
主实验在图表/文档推理（CharXiv、InfoVQA、ChartQAPro、SEEDBench2-Plus）与高分辨率真实世界感知推理（RealWorldQA、HRBench4K、V*、VisualProbe Easy/Medium/Hard）共 10 个公认基准上展开，采用 Qwen3-VL-235B-Thinking 作为教师，分别在 Qwen3-VL-8B-Thinking 与跨架构模型 GLM-4.1V-9B-Thinking 上进行在策略蒸馏。所有模型均执行 5 次独立运行以消除随机波动（括号内为标准误）。
| 模型 | CharXiv\(_{\text{RQ}}\) | InfoVQA\(_{\text{val}}\) | ChartQAPro\(_{\text{clean}}\) | SEEDBench2-Plus | 图表文档均分 | RealWorldQA | HRBench\(_{\text{4K}}\) | V* | 真实感知均分 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-VL-8B-Thinking（基线） | 53.14 (0.07) | 85.33 (0.12) | 63.33 (0.11) | 69.87 (0.10) | 67.92 (0.04) | 73.07 (0.08) | 72.22 (0.05) | 76.96 (0.16) | 46.92 (0.15) |
| GLM-4.1V-9B-Thinking（基线） | 53.76 (0.06) | 85.04 (0.09) | 66.04 (0.13) | 73.03 (0.10) | 69.47 (0.04) | 72.19 (0.08) | 73.75 (0.05) | 79.58 (0.19) | 49.75 (0.18) |
| Bee-8B-RL | 57.00 (0.08) | 69.26 (0.10) | 65.96 (0.11) | 68.55 (0.11) | 65.19 (0.06) | 72.03 (0.10) | 60.15 (0.09) | 58.12 (0.16) | 40.43 (0.16) |
| REVisual-R1 | 41.50 (0.07) | 80.01 (0.13) | 59.93 (0.12) | 70.14 (0.12) | 62.90 (0.07) | 64.36 (0.12) | 71.88 (0.05) | 69.11 (0.16) | 48.06 (0.19) |
| Vision-R1-7B | 37.28 (0.07) | 78.79 (0.09) | 44.14 (0.10) | 69.57 (0.14) | 57.45 (0.05) | 67.58 (0.10) | 75.38 (0.05) | 81.15 (0.16) | 48.67 (0.13) |
| ARES-RL-7B | 43.22 (0.08) | 81.29 (0.07) | 63.93 (0.15) | 68.77 (0.12) | 64.30 (0.06) | 66.67 (0.08) | 72.13 (0.05) | 71.20 (0.19) | 46.45 (0.17) |
| Qwen-8B-DeltaThinker（本文） | 60.52 (0.09) | 86.53 (0.11) | 71.09 (0.09) | 73.43 (0.11) | 72.89 (0.05) | 75.82 (0.08) | 77.25 (0.09) | 82.73 (0.19) | 54.12 (0.15) |
| GLM-9B-DeltaThinker（本文迁移） | 59.10 (0.10) | 85.78 (0.09) | 72.55 (0.12) | 74.81 (0.13) | 73.06 (0.07) | 77.04 (0.10) | 80.25 (0.09) | 84.25 (0.16) | 55.53 (0.13) |
消融实验¶
表 1：生成机制与数据源演进消融
| 数据合成配置 | 产出收率（Yield） | 特征多样性（E-Vendi） | 说明 |
|---|---|---|---|
| 原始既有数据混合池直接筛选 | 0.31 | 108.19 | 过滤后非零样本稀缺且严重丧失多样性 |
| 阶段1：仅种子引导生成 | 0.44 | 128.64 | 成功利用教师扩增问题空间 |
| 阶段2：直接在既有数据上引导技能 | 0.46 | 127.33 | 缺乏前期扩展，受制于原数据瓶颈 |
| 两阶段完整流水线（DeltaPrompts） | 0.57 | 142.47 | 扩展候选池与技能靶向形成正向叠加 |
表 2：训练配方控制与非推理模型 SFT 表现
| 实验配置 / 训练数据 | 图表文档均分 | 真实感知均分 | MathVista\(_{\text{testmini}}\) | MMMU-Pro\(_{\text{vision}}\) |
|---|---|---|---|---|
| Qwen3-VL-8B-Instruct 原始基线 | 66.85 | 47.82 | 77.24 | 42.14 |
| + 既有混合池 SFT | 67.52 | 49.50 | 74.50 | 41.10 |
| + DeltaPrompts SFT | 71.57 | 55.04 | 75.20 | 47.74 |
| + DeltaPrompts OPD | 69.32 | 55.17 | 77.70 | 46.34 |
关键发现¶
- 零分歧数据不仅无效，更是有害的噪声：在严格控制样本量为 10k 的对照实验中，仅使用 DeltaPrompts 显著优于随机既有数据；而如果将 10k 的 DeltaPrompts 与 10k 被剔除的零分歧样本混在一起组成 20k 数据集进行训练，模型表现反而出现明显回退。这实锤了零分歧样本在 OPD 中充当了损害梯度的负面干扰。
- 两阶段技能引导构建形成正反馈环：消融数据清楚表明，跳过阶段 1 直接在旧数据集上做技能提炼，其收率和多样性（Yield 0.46 / E-Vendi 127.33）大幅落后于两阶段串联方案（Yield 0.57 / E-Vendi 142.47），证明了丰富候选池是精准打击盲区的前提。
- 跨模型架构与域外泛化表现惊人：DeltaPrompts 虽然针对 Qwen 体系生成，但直接复用到完全不同结构的 GLM 架构上，仅需简单的重新打分剔除即可无缝获得一致性大幅增益（感知均分从 49.75 跃升至 55.53）；并且在未经特化的 MathVista 与 MMMU-Pro 评测中未见灾难性遗忘，反而在推理基准上全面反超原始模型。
亮点与洞察¶
- 将连续不可控的序列散度投影为离散终解分布：通过引入提取函数与大模型语义等价聚类，成功绕开了逐 token 计算反向 KL 时不可避免的序列长度与表述发散问题，以极低代价捕捉到了模型能力的“硬核分歧”。
- 反直觉的数据清洗法则——扔掉 69% 的数据才算真正开始：揭示了现有图表/文档数据集在蒸馏场景下的高度虚胖，指出了盲目扩大数据规模陷入边际效用归零的根源，并给出了基于定向合成的系统性解法。
- 兼顾解题可解性与难度边界的阈值设计：在一致性过滤中证明了强制追求教师 100% 确定性（EasyPrompts）会抹杀有价值的困难探索样本，而将阈值定在 \(\text{avg@16} \ge 0.5\) 能在剔除病态问题的同时最大化数据价值。
局限与展望¶
- 动态认知漂移尚未闭环：当前流水线是在训练开始前针对学生初始权重静态采集与合成数据。随着蒸馏推进，学生能力动态提升，原本的高分歧样本会逐渐演变成新的“零分歧样本”。未来需要探索在线交替测量分歧与动态滚动作业的终身合成闭环。
- 图像模态仍依赖外部摄取：目前生成阶段专注于文本问题与推理逻辑的合成，底层图像素材仍取自公开图像集，未能实现文图一体化的端到端扩散生成或具象编辑。
- 长程决策任务验证有待拓宽：现有实验主要聚焦于图表、文档与高分辨率图像问答，未来可进一步延伸至具身智能动作决策、多步网页浏览以及超长视频推理等多模态长上下文场景。
相关工作与启发¶
- vs MiniLLM / On-Policy Distillation (Agarwal et al., 2024)：以往工作专注于优化 OPD 的目标公式与采样稳定性，假定提示词集合是既定不变的输入。本文将焦点移向“提示词本身”，指出缺乏分歧度的提示词是导致 OPD 提早饱和的根本元凶。
- vs Long Grounded Thoughts (Acuna et al., 2026)：该工作主要致力于扩展长思维链推理轨迹的规模与几何对齐，而本文以教师-学生能力差值（\(\Delta > 0\)）为第一准则，以更加轻量高效的数据合成实现了更高的样本利用效率。
- vs Prismatic Synthesis (Jung et al., 2025a)：前作基于梯度投影追求纯粹的表征多样性，本文进一步证明在知识蒸馏中，单一维度的多样性不能独立存在，必须与答案分歧度深度耦合才能产生持续的扩展收益。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证并量化了多模态蒸馏中的“零分歧陷阱”，理论视角非常深刻。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 个领域内基准与 3 个域外基准，对比了数十个先进基线，且包含详尽的交叉架构迁移与消融分析。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进，动机非常清晰，图表与实验设计高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 为大模型后训练时代的数据精炼与高质量合成提供了极具实操性的规范与方法论。