Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation¶

会议: ECCV2026
论文: ECCV 原文
领域: 模型压缩
关键词: 知识蒸馏、协变量偏移、置信度引导、合成数据增强、群体鲁棒性

一句话总结¶

ConfiG 用跨类扩散编辑和师生置信度差异生成学生尚未掌握的训练样本，在不知道伪相关属性的条件下改善蒸馏鲁棒性，使 CelebA-HQ 最差群体准确率从仅真实数据的 53.44% 提升至 88.15%。

研究背景与动机¶

知识蒸馏可以让小模型学习大型教师的类别概率，而不只是训练集提供的硬标签。但教师知道某种规律，不代表有限的蒸馏数据会迫使学生学到这条规律。如果训练图像中水鸟总在水上、陆鸟总在陆地，学生只看背景也能模仿教师在训练集上的输出。真实测试时出现站在陆地上的水鸟，原先很低的蒸馏损失就不再说明学生理解了鸟类本身。本文研究的协变量偏移是输入分布变化、给定输入的类别条件分布保持不变，而不是增加新类别。

更难的情况是某些属性组合在训练中完全缺失，而非仅仅数量少。这使得依赖少数群体重加权的方法缺少可以重加权的样本，常规扩散增强也可能继续复现原有相关性。只根据学生生成困难图像同样不够：图像可能已经变成另一个类别，学生的低置信度并不一定代表发现了捷径。因此，需要同时回答“学生是否不会”和“这个样本是否仍支持指定类别”，而训练数据本身无法提供缺失群体的标注。

作者假设有一个在训练和测试分布上都较可靠的教师，用它与偏置学生的分歧寻找值得生成的区域。原文表 1 中，CelebA-HQ 的 2351 个师生分歧样本有 2256 个来自训练缺失群体，SpuCo Birds 则为 828 个中的 779 个。这些测试集统计提供经验动机，不是生成时读取测试样本，也不构成对所有分布的保证。 核心 idea：用教师的高目标类置信度约束语义，用学生的低目标类置信度定位知识缺口，再把生成图像加入蒸馏数据。

方法详解¶

整体框架¶

输入是少量带类别标签的真实图像、一个预训练分类教师和一个预训练扩散模型。先在真实数据上蒸馏辅助学生，让它显露当前数据支持下的捷径，再把它作为生成阶段的固定评判模型。每张图像先经过跨类编辑热启动，再做置信度引导潜变量优化，最后使用真实与合成图像进行混合数据蒸馏。输出是可独立部署的小型分类学生，而不是一个必须在测试时调用扩散模型的系统。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["真实图像与类别"] --> Warm["跨类编辑热启动"]
        Input --> Aux["仅真实数据蒸馏<br/>辅助学生"]
        Warm --> Opt["置信度引导<br/>潜变量优化"]
        Aux -->|低目标类置信度| Opt
        Teacher["固定分类教师"] -->|高目标类置信度| Opt
        Opt --> Mix["混合数据蒸馏"]
        Input -->|真实样本| Mix
        Teacher -->|软标签监督| Mix
        Mix --> Output["部署学生<br/>无需生成器或教师"]

这里的两个教师角色不能混为一谈：分类教师提供任务判断，扩散模型提供可编辑的图像先验。辅助学生参与寻找反例；最终学生则从扩展后的数据重新学习，不是在测试时继续接受对抗优化。群体标签用于构造和评测基准，不是 ConfiG 生成器所需的输入。 “未知偏移”也不意味着没有任何先验：方法仍依赖教师和生成模型在缺失区域具有可用知识。

关键设计¶

1. 跨类编辑热启动：先离开原类别的局部邻域

对每张真实图像，先使用扩散模型的编码器得到潜表示，再通过 null-text inversion 找到能够重建该图像的起始潜变量和空文本条件。这一步把真实样本接入可微分的扩散轨迹，避免完全从随机噪声开始寻找图像。分类器并不直接读取潜变量，而是读取最终潜表示经解码器恢复的图像。因此，后续对类别置信度的优化必须把梯度传回生成过程。

完整 ConfiG 随机选择一个不同于原类别的目标类别。它先用原类别执行反演，再用适配 DiG-IN 的 prompt-to-prompt 编辑把图像推向目标类别。例如，从水背景上的水鸟出发，目标改成陆鸟，保留部分场景内容就可能产生原训练集缺失的属性组合。这个步骤不是把两张图像做像素加权混合，也不是 MixUp 的软标签插值。它是在生成模型中进行跨类语义编辑，为后续优化提供更合适的起点。如果只在原类别附近寻找困难样本，既可能受高置信度区的小梯度阻碍，也可能难以突破训练数据已有的相关结构。

2. 置信度引导潜变量优化：让教师认可、让学生犯难

这里的置信度指分类器赋给指定目标类别的概率，不是最大类别概率，也不是预测熵。若目标是陆鸟，就同时观察教师和辅助学生给“陆鸟”的概率，即便它们当前预测的类别不同。生成过程希望降低学生的目标类置信度，同时保持教师的目标类置信度很高。这样，困难性来自师生判断差异，而不是仅仅把图像变得模糊、不可识别或改成别的类别。教师约束充当语义检查，但它是否真的对应正确语义仍取决于教师可靠性。

可优化量包括反演所得的起始潜变量、空文本条件以及 CLIP 文本条件。每次生成并解码图像后，固定教师和辅助学生给出目标类概率，再通过可微扩散链路更新这些输入量。文中使用 DiG-IN 框架和 Adam 优化，并不是在这个阶段重新训练扩散模型权重。作者观察到辅助学生在初始图像上常过于自信、梯度很小，因此对学生置信度使用幂变换，指数取 \(\gamma=2\)。此外采用前景感知的距离正则，约束生成图像与原始内容的偏离。缓存未提供该正则的完整细节和系数，不把它扩写成额外的分割监督模块。

原文式（7）的文本抽取损坏，无法可靠读取完整运算关系。因此这里只陈述相邻正文可确认的优化方向和变量，不把可能的概率差、比值或乘积冒充作者精确目标。这一限制不影响理解机制，但意味着仅靠本笔记不能逐项复现生成损失。尤其不能把“最大化分歧”解释成直接最大化两个完整类别分布之间的 KL 散度，正文没有给出这个定义。

3. 混合数据蒸馏：把找到的知识缺口变成常规训练样本

辅助学生先只看真实训练数据，因此会暴露这个数据集容易诱发的偏置。它被用来离线生成合成增强，最终学生再在真实与合成数据的混合分布上学习教师输出。主实验中每张真实图像生成 1 张 ConfiG 增强，训练时以 \(\alpha=0.5\) 的概率用合成图像替换真实图像。这个数值是采样替换概率，不是把两幅图像各乘一半，也不是教师与硬标签损失的权重。新图像使学生在原先可以投机取巧的区域遇到反例，从而需要更贴近教师决策边界。

最终训练使用教师的完整类别概率作为软标签，不直接把跨类编辑指定的类别当作唯一监督。这种设计把生成时的“目标类别约束”和训练时的“预测分布匹配”分开。即使生成结果不是绝对确定的单一类别，教师概率也保留了相对类别信息。主流程不是反复更新最终学生后在线重新生成的自适应闭环；文中描述的是先生成增强、再训练学生。推理时只保留最终学生，所以主要增加的是离线数据构建成本，而不是部署计算图。

一个完整示例¶

以原文图 3 的 CelebA-HQ 案例为例，起始图像是年长、非金发的男性，正好符合训练中的相关模式。 ConfiG 把目标类别改成女性，并先用跨类编辑给优化热启动。仅改变类别提示后，师生仍可能共同依赖熟悉的线索，难以形成有效反例。继续优化后，最终图像保持年长和非金发属性，但教师给女性类别 99.6% 的概率，辅助学生只给 1.8%。在作者的可视化解释中，这是教师识别目标语义、学生仍被伪相关属性误导的例子，而不是所有生成图像都满足的自动正确性证明。将这种图像加入蒸馏后，最终学生再依靠发色或年龄判断类别就会与教师监督冲突。这个例子说明的是数据集中的二元属性分类，不意味着这些外观线索应被用于真实人物身份判断。

损失函数 / 训练策略¶

最终学生使用 response-based knowledge distillation，也就是最小化教师概率与学生概率之间的交叉熵。下面是依据正文定义写出的标准等价表达，用于解释蒸馏训练，并非重建损坏的式（7）：

\[ \mathcal{L}_{\mathrm{KD}}=-\frac{1}{N}\sum_{i=1}^{N}\sum_{c=1}^{C}t_c(x_i)\log f_c(x_i). \]

其中 \(t_c(x_i)\) 和 \(f_c(x_i)\) 是教师与最终学生对类别 \(c\) 的预测概率，训练样本按上述混合策略取得。主实验不把真实硬标签交叉熵再加到该目标上，也不额外假定缓存中未报告的蒸馏温度。群体偏移实验使用 ImageNet-21k AugReg 预训练的 ViT-T，教师为 DataComp-XL 预训练的 CLIP ViT-L/14。 CelebA-HQ 和 BAR 用类别名称获得教师零样本预测；SpuCo Birds 先预测细粒度鸟类，再聚合为水鸟与陆鸟。 ImageNet-100 使用在完整 ImageNet 上训练的 BEiTv2-B 教师、ViT-T 或 ViT-S 学生，并采用 A1 常规增强。各扩散增强基线统一使用 Stable Diffusion 1.4，按近似生成 FLOPs 调整合成样本数，而非固定相同张数。主文中的 Diff-Mix 对比为每图 28 张增强；这说明 ConfiG 每张图更昂贵，不能把“只生成 1 张”当作速度优势。

实验关键数据¶

主实验¶

CelebA-HQ 和 SpuCo Birds 每类保留 250 张训练图像，并完全移除部分群体；BAR 每类使用 100 张训练图像。 SMA 是逐样本平均准确率，GMA 是各群体准确率的等权平均，WGA 是所有群体准确率的最小值。 CelebA-HQ 按二元类别、年龄和发色形成 8 个测试群体；SpuCo Birds 的测试群体均衡，因此 SMA 与 GMA 一致。 BAR 测试地点与训练地点不重叠，原文仅报告 SMA，不应补写 BAR 的 WGA。下表摘录原文表 2（第 10 页）；单位为 %，学生结果为 6 次训练的均值 ± 标准差，常规增强为随机缩放裁剪。

方法	CelebA-HQ SMA	CelebA-HQ GMA	CelebA-HQ WGA	SpuCo Birds SMA	SpuCo Birds WGA	BAR SMA
仅真实数据	93.98 ±1.68	86.89 ±2.48	53.44 ±8.12	56.53 ±2.40	12.97 ±6.65	37.69 ±3.58
Diff-Mix	97.36 ±0.16	93.07 ±0.73	70.63 ±3.76	69.49 ±2.33	32.13 ±2.22	59.28 ±2.32
ActGen	97.04 ±0.48	92.61 ±0.67	75.68 ±4.22	64.54 ±2.07	25.97 ±1.80	55.71 ±2.70
ConfiG	97.76 ±0.25	95.67 ±0.55	88.15 ±2.10	73.38 ±1.28	39.50 ±4.53	58.66 ±3.76

CelebA-HQ 的 WGA 相对仅真实数据提高 34.71 个百分点，相对 ActGen 提高 12.47 个百分点。但 BAR 的 SMA 低于 Diff-Mix，不能概括为所有数据集、所有指标第一。 SpuCo Birds 的教师 WGA 为 93.80%，学生的 39.50% 仍有明显差距，说明解决部分捷径不等于完整恢复教师能力。

ImageNet-100 每类使用 100 张训练图像，共 100 类；下表为原文表 3（第 12 页）的摘录，数值单位为 %。 SpuScore 衡量对应类别真图像与“只有伪相关特征、没有该类物体”的图像之间的类别概率分离程度，越高越好。它不是后一类图像上的分类准确率；主文未展开其完整计算式，这里不自行指定为某种排序统计量。

方法	ViT-T SMA	ViT-T SpuScore	ViT-S SMA	ViT-S SpuScore
仅真实数据	71.46	54.05	86.46	68.62
ActGen	78.36	60.48	91.04	73.17
ConfiG	80.02	62.36	91.68	75.49

消融实验¶

下表摘录原文表 4（第 12 页），单位为 %，沿用群体偏移主实验的教师、学生和训练设置。 “仅潜变量优化”没有跨类编辑，目标类保持原类别；“仅 p2p”只做跨类编辑，不再执行置信度引导优化。

配置	CelebA-HQ WGA	SpuCo Birds SMA	SpuCo Birds WGA	BAR SMA
仅真实数据	53.44 ±8.12	56.53 ±2.40	12.97 ±6.65	37.69 ±3.58
仅潜变量优化	71.11 ±3.74	61.53 ±2.03	21.63 ±3.61	39.40 ±3.53
仅 p2p	86.99 ±1.61	66.64 ±1.83	33.20 ±3.41	44.09 ±3.77
ConfiG	88.15 ±2.10	73.38 ±1.28	39.50 ±4.53	58.66 ±3.76

关键发现¶

仅跨类编辑已经解释了 CelebA-HQ 上的大部分收益；完整方法的 WGA 只再增加 1.16 个百分点，不能把全部提升归功于置信度优化。
BAR 上完整方法比仅 p2p 高 14.57 个百分点，显示热启动与后续优化的互补性依赖任务。
原文表 5（第 13 页）中，ConfiG 加强裁剪、翻转和 CutMix 后，SpuCo Birds WGA 达到 53.10 ±3.42%，说明合成增强与常规增强可互补。
原文表 6（第 14 页）中，将 ConfiG 每图增强从 1 张增至 2 张，SpuCo Birds WGA 由 39.50% 增至 46.90%，但 CelebA-HQ WGA 从 88.15% 变为 87.83%，增加样本并非处处改善。

亮点与洞察¶

分歧用于决定“哪里缺训练数据”，而不仅用作蒸馏损失。它把教师尚未传递给学生的知识转化为可训练的输入分布。
跨类编辑不是附属技巧。它能破坏原数据中类别与背景、属性的捆绑，为置信度优化提供更有价值的起点。
同时报告 SMA、GMA、WGA 很重要。总体准确率已经较高时，最差群体仍可能严重失败，单看平均数容易忽略真正的鲁棒性缺口。

局限与展望¶

作者明确限定于全局图像分类增强；目标检测等定位任务需要对编辑范围施加约束，本文没有验证。
方法假设教师在缺失群体上可靠。弱教师实验仍有收益，但不能证明师生共享同一捷径时也能发现正确反例。
读者分析：教师高置信并非真实语义正确的充分条件，生成优化可能利用模型漏洞；需要独立质量审核或多教师一致性检查来验证这一风险。
生成 FLOPs 近似匹配不等于端到端耗时、显存或数据准备成本完全匹配，主结果不能直接推导部署前的成本收益比。
当前全文缓存包含主文和参考文献，未包含正文引用的附录；式（7）抽取损坏，理论推导、正则细节、完整超参数及 Hyper-SD 附录结果均未独立核验。

评分¶

新颖性: 4/5。把跨类生成与师生置信度联合用于未知群体缺失，问题定位清楚，组件本身主要沿用已有方法。
实验充分度: 4/5。覆盖多数据集、组件消融、增强强度和弱教师，但仍以分类为主。
写作质量: 4/5。主文动机与消融联系明确；当前缓存的公式损坏限制了可复现性核验。
价值: 4/5。对有限数据下压缩鲁棒教师有实用启发，但应连同生成成本和教师可靠性一起评估。