Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection

会议: ECCV 2026
论文: ECCV 2026
领域: 模型压缩（数据集蒸馏）
关键词: 数据集蒸馏、扩散模型、区域选择、扩散特征、类内聚类

一句话总结

本文把预训练扩散模型从图像生成器改作真实数据的区域选择器，通过类别条件差异定位和 DIFT 聚类构建可复用的压缩训练集，在 ImageNet-1K、IPC=50 的主实验中取得 \(61.0\pm0.3\%\) 分类准确率。

研究背景与动机

数据集蒸馏压缩的是训练数据，而不是网络参数：目标是用每类少量图像训练出仍有良好泛化能力的模型。 其中 IPC 表示 images per class，即压缩数据集中每个类别的图像数。 早期方法通过梯度、分布或训练轨迹匹配优化合成像素，但大规模、高分辨率数据会放大优化空间和计算开销。 SRe2L 将流程解耦，引入预训练分类器指导图像恢复和重标注，使 ImageNet 规模的蒸馏成为可能。 RDED 则直接选择真实图像裁块并拼接，避免持续优化像素，但选择标准仍依赖面向目标数据训练的分类器。 这使得“如何获得适合下游训练的数据”与“哪个代理分类器最会挑数据”耦合在一起。

扩散生成模型提供了另一条路线：用已经学到的视觉先验直接合成训练图像。 然而，在 ImageNet 上预训练的 DiT 与在其他图文数据上预训练的 Stable Diffusion，面对目标任务时具有不同的分布约束。 前者常需针对任务微调，后者可能生成类别不够准确、带额外噪声或偏离目标数据风格的样本。 如果还要不断改变类别组合或 IPC，重复微调模型、优化原型的开销就会累积。 因此，本文关心的不只是某一个固定压缩比的最好准确率，也关心数据处理结果能否复用于多个配置。 这一目标要求类别相关性、多样性和构建成本同时被考虑，不能只看生成图像是否逼真。

本文选择保留真实图像的像素来源，仅借用扩散模型判断哪些区域最能代表已知类别。 这样，扩散先验影响“选哪里”，却不再自由决定“生成什么”，减少了生成阶段引入额外分布偏移的机会。 随后用扩散特征组织同类裁块，避免仅按类别相关分数挑出一堆内容相近的样本。 这里的分布一致性是相对于生成式蒸馏的经验目标，不意味着裁剪和筛选后数据分布在数学上完全不变。 核心 idea：用冻结扩散模型定位真实图像中的类别相关区域，再以类内聚类和排序形成可跨类别组合、跨 IPC 复用的候选池，把反复生成改成一次分析后按需选取。

方法详解

整体框架

输入为真实训练图像及其类别文本，输出为每类保留指定数量图像的压缩数据集。 第一阶段“类别差异定位”比较带类别文本与不带类别文本时的扩散响应，为原图中的候选区域评分。 第二阶段“扩散特征聚合”对选出的裁块提取 DIFT，并在每个类别内部聚类、排序。 最后“候选池复用”根据类别子集和 IPC 选择已有裁块；小 IPC 时还会采用拼接。 原文图 2 的核心是前两个阶段，候选池复用是其输出组织方式，也是一次蒸馏服务多种设置的依据。 扩散编码器、文本编码器及 U-Net 在选择阶段保持冻结，不为目标压缩集优化新的生成图像。 教师分类器不参与这两个核心选择阶段，但后续训练学生时仍由预训练教师提供软标签。 所以，数据构建免训练与整个学习系统不需要训练，是两件不同的事。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["真实图像与类别文本"] --> B["类别差异定位"]
        B --> C["扩散特征聚合"]
        C --> D["候选池复用"]
        D --> E["压缩训练集"]
        E --> F["学生训练与评测"]
        G["预训练教师软标签"] --> F

关键设计

1. 类别差异定位：让扩散先验指导裁剪，而不是生成新像素

高分辨率图像先等比例缩放，使短边为 256 像素，然后编码到扩散模型的潜空间。 同一图像分别配合类别提示和去掉类别的提示进行噪声预测，原文示例为 An image of c 与 An image of .。 类别文本并不是让系统遍历所有可能类别；图像所属类别已由输入数据给定。 与扩散零样本分类需要比较多个候选类别不同，这里只构造类别条件与无类别条件之间的对照。 作者希望利用这个差异，识别模型在“知道类别是什么”之后更能解释的图像区域。 多个噪声与时间步下的结果取平均，减少单次扰动造成的不稳定性。 用于定位的归一化时间步范围设为 \([0.1,0.7]\)，不是固定只执行一个去噪时间步。 模型输出的潜空间差异图经插值上采样到原图分辨率，再做通道平均，得到空间得分图。

接下来用 \(224\times224\) 的平均池化窗口评估裁块，将得分最高的区域作为这张原图的代表。 这一操作比先随机裁剪再让分类器打分更直接，因为区域位置由密集得分图决定。 对于固定面积窗口，按原文式 (7) 和算法 1 的区域求和写法，可将选择规则整理为：

\[ R(p\mid c)=\sum_{(i,j)\in p}\widehat M(x\mid c)[i,j],\qquad p^{*}=\underset{p}{\arg\max}\;R(p\mid c). \]

其中 \(\widehat M(x\mid c)\) 是插值并按通道聚合后的类别差异图，\(p\) 是固定大小的候选裁块。 由于窗口面积相同，求和与平均池化只差一个常数因子，不改变最优区域。 这一公式只整理可辨认的区域聚合步骤，不额外定义原文未明确的噪声损失方向。 本地全文的式 (1) 至式 (6) 存在排版提取损坏，且正文在噪声差与损失差之间切换表述。 因此不将其擅自修补为一个看似精确的条件似然、差值符号或完整训练损失。 可以确认的是两种文本条件、多次采样平均、空间聚合以及最大分数裁剪这条实际路径。 最终保留的是原图裁块，不经历从随机噪声反向生成新图像的过程。 这限制了生成偏移，却不能保证裁块保留全部上下文，尤其是物体超出裁剪窗口时。

2. 扩散特征聚合：分别处理类内模式覆盖与样本典型性

只取高分裁块仍可能偏向同一种姿态、纹理或背景，因为类别相关性并不等于样本互补性。 第二阶段使用 DIFT，即从扩散网络中提取的中间特征，描述每个已经选出的裁块。 具体做法是将裁块编码、在指定时间步加噪，再在类别文本条件下经过 U-Net，读取中间层激活。 这里采用固定时间步 \(t=160\)，与第一阶段在区间内采样时间步的用途不同。 它负责构造聚类用的视觉表示，而不是再次搜索裁剪位置。 在每个类别内运行 K-means，聚类中心数固定为 32，并优先从排名前 10 的簇取样。 类别之间不混合聚类，从而避免让大类或相近类别争用同一个压缩预算。 这一步仍依赖扩散表示的质量，不能理解为对真实数据分布的无偏采样。

排序分成两个尺度：簇内按裁块距质心的距离排序，簇间按各簇裁块代表性分数的中位数排序。 簇内优先选择接近中心的样本，是为了保留该视觉模式中的典型成员，而不是只取分数极高的离群点。 簇间排序则把第一阶段的类别相关性重新引入，避免把弱相关内容仅因聚成一簇就保留下来。 中位数描述的是整个簇的分数水平，不由单个最高分裁块决定。 先挑若干较好的簇、再从不同簇内取典型成员，构成本文对代表性和多样性的具体约束。 这种多样性是同类不同视觉模式的覆盖，并不是让扩散模型增加生成随机性。 原文没有给出簇选择带来的理论覆盖保证，支持主要来自聚类消融与可视化。 CLIP 聚类对照还说明：加入聚类本身并不必然提升准确率，特征空间是否适合这个选择目标很重要。

3. 候选池复用：将昂贵分析与压缩预算解耦

当裁块、特征、簇和排序已经计算完成，不同 IPC 可以从同一个类内候选池取出不同数量的样本。 改变类别组合时，也可以组合已经处理的类别，而不重新优化一组生成原型。 IPC=100 时，论文给出的做法是从前 10 个簇各选 10 个裁块。 若某簇数量不足，则补选高分裁块，避免实际输出数量低于要求。 这意味着“每簇等量”是优先规则，而不是任何数据分布下都严格满足的约束。 IPC 大于 10 时，每个裁块视为一张训练图像，不再强制把多个局部区域挤在一起。 IPC 不大于 10 时，遵循 RDED 的实验设置，将多个裁块拼成一张图像。 正文没有在这里明确给出所有拼接布局和裁块数，因此不额外指定一个通用拼图方案。

低分辨率数据采用单独处理：保持整图、不做上述局部裁剪，在整图上计算得分后聚类。 这是必要的设置差异，不能把 ImageNet 的 \(224\times224\) 搜索过程原样套到 CIFAR。 作者所谓 one-step 是一套分析结果可供多个蒸馏设置复用，并不是一次 U-Net 前向传播。 更不是所有数据集无论规模大小，首次处理成本都相同。 每个候选图像仍要承担扩散响应计算，选出的裁块也需要特征提取和聚类。 第 4.6 节专门讨论减少候选原图数来降低这部分开销，说明首次构建成本仍值得关注。 对于未被候选池覆盖的新类别或新图像，依然需要相应的分析步骤。 因此最适合复用收益的场景，是同一数据源上反复改变类别组合与压缩预算。

一个完整示例

以文中 ImageNet-1K 的 IPC=100 设置为例，一个类别最终需要 100 张训练图像。 系统先对该类候选原图计算类别差异图，每张高分辨率原图贡献一个最高分裁块。 这些裁块经 DIFT 编码后分到 32 个簇，再按簇分数中位数选取前 10 个簇。 每簇优先取距质心最近的 10 个成员，数量不足时才进入高分样本补选流程。 因为 IPC=100 大于 10，得到的裁块作为独立图像使用，而不是先拼成一个大画布。 若之后改做一个类别子集上的实验，已有类别的裁块与排序可直接复用。 若改成另一个 IPC，调整取样数量即可，但学生模型仍需在新训练集上重新训练。 这个例子说明复用的是数据分析成果，而不是让同一个学生模型自动适配所有实验。

损失函数 / 训练策略

选择过程不更新扩散模型，也没有针对合成像素或潜变量的迭代蒸馏优化。 差异响应承担评价信号的角色，不应被误读为本文新训练的一个扩散模型目标。 训练学生时，预训练且固定的分类器为压缩数据提供软标签，评测遵循 EDC 的超参数设置。 每组压缩数据训练五个随机初始化的网络，报告其平均表现；表中的 \(\pm\) 项按原文保留。 正文没有完整展开学生软标签损失的公式，也未在所读内容中明确说明所有 \(\pm\) 项的统计定义。 高分辨率主实验使用 ResNet-18；低分辨率另报告 ConvNet 与 ResNet-18 两组结果。 实验使用 PyTorch 和 NVIDIA RTX-3090，但本文并未因此免除教师预训练或下游学生训练的成本。

实验关键数据

主实验

以下摘自原文第 9 页表 1，指标为分类准确率（%），高分辨率主实验以 ResNet-18 评测。 RDED 与 IGD 均为被比较的已有方法，“本文”才是 diffusion-driven selection 的结果；这些列不是本文的模块变体。

数据集	IPC	RDED（已有基线）	IGD（已有基线）	本文
ImageNette	50	\(80.4\pm0.4\)	\(85.5\pm0.3\)	\(86.4\pm0.2\)
ImageWoof	10	\(38.5\pm2.1\)	\(39.8\pm0.1\)	\(44.5\pm0.4\)
ImageNet-100	50	\(61.6\pm0.1\)	\(64.2\pm0.3\)	\(67.5\pm0.3\)
ImageNet-1K	10	\(42.0\pm0.1\)	\(45.5\pm0.5\)	\(46.1\pm0.3\)
ImageNet-1K	50	\(56.5\pm0.1\)	\(60.3\pm0.4\)	\(61.0\pm0.3\)
ImageNet-1K	100	\(59.5\pm0.8\)	\(61.4\pm0.3\)	\(63.0\pm0.2\)

在 ImageNet-1K、IPC=50 上，本文比 RDED 高 4.5 个百分点，比 IGD 高 0.7 个百分点，不能把两者混写成同一种增益。 原表还包括其他方法，摘录的三个方法列并不代表完整基线集合。 低分辨率并非全面领先：同页表 2 的 CIFAR-10、IPC=10、ConvNet 设置中，本文为 \(48.8\pm0.4\%\)，低于 RDED 的 \(50.2\pm0.3\%\) 和 TESLA 的 \(66.4\pm0.8\%\)。 这些反例限定了方法优势的范围，不能将高分辨率结论推广为所有数据集、所有骨干都最优。

消融实验

下表摘自原文第 13 页表 5，固定 IPC=50，数值为准确率（%），比较聚类特征及是否聚类。

数据集	无聚类	CLIP 特征聚类	DIFT 特征聚类（本文）
ImageWoof	70.4	69.5	73.7
ImageNet-1K	58.1	59.0	61.0

在这组 ImageWoof 消融中，DIFT 比无聚类高 3.3 个百分点，而 CLIP 聚类反而低 0.9 个百分点。 ImageNet-1K 的原表给 DIFT 标注了 +1.9，但原始数值 \(61.0-58.1=2.9\)；本笔记保留原值并明确指出算术不一致。 同一消融表的 ImageWoof IPC=50 为 73.7，而主表 1 为 73.5；ImageNet-1K IPC=100 在表 5 为 63.4，而表 1 为 63.0。 原文未明确交代这些跨表差异的原因，因此各表独立引用，不把消融数值替换为主实验成绩。

同页表 6 检查定位阶段的采样时间区间；以下同样是 ImageNet-1K、IPC=50 的准确率（%），不是 DIFT 特征提取时间步消融。

归一化时间区间	准确率	解释
\([0.1,0.3]\)	58.9	时间区间较窄
\([0.1,0.7]\)	61.0	本文采用的区间
\([0.1,0.9]\)	59.7	加入更高噪声时间步
\([0.7,0.9]\)	57.9	仅使用高噪声区间

关键发现

• 表 6 支持保留低时间步并覆盖中间区间，但不是区间越宽越好；加入更高噪声后准确率下降。
• 第 11 页表 3 显示教师选择仍然重要：IPC=50、ResNet-18 学生配 ResNet-18 教师为 61.0%，配 ViT-B 教师为 31.2%。
• 同一表中，ResNet-18 教师配 ResNet-101 学生达到 65.7%，说明真实裁块也能支持更深学生，但这不是与所有既有蒸馏方法的同架构对照。
• 第 12 页图 5 比较多种任务的构建时间，支持重复设置中的复用收益；不将其“恒定成本”解读为包含教师及学生训练的端到端常数时间。

亮点与洞察

• 生成模型的价值不必通过生成新样本兑现。将扩散先验用于定位，让输出像素仍来自目标数据，是本文降低生成偏移的主要手段。
• 区域代表性与集合多样性被分开处理。前者决定每张图看哪里，后者决定整个压缩集应该覆盖哪些同类视觉模式。
• 类间组合和类内预算改变，不必都触发重新优化。按类别保存特征、簇和排序，使一次较重的数据分析能够服务多个实验配置。

局限与展望

• 真实裁块仍可能丢失上下文，拼接也可能破坏整体结构，因此“来源真实”不等于“分布无偏”或“类别特征完整”。
• 冻结扩散先验仍带有其预训练偏好；选择阶段规避生成偏移，却没有消除语义定位错误的可能性。
• 学生评测仍依赖教师软标签，表 3 的较大差异说明不能据此宣称整体流程已经摆脱代理模型依赖。
• 所读缓存包含第 1 至 17 页正文与参考文献，没有正文提到的附录；U-Net 特征层、完整评测细节和公式排版需要原始材料进一步核验。
• 表间数字和表 5 的增益标注不一致降低了复现解释的清晰度；更明确的实验配置记录比直接合并这些结果更重要。

相关工作与启发

• 对比 RDED：两者均利用真实裁块，但 RDED 依赖分类器评价随机裁剪，本文以扩散条件差异定位，再用 DIFT 聚类筛选。
• 对比 Minimax、IGD：这些方法微调基于 DiT 的生成过程；本文不优化生成模型，而把目标图像本身作为输出像素的来源。
• 对比 D4M、MGD3：这些方法利用 Stable Diffusion 和原型组织生成，本文通过已有裁块及其排序复用，减少重新计算不同 IPC 原型的需求。
• 联系扩散零样本分类与 DIFT：前者启发类别条件对照，后者提供中间视觉表示；它们是本文借用的既有技术，本文贡献在于将其组织成蒸馏选择流程。

评分

• 新颖性：4/5。把扩散先验用于区域选择而非生成，问题重构清晰，但依赖已有条件比较与特征提取工具。
• 实验充分度：4/5。覆盖高低分辨率、多个 IPC、架构组合和选择策略，同时存在低分辨率反例与跨表数字差异。
• 写作质量：3/5。两阶段结构易于理解，但 one-step 的边界、算术标注和若干复现细节需要更严谨说明。
• 价值：4/5。适合在同一视觉数据源上反复构建不同预算的训练集，价值主要体现在可复用数据选择而非新生成模型。

相关论文

• [CVPR 2026] Mitigating The Distribution Shift of Diffusion-based Dataset Distillation
• [CVPR 2026] IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation
• [CVPR 2026] ManifoldGD: Training-Free Hierarchical Manifold Guidance for Diffusion-Based Dataset Distillation
• [ICLR 2026] Diffusion Models as Dataset Distillation Priors
• [CVPR 2026] DMGD: Train-Free Dataset Distillation with Semantic-Distribution Matching in Diffusion Models