DD-Ranking: Rethinking the Evaluation of Dataset Distillation¶

会议: NeurIPS 2026
arXiv: 2505.13300
代码: https://github.com/NUS-HPC-AI-Lab/DD-Ranking.git
领域: 模型压缩
关键词: 数据集蒸馏, 基准评测, 软标签, 数据增强, 真实信息量

一句话总结¶

针对近年数据集蒸馏（DD）依靠复杂软标签与强数据增强人为虚标测试准确率的乱象，本文提出了统一解耦评测基准 DD-Ranking，引入标签鲁棒性得分（LRS）与数据增强鲁棒性得分（ARS），揭示出真实合成图像质量往往甚至落后于随机采样的严峻现状。

研究背景与动机¶

数据集蒸馏（Dataset Distillation, DD）旨在从大规模真实数据集中合成出极少量的紧凑样本，使得仅在此合成小集上训练的神经网络能够逼近全量数据训练的性能。然而，近年来随着解耦蒸馏方案（如 SRe2L、EDC 等）将蒸馏任务扩展至 ImageNet-1K 等大尺度数据集，社区普遍引入了预训练教师模型的阶段性软标签（soft labels）、激进的数据增强（CutMix、PatchShuffle、自适应裁剪等）、以及 AdamW 优化器和余弦退火策略。这些后评测（post-evaluation）阶段的工程技巧极大地推高了最终下游模型的测试准确率，造成了方法性能突飞猛进的繁荣假象。

这一繁荣假象背后的核心矛盾在于：现行基于测试准确率的单一评测体系存在严重的协议不一致与归因偏差。各个方法在验证阶段采用的评估配置天差地别，有的使用纯硬标签分类交叉熵，有的在评测时挂载复杂的多教师多轮次软标签蒸馏损失。令人震惊的实证现象表明，若在完全相同的软标签与强增强评估管道下，仅仅随机抽取真实子集甚至纯高斯噪声图像，其下游分类准确率也能大幅领先很多经过复杂双层优化蒸馏出的合成集。这表明当前取得的高准确率主要来自于知识蒸馏（来自教师模型 logits）和强正则化策略，而非合成数据本身富含判别性信息。

面对当前评估协议与蒸馏初衷的严重脱节，单纯依赖原始测试准确率已无法客观衡量蒸馏算法的真实贡献。核心 idea：构建统一、无偏的基准框架 DD-Ranking，设计标签鲁棒性得分（LRS）与数据增强鲁棒性得分（ARS），以同等配置下的随机采样性能与全量硬标签恢复度为双重锚点，彻底解耦外在工程技巧对数据固有信息量的虚高干扰。

方法详解¶

整体框架¶

DD-Ranking 旨在构建一个标准化、解耦外在训练技巧的评测体系。评测的核心思想是：任何有价值的数据集蒸馏方法，其生成的样本都应当在剥离或控制外部红利后，显著超越同等规模的朴素随机抽取真实子集，并能在经典硬标签设置下尽可能恢复全量数据集的信息容量。

整体流程包含三个核心阶段：首先在基准层面固定并对齐代理模型的训练超参数与标签/增强配置；随后针对待测蒸馏方法合成的数据集与同样本容量（IPC）的随机采样真实子集，分别执行硬标签恢复评测与跨增强对照评测；最后通过统一的非线性尺度映射，计算出反映真实数据质量的综合指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：待测蒸馏合成集 D_syn 与真实数据集 D_real"] --> B["阶段1：建立随机采样基线<br/>同容量随机真子集同环境对照"]
    B --> C["阶段2：标签鲁棒性评估<br/>测算 HLR 与 IOR 指标"]
    B --> D["阶段3：数据增强鲁棒性评估<br/>测算有/无增强相对增益"]
    C --> E["阶段4：指标融合与非线性归一化<br/>输出最终 LRS 与 ARS 排名"]
    D --> E

关键设计¶

1. 硬标签恢复度：锚定原始任务目标与全量容量差距 针对近年解耦蒸馏方法严重依赖教师模型软标签导致其脱离常规离散类别监督任务的弊端，硬标签恢复度（Hard Label Recovery, HLR）强行回归数据集蒸馏的本质初衷——合成样本应能脱离额外先验模型、直接在真实硬标签监督下训练分类器。HLR 衡量在硬标签配置下，全量真实数据集训练的测试准确率 \(\text{acc}_{\text{real-hard}}\) 与合成小数据集训练的准确率 \(\text{acc}_{\text{syn-hard}}\) 之间的绝对差距：

\[ \text{HLR} = \text{acc}_{\text{real-hard}} - \text{acc}_{\text{syn-hard}} \]

HLR 指标越小，表明合成数据集在最基本的监督学习设定下对全量数据有效信息的捕获与恢复程度越高，杜绝了靠软标签外挂蒸馏掩盖样本特征退化的缺陷。

2. 相对随机采样提升度：解耦后评测技巧的外在红利 当前诸多工作声称的高准确率在很大程度上由更先进的训练超参（如 AdamW、余弦退火、知识蒸馏损失）所贡献。为了剔除这些非数据本身因素的干扰，相对随机采样提升度（Improvement Over Random, IOR）确立了一条朴素准则：在完全一致的评测管线（相同的软/硬标签生成方式、优化器及超参数）下，蒸馏方法必须证明其信息量超越简单的随机挑选。其数学定义为：

\[ \text{IOR} = \text{acc}_{\text{syn-any}} - \text{acc}_{\text{rdm-any}} \]

其中 \(\text{acc}_{\text{syn-any}}\) 与 \(\text{acc}_{\text{rdm-any}}\) 分别表示合成数据与同等容量随机真实数据在对应设定下的测试准确率。若 IOR 为负数，说明经过昂贵优化合成的图像实际信息密度甚至不如直接随机抓取的真实样本，以此有效识别出伪提升。

3. 标签鲁棒性得分：双锚点加权与非线性尺度归一化 为了综合兼顾绝对信息捕获能力与相对工程增益剔除，标签鲁棒性得分（Label-Robust Score, LRS）将 IOR 与取负后的 HLR 进行加权融合。引入平衡权重系数 \(\lambda \in [0, 1]\)（默认取 0.5），定义线性组合 \(\alpha = \lambda \cdot \text{IOR} - (1 - \lambda) \cdot \text{HLR}\)。由于 \(\alpha\) 的理论取值范围在 \([-1, 1]\) 之间，为方便标准化排榜与横向对比，DD-Ranking 采用指数变换将其单调归一化至 \([0, 100\%]\)：

\[ \text{LRS} = 100\% \times \frac{e^{\alpha} - e^{-1}}{e - e^{-1}} \]

该设计使得无论待测算法原始采用何种标签表示，均能在统一尺度下反映合成图像对下游分类的真实贡献，得分越高代表信息丰富度与鲁棒性越强。

4. 数据增强鲁棒性得分：剥离测试期数据扩增虚增效应 类似软标签，强数据增强（如随机裁剪、CutMix 等）也是导致测试准确率失真的主因。为了评估合成数据是否仅在强正则化下偶然维持可分性，增强鲁棒性得分（Augmentation-Robust Score, ARS）通过有增强和无增强双路对比进行测算。分别记录包含增强的相对提升 \(\text{acc}_{\text{syn-aug}} - \text{acc}_{\text{rdm-aug}}\) 以及去除增强后的纯净相对提升 \(\text{acc}_{\text{syn-naug}} - \text{acc}_{\text{rdm-naug}}\)，并通过平衡因子 \(\gamma\)（默认 0.5）进行线性组合：

\[ \beta = \gamma (\text{acc}_{\text{syn-aug}} - \text{acc}_{\text{rdm-aug}}) + (1 - \gamma) (\text{acc}_{\text{syn-naug}} - \text{acc}_{\text{rdm-naug}}) \]

将 \(\beta\) 经受相同指数变换得到 ARS。高质量的蒸馏数据在脱离强增强后依然应保持对随机采样的显著优势；反之，若去掉增强后优势崩溃甚至逆转，ARS 将严厉惩罚此类算法。

损失函数 / 训练策略¶

在基准评测实施过程中，DD-Ranking 严格控制评测协议的严谨性： - 评估均在 5 个不同随机种子下独立重复测试并汇报均值。 - 在硬标签评估模式下，为杜绝因超参数不适配而造成的偏差，对学习率进行网格搜索并选取最优表现。 - 在软标签评估模式下，蒸馏方法默认采用其论文公布的最优学习率，同时对对照组的随机采样样本同样执行充分的学习率超参搜索，确保比较基准的公平与下界扎实。

实验关键数据¶

主实验¶

论文在 CIFAR-10、CIFAR-100、TinyImageNet 和 ImageNet-1K 四大主流基准上全面重测了现有多类经典蒸馏方法。下表汇总了 CIFAR-10 与 CIFAR-100 在不同 IPC（每类图像数）下的 LRS 及核心分量结果（\(\lambda=0.5\)）。

数据集	方法类别	方法名	IPC=1 (LRS / IOR)	IPC=10 (LRS / IOR)	IPC=50 (LRS / IOR)
CIFAR-10	梯度匹配	DC	19.1% / +12.4	23.2% / +18.5	24.0% / +12.3
CIFAR-10	梯度匹配	DSA	18.2% / +13.2	23.7% / +19.6	23.5% / +11.0
CIFAR-10	轨迹匹配	MTT	23.9% / +27.6	28.4% / +30.9	27.8% / +20.5
CIFAR-10	分布匹配	DM	17.0% / +8.7	22.2% / +16.1	24.3% / +12.7
CIFAR-10	软标签对齐	DATM	24.6% / +30.8	28.7% / +35.1	28.0% / +23.9
CIFAR-10	解耦蒸馏	SRe2L	14.3% / -0.3	13.8% / -5.7	14.4% / -6.5
CIFAR-10	解耦蒸馏	RDED	16.2% / +2.4	17.6% / +1.1	19.6% / -1.6
CIFAR-10	生成式扩散	D4M	18.4% / +6.7	20.8% / +9.1	22.8% / +6.6
CIFAR-100	轨迹匹配	MTT	23.1% / +16.7	27.5% / +20.7	26.8% / +11.6
CIFAR-100	软标签对齐	DATM	25.7% / +18.5	26.8% / +18.4	30.4% / +26.1
CIFAR-100	解耦蒸馏	SRe2L	16.7% / -1.9	15.0% / -14.8	16.2% / -11.5
CIFAR-100	解耦蒸馏	RDED	18.1% / -0.5	19.4% / -1.2	21.2% / -1.5

在大规模高分辨率数据集 ImageNet-1K 上，所有声称可扩展的解耦蒸馏算法均表现出严重的真实信息量匮乏，IOR 普遍跌入负值区间（如下表所示）：

方法名	类型	IPC=1 (HLR / IOR / LRS)	IPC=10 (HLR / IOR / LRS)	IPC=50 (HLR / IOR / LRS)
SRe2L	解耦蒸馏	56.3 / -1.5 / 16.2%	55.0 / -15.6 / 14.2%	53.4 / -13.2 / 14.8%
RDED	真实补丁拼接	55.7 / +1.6 / 16.8%	50.2 / -0.6 / 17.4%	39.8 / -3.6 / 22.9%
D4M	扩散模型合成	55.9 / -0.6 / 15.6%	53.0 / -7.7 / 15.8%	43.7 / -5.8 / 17.6%
DWA	权重自适应	56.1 / -1.2 / 16.3%	54.4 / -4.1 / 16.1%	49.7 / -7.8 / 16.3%
CDA	课程合成	56.2 / -2.5 / 16.1%	54.9 / -8.6 / 15.3%	52.0 / -6.7 / 16.1%
EDC	优化空间解析	55.7 / -0.8 / 16.4%	52.0 / -0.4 / 17.1%	41.3 / -0.1 / 18.9%
G-VBSM	多骨干统计匹配	56.3 / -1.2 / 16.3%	55.0 / -7.3 / 15.5%	44.9 / -5.9 / 17.4%

消融实验¶

论文进一步在 ImageNet-1K 上考察了数据增强对性能表现的虚增贡献，以及去除增强后相对增益的恶化情况：

方法与配置	IPC=10 (w/ aug)	IPC=10 (w/o aug)	IPC=50 (w/ aug)	IPC=50 (w/o aug)	核心发现
EDC (测试准确率)	48.6%	12.5%	58.0%	39.7%	移除增强后准确率腰斩超 36 个百分点
RDED (测试准确率)	42.0%	15.3%	56.5%	27.9%	高分辨率大容量下对强增强极其依赖
SRe2L (IOR 表现)	-15.6 (有增强)	-4.4 (无增强)	-13.2 (有增强)	-21.0 (无增强)	无论是否有增强，均显著落后于同等随机子集
G-VBSM (IOR 表现)	-7.3 (有增强)	-7.9 (无增强)	-5.9 (有增强)	-18.0 (无增强)	在 IPC=50 无增强时 IOR 恶化至 -18.0%

关键发现¶

测试准确率不再反映真实数据质量：在相同后处理训练管线下，直接使用随机采样的原始图片打上教师软标签，其分类准确率全面超越主流解耦蒸馏算法；甚至纯高斯噪声加软标签也能跑出远超随机猜测的准确率，证明既有高准确率完全来自知识蒸馏机制而非数据合成算法。
匹配类方法依然是真正的高信息量基准：在小尺度数据集上，显式进行轨迹匹配（MTT）或带可学习软标签联合优化的 DATM 展现出了极高的 LRS，其 IOR 在 CIFAR-10 IPC=10 下可达 +30% 以上，真正实现了信息压缩。
大尺度解耦蒸馏存在虚假繁荣：在 ImageNet-1K 上，现有解耦算法（SRe2L、CDA 等）的 IOR 几乎全部为负（最高达 -15.6%），且当切换回硬标签时测试准确率暴跌，暴露出当前合成图像特征严重崩塌、缺乏真实通用特征的致命软肋。

亮点与洞察¶

尖锐揭示评估假象：直指数据集蒸馏领域近年来向 ImageNet 扩展过程中的“皇帝新衣”，通过将软标签套用到随机图片与纯噪声这一极为尖锐的对照实验，精准切中行业盲区。
解耦式评价框架：通过提出 HLR 与 IOR 双重锚点，兼顾了任务根本目的与对复杂训练 trick 的剥离，为数据中心型 AI（Data-centric AI）评测提供了标准化范本。
跨架构与跨教师鲁棒：在 ConvNet、ResNet、VGG 以及 Vision Transformer 等不同结构间测试表明，LRS 排名保持了高度一致性，不受单一下游网络特异性干扰。

局限与展望¶

模态与任务范围受限：当前 DD-Ranking 仅覆盖了图像分类单任务，尚未延伸至检测、分割、多模态以及三维视觉等更复杂的合成数据评测场景。
随机采样的上限探讨：当 IPC 极大时，随机采样自然捕获了丰富的多样性，蒸馏算法超越随机采样的难度陡增；未来需探索自适应容量下的非线性归一化策略。
对新一代生成式蒸馏的引导：希望本基准能纠正目前单纯堆砌强教师与重度数据增强的弯路，引导社区聚焦于图像结构保真度与本征多样性的实质提升。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭开软标签与数据增强在 DD 评测中的虚高面纱，指标设计巧妙直击本质。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准、10 余种代表性算法、多种模型架构与多随机种子验证，数据翔实可信。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，痛点剖析深刻，论据组织极其有力。
价值: ⭐⭐⭐⭐⭐ 为数据集蒸馏领域注入了强力清醒剂，对重建健康客观的学术评价风气具有里程碑意义。