NeurIPS2026（任务清单归属；本地全文为 arXiv v3，2026-09-30）自监督学习数据集蒸馏统计流匹配冻结预训练骨干线性探测分类器继承

Efficient Dataset Distillation for Pre-Trained Self-Supervised Models via Statistical Flow Matching¶

会议: NeurIPS2026（任务清单归属；本地全文为 arXiv v3，2026-09-30）
arXiv: 2602.05391
代码: https://github.com/einsteinxia/SFM
领域: 自监督/表示学习；数据集蒸馏
关键词: 数据集蒸馏、统计流匹配、冻结预训练骨干、线性探测、分类器继承

一句话总结¶

SFM 把冻结预训练视觉骨干上的线性梯度匹配近似解释为类别中心之间的相对向量匹配，再用一次计算的全局统计量监督合成图像，在每类一张图像的分类实验中改善精度；其约 10 倍显存节省、4 倍加速来自单增强 SFM 与十增强 LGM 的跨预算比较，而不是同预算收益。

研究背景与动机¶

传统数据集蒸馏希望用很少的合成图像代替整个训练集，但如果下游模型从头训练，每类一张图像往往不足以支撑高精度。本文沿用另一种更贴近预训练时代的设定：CLIP、DINO-v2、EVA-02 或 MoCo-v3 已经提供可迁移的视觉特征，下游只训练线性分类器。于是蒸馏不必重新教模型认识世界，而是要把某个分类任务所需的训练信号压缩进少量图像。这里压缩的是数据集，不是骨干模型，也不是重新开展无标签预训练。

这一设定的直接基线 Linear Gradient Matching（LGM）在每一步随机初始化线性头，让真实图像与合成图像产生相似的分类器梯度。然而，真实目标来自不断变化的局部批次；合成图像还需要多次可微增强，并保留经过大骨干的反向传播图。作者据此追问：冻结骨干、随机头方差很小时，这个梯度到底还包含多少必须通过内层求导才能获得的信息？如果它主要反映类别中心之间的几何关系，那么反复抽真实数据和随机头可能是在昂贵地估计一个本可固定的目标。

本文从线性头交叉熵梯度出发，将其与类别中心差联系起来，再把局部、动态的目标换成全局、固定的统计目标。核心 idea：先在冻结特征空间中统计各类别相对其余类别的“流”，再直接优化合成图像使其流与真实统计流对齐，而不在每步重算真实数据的分类器梯度。

方法详解¶

整体框架¶

输入是带标签的真实数据集和一个冻结的预训练视觉骨干，输出是极小的带标签合成数据集，核心实验采用每类图像数 IPC=1。流程先构造全局统计流，再执行合成流对齐：真实数据只在统计阶段遍历，优化阶段不断增强合成图像、提取特征并反向更新图像表示，骨干参数始终不更新。

通常的下游使用方式是在评测骨干上用合成图像训练新的线性头；分类器继承（Classifier Inheritance，CI）是可选的另一条评测路线。CI 额外保留一个在完整真实数据上训练的分类器，用合成图像学习两个骨干之间的线性投影。因此，SFM 本体与 SFM+CI 的可交付资产、训练信息和计算成本并不相同。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实带标签图像<br/>冻结蒸馏骨干"] --> B["全局统计流"]
    S["可训练合成图像<br/>可微增强与冻结骨干"] --> C["合成流对齐"]
    B -.->|固定训练监督| C
    C --> D["带标签合成数据集"]
    D -->|标准评测| E["训练新线性头<br/>测试图像分类"]
    D -->|可选评测训练| F["分类器继承"]
    G["完整真实集训练的<br/>冻结分类器"] -.->|额外资产| F
    F --> H["测试图像：评测骨干<br/>投影后接继承分类器"]

图中的虚线表示固定监督或额外资产，实线表示构造与使用流程。合成流损失只在蒸馏训练时使用；测试图像不参与统计流匹配，也不用于 CI 的特征对齐训练。

关键设计¶

1. 全局统计流：从随机线性头梯度提取可预计算的类别几何关系

LGM 比较的是交叉熵对线性权重的梯度，而不是骨干全部参数的梯度。设冻结骨干为 \(\phi\)、批次大小为 \(B\)、类别数为 \(C\)，每个样本的预测概率和独热标签分别为 \(p_i\)、\(y_i\)，其精确梯度为：

\[ \frac{\partial \ell}{\partial W}=\frac{1}{B}\sum_{i=1}^{B}(p_i-y_i)\phi(x_i)^\top. \]

关键观察不是“所有随机分类器都完全一样”，而是当各类别权重按同一个零均值高斯分布独立初始化时，类别之间具有交换对称性，因此预测概率的期望都为 \(1/C\)。进一步，当 logits 方差足够小、类别数较大时，作者近似把单次概率也看作接近 \(1/C\)。在每类有相同数量样本或增强视图的平衡批次中，第 \(c\) 行期望梯度就是非目标类别平均特征减去目标类别平均特征，再乘一个只依赖类别数的共同系数 \((C-1)/C^2\)。

这给出了“流”的几何含义：它从目标类别中心指向其余类别的平均中心。这里没有连续时间、速度场网络或 ODE 采样，与生成模型中的 flow matching 只是术语相似。该共同系数不改变余弦匹配，因此可直接用中心差定义匹配对象。真实统计流为：

\[ \mathcal{F}_c^*=\phi^*(x^o\mid y_c^o=0)^\top-\phi^*(x^o\mid y_c^o=1)^\top. \]

其中 \(\phi^*\) 表示在完整真实数据上统计得到的条件均值，而不是另一个学习出来的编码器；前一项平均所有非目标类别样本，后一项平均目标类别样本。预计算后这些向量固定保存，不再随着每个优化批次的抽样而漂移。每类中心可以用小批次累积求和与计数，不必把整类图像同时放进显存；真正需要保留的是统计量，而非所有真实图像或它们的计算图。

这一解释有明确条件。正文定理 1 写成允许类别方差 \(\sigma_c^2\) 的形式，但附录 A.2 的论证实际使用同分布的权重；独立、零均值而类别方差任意不同，并不足以保证一般多类别交换性。附录式 (23) 还把比值的期望写成期望之比，这不是一般恒等式；在同分布条件下，应由对称性和概率和为一来支持均匀期望。本文实际使用相同方差的初始化，符合这个较窄条件。

2. 合成流对齐：只对合成图像反向传播，匹配固定的相对统计目标

每轮对合成图像执行可微增强，再通过冻结骨干计算类别中心和对应合成流 \(\mathcal{F}^s\)。将全部类别的流拼接、展平后，用一个整体余弦距离对齐真实与合成统计：

\[ \mathcal{L}_{\mathit{sfm}}=1-\cos[\operatorname{flat}(\mathcal{F}^*),\operatorname{flat}(\mathcal{F}^s)]. \]

这不是为每个类别分别最小化像素误差，也不是要求合成图像位于真实类别的绝对中心。相对中心差保留了分类任务需要的类别间关系；整体余弦又允许共同尺度不一致，因此合成图像可能落在更具有判别性的边界附近。匹配目标稳定下来后，单增强也能提供有效优化信号，不再需要靠大量视图平均不断变化的真实局部目标。

与 LGM 相比，SFM 省去每步真实数据读取、随机线性头和内层梯度计算，但仍要通过大型冻结骨干把损失传回合成图像。冻结权重并不意味着可以关闭合成图像分支的自动求导；增强视图增多时，中间激活仍然按视图数占用显存。这解释了同 APB 下两者显存非常接近，而低 APB SFM 与高 APB LGM 才会出现数量级差异。

从统计角度看，全局均值消除了这里的批次抽样波动，却没有完整刻画类内多峰分布、协方差或所有下游判别边界。“全局统计目标”不等于已证明图像优化能达到全局最优；作者的小方差推导也不能把非线性的随机 LGM 余弦目标与 SFM 宣称为严格等价。它更适合作为机制解释和简化动机，并由实验检验这种替换是否有用。

3. 分类器继承：用合成图像对齐表示，复用真实数据学到的决策边界

跨骨干时，蒸馏图像受到蒸馏骨干 \(\phi_d\) 的特征几何偏置，未必适合另一个评测骨干 \(\phi_e\)。CI 不再只靠一张带标签图像重新估计整个分类边界，而是先在完整真实数据的蒸馏骨干特征上训练分类器 \(f\) 并冻结。之后，仅在合成图像上训练一个单层线性投影 \(\mathcal{P}\)，将评测特征映射到蒸馏特征空间：

\[ \mathcal{L}_{eval}=\|\phi_d(x^s)-\mathcal{P}(\phi_e(x^s))\|_2^2. \]

这个阶段的目标是特征回归，不需要合成标签来计算损失，也不更新两个骨干。测试时按“评测骨干 → 已训练投影 → 继承分类器”处理新图像。投影同时解决维度差异和表示对齐问题，分类器则提供完整真实集训练中已经学到的边界；不能把这理解成“只用一张图像就从零获得同样的边界信息”。

附录 D 只用 10 个 epoch 训练这个额外分类器，并给出其真实集精度。相比软标签方法，CI 避免调节标签交叉熵与 KL 散度损失之间的权重，但交换条件是保留分类器资产，并在投影训练时访问蒸馏骨干。主实验默认不启用 CI，只有显式写 SFM+CI 的结果才包含这条路线，因而它不应混入 SFM 本体的公平比较。

损失函数 / 训练策略¶

合成图像沿用 LGM 的金字塔表示，而不是训练一个生成器。附录 B 使用 Adam、学习率 0.002，蒸馏 5000 次迭代，每 200 次增加一个金字塔层级；增强包括随机水平翻转、224×224 随机裁剪和标准差 0.2 的高斯噪声。APB 表示每批增强次数，默认 SFM 为 1；多增强 SFM 在 CUB-200、Stanford Dogs、ImageNet-100 分别使用 5、8、10 次，LGM 在 ImageNet-1k 使用 3 次、其他所述数据集使用 10 次。因此“多增强”并不始终代表两种方法采用相同视图预算。

标准评测训练线性头最多 1000 个 epoch，批大小 100，Adam 初始学习率为 0.001/256，配合余弦衰减。附录写明当 test accuracy 连续 50 个 epoch 不提高时早停；这意味着测试集用于模型选择，存在选择偏差，应以独立验证集选择停止点再重新报告测试结果，不能将现有数字理解为完全隔离的最终测试估计。

作者说明采用了较早版本增强实现，高斯噪声均值为 0.5 而非 0。附录表 7 中改成零均值后，EVA-02 蒸馏到 MoCo-v3 的精度从 70.5 升至 76.6，但同骨干 EVA-02 从 88.9 变成 88.6，因此“更正噪声后改善”也不是所有模型均单调提升。复现时需要记录这一实现版本差异。

实验关键数据¶

主实验¶

图像分辨率均为 224×224，主要使用四种 ViT-B 骨干，结果为 3 次试验均值。下表摘自原文表 2，报告 IPC=1、蒸馏与评测采用同一骨干时，四种骨干结果的平均准确率（%）；“±”保留原文表中的汇总值，不另行解释为置信区间。所有数字均不包含 CI。

表 1：同骨干分类主结果。

数据集	LGM，单增强	SFM，单增强	LGM，多增强	SFM，多增强	完整真实集
ImageNet-100	83.5±0.1	87.7±0.1	87.2±0.1	88.5±0.1	92.8±0.1
ImageNet-1k	64.6±0.1	69.3±0.1	67.9±0.0	未报告	80.0±0.0
Stanford Dogs	55.8±0.2	69.2±0.3	69.9±0.2	71.9±0.1	80.1±0.2
CUB-200	43.6±0.1	66.8±0.2	66.2±0.2	69.4±0.1	73.8±0.5

单增强 SFM 显著改善单增强 LGM，但并非全面超过多增强 LGM：Stanford Dogs 的平均值仍是 69.2 对 69.9，ImageNet-100 上 DINO-v2 的单模型值是 90.6 对 91.5。完整数据集也仍保有明显优势，不能把“强预训练先验下的一张图像”概括成等价替代所有真实训练数据。

消融实验¶

表 2 摘自原文表 4，使用 CLIP 蒸馏，报告跨四种评测骨干的平均准确率（%，包含蒸馏骨干自身）。TCDD 只匹配目标类别中心，NCDD 只匹配非目标类别中心，组合即 SFM 的相对流。

表 2：目标与非目标统计的贡献。

配置	ImageFruits	ImageNet-100	ImageNet-1k
NCDD 单独	15.8±1.2	0.77±0.0	0.10±0.1
TCDD 单独	77.6±0.7	79.4±0.1	57.9±0.0
TCDD+NCDD	76.5±1.1	81.5±0.2	60.7±0.1

非目标中心不能独立提供目标类别辨识信息。加入它后，ImageNet-100 和 ImageNet-1k 的平均值分别提高 2.1、2.8 个百分点，但 10 类 ImageFruits 反而降低 1.1 个百分点；这里直接报告均值差，不据此推断统计显著性。相对几何的收益与任务规模有关，而非无条件优于绝对中心匹配。

表 3 摘自附录表 13，蒸馏骨干为 EVA-02；结合图 1，该效率比较对应 ImageNet-100、IPC=1。显存与时间是蒸馏阶段报告值，不是端到端部署总成本。

表 3：同增强预算与跨增强预算的效率对照。

方法	APB	显存（GB）	时间（分钟）
LGM	1	16.6	21
SFM	1	16.3	18
LGM	10	165.2	81
SFM	10	164.5	62

约 10 倍显存差和 4 倍时间差对应 SFM/APB=1 与 LGM/APB=10。固定 APB=1 时是 16.3 对 16.6 GB、18 对 21 分钟；固定 APB=10 时是 164.5 对 165.2 GB、62 对 81 分钟。后者支持省去数据读取和梯度计算带来时间收益，却不支持同视图数下显存下降一个数量级。

关键发现¶

跨模型泛化通常改善，但并不普遍支配实图基线。原文表 3 中，MoCo-v3 蒸馏的 SFM 在 CLIP 上为 66.3，而 Centroids 为 75.5；CLIP 蒸馏到 MoCo-v3 时 SFM 为 68.7，而 Centroids 为 74.7。
IPC 增加有收益。原文表 5 的 DINO-v2 → EVA-02 设置中，SFM 在 IPC=1、2、5、10 时依次为 86.2、86.5、87.5、88.4，LGM 则为 82.4、84.9、85.5、85.5；这只是该模型配对下的趋势。
CI 的收益依赖评测骨干。原文表 6 中 DINO-v2 蒸馏时，SFM → SFM+CI 在 CLIP 为 78.6 → 82.1，在 DINO-v2 为 90.6 → 95.1，在 EVA-02 为 86.2 → 88.8，在 MoCo-v3 为 80.5 → 80.6；不能把额外分类器信息带来的提升归给流匹配本身。
附录表 12 表明模型规模不决定单调收益：DINO-v2/ViT-B 蒸馏、ViT-S/B/L 评测的 SFM 为 84.9/90.6/90.4，SFM+CI 为 86.0/95.1/92.4。附录的 ArtBench 风格迁移仅给定性示例，不构成检测、分割或风格迁移定量优势证据。

亮点与洞察¶

冻结模型使梯度目标可被重新审视。 真正的简化来自识别小随机头下的类别几何，而不是对通用双层优化器做工程加速。遇到强先验加轻量头的任务，可先检查内层求导究竟还携带什么独特信息。
真实监督稳定性比单纯堆增强更重要。 用完整数据统计固定目标后，低视图预算也能工作。增强仍有用，但其作用不再主要是补偿真实目标的批次波动。
压缩资产的边界需要明确。 合成数据加标签与合成数据加完整数据训练的分类器是不同信息包。CI 的实用价值在于复用已有边界，而不是证明图像本身承载了全部知识。

局限与展望¶

小方差、同分布初始化和平衡批次限定了梯度解释的适用条件；均值流不完整建模类内多样性，余弦匹配也不足以保证非凸图像优化的全局最优。
附录 B 明确用测试准确率早停，存在模型选择泄漏风险。应重新划分训练、验证、测试，并使用一致的评测与增强预算验证提升能否保持。
多增强或 1000 类同时优化仍需大量显存。作者提出按类别分块或内外循环处理，但这属于未来工作，不能视为已实现的常数显存算法。
冻结骨干和原始预训练成本是外部先验，CI 还增加完整真实集分类器与蒸馏骨干依赖。实际部署应计入统计预处理、所需模型和额外资产，而非只报告合成图像数量。
原文 §4.3 将 MoCo-v3 蒸馏后的 DINO-v2 结果写成 86.6，但表 3 的 SFM 行为 86.7±0.2，86.6±0.1 属于 LGM*；这里按表区分，保留冲突说明，不擅自统一数字。原文若干表号引用也错位，例如 few-shot 段引用表 6，对应结果实际在表 5。
合成图像不同于原图并不自动构成隐私保证。附录 C 的“privacy-friendly”应用设想没有差分隐私或成员推断评测支撑；检测和分割扩展也尚未验证。

评分¶

新颖性: 4/5。把特定随机线性头的梯度还原成相对类别统计，并据此构造固定监督，解释与方法衔接清楚。
实验充分度: 3/5。覆盖多数据集、多骨干、IPC、CI 和效率，但测试集早停、预算差异及部分数字冲突降低证据强度。
写作质量: 3/5。主线易理解，但“最优性”措辞偏强，交换性条件与附录推导需更严谨。
价值: 4/5。适合已有强视觉骨干、需要轻量传输分类训练信号的场景，不宜外推到从头训练或任意下游任务。