Label-Efficient Dataset Pruning via Semi-Supervised Pseudo-Labeling¶
会议: NeurIPS 2026
arXiv: 2605.23198
代码: https://github.com/cyseul/SemiPrune.git
领域: 模型压缩
关键词: 数据集剪枝, 半监督学习, 伪标签, 核心集选择, 训练动态
一句话总结¶
SemiPrune 提出一种利用微量标注样本（如 10% 甚至 1%~5%）进行半监督学习生成目标域自适应伪标签的数据集剪枝框架，突破了传统无标签剪枝严重依赖预训练特征几何、在域漂移与长尾分布下失效的根本瓶颈。
研究背景与动机¶
数据集剪枝（Dataset Pruning）旨在从海量训练集中剔除冗余样本、挑选最具信息量的核心集（Coreset），从而显著削减深度学习模型的存储开销与重复训练成本。然而，绝大多数经典剪枝算法（如基于 AUM、EL2N、DUAL 等样本重要性度量的方法）高度依赖全量监督标注，要求先在完整标注数据集上训练代理模型获取学习动态或梯度统计。在现实业务与科学计算场景中，无标注数据极其丰富而人工标注代价高昂，为了做数据裁剪而先行全量标注在经济上完全不可行。
为此，近期涌现的无标签剪枝（Label-free Pruning）方法（如基于聚类代表性的 Prototypicality、基于预训练 ViT 深度聚类的 ELFS、基于 CLIP 特征空间的 ZCore）尝试摆脱标签束缚，改用现成自监督或基础模型的预训练特征空间评估样本重要性。然而，这类方法的可靠性完全建立在预训练特征几何与目标任务流形高度契合的前提假设上。一旦面临目标域不匹配（如 Food-101、SUN397 等专业细粒度领域）、图像损坏模糊（如 CIFAR-100-C）或极度不平衡的长尾分布（如 CIFAR-100-LT、Caltech-101），预训练模型提取的静态几何表征就会发生严重失真：细粒度类别因表面视觉相似而混淆，噪声样本在空间中发散，多数类切碎而少数类被临近类吞噬，导致无标签剪枝效果甚至跌破随机均匀采样。
针对预训练静态表征“水土不服”与全量标注代价昂贵的尖锐对立，本文发现半监督学习（SSL）天然具备以极低标注代价捕捉目标数据底层流形分布的能力。核心 idea：与其用外部通用的静态预训练特征强行拟合未知目标域，不如仅标注极小比例随机样本（如 10%），通过端到端半监督一致性学习生成紧扣目标语义分布的自适应伪标签，进而无缝复用成熟的监督学习动态度量算法完成高效、稳健的核心集剪枝。
方法详解¶
SemiPrune 构建了一个由“轻量半监督伪标签生成”与“基于伪标签训练动态的核心集筛选”构成的两阶段流水线。整个方案不依赖复杂的模型架构改造，而是巧妙利用半监督模型在目标域上的分类界面对齐能力，将无标签/弱标签剪枝问题转化为带噪但语义校准的标准监督剪枝问题。
整体框架¶
在整体流程中，系统首先随机抽取少量标注子集 \(\mathcal{D}_L\)（如 10% 的训练样本），与剩余海量无标注数据 \(\mathcal{D}_U\) 共同送入基于一致性正则化的半监督学习算法（如轻量化 FixMatch）进行快速训练。完成目标域对齐后，利用半监督模型对所有无标注样本赋予伪标签，与真值标注合并为伪标注全集 \(\mathcal{D}_{\mathrm{train}}\)。随后，在该伪标注集上从头训练代理分类模型，记录其早期或全周期的训练预测动态（预测概率轨迹与边际变化），进而计算样本难度与不确定性评分，最后通过双端裁剪（Cutoff）或 Beta 自适应采样得到紧凑的核心集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始数据集<br/>微量标注 10% DL + 无标注 DU"] --> B["半监督伪标签生成<br/>FixMatch 一致性正则化"]
B --> C["构建伪标注全量池<br/>真值标注 + 模型预测伪标签"]
C --> D["代理模型监督训练<br/>记录预测轨迹与训练动态"]
D --> E["训练动态难度评分<br/>Semi-AUM 或 Semi-DUAL"]
E --> F["自适应核心集筛选<br/>双端裁剪 Cutoff 或 Beta 采样"]
F --> G["最终紧凑核心集 Coreset"]关键设计¶
1. 目标域自适应伪标签生成：打破通用预训练特征对齐假设 针对无标签深层聚类（如 TEMI、DINO 聚类）在目标域上缺乏类别引导、容易按背景色彩或浅层纹理错误聚类的致命缺陷，该设计采用基于弱/强数据增强一致性的半监督学习（以 FixMatch 为代表）。给定极小标注集 \(\mathcal{D}_L = \{(\mathbf{x}_i, y_i)\}\) 与无标注集 \(\mathcal{D}_U = \{\mathbf{x}_i\}\)，模型在 \(\mathcal{D}_L\) 上优化标准交叉熵损失，并在 \(\mathcal{D}_U\) 上拉近弱增强视角的预测伪标签与强增强视角预测的距离。不同于原版 FixMatch 耗费上百万步迭代的繁重设置，SemiPrune 仅训练 50~100 个 epoch，以极低的计算开销快速收敛。对于每个无标注样本 \(\mathbf{x}_i \in \mathcal{D}_U\)，取模型输出概率分布的峰值作为伪标签 \(\hat{y}_i = \arg\max_c p(c \mid \mathbf{x}_i; \phi)\)，保留标注样本的真实标签，合并得到全量伪标注池 \(\mathcal{D}_{\mathrm{train}} = \{(\mathbf{x}_i, \hat{y}_i)\}_{i=1}^N\)。由于少量监督信号锚定了类别拓扑空间，生成的伪标签能精准纠正图像损坏与长尾类别的边界漂移。
2. Semi-AUM 双端自适应裁剪：剔除过难噪声与过简冗余 在获取伪标注池后，利用监督代理模型在 \(T\) 个训练轮次中的预测边际动态计算 AUM（Area Under the Margin）指标。在第 \(t\) 个 epoch，样本 \((\mathbf{x}_i, \hat{y}_i)\) 的分类边际定义为分配给目标伪标签的概率与非目标类中最大预测概率之差： $\(M(\mathbf{x}_i, \hat{y}_i; \theta_t) := p(\hat{y}_i \mid \mathbf{x}_i; \theta_t) - \max_{c \neq \hat{y}_i} p(c \mid \mathbf{x}_i; \theta_t)\)$ 对整个训练过程平均得到 \(\mathrm{AUM}(\mathbf{x}_i, \hat{y}_i) := \frac{1}{T} \sum_{t=1}^T M(\mathbf{x}_i, \hat{y}_i; \theta_t)\)。低 AUM 样本通常对应被误打伪标签的异常样本或极其模糊的难例，若强行保留会导致模型在噪声上过拟合；高 AUM 样本则是极易分类的平庸样本，信息量极低。因此，算法采用区间 \([\alpha, \alpha + \Delta]\) 的双端截断采样（Double-end Pruning），将核心集容量锁定在 \(\Delta\)，并通过在伪标签验证集上调优低端截止比例 \(\alpha\)，优先选取居于分布中间、最具学习价值的典型样本。
3. Semi-DUAL 动态不确定性与 Beta 自适应采样：适配激进剪枝率 为了进一步利用训练早期的细粒度学习动态并降低伪标签噪声对置信度方差的敏感性，该设计引入了 DUAL 评分与衰减调和机制。在长度为 \(J\) 的滑动时间窗口内，计算伪标签预测均值 \(\bar{p}_{k,J}\) 和标准差 \(\sigma_{k,J}\)。为了防止错误伪标签在早期引起剧烈振荡从而扭曲不确定性评估，引入幂次调节因子 \(\gamma \in (0, 1]\)： $\(\mathrm{DUAL}^{(\gamma)}(\mathbf{x}_i, \hat{y}_i) := \frac{1}{T-J+1} \sum_{k=1}^{T-J+1} (1 - \bar{p}_{k,J}(\hat{y}_i \mid \mathbf{x}_i)) \, \sigma_{k,J}^\gamma(\hat{y}_i \mid \mathbf{x}_i)\)$ 评分综合了学习难度（\(1 - \bar{p}\)）与认知不确定性（\(\sigma^\gamma\)）。在此基础上，样本抽取概率由受剪枝率 \(r \in [0, 1]\) 调控的 Beta 分布 \(\mathrm{Beta}(\alpha_r, \beta_r)\) 决定，其分布参数由集中常数 \(C=16\)、演化速率 \(c_D\) 以及高分样本均值 \(\mu_D\) 动态确定： $\(\beta_r = C(1 - \mu_D)(1 - r^{c_D}), \qquad \alpha_r = C - \beta_r\)$ 当剪枝率 \(r\) 较小（保留多数样本）时，采样分布偏向高难度高不确定性样本；而当剪枝率 \(r\) 极高（如裁剪 80%~90% 数据）时，采样均值自动滑向简单样本，从数学上避免了高压缩比下只保留极难/噪声样本导致训练崩盘的问题。
损失函数 / 训练策略¶
伪标签生成阶段在 USB 框架下采用 FixMatch 目标函数：\(\mathcal{L}_{\mathrm{SSL}} = \mathcal{L}_s(\mathcal{D}_L) + \lambda_u \mathcal{L}_u(\mathcal{D}_U)\)，其中 \(\mathcal{L}_s\) 为有监督交叉熵，\(\mathcal{L}_u\) 施加于弱增强高置信样本（阈值通常为 0.95）的强增强视图交叉熵。剪枝代理模型在 CIFAR 类别架构上采用 ResNet-18 训练 200 epochs（SGD，学习率 0.1，动量 0.9），在 ImageNet/Tiny-ImageNet 上采用 ResNet-34 训练 90 epochs。在 80% 与 90% 超高剪枝率下，训练批大小（Batch Size）逐级减半，以保证充足的参数更新步数。
实验关键数据¶
主实验¶
论文在领域偏移（Food-101、SUN397）、图像破坏（CIFAR-100-C、Tiny-ImageNet-C，30%严重破坏）以及长尾不平衡（CIFAR-100-LT 类别不平衡比 0.1、Caltech-101）等多类严苛场景下进行了系统评测，核心对比均基于无标签或仅含 10% 标注的基准方法。
| 数据集 | 剪枝率 | Semi-AUM (本文) | Semi-DUAL (本文) | ELFS (DINO) | Score Extrap. (10%标签) | 随机采样 (Random) | 全监督参考 |
|---|---|---|---|---|---|---|---|
| Food-101 | 30% | 77.9% | 77.9% | 77.2% | 76.3% | 76.6% | 80.2% |
| Food-101 | 70% | 67.2% | 66.3% | 65.6% | 63.2% | 63.9% | 71.3% |
| Food-101 | 90% | 51.2% | 51.8% | 49.2% | 42.3% | 37.7% | 55.3% |
| SUN397 | 50% | 55.8% | 56.1% | 56.1% | 53.6% | 52.9% | 56.1% |
| SUN397 | 90% | 35.0% | 33.9% | 33.7% | 30.0% | 30.4% | 40.4% |
| CIFAR-100-C | 50% | 70.0% | 70.4% | 68.7% | 58.6% | 65.4% | 71.1% |
| CIFAR-100-C | 90% | 52.0% | 47.5% | 44.9% | 12.9% | 35.8% | 52.6% |
| CIFAR-100-LT | 30% | 50.4% | 58.3% | 49.5% | 55.3% | 32.9% | 58.1% |
| CIFAR-100-LT | 90% | 27.0% | 27.5% | 25.1% | 20.4% | 3.2% | 27.1% |
| Caltech-101 | 50% | 70.6% | 70.7% | 68.1% | 66.6% | 65.1% | 72.4% |
| Caltech-101 | 90% | 45.7% | 46.8% | 40.0% | 38.8% | 40.3% | 42.7% |
注：加粗表示无标签及低标签基线中的最优结果。CIFAR-100-LT（IF=0.1）全数据集测试准确率为 62.9%，Caltech-101 全量准确率为 78.6%。
消融实验¶
论文考察了伪标签生成源质量对剪枝最终表现的决定性作用，对比了深层聚类（TEMI）与半监督学习（FixMatch，10% 初始标签）分别在不同评分机制下的泛化精度：
| 数据集 | 样本重要性指标 | 伪标签生成方案 | 30% 剪枝率准确率 | 70% 剪枝率准确率 | 90% 剪枝率准确率 | 说明 |
|---|---|---|---|---|---|---|
| Food-101 | Forgetting | Deep Clustering | 77.4% | 64.8% | 48.7% | 依赖 DINO 聚类伪标签 |
| Food-101 | Forgetting | Semi-Supervised (本文) | 77.7% | 66.4% | 52.5% | 半监督显著提升动态质量 (+3.8%) |
| Food-101 | EL2N | Deep Clustering | 77.2% | 65.2% | 48.6% | 早期梯度误差易受伪标签噪声干扰 |
| Food-101 | EL2N | Semi-Supervised (本文) | 77.5% | 65.5% | 50.9% | 半监督显著稳定早期误差估计 |
| Food-101 | AUM | Deep Clustering | 77.2% | 65.6% | 49.2% | 双端截断基准 |
| Food-101 | AUM | Semi-Supervised (本文) | 77.9% | 67.2% | 51.2% | 全面超越聚类方案 (+2.0%) |
| CIFAR-100 | AUM | Deep Clustering | 77.3% | 67.4% | 53.1% | 标准数据集上 DINO 特征较契合 |
| CIFAR-100 | AUM | Semi-Supervised (本文) | 77.4% | 67.7% | 53.9% | 保持高竞争力并略优于基线 |
关键发现¶
- 标注预算的超高利用效率：在标注预算敏感性实验中，仅提供 5% 标注样本时，SemiPrune 性能即全面反超无标签 SOTA 方法 ELFS（DINO）；甚至在极度拮据的 1% 标注下，已彻底击败在目标域从头预训练自监督特征的 ELFS（Self-Encoder）。微量的领域内真值监督远胜于庞大但无导向的自监督表示探索。
- 长尾与极端稀疏下的抗崩溃能力：在 CIFAR-100-LT 90% 极高剪枝率下，随机采样仅能达到 3.2% 准确率，而基于 DINO 聚类的 ELFS 达到 25.1%，SemiPrune（Semi-DUAL）则达到了惊人的 27.5%，甚至略超全量真值监督的 DUAL+Beta（27.1%），证明半监督伪标签能天然纠正聚类对长尾少数类的“吞并挤压”效应。
- 图传播方法的脆弱性：与同等 10% 标注预算的 Score Extrapolation 相比，后者在 CIFAR-100-C 90% 剪枝率下暴跌至 12.9%（甚至不如随机采样的 35.8%）。其原因在于图神经网络在破坏或复杂域上构建的相似度边跨越了干净与带噪区域，导致错误重要度恶性传播；而 SemiPrune 端到端学得的分类面能有效抑制噪声区域。
亮点与洞察¶
- 解耦特征依赖，回归半监督本质：敏锐指出了现有无标签剪枝对 ImageNet 预训练表征几何强绑定的隐形假设，用“微量标注 + SSL 伪标签”建立起低成本适应任意未知目标域的新范式，四两拨千斤。
- 训练动态与不确定性鲁棒重构：巧妙识别出伪标签噪声在训练早期会人为放大方差的问题，在 DUAL 框架中引入幂次衰减因子 \(\sigma^\gamma\) 并调优验证集 Cutoff，赋予了监督剪枝动态指标在噪声监督下的强鲁棒性。
- 全场景通用适配性：该框架不局限于特定半监督算法（FixMatch、FreeMatch 均可无缝即插即用），也不绑定单一剪枝指标（AUM、DUAL、EL2N、Forgetting 均通用），极易工程落地并随着未来更强半监督技术的出现而持续受益。
局限与展望¶
- 初始标注样本的随机性瓶颈：当前流程采用完全随机均匀抽样获取初始 10% 标注样本，并未结合主动学习（Active Learning）策略，若初始抽样错过极端长尾少数类，半监督的传播上限将受制约。
- 计算流程为离线两阶段：需要先跑 50~100 轮 SSL 训练再跑代理模型采集动态，虽然单次离线开销远低于大模型预训练，但在超大规模工业级未标注数据集（如亿级图像）上仍有流水线串行延迟。
- 未来方向：探索主动学习与半监督剪枝的协同机制，自适应挑选初始标注候选；将 SSL 训练动态与伪标签置信度进行联合在线剪枝，进一步精简训练阶段。
相关工作与启发¶
- vs ELFS (Zheng et al., 2025)：ELFS 依赖 DINO 提取静态特征并采用深层聚类伪标签，在领域偏移和长尾数据上易因簇重叠失效；SemiPrune 引入微量标注（10%）通过半监督学习生成类别语义对齐的伪标签，在长尾和破损场景上实现了全面碾压。
- vs Score Extrapolation (Schmidt et al., 2026)：两者均使用微量标注，但 Score Extrapolation 仅用小样本训练评分器并在 KNN/GNN 特征图上传播分数，在数据含噪或域差异大时产生图失真扩散；SemiPrune 直接用 SSL 生成全集伪标签并在全量空间计算动态，表征鲁棒性与精度显著更高。
- vs DUAL+Beta (Cho et al., 2025)：原方法为全监督剪枝；SemiPrune 对其进行带噪伪标签适配，引入方差幂次调节 \(\gamma\)，实现了无缝迁移且性能紧咬甚至偶超全监督上限。
评分¶
- 新颖性: ⭐⭐⭐⭐ [打破了无标签剪枝与全监督剪枝的思维二分法，提出高效的半监督剪枝新设定]
- 实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖域漂移、图像破损、长尾分布及标准大基准，涵盖多指标消融与可视化]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文对照自洽，问题定义与动机阐述非常切中痛点]
- 价值: ⭐⭐⭐⭐⭐ [为真实业务中缺乏标签海量数据的压缩提供了极其实用、成本可控的落地路径]