TopoPrune: Robust Data Pruning via Unified Latent Space Topology¶
会议: NeurIPS 2026
arXiv: 2602.02739
OpenReview: https://openreview.net/forum?id=DulZFWkYOG
论文: https://arxiv.org/abs/2602.02739
代码: 待确认
领域: 模型压缩
关键词: 数据剪枝 / 核心子集选择 / 拓扑数据分析 / 持续同调 / 流形学习
一句话总结¶
针对传统几何数据剪枝依赖外在距离测度导致的“几何脆性”，TopoPrune 创新性地结合全局拓扑流形投影与局部可微多参数持续同调优化，构建兼顾全局分布稀缺性与局部拓扑复杂度的双尺度重要性评分，在 90% 极端剪枝率、严重表征噪声及异构模型跨架构迁移场景下均实现了超越现有方法的精度与极佳稳定性。
研究背景与动机¶
随着现代深度学习模型与训练数据集规模的急剧扩张，全量数据训练和微调的算力开销已愈发不可承受。数据剪枝（Data Pruning / Coreset Selection）旨在从原始海量数据集中筛选出一个最具代表性的紧凑子集，以在显著降低存储与计算负担的同时保持模型精度。现有的核心子集选择方法主要分为三类：基于优化的方法（如双层优化、梯度匹配）虽然理论扎实，但计算二阶信息代价高昂；基于评分的方法依赖训练动力学（如遗忘事件、AUM）或不确定性估计，其评分深受特定模型归纳偏置与训练轨迹的影响，且无法兼容当前仅能获取最终静态特征的开源预训练模型生态；基于几何的方法（如基于原型欧氏距离的 Moderate、最优传输的 FDMat、图神经网络消息传递的 \(D^2\)）能够直接作用于预训练模型的倒数第二层静态嵌入，因而成为免训练剪枝的重要范式。
然而，现存的几何剪枝方法存在根本性的缺陷——“几何脆弱性”（Geometric Brittleness）。这些方法本质上依赖潜在空间的“外在几何”（Extrinsic Geometry），如欧氏距离、空间曲率或固定的 \(k\) 近邻图连接。这种外在度量在遇到各向异性缩放、非线性映射或特征噪声时极度不稳定；更严重的是，当跨异构网络架构（例如从 ResNet 迁移至 ViT）迁移嵌入时，样本到类原型的欧氏距离排序往往会发生剧烈反转。此外，基于密度或距离的传统度量极易过度偏向高密度核心区域，从而牺牲了位于分布长尾中信息量极高但在外在空间看似稀疏的样本；而在局部密集簇内部，所有近邻样本的密度评分几乎饱和重叠，退化为实质上的随机均匀采样。
拓扑学（Topology）研究的是空间在连续拉伸、弯曲等变形下仍保持不变的内在几何性质（正如甜甜圈与咖啡杯在拓扑上同胚于单孔环面）。由于拓扑特征排除了坐标系选择与外在形变干扰，持续同调更是享有由瓶颈距离与 Gromov-Hausdorff 距离保证的严密稳定性界。本文由此切入：既然外在度量极易失真，何不利用拓扑不变量来刻画数据集潜在空间的真实骨架？核心 idea：将数据内在结构解耦为双尺度拓扑分析，通过全局流形逼近建立标准化全局分布先验，并利用可微持续同调优化在局部邻域捕捉样本对拓扑复杂度的动态贡献，从而构建抗表征退化且具备优异跨架构迁移能力的高鲁棒数据剪枝范式。
方法详解¶
整体框架¶
TopoPrune 的核心理念是通过双尺度拓扑分析精准识别兼具全局代表性与局部结构关键性的数据样本，全流程包含特征提取与全局流形投影、局部可微多参数持续同调优化、免训练错误标签过滤，以及基于统一拓扑评分的类内分层采样四个阶段。
首先，输入全量数据集通过冻结的预训练编码器提取倒数第二层特征嵌入；为消除异构网络外在几何尺度与冗余维度的干扰，采用保持模糊单纯复形连通性的拓扑流形投影（UMAP）将高维特征压缩至标准化的低维流形空间，并在类内计算基于核密度自信息的全局密度评分。其次，针对局部密集簇内样本密度重叠的问题，在每个类别流形上构建包含弱 Delaunay 复形与类内核密度的双参数滤链，通过可微持续同调最大化拓扑特征生命周期，将优化导致的样本位移模长定义为衡量结构关键性的局部持久度评分。接着，引入免训练的邻域标签纯度评分（NLPS）剔除潜在的噪声与错标样本。最后，结合归一化后的全局密度与局部持久度获得统一评分，通过保持原始类别分布的分层抽样选出最终核心子集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据与预训练嵌入<br/>Z = h(X) ∈ R^D"] --> B["全局流形投影与密度自信息<br/>UMAP降维与KDE高维解耦"]
B --> C["局部可微持续同调优化<br/>Delaunay-密度双参数滤链动态位移"]
C --> D["双尺度拓扑评分融合<br/>全局稀缺性与局部结构复杂度解耦加权"]
D --> E["免训练邻域标签纯度过滤<br/>NLPS识别并剔除边界混杂噪声点"]
E --> F["分层拓扑核心子集抽取<br/>保持原类别先验的结构代表性子集 S"]关键设计¶
1. 全局流形投影与密度自信息：标准化表征并量化全局稀缺性
传统几何方法直接在高维特征空间计算欧氏距离或协方差矩阵，极易受到维度灾难与架构特定几何形变的干扰。为了建立跨网络一致的标准化表征，TopoPrune 第一步利用拓扑流形逼近与投影技术（UMAP），将高维嵌入 \(Z \in \mathbb{R}^D\) 映射至紧凑的低维流形 \(Y \in \mathbb{R}^d\)（实践中 \(d=2\)）。该方法通过最小化高维模糊单纯集 \(p_{ij}\) 与低维对应项 \(q_{ij}\) 之间的交叉熵损失 \(\mathcal{L}_{\text{proj}}(Y)\)，最大程度保留高维数据的近邻拓扑连通性。
在低维流形上，针对属于类别 \(c\) 的点集 \(Y_c\)，算法通过高斯核密度估计（KDE）计算每个样本的类条件概率，并采用信息论中的自信息（Self-Information / Surprisal，即负对数概率）作为稀缺性度量。高概率的中心样本携带较低信息量，而位于流形稀疏边缘的样本则具有更高的惊喜度： $$ \text{Score}{\text{dens}}(\mathbf{y}}) = -\log \left( \frac{1}{N_{c}h} \sum_{\mathbf{y{j} \in Y}} K\left(\frac{\mathbf{y{i}-\mathbf{y}\right) \right) $$ 式中 }}{h\(N_c\) 为类别 \(c\) 的样本量，\(K\) 为高斯核，\(h\) 为平滑带宽。这一设计为后续选择提供了稳健的全局分布先验，有效防止传统方法过度采样中心点而忽略长尾样本的缺陷。
2. 局部可微持续同调优化：以动态位移突破密集区域的局部退化
尽管全局密度能够区分原型样本与边缘离群点，但在高密度核心簇内部，临近样本的全局密度值几乎完全饱和且重合。若仅依赖密度采样，极易选入大量高度冗余的点，实质上退化为局部随机采样。为了在局部邻域内解析细粒度拓扑骨架，TopoPrune 将持续同调（Persistent Homology）从静态特征描述器转变为动态拓扑优化引擎。
针对每个类别点云 \(Y_c\)，算法构建了结合流形几何尺度与局部密度的二维多参数滤链（Delaunay 滤链 \(\text{Del}_{Y_c}\) 与核密度 \(\hat{f} = \text{KDE}_{Y_c}\)）。借助弱 Delaunay 复形，避免了经典 Vietoris-Rips 带来的组合爆炸问题。该双参数滤链的 1 阶同调（\(H_1\)，即环和空洞结构）拓扑生命周期通过 Hilbert 分解有符号测度 \(\mu_{H_1}^{Hil}\) 紧凑表达。算法定义了一个可微目标函数，通过最大化该测度与零测度 \(\mathbf{0}\) 之间的最优传输（Optimal Transport, OT）距离来拉长拓扑特征的存活寿命： $$ \mathcal{L}{\text{pers}}(Y}) = \text{OT}\left( \mu_{H_{1}(\text{Del{Y \right) $$ 利用多参数持续同调梯度的快速回传，以梯度上升迭代更新点坐标 }},\hat{f})}^{Hil},\; \mathbf{0\(Y'_c \leftarrow Y'_c + \eta \nabla_{Y'_c} \mathcal{L}_{\text{pers}}\)。样本在优化过程中产生的累计欧氏位移模长被定义为局部持久度评分： $$ \text{Score}{\text{pers}}(\mathbf{y}}) = |\mathbf{y{i} - \mathbf{y^{\prime}}|{2},\quad \mathbf{y}}\in Y_{c},\;\mathbf{y}^{\prime{i}\in Y^{\prime} $$ 由于密度项在每轮迭代中重新计算并作为正则约束，优化并不会改变全局数据流形的大体分布。高位移样本正是那些在局部引入强烈拓扑不稳定性的“关键支撑结构”（Topological Anchors），从而使紧挨在一起的高密度样本能够凭借对邻域拓扑的贡献差异被清晰区分。
3. 双尺度统一评分与免训练标签净化：正交多目标融合与抗噪过滤
全局自信息测度 \(\text{Score}_{\text{dens}}\) 与局部拓扑复杂度 \(\text{Score}_{\text{pers}}\) 从互补的角度审视样本价值。作者在跨越 8 种异构网络架构的实证分析中发现，两者的线性皮尔逊相关系数均值仅为 \(r=0.102\)，证明二者几乎完全正交且互不冗余。通过 Min-Max 归一化 \(\mathcal{N}(\cdot)\) 将两项拉至相同尺度后，按权重凸组合得到统一评分： $$ \text{Score}{\text{unified}}(\mathbf{y}}) = \alpha \cdot \mathcal{N}(\text{Score{\text{pers}}(\mathbf{y}})) + \beta \cdot \mathcal{N}(\text{Score{\text{dens}}(\mathbf{y})) $$ 默认超参数固定为均衡配置 \(\alpha=0.5, \beta=0.5\)。
此外，难样本与错误标注样本往往同时具有极高的局部复杂度，直接选入会导致模型训练崩溃。为了保持全流程的免训练（Training-free）特性，TopoPrune 摒弃了依赖跨 Epoch 训练损耗的 AUM 指标，提出邻域标签纯度评分（NLPS）：在原始特征空间中查找每个样本的 \(k\) 近邻（\(k=20\)），统计不同标签邻居所占比例 \(S_{\text{mis}}^{(i)} = \frac{1}{k}\sum_{j \in \mathcal{N}_k(\mathbf{z}_i)} \mathbb{I}(y_j \neq y_i)\)。将 \(S_{\text{mis}}\) 最高的顶层样本作为可疑错标点滤除得到干净子集 \(\mathcal{D}_{\text{clean}}\)，随后在各类别内按 \(\text{Score}_{\text{unified}}\) 执行分层采样，保留数据集固有的类别不平衡特性。
损失函数 / 训练策略¶
在子集筛选完成后，下游模型使用 DeepCore 标准化训练协议从零训练以严格验证子集效力。CIFAR 系列使用 SGD 优化器（动量 0.9，学习率 0.1，权重衰减 5e-4，余弦退火调度）训练 200 个 Epoch，Batch Size 为 256；ImageNet-1K 训练 60 个 Epoch，Batch Size 为 128。在拓扑求解方面，UMAP 投影使用 Cosine 距离度量（近邻数 15，最小距离 0.1），局部持续同调优化步数固定为 \(T=6\) 步。
实验关键数据¶
主实验¶
在 CIFAR-10、CIFAR-100（ResNet-18）以及大规模 ImageNet-1K（ResNet-50）基准上，将 TopoPrune（包含免训练 NLPS 版本与采用 AUM 的完整版）与几何基准、分数基准及双层优化基准进行了对比（均基于 5 次独立运行统计）。在难度较高、剪枝比例更严苛的场景下，拓扑剪枝展现出明显的精度与方差优势。
| 数据集 (主干模型) | 剪枝率 | Random | Moderate | D2 | CCS | TopoPrune (NLPS) | TopoPrune (AUM) |
|---|---|---|---|---|---|---|---|
| CIFAR-10 (ResNet-18) | 50% | 93.5±0.1 | 93.1±0.1 | 94.8±0.1 | 94.8±0.2 | 93.6±0.2 | 94.2±0.2 |
| CIFAR-10 (ResNet-18) | 90% | 76.7±0.9 | 76.9±1.0 | 80.9±1.5 | 81.9±0.7 | 77.1±0.6 | 82.0±0.2 |
| CIFAR-100 (ResNet-18) | 50% | 71.6±0.1 | 70.1±0.3 | 71.2±0.2 | 73.8±0.3 | 71.9±0.2 | 73.8±0.3 |
| CIFAR-100 (ResNet-18) | 90% | 34.0±1.1 | 34.9±2.1 | 44.3±2.6 | 45.2±2.4 | 41.6±0.8 | 45.7±0.5 |
| ImageNet-1K (ResNet-50) | 50% | 68.4±0.5 | 65.8±0.4 | 67.1±0.5 | 69.1±0.3 | 69.9±0.2 | 69.5±0.2 |
| ImageNet-1K (ResNet-50) | 90% | 52.5±0.6 | 50.0±0.4 | 55.5±1.3 | 55.2±0.7 | 53.9±0.2 | 56.1±0.2 |
消融实验¶
1. 标签净化组件解耦消融（CIFAR-100，不同剪枝率） 为证实精度提升源于拓扑剪枝本身而非单纯依靠滤波，在无过滤、NLPS 过滤和 AUM 过滤三种设定下直接对比 TopoPrune 与经典几何方法 Moderate：
| 过滤配置 | 方法 | 50% 剪枝率 | 70% 剪枝率 | 80% 剪枝率 | 90% 剪枝率 |
|---|---|---|---|---|---|
| 无过滤 (No Filtering) | Moderate | 70.1±0.3 | 63.7±0.2 | 56.1±0.5 | 34.9±2.1 |
| 无过滤 (No Filtering) | TopoPrune | 71.4±0.2 (+1.3) | 64.6±0.3 (+0.9) | 56.4±0.3 (+0.3) | 35.5±1.0 (+0.6) |
| 带 NLPS (免训练) | Moderate | 70.0±0.4 | 64.0±0.1 | 56.2±0.5 | 39.9±0.9 |
| 带 NLPS (免训练) | TopoPrune | 71.9±0.2 (+1.9) | 65.3±0.4 (+1.3) | 56.7±0.4 (+0.5) | 41.6±1.0 (+1.7) |
| 带 AUM (训练动力学) | Moderate | 72.4±0.2 | 66.7±0.3 | 60.2±0.8 | 40.0±1.2 |
| 带 AUM (训练动力学) | TopoPrune | 72.8±0.3 (+0.4) | 66.9±0.5 (+0.2) | 61.9±0.6 (+1.7) | 45.7±0.7 (+5.7) |
2. 90% 极端剪枝率下抗表征噪声与真实图像退化鲁棒性消融（CIFAR-100） 在特征层加入高斯白噪声、输入像素噪声或在真实图像退化（CIFAR-C 严重度 3 级）条件下评估生成核心子集的鲁棒性：
| 扰动类型与等级 | Moderate | D2 (图网络消息传递) | TopoPrune (本文) |
|---|---|---|---|
| 潜在层各向同性噪声 \(\epsilon \sim \mathcal{N}(0, 0.25\sigma)\) | 33.2±0.9 | 44.4±1.5 | 45.4±0.8 |
| 潜在层各向同性噪声 \(\epsilon \sim \mathcal{N}(0, 8\sigma)\) | 32.1±1.4 | 39.8±3.2 | 43.9±0.4 |
| 输入级像素噪声 \(\epsilon \sim \mathcal{N}(0, 8\sigma)\) | 34.4±1.5 | 42.6±2.5 | 43.3±0.7 |
| CIFAR-C 对比度变化 (Contrast) | 30.9±0.7 | 43.2±2.2 | 45.0±1.2 |
| CIFAR-C 运动模糊 (Motion Blur) | 34.9±0.8 | 41.3±1.2 | 42.7±0.5 |
| CIFAR-C 霜冻 (Frost) | 36.1±0.3 | 43.2±1.4 | 43.2±0.2 |
| CIFAR-C JPEG 压缩失真 | 33.9±0.6 | 40.9±1.1 | 43.5±0.5 |
关键发现¶
- 稳定性与精度兼得：在最严苛的 ImageNet-1K 90% 剪枝率下，TopoPrune 不仅取得最高的 56.1% 验证精度，其跨运行方差仅为 ±0.2，相比图网络基准 \(D^2\)（±1.3）方差降低了高达 6.5 倍。F 检验与置换检验（p < 0.01）证实其稳定性优势在统计上高度显著。
- 正交双指标的协同效应：在 CIFAR-100 90% 剪枝率下，纯密度评分（0/100）精度为 41.8%，纯持久度评分（100/0）精度为 43.2%，而均衡融合（50/50）达到 45.8%，带来超 2.6%–4.0% 的显著提升，验证了全局分布与局部拓扑特征的互补价值。
- 异构跨架构迁移泛化：以轻量 ResNet-18 作为代理提取特征剪枝，用于训练参数量悬殊的 SwinV2-T 时，模型性能甚至以 +2.0% 超过了以 Swin 自身作为特征提取器的 Oracle 剪枝上限，揭示出拓扑不变量能够捕捉深层表征中跨架构共享的“柏拉图表征结构”。
亮点与洞察¶
- 将持续同调从“静态描述”转为“可微主动优化”：传统 TDA 工具仅用于提取固定的持久条形码特征向量，而 TopoPrune 巧妙借助多参数持续同调的有符号测度与最优传输距离，将位移模长作为局部拓扑重要性的物理测量标尺，构思非常优雅。
- 以拓扑不变量根治“几何脆弱性”：指出了传统距离与图聚类方法在各向异性畸变下样本排序反转的内在数学缺陷，通过引入具有 Lipschitz 稳定界约束的拓扑测度，使算法即使面对未经精细训练、量化压缩或带噪声的特征提取器也能稳定提取高质量子集。
- 双尺度解耦架构的可移植性：全局流形降维（宏观先验）与局部拓扑微调（微观结构）的分层范式不仅适用于视觉数据剪枝，其将密集区样本根据邻域复杂性分流的思路，可直接迁移至大语言模型预训练数据配比、主动学习及少样本难例挖掘任务。
局限与展望¶
- 算力瓶颈与 GPU 并行度欠缺：当前后端的 Gudhi 与 multipers 拓扑库主要基于 CPU 单线程运行，缺乏显卡加速与分布式支持，在千万级超大规模点云上的耗时高于朴素几何聚类。
- 模态验证受限于图像分类：论文所有基准均在视觉分类任务（CIFAR/ImageNet）上开展，尚未在图文多模态特征（如 CLIP 嵌入）、连续强化学习或大语言模型词元序列上进行系统验证。
- 理论关联仍待深入：尽管论文建立了瓶颈距离下的经验稳定性，但潜在空间拓扑特征与深度网络梯度动态之间的数理联系依然是一个开放的前沿课题。
相关工作与启发¶
- vs Moderate (Xia et al., ICLR 2023)：Moderate 选取距离类原型中位数的样本，严重依赖外在欧氏距离，且截断策略粗暴丢弃离群点；TopoPrune 采用流形自信息配合持续同调位移，无须人为截断即可覆盖长尾且保持鲁棒。
- vs D2 Pruning (Maharana et al., ICLR 2024)：\(D^2\) 依靠固定 \(k\) 近邻图上的消息传递聚合难度与多样性，但在大规模数据集上构造精确近邻图面临 \(O(N^2)\) 的内存和时间瓶颈，且对图超参数极度敏感；TopoPrune 采用 UMAP 近邻逼近配合 per-class 弱 Delaunay 复形，计算更具可扩展性且方差极低。
- vs CCS (Zheng et al., ICLR 2023)：CCS 在难度层内依靠随机均匀抽样；TopoPrune 在局部区域内通过可微同调挖掘拓扑锚点，有效解决了高密度区同质化样本的冗余选取问题。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将可微多参数持续同调优化与流形全局先验结合引入数据剪枝，颠覆了传统几何外在度量的局限。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大基准、3 种扰动、10 种跨架构网络迁移、全面的指标相关性检验与消融隔离。
- 写作质量: ⭐⭐⭐⭐⭐ 动机严密，数理定义与几何直觉结合紧密，实验逻辑推进清晰自然。
- 价值: ⭐⭐⭐⭐⭐ 为免训练数据高效学习提供了兼具高精度、低方差与强大跨模型迁移能力的标准拓扑范式。