Complementing DINO Features with Image Structure for Part Discovery

会议: NeurIPS 2026
arXiv: 2610.32293
论文: https://arxiv.org/abs/2610.32293
领域: 语义分割
关键词: 部件发现, DINOv2, 分水岭变换, 训练无关, 结构互补

一句话总结

针对自监督 ViT 固定网格跨边界混叠导致部件轮廓模糊的瓶颈，提出训练无关的 Part-DINO 框架，将底层图像对比度边缘提取的几何区域与 DINO 语义特征解耦互补，实现高精度部件发现。

研究背景与动机

以 DINO 为代表的自监督视觉 Transformer（ViT）通过自蒸馏学习到了丰富的目标级语义表示。在无任何人工标注的前提下，其 Patch 级特征天然能够聚类同质语义概念，例如自动将鸟类的眼睛、翅膀或喙进行聚类。这种涌现特性使得免训练的目标定位与粗粒度部件发现成为可能。然而，现有基于 Patch 的免训练方法在空间精细度上严重不足，部件预测在真实几何轮廓附近频繁出现粘连、溢出和边界模糊，无法精确界定相邻部件之间的分割线。

造成这一失败的核心矛盾在于 ViT 刚性 Patch 网格与物体连续几何边界的不匹配。ViT 将图像划分为固定大小的方形 Patch，完全无视物体的实际几何结构。当 Patch 跨越两个语义部件的物理边界时，在进入特征提取前就不可避免地混叠了来自不同部件的底层像素。虽然 DINO 的不变性训练能吸收一定的数据增强扰动，但经验分析证实模型无法抹除这种底层像素级混叠：对超过 2.6 万个前景 Patch 的统计分析表明，Patch 越靠近真实部件分界线，其特征熵越高、前两名类别的分类置信度差距（Margin）越小，像素混叠直接传递到了隐空间中，导致基于特征相似度诱导出的语义边界高度模糊，而图像底层对比度边缘却高度贴合物理轮廓。

重新在具备几何一致性的不规则区域上重训庞大的 DINO 模型成本极其高昂且不通用。因此，本文的切入角度是解耦几何边界提取与语义特征表示：让底层的对比度边缘检测器提供精确的物理边界，让冻结的 DINO 提供语义聚类原型。核心 idea：提出完全免训练的 Part-DINO 框架，利用 RAMP 变换与分水岭算法从图像对比度中提取几何贴合的原子区域，在区域内池化 DINO 特征并与全局原型匹配，实现边界精准且语义一致的部件发现。

方法详解

整体框架

Part-DINO 采用两阶段解耦流水线：离线全局原型构建（Global Prototype Generation）与在线区域分配（Region Assignment）。对于参考集图像，首先通过前景分割与 RAMP-分水岭流程生成严格贴合物理边缘的原子区域集合，并双线性上采样 DINOv2 特征图进行区域级池化，聚类构建类别部件原型字典；在推理阶段，测试图同样提取原子区域，并通过 CLS 标记路由到对应类别字典，将区域特征与部件原型进行余弦相似度匹配，赋予密集部件标签。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 (I)"] --> B["前景提取与 RAMP 边缘<br/>计算正交对比度梯度 E_edge"]
    A --> C["DINOv2 特征提取<br/>密集特征图与 CLS 向量"]
    B --> D["分水岭原子区域生成<br/>极小值注水与微小区域合并"]
    C --> E["区域特征池化<br/>区域内归一化像素特征均值"]
    D --> E
    E --> F["全局原型聚类构建<br/>K-Means 聚类生成部件原型字典 C"]
    C -.->|测试时 CLS 路由| G["语义类别与原型匹配<br/>余弦相似度 argmax 分配部件标签"]
    E --> G
    G --> H["输出高精度部件分割图 L"]

关键设计

1. 几何解耦的 RAMP 分水岭原子区域生成：消除 Patch 网格的像素级物理混叠

传统超像素算法（如 SLIC）引入了显式的紧凑度惩罚（Compactness Constraint），在平滑空间分布的同时牺牲了边缘贴合度，常在弱纹理边界处横截真实物体部件。为此，Part-DINO 完全绕开 DINO 语义，采用纯底层对比度驱动的 RAMP 变换与分水岭变换。给定输入图像 \(I\) 与前景掩码 \(M_{fg}\)，RAMP 变换沿 \(0^\circ, 45^\circ, 90^\circ, 135^\circ\) 四个方向计算局部强度跳变梯度幅值，构造结构边缘图 \(E_{\text{edge}}\)。随后以局部极小值为注水种子（最小种子间距为 \(d_{\min}\)），沿边缘脊线形成集水盆地边界。为防止过分割导致的无语义碎片，设置面积阈值 \(s_{\min}\)，将小于该阈值的微小区域依据 DINO 特征相似度合并至相邻区域。由于合并只消除脊线而不新增边界，所得原子区域 \(\mathcal{R}\) 的轮廓严格对齐高对比度的物理边缘。

2. 区域内无偏特征池化：在纯净几何单元内聚合语义表征

ViT 的 Patch 特征由于覆盖边界而退化为高熵混合态，但将特征双线性插值恢复到像素分辨率后，物体内部像素的 DINO 嵌入依然保持极高的判别力。Part-DINO 将整幅图像的密集特征图上采样至 \((H, W, D)\)，对每个由物理轮廓约束的原子区域 \(r \in \mathcal{R}\)，在该区域的所有像素集合上计算 \(\ell_2\) 归一化特征的均值向量：

\[\hat{f}_{r} = \frac{1}{|r|} \sum_{p \in r} \frac{F_{p}}{\|F_{p}\|_{2}}\]

因为区域 \(r\) 的边界由高对比度物理边缘界定，区域内部像素均来自同一语义部件，从而从源头上隔绝了跨部件的特征污染，得到了语义纯净的区域级特征向量 \(\hat{f}_r\)。

3. 类别路由与训练无关的原型匹配：无需优化的稳健部件分配

为了发现跨实例具有语义一致性的 \(K\) 个全局部件，算法从数据集中采样参考子集 \(\mathcal{D}_{\text{ref}}\)，对汇聚的全部区域特征集合运行 \(K\)-Means 聚类，产生 \(K\) 个全局部件质心原型 \(\mathcal{C} = \{c_1, \dots, c_K\}\)。对于包含多类别的通用数据集，独立为每个类别构建原型字典 \(\mathcal{C}^{(s)}\) 以及参考集全局 CLS 均值向量 \(\bar{z}_{\text{cls}}^{(s)}\)。在测试阶段，输入测试图提取 CLS 标记 \(z_{\text{cls}}\)，通过全局图像余弦相似度确定所属类别 \(s^*\)：

\[s^* = \arg\max_{s \in \mathcal{S}} \left( z_{\text{cls}}^\top \bar{z}_{\text{cls}}^{(s)} \right)\]

随后直接在对应类别的原型字典中为测试图中的每个原子区域检索最邻近原型：

\[\mathcal{L}(r) = \arg\max_{k \in \{1, \dots, K\}} \left( \hat{f}_r^\top c_k^{(s^*)} \right)\]

由于同一区域内所有像素被赋予相同的部件标签，最终预测图 \(\mathcal{L}\) 的部件边缘完全继承自分水岭结构边界，彻底摆脱了低分辨率方形网格的阶梯锯齿与模糊渗漏。

实验关键数据

主实验

在细粒度鸟类数据集 CUB 与人脸属性数据集 CelebA 上，Part-DINO 与弱监督、无监督及免训练基线展开对比。评估指标包括归一化均方误差（NME \(\downarrow\)）、归一化互信息（NMI \(\uparrow\)）和调整兰德指数（ARI \(\uparrow\)）。

方法	类型	CUB (K=4) NME/NMI/ARI	CUB (K=16) NME/NMI/ARI	CelebA (K=4) NME/NMI/ARI	CelebA (K=16) NME/NMI/ARI
Huang and Li (2020)	弱监督	11.51 / 29.74 / 14.04	12.60 / 43.92 / 21.01	8.75 / 56.69 / 34.74	7.62 / 62.22 / 41.01
Van Der Klis et al. (2023)	弱监督	9.12 / 37.82 / 15.26	7.64 / 56.87 / 38.05	11.11 / 75.97 / 69.53	9.46 / 77.43 / 70.58
PDiscoFormer (Aniraj et al., 2024)	弱监督	8.19 / 52.88 / 23.22	6.44 / 69.54 / 49.99	- / - / -	- / - / -
GANSeg (He et al., 2022b)	无监督	- / - / -	- / - / -	12.26 / 41.71 / 28.06	- / - / -
Xia et al. (2024)	无监督	9.92 / 45.22 / 19.40	8.27 / 53.52 / 33.95	12.28 / 50.69 / 34.57	- / - / -
MPAE (Xia et al., 2025)	无监督	7.75 / 58.93 / 33.73	5.14 / 79.00 / 66.56	11.44 / 56.13 / 37.20	7.10 / 70.21 / 60.33
Amir et al. (2021)	免训练	- / 31.18 / 11.21	- / 50.57 / 26.14	11.82 / 0.17 / 0.01	- / 3.29 / 0.06
Amir et al. (2021) + SAM	免训练	9.92 / 39.77 / 17.94	4.87 / 56.92 / 35.10	11.36 / 1.38 / 0.01	11.42 / 1.99 / 0.03
Part-DINO (本文)	免训练	8.21 / 53.93 / 23.01	4.35 / 65.45 / 46.00	10.81 / 45.07 / 32.20	9.15 / 41.04 / 25.20

在跨分布通用数据集 PartImageNet（PartImageNet-O 与 PartImageNet-S）上的表现同样优异：

数据集	评估指标	Amir et al. + SAM (K=8)	Part-DINO (K=8)	MPAE 训练上限 (K=8)
PartImageNet-OOD	NMI \(\uparrow\) / ARI \(\uparrow\)	32.86 / 54.77	30.07 / 63.27	32.90 / 66.17
PartImageNet-Seg	NMI \(\uparrow\) / ARI \(\uparrow\)	25.59 / 57.69	37.21 / 66.10	33.51 / 65.05

消融实验

针对原子单元类型（Patch vs. Region）、原型类型及边缘检测算法的消融分析如下：

配置 / 单元组合	原型来源	区域生成算法 / 边缘类型	NME (↓)	NMI (↑)	ARI (↑)
Patch 基准 (CUB, K=4)	Patch-based	-	9.22	32.83	13.96
仅提升原型质量	Region-based	RAMP + Watershed	8.30	39.33	16.10
仅提升分配单元	Patch-based	RAMP + Watershed	9.02	42.80	18.13
完整模型 (两端区域化)	Region-based	RAMP + Watershed	8.21	53.93	23.01
超像素对比 (CUB, K=16)	Region-based	SLIC (500 区域)	4.99	60.78	38.64
粗粒度结构边缘	Region-based	RAMP + Watershed (142 区域)	4.44	61.96	43.13
细粒度结构边缘 (默认)	Region-based	RAMP + Watershed (500 区域)	4.35	65.45	46.00
语义边缘对比 (CUB, K=16)	Region-based	DINO 特征相似度边缘	4.63	56.39	38.95

关键发现

• 两端区域化的协同增益：单纯将原型改为区域均值，增益有限（+6.50 NMI / +2.14 ARI）；单纯在测试阶段使用区域分配，增益稍高（+9.97 NMI / +4.17 ARI）。只有在原型构建与测试分配两端同时采用几何纯净的原子区域，才能彻底消除混叠，实现 NMI 从 32.83 跃升至 53.93，ARI 从 13.96 跃升至 23.01。
• 结构边缘显著优于超像素与语义边缘：SLIC 因强制紧凑性截断物理边界，在 500 个超像素下的 ARI 仅为 38.64；而 RAMP 分水岭仅用 142 个区域即取得 43.13 ARI，500 个区域更达到 46.00。若改用 DINO 特征相似度构建边缘，由于语义边界模糊，ARI 下降 7.05 点。
• 免训练反超全监督/弱监督基线：在无需反向传播的前提下，Part-DINO 在 CUB (\(K=16\)) 上的 ARI（46.00）显著优于经典弱监督方法 PDiscoNet（38.05），在 PartImageNet-S (\(K=8\)) 上的 ARI（66.10）甚至超越了耗时训练的 SOTA 模型 MPAE（65.05）。
• 极低的计算开销：在 DINOv2 前向（~40ms）与 SAM 前景提取（~560ms）之外，RAMP 分水岭及特征池化总计仅引入 72ms 开销，性价比极高。

亮点与洞察

• 严格实证 Patch 边界混叠定律：论文对 2.6 万余个前景 Patch 进行了定量剖析，证实 Patch 距离边界越近，特征熵显著增高、置信间距下降，为 ViT 刚性网格受限部件发现提供了强有力的经验证据。
• 几何与语义的正交解耦机制：巧妙地将底层对比度梯度与高层自监督语义解耦，前者负责“定边界”，后者负责“定归属”，以轻量级的图像处理算法补足了深度 Transformer 模型难以低成本获得的物理边界感知。

局限与展望

• 预设部件数量 \(K\) 的假设约束：目前仍需人工指定聚类数目 \(K\)，在物体类别复杂多变或先验未知的开放场景中缺乏自适应确定部件粒度的能力。
• 对比度敏感性与阴影干扰：由于 RAMP 算法依赖局部灰度跳变，在极度低对比度、光照均匀或纹理极其相似的相邻部件交界处容易欠分割；反之，强烈的投射阴影也可能引入伪边缘。
• 开放词表扩展潜力：当前输出为无标签聚类索引，后续可结合 CLIP 等多模态大模型对发现的部件区域进行开放词表命名。

相关工作与启发

• vs Amir et al. (2021): 后者直接对 DINO 特征的 Patch 网格进行聚类，边缘严重锯齿和模糊；Part-DINO 引入 RAMP-分水岭结构区域作为特征承载单元，在全数据集上大幅提升边界精度。
• vs SLIC (Achanta et al., 2012) 超像素方案: SLIC 强加空间球状紧凑度约束，容易跨越弱对比度的部件边缘；RAMP 分水岭完全顺应图像物理梯度脊线，更具几何贴合性。
• vs MPAE (Xia et al., 2025) / PDiscoFormer (Aniraj et al., 2024): 这类无监督或弱监督方法需要针对目标数据集进行庞大的端到端自编码或等变性优化训练；Part-DINO 完全免训练，直接利用冻结预训练特征即插即用。

评分

• 新颖性: ⭐⭐⭐⭐☆ 深入揭示了 ViT Patch 网格跨边界混叠的本质缺陷，将经典对比度分水岭与现代自监督模型优雅融合。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准、2.6 万 Patch 深入微观分析、详尽的跨方法与跨粒度对比及消融实验。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑链条严密自洽，问题诊断与方案设计高度对齐，图表详实直观。
• 价值: ⭐⭐⭐⭐⭐ 为轻量级、免训练的精细化部件发现与语义分割提供了极具实用价值的范式。

相关论文

• [CVPR 2026] A Mixed Diet Makes DINO An Omnivorous Vision Encoder
• [AAAI 2026] Empowering DINO Representations for Underwater Instance Segmentation via Aligner and Prompter
• [NeurIPS 2026] Redefining Instance Matching: A Unified Framework for Part-Aware Matching in Panoptic Segmentation Evaluation
• [CVPR 2026] PIX-TAB: Efficient PIXel-Precise TABle Structure Recognition Approach with Speculative Decoding and Region-Based Image Segmentation
• [ICML 2025] FeatSharp: Your Vision Model Features, Sharper