This Looks Distinctly Like That: Grounding Interpretable Recognition in Stiefel Geometry against Neural Collapse¶

会议: ECCV2026
论文: ECCV 原文
领域: 可解释性
关键词: 原型网络、Stiefel 流形、神经坍塌、动态秩校准、部件发现

一句话总结¶

AMP 将每类原型改成 Stiefel 流形上的正交基，再用稀疏容量和空间约束筛选、定位不同证据，在 CUB 的 ResNet50 设置下取得 88.4% 准确率，但其严格保证针对基向量的秩，并不自动等于语义部件互异。

研究背景与动机¶

ProtoPNet 一类模型把识别过程变成局部图像与训练样例的匹配，让读者能看到分类依据。细粒度识别尤其需要这种解释：区分相近鸟种时，头部、翅膀和身体纹理可能分别提供信息。然而，设置多个原型不意味着模型真的使用了多个部件。如果所有原型都指向同一个最有判别力的区域，解释面板看起来丰富，实际证据却高度重复。这种原型坍塌不仅使展示冗余，还可能让模型忽略其他结构线索。已有方法常对原型相似度加惩罚，但这仍允许优化器在分类收益足够大时接受相似原型。

作者进一步把问题与神经坍塌联系起来：交叉熵训练后期倾向于压缩类内变化，而部件式解释需要保留类内差异。如果同类空间特征都接近同一个均值，自由学习的原型便可能共同追随这个方向。需要注意，这是本文分析所依赖的空间特征退化图景，不能直接当成所有卷积网络都会满足的无条件定理。 AMP 因而不再只要求“尽量不同”，而是从参数可行域中排除多个基向量共线的状态。但正交只规定潜在几何，不规定一个方向必须是鸟头、另一个必须是鸟翼，因此还需要容量选择和空间定位。 核心 idea：把原型多样性拆成硬性的几何独立性、可学习的有效容量和软性的空间语义约束，分别处理，而不是让一个多样性损失承担全部职责。

方法详解¶

整体框架¶

输入图像先经卷积骨干变成具有空间位置的特征张量，每个位置对应一个局部特征向量。 AMP 为每个类别维护一组正交方向，用局部特征在这些方向上的投影能量替代普通原型距离。接着，非负容量权重控制哪些方向真正参与分类，空间正则让保留方向的响应更集中且少重叠。输出既包括类别预测，也包括活跃方向的热图以及从同类训练图像检索的代表性局部样例。这些样例用于呈现方向对应的视觉证据，不是另一个独立生成解释的模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["图像与空间特征"] --> Basis["Stiefel 正交基"]
        Basis --> Capacity["动态秩校准"]
        Capacity --> Maps["活跃方向响应图"]
        Maps -.->|训练约束| Spatial["空间规范固定"]
        Spatial -.->|梯度更新| Basis
        Maps -->|推理| Output["类别评分、热图<br/>同类训练样例"]

图中的空间规范固定是训练目标，不是测试时额外执行的后处理。几何约束和容量参数在训练中更新，测试时使用已经学得的基与权重。解释检索需要预先缓存训练特征，因此完整解释流程还依赖可访问的训练样例库。

关键设计¶

1. Stiefel 正交基：从可行域中排除共线原型

普通原型矩阵的每一列都可自由移动，同一类别的多个列向量因此可能趋向同一个特征方向。 AMP 将其换成矩阵 \(U_c\)，其中 \(D\) 是局部特征维度，\(K\) 是每类基方向数。下式依据第 4.1 节的明确约束整理，只保留决定可行域的关系：

\[ U_c\in\mathbb{R}^{D\times K},\qquad U_c^\top U_c=I_K. \]

这要求 \(K\leq D\)，并使每个方向单位化、不同方向彼此正交。当 \(K>1\) 时，整个基矩阵不能变成秩一矩阵，这是硬约束与相似度惩罚的关键区别。对于局部特征，模型计算它沿各个基方向的内积平方，用以衡量该类别子空间能够解释多少能量。内积平方不区分投影的正负号，因此这里的证据更接近方向能量，而非传统带符号的模板相似度。

不带容量权重时，总投影能量只取决于子空间，而不取决于内部选择的具体正交坐标轴。因此，一个分类表现相同的子空间可以具有不同的解释基，这正是后续空间约束需要解决的问题。同样重要的是，\(U_c\) 满秩不代表骨干特征的类内协方差一定不坍塌。它保证的是原型基的几何独立性，而不是整个表示学习系统的所有退化模式都被排除。理解这一边界后，才能准确解释作者所说的“against Neural Collapse”。

2. 动态秩校准：保留正交候选基，只关闭多余容量

每类固定使用相同数量的方向，可能对结构简单的类别保留过多原型。 AMP 因此引入非负对角容量矩阵 \(\Sigma_c\)，其对角元素 \(\sigma_{c,k}\) 控制对应方向的贡献。每个方向的局部投影能量乘以该容量，再参与类别证据的聚合。容量与正交基是两套参数：前者决定使用多少方向，后者决定这些方向指向哪里。论文以 \(U_c\Sigma_c\) 描述带容量的表示，并用非零容量的数量定义其有效秩。这不应与未加权的 \(U_c\) 始终具有秩 \(K\) 混为一谈。

训练对容量加入 \(\ell_1\) 惩罚，使额外方向必须提供足够的分类收益才能保留下来。仅做普通梯度更新通常只会产生很小的数值，未必让参数精确变成零。作者改用梯度步之后的近端软阈值操作，并结合非负截断，得到真正关闭的方向。活跃集合由正容量方向构成，空间损失只作用于这一集合，且不对集合成员选择反向传播。本文缓存中的式 (8) 符号顺序已损坏，因此这里不猜补学习率与阈值的精确公式。另外，主动剪成低有效秩是设计目标，不是第一项设计要禁止的无约束原型共线。

3. 空间规范固定：让独立方向对应集中的不同区域

即使向量正交，两个方向仍可能在同一图像区域响应，或者各自产生分散的热图。第 4.3 节因此为每个方向计算稠密能量图，再沿全部空间位置做 softmax，形成归一化空间分布。空间熵最小化对活跃方向的分布熵取平均，鼓励响应集中到少量位置。这里的熵是负的“概率乘对数概率”之和；最小化它会减少弥散响应。但集中本身不能防止多个方向同时盯住同一部件，因此还需空间重叠惩罚。后者平均计算不同活跃热图之间的余弦相似度，并最小化这一重叠程度。

当活跃方向少于两个时，重叠项被设为零，避免不存在方向对时的归一化问题。这两个目标合在一起才表达“各自集中，而且尽量看不同位置”的偏好。作者把它称为规范固定，是因为它在分类近似等价的基选择中偏向更稳定的空间解释。容量不相等时会部分打破旋转对称性，论文并未说任意加权子空间都严格保持全部旋转不变性。这些空间目标无需部件标注，但它们仍是软的归纳偏置，不保证自动发现真实解剖结构。特别是，当证据天然重叠时，过强的分离要求也可能制造不合理的空间拆分。

损失函数 / 训练策略¶

总目标由交叉熵、空间熵、空间重叠及容量稀疏项构成，并受正交性和容量非负性约束。骨干参数采用普通 SGD，基矩阵采用黎曼梯度更新，容量采用梯度步与近端阈值相结合的更新。对基矩阵，先将梯度投影到切空间，再通过基于 QR 的回缩返回 Stiefel 流形。因此，保持正交性并不是每隔若干轮检查一次，而是每次流形更新的一部分。正文把完整推导放在附录，但所给全文止于参考文献，未包含该附录。

实现使用一张 NVIDIA RTX 4090，图像按边界框裁剪并调整至 \(448\times448\)。每类初始 \(K=10\)，稀疏权重 \(\lambda=0.0001\)，两个空间权重均为 \(0.01\)。训练共 100 个 epoch，batch size 为 32，余弦调度将学习率从 \(0.001\) 降到 \(0.00001\)。骨干包括 VGG16、ResNet34、ResNet50 和 DenseNet161，通常使用 ImageNet 预训练。 CUB 的 ResNet50 例外，使用 iNaturalist 预训练；因此不能把这一列视为普通 ImageNet 初始化结果。

推理时，第 4.4 节描述以空间上的最大投影能量形成类别 logit，再选分数最大的类别。解释只保留预测类别的活跃方向，以容量加权的能量图定位高贡献区域。随后在同类训练图像的缓存特征中寻找对应方向能量最大的局部样例，为该方向提供可见参照。这是读取样例作为解释，不应沿用第 3 节普通原型网络的描述，直接把基向量替换成训练补丁而破坏正交性。式 (14) 的最大值与求和符号在文本提取中严重错序，无法确认其精确嵌套次序。因此不能断言“每个部件各取最大响应后相加”就严格等于实现中的 logit；这需要原始公式或代码进一步核对。

实验关键数据¶

主实验¶

CUB-200-2011 包含 11,788 张图像、200 个鸟种；Stanford Cars 包含 16,185 张图像、196 类汽车。下表摘自原文表 1，第 11 页，指标为 top-1 准确率 (%)，仅列 ResNet50 设置。 CUB 使用 iNaturalist 预训练，Cars 使用 ImageNet 预训练；两者都处于论文的边界框裁剪设置下。

方法	CUB-200-2011 准确率 (%)	Stanford Cars 准确率 (%)	模型类型
ProtoPNet	84.0 ± 0.5	88.7 ± 0.3	内生可解释
MGProto	86.6 ± 0.4	90.5 ± 0.2	内生可解释
AMP	88.4 ± 0.3	92.0 ± 0.2	内生可解释
PMG	89.2 ± 0.3	93.6 ± 0.2	黑箱分类器

AMP 相对 MGProto 分别提高 1.8 和 1.5 个百分点，但仍低于 PMG，不能概括为击败全部黑箱模型。表中的误差项按原文保留；所给正文没有明确说明重复次数及这些误差项的统计定义。

下表摘自原文表 2，第 12 页，展示两数据集的解释指标；表注没有独立明确其骨干设置。 Consistency 和 Stability 越高越好，OIRR 和 DAUC 越低越好，方向依据第 5.2 节的比较说明。正文未完整定义这些指标的计算流程，尤其没有给出 OIRR 的展开、归一化和 DAUC 的删除协议，因此不补造公式或单位。

数据集	方法	Consistency	Stability	OIRR	DAUC
CUB-200-2011	MGProto	71.40 ± 1.90	45.80 ± 2.30	30.80 ± 2.10	4.02 ± 0.44
CUB-200-2011	AMP	76.80 ± 1.80	49.20 ± 2.10	28.10 ± 2.00	3.45 ± 0.41
Stanford Cars	MGProto	45.00 ± 2.40	74.20 ± 2.00	36.80 ± 2.10	6.05 ± 0.43
Stanford Cars	AMP	50.20 ± 2.20	76.40 ± 1.90	33.50 ± 2.00	5.65 ± 0.40

消融实验¶

下表摘自原文表 3，第 14 页，选取 CUB 的准确率、Consistency、DAUC 以及 Cars 的 OIRR。表中完整模型准确率与表 1 的 ResNet50 列一致，但表 3 的表注没有独立明确骨干，不能把数值一致当成额外的配置证明。

配置	CUB 准确率 (%)	CUB Consistency	CUB DAUC	Cars OIRR
去掉 Stiefel 约束	85.2	65.0	4.95	40.8
去掉容量矩阵	87.9	75.8	3.55	35.4
去掉空间熵项	87.0	73.2	3.92	35.0
去掉空间重叠项	88.1	74.6	3.60	34.0
AMP 完整模型	88.4	76.8	3.45	33.5

关键发现¶

去掉 Stiefel 约束使 CUB 准确率降低 3.2 个百分点，DAUC 从 3.45 升至 4.95，是表 3 中最明显的退化。
容量矩阵对准确率的影响较小，但移除后 Cars OIRR 从 33.5 升至 35.4，说明删减冗余方向的价值不能只看准确率。
第 5.6 节报告 50 名参与者的人类评价，并称 CUB 图像通常激活三个原型、Cars 通常四个；没有可读的图中具体评分，故不填数值。
图 4 的文字分析强调适中的稀疏及空间权重较好；缓存无法读出完整曲线数据，不据此给出新的最佳参数范围。

亮点与洞察¶

多样性不再是一项混合目标：几何约束防共线，容量控制数量，空间损失约束证据形态，三者职责清楚。
近端更新提供真正的零容量，而不是仅让原型贡献变小，这使活跃方向集合具有明确的离散解释。
子空间分类与基方向解释并不相同；识别到这种差异，比单纯在热图上要求“更稀疏”更有启发性。

局限与展望¶

证据范围限于两个细粒度数据集及边界框裁剪输入，尚不能外推为完整场景、医学诊断或遥感任务的验证。
神经坍塌到空间原型共线的论证依赖特征退化假设；硬约束不能替代对骨干特征及语义部件的直接测量。
加权有效秩可以变小，而正交基仍保持满列秩；“完全消除所有坍塌”的表述会掩盖这个区别。
作者称解释具有更好的因果忠实性，但现有指标改善不能独立证明部件具有因果语义或免疫分布外捷径。
复现还缺少清晰的推理聚合公式、指标协议和附录更新细节；进一步工作应报告这些内容及 QR 更新、样例检索的额外成本。

评分¶

新颖性: 4/5。将硬正交、近端容量与空间规范固定结合，形成针对原型冗余的清晰方案。
实验充分度: 3/5。包含多骨干、消融及人类评价，但任务范围与可复现细节仍有限。
写作质量: 3/5。方法分工清楚，但部分“保证”措辞较强，所给文本的公式损坏影响核验。
价值: 4/5。值得借鉴的是几何与语义约束的分工，而非把正交性直接等同于可信解释。