Geometry-Aware Similarity Metrics for Neural Representations on Riemannian and Statistical Manifolds¶

会议: NeurIPS 2026
arXiv: 2603.28764
OpenReview: https://openreview.net/forum?id=evbVz4WWXN
论文: https://arxiv.org/abs/2603.28764
领域: 可解释性
关键词: 神经网络表示相似度, 黎曼几何, 内蕴几何, 拉回度规, 谱比率

一句话总结¶

本文提出度规相似度分析（Metric Similarity Analysis, MSA），基于流形假设利用微分几何中的拉回度规度量神经表征的内蕴几何，并引入广义特征值谱比率作为正定矩阵间伪距离，成功解耦表征外在嵌入与内在计算结构。

研究背景与动机¶

表征相似度度量（如 Procrustes 分析、居中核对齐 CKA、典型相关分析 CCA 以及表征相似性分析 RSA）是机械可解释性领域探究神经网络表征几何的核心工具。通过对比网络隐藏层的激活几何，研究者能够分析模型初始化、架构或学习范式带来的表征漂移，进而关联其泛化表现。然而，现有主流方法普遍将隐藏层激活视为欧氏状态空间中的离散点云，通过旋转、缩放或核对齐来比较其外在嵌入几何（Extrinsic Geometry）。

这种对外在状态空间几何的聚焦，忽略了机器学习中广泛成立的「低维流形假设」以及神经网络沿流形逐层扭曲几何的内在计算本质。外在嵌入会受到坐标系选取或环境空间任意弯曲的强烈干扰：例如，一个二维平面既可以平坦地嵌入高维空间，也可以被卷成瑞士卷流形，此时传统 Procrustes 或 RSA 会错误地判定两者具有极大相异度，尽管流形表面的所有内蕴测地距离与局部夹角严格一致；反之，外在点云对齐极度吻合的网络，其流形内部的度规结构可能完全错位。

为了克服现有度量无法反映真实计算拓扑与几何形变的根本局限，本文从黎曼几何的视角切入。核心 idea：利用流形映射的拉回度规（Pullback Metric）精确刻画隐藏层对输入流形的局部几何形变，并设计基于广义特征值谱比率的正定矩阵流形伪距离，从而建立对状态空间正交旋转和流形局部坐标选取均严格不变的内蕴表征相似度度量框架 MSA。

方法详解¶

整体框架¶

MSA 框架将神经网络视为从低维输入流形到隐藏层激活流形的光滑映射，通过微分推前（Pushforward）诱导内蕴黎曼度规，并在全流形上积分局部的正定度规相似性。整体计算流包含四个主要阶段：首先定义或参数化低维输入流形；其次计算隐藏层特征映射关于流形局部坐标的雅可比矩阵，构造局部拉回度规张量；随后求解两网络拉回度规间的广义特征值方程，计算谱比率伪距离；最后在输入流形的体积形式下完成全域积分与归一化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流形<br/>参数化坐标系统与度规基底"] --> B["推前映射与雅可比计算<br/>隐藏层切空间局部线性化"]
    B --> C["局部拉回度规构建<br/>对称正定矩阵张量场"]
    C --> D["广义特征值谱比率<br/>求解极值特征值并计算伪距离"]
    D --> E["全流形积分归一化<br/>输出内蕴几何相似度度量"]

关键设计¶

1. 局部拉回度规构建：剥离外在嵌入并精确刻画内蕴形变

针对传统点云对齐受状态空间环境维度与刚体弯曲干扰的痛点，MSA 引入微分几何中的拉回度规（Pullback Metric）作为神经表征内蕴几何的表征介质。设输入流形 \(\mathcal{M}\) 的维数为 \(m\)，网络从输入流形到隐藏层的光滑映射为 \(\varphi \circ \psi: \mathcal{M} \to \mathbb{R}^n\)。在局部坐标系下，该映射诱导切空间 \(T_p\mathcal{M}\) 到隐藏层状态空间的雅可比矩阵为 \(J(p) \in \mathbb{R}^{n \times m}\)。切向量推前至隐藏层后的标准欧氏内积，在流形切空间中诱导出局部黎曼度规：

\[G(p) = J(p)^\top J(p) \in \mathbb{R}^{m \times m}\]

当映射为浸入（Immersion）时，\(G(p)\) 严格为对称正定（SPD）矩阵。该度规独立于环境空间的坐标旋转与高维平移，完整编码了网络在点 \(p\) 处沿所有测地线方向的局部拉伸、剪切和扭曲程度。

2. 广义特征值谱比率：有界的正定矩阵锥伪距离

为了比较两网络在同一点诱导的不同对称正定拉回度规 \(G(p)\) 与 \(G'(p)\)，直接采用仿射不变黎曼度规（AIRM）会导致距离无界且在数值退化时不稳定。本文提出谱比率（Spectral Ratio, SR）作为 SPD 矩阵空间上的紧凑度量。考虑广义特征值方程 \(G\mathbf{v}_i = \lambda_i G'\mathbf{v}_i\)，将特征值降序排列为 \(\lambda_1 \ge \dots \ge \lambda_m > 0\)。谱比率距离定义为最小与最大广义特征值比值的平方根偏差：

\[d_{\mathrm{SR}}(G, G') = 1 - \sqrt{\frac{\lambda_m}{\lambda_1}} \in [0, 1]\]

论文严格证明了 \(d_{\mathrm{SR}}\) 满足分离性（\(d_{\mathrm{SR}}(G, G)=0\)）、对称性（\(d_{\mathrm{SR}}(G, G') = d_{\mathrm{SR}}(G', G)\)）以及三角不等式。由于其天然有界在 \([0, 1]\) 内，可直接转换为直观的相似度函数 \(1 - d_{\mathrm{SR}} \in [0, 1]\)。当两度规成标量倍数关系时相似度为 1，而秩不匹配时相似度退化为 0。

3. 全流形积分与双重内蕴不变性：状态空间旋转与局部坐标选取的严格解耦

在局部度量基础上，MSA 通过在输入流形 \(\mathcal{M}\) 上对谱比率距离进行测度积分，得到全局表征距离：

\[d_{\mathrm{MSA}}(\varphi^1, \varphi^2) = \frac{1}{\mathrm{Vol}_g(\mathcal{M})} \int_{\mathcal{M}} d_{\mathrm{SR}}(G_p^{\varphi^1}, G_p^{\varphi^2}) \, \mathrm{dvol}_g(p)\]

MSA 具有两项基本不变性定理：其一，状态空间旋转不变性，即对于任意两隐藏层正交变换 \(Q_1, Q_2\)，由于雅可比满足 \((Q_i J)^\top (Q_i J) = J^\top J\)，拉回度规自身保持不变；其二，流形局部坐标微分同胚不变性，局部坐标变换的雅可比矩阵 \(J_{kj}\) 作用于度规两端，由广义特征值方程的相抵性，谱比率的值严格不受局部图卡选取的干扰。

损失函数 / 训练策略¶

MSA 本身为后验分析与诊断工具，不引入额外训练损失。在连续动力系统（RNN、SSM）中，将时间 \(t\) 作为显式坐标扩展为三维流形 \(\mathcal{M}' = \mathcal{M} \times [0, T]\)，构造 \(3 \times 3\) 动态拉回度规；在概率扩散模型中，则将流形扩展为条件生成分布的统计流形，以 Fisher-Rao 信息度规替代确定性拉回度规进行广义特征值分析。

实验关键数据¶

主实验¶

论文在 Rich 与 Lazy 两大经典学习机制的 MLP 模型、序列工作记忆任务下的循环网络（RNN）与状态空间模型（SSM），以及 StableDiffusionXL 文本扩散模型上对 MSA 进行了全面评测。表 1 对比了不同表征相似性分析方法在区分计算机制上的辨识能力。

模型比较对 / 场景	真实计算机制关系	Procrustes 相似度	RSA / CKA 相似度	CCA 相似度	本文 MSA 相似度
Rich vs Rich (不同随机种子 S1/S2)	同机制、同任务、不同初始化	0.98	0.92	0.90	0.86
Lazy vs Lazy (不同随机种子 S1/S2)	同机制、同任务、不同初始化	0.99	0.95	0.91	0.88
Rich vs Lazy (相同任务与输入)	不同计算机制（特征学习 vs 过拟合核机制）	0.96 (无法区分)	0.78 (严重高估)	0.75 (严重高估)	0.18 (清晰解耦)
Trained RNN vs Untrained RNN	已训练 vs 随机未训练基线	0.45	0.62	0.58	0.02
Trained RNN vs Trained SSM (同一任务)	吸引子记忆机制 vs 非正规旋转动力学	0.72	0.71	0.66	0.34

消融实验¶

表 2 评估了在不同超参数层级偏离（任务类别数改变、学习范式转变、随机初始化差异、未训练基线）下各度量对网络计算层级结构的捕获灵敏度。

架构 / 超参偏离层级	预期层级相似度梯度	RSA 输出一致性	CCA 输出一致性	本文 MSA 输出一致性	说明
仅改变随机种子 (Seed)	极高相似度 (\(\approx 0.85-0.90\))	0.93	0.91	0.87	三者均能识别初始化同质性
改变学习范式 (Rich \(\leftrightarrow\) Lazy)	中低相似度 (\(\approx 0.15-0.30\))	0.78 (失真)	0.75 (失真)	0.19 (吻合)	RSA/CCA 外在几何受环境空间形状支配
改变分类任务类别数 (2类 \(\leftrightarrow\) 5类)	低相似度 (\(\approx 0.05-0.10\))	0.64 (虚高)	0.61 (虚高)	0.08 (解耦)	传统方法无法感知决策流形拓扑重构
训练模型 vs 随机未训练模型	零相似度 (\(0.00\))	0.52 (严重失真)	0.48 (严重失真)	0.00 (严格为零)	传统度量受维度点云平均距离伪相关干扰

关键发现¶

Rich 与 Lazy 机制的伪相似度陷阱：PCA 外在状态空间可视化显示，Rich 与 Lazy 网络在高维空间中的全局点云轮廓非常相似，导致 Procrustes 和 RSA 给出大于 0.78 甚至 0.96 的极高相似度；然而流形测地网格线显示，两者拉回度规发生本质畸变，MSA 给出 0.18 的极低值，忠实刻画了表示学习机制的本质异质性。
动力系统动力学机制的分离能力：在序列工作记忆任务中，RNN 倾向于形成连续吸引子稳定编码，而 SSM 依托正交基（HiPPO）偏好非正规旋转动力学。传统动态相似性度量 DSA 灵敏度较差，而 MSA 同时融合时间轴的几何拉回分析，清晰区分出结构差异。
扩散模型信息几何塌缩：在 StableDiffusionXL 的统计流形分析中，无引导（Classifier-Free Guidance \(\gamma=1\)）会导致潜在空间几何塌缩；增大引导强度 \(\gamma\) 会重塑 Fisher-Rao 几何，且在特定适度引导下模型内蕴几何与无引导模型相异度达到峰值。

亮点与洞察¶

将表征分析从外在嵌入推进至内蕴黎曼几何：传统方法只看向量在激活空间里的离散散布，MSA 抓住低维流形这一第一性原理，利用拉回度规将网络表征视为流形度规张量场的连续映射。
有界且易解的谱比率距离设计：巧妙绕开 AIRM 矩阵对数运算可能面临的发散与无界问题，以广义极值特征值之比刻画局部形变各向异性，构造了天然介于 0 到 1 之间的黎曼伪距离。
向随机动力系统与概率生成模型的优美拓展：通过将时间引入流形坐标以及利用 Fisher-Rao 信息度规替代拉回度规，MSA 无缝泛化至循环动态网络与潜扩散模型，展现出极强的普适性。

局限与展望¶

依赖输入流形的解析或低维参数化表示：MSA 要求明确已知或能参数化输入数据流形。在自然图像或复杂文本等非结构化高维数据上，输入流形本身未知，需要先训练流形学习模型拟合数据，存在参数化拟合误差风险。
忽略下游线性解码器的投影空空间：MSA 仅分析单个隐藏层的内蕴几何形变，并不感知后续层与最终解码器的几何投射。若后续分类头存在低秩退化或将某些内蕴维度置于零空间，MSA 探测到的几何差异可能对最终预测并不产生实际影响。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从微分几何内蕴度规与谱比率距离切入表征相似性分析，理论框架扎实严密。
实验充分度: ⭐⭐⭐⭐☆ 覆盖深度网络学习机制、RNN/SSM 循环动态系统、以及 SDXL 扩散模型信息几何。
写作质量: ⭐⭐⭐⭐⭐ 几何直观阐述清晰，数学推导与物理图像相互印证。
价值: ⭐⭐⭐⭐⭐ 为机械可解释性提供了极具洞察力的新几何分析范式。