Geometry-Aware Similarity Metrics for Neural Representations on Riemannian Manifolds¶
会议: NeurIPS 2026
arXiv: 2603.28764
代码: https://github.com/arthurpellegrino/MetricSimilarityAnalysis
领域: 可解释性
关键词: 神经表征相似度, 黎曼几何, 内蕴几何, 拉回度量, 谱比率距离
一句话总结¶
针对传统表征相似度度量（CKA、RSA、Procrustes等）仅依赖环境状态空间外在嵌入而混淆本质不同计算机制的缺陷，本文提出了基于黎曼拉回度量与广义特征值谱比率的度量相似度分析（MSA），实现了对神经网络表征内蕴流形几何的不变性比较与层级计算解耦。
研究背景与动机¶
神经表征的相似度度量（如 Procrustes 分析、典型相关分析 CCA、中心核对齐 CKA 以及表征相似度分析 RSA）长期以来一直是机械可解释性（Mechanistic Interpretability）与神经科学的核心分析工具，被广泛用于逆向工程黑盒网络、追踪层间特征演变以及比较不同模型与生物神经环路的表征表型。然而，这些经典方法本质上都将隐层激活视为环境状态空间（State Space）中的离散点云采样，通过在欧几里得空间内进行刚体旋转对齐或核矩阵相关来评估表征相似度。这种外在几何（Extrinsic Geometry）视角完全忽略了低维流形假说（Manifold Hypothesis），即将输入数据视作嵌入在高维空间中的低维流形，而网络计算本质上是对该流形执行连续拉伸、扭曲与折叠的微分几何变换。
这种对环境嵌入的依赖导致了严峻的表征误判与理论盲区：外在几何极为相似的网络可能在内在机制上南辕北辙，而内蕴结构完全等价的流形又可能因外在弯曲而被判定为高度相异。例如，一个平坦的二维平面流形与一个卷成瑞士卷（Swiss Roll）的二维流形，其流形内部所有测地线长度与局部切空间角度完全等距，但 Procrustes 或 RSA 会因为点云在三维欧氏空间中的空间坐标错位而报告极高的差异性；反之，若两个网络在输入流形不同区域分别产生了完全不同维度的局部坍缩，但点云整体散布轮廓相近，现有外在方法则会给出极高的假阳性相似度。更致命的是，深度网络在富特征（Rich）机制与懒惰（Lazy / NTK）机制下即使执行完全不同的计算策略，现有方法也无法将其有效区分。
本文切入的角度是：神经网络对输入的计算应该通过其对输入流形诱导的黎曼度量——即拉回度量（Pullback Metric）来衡量，表征比较应当完全脱离外在坐标系与隐藏单元的欧氏排列，聚焦于流形切空间内蕴黎曼度量张量之间的内在测度。核心 idea：利用拉回度量精确刻画隐藏表征对输入流形的局部几何形变，并在对称正定（SPD）锥上构造有界的广义特征值谱比率距离，由此提出具有状态空间旋转不变性与局部坐标变换不变性的度量相似度分析（MSA）。
方法详解¶
整体框架¶
MSA 的核心思想是将输入数据流形 \(\mathcal{M}\) 经由神经网络映射至隐藏激活空间的过程形式化为微分几何浸入（Immersion），并通过网络雅可比矩阵将隐藏层欧氏点积拉回至流形切空间，得到逐点的黎曼拉回度量张量场；随后借助广义特征值谱比率（Spectral Ratio）测度度量张量间的差异，并在流形上积分获得全局相似度。
该方法整体由输入流形参数化、局部切空间雅可比拉回、SPD 矩阵广义特征谱比率计算，以及流形测度归一化积分四个阶段构成：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入流形 p ∈ M (静态/时间扩展/统计流形)"] --> PB["局部拉回度量构建<br/>计算网络 Jacobians: G(p) = J(p)ᵀ J(p)"]
PB --> SR["广义特征值谱比率度量<br/>求解 G(p)v = λ G'(p)v, d_SR = 1 - √(λ_m / λ_1)"]
SR --> Int["流形体积归一化全局积分<br/>d_MSA = (1 / Vol(M)) ∫_M d_SR(G_1, G_2) dvol_g(p)"]
Int --> Sim["内蕴相似度输出<br/>Sim_MSA = 1 - d_MSA ∈ [0, 1]"]关键设计¶
1. 局部拉回度量构建：将隐藏层欧氏几何诱导回输入流形切空间 传统分析方法需先抽取一批离散样本 \(X \in \mathbb{R}^{n_{\text{in}} \times k}\)，再对激活矩阵进行点云对齐，这一过程受离散采样密度与外在欧氏基向量的强干扰。MSA 将网络前向过程分解为 \(\mathcal{M} \xrightarrow{\psi} \mathbb{R}^{n_{\text{in}}} \xrightarrow{\varphi} \mathbb{R}^n \xrightarrow{\zeta} \mathbb{R}^{n_{\text{out}}}\)，其中 \(\varphi\) 为待研究隐藏层。在流形任意点 \(p \in \mathcal{M}\)，其切空间 \(T_p\mathcal{M}\) 中的两个切向量 \(v_i, v_j\) 经由网络前推映射（Pushforward）映射到激活切空间中，其内积自然由激活空间的标准欧几里得点积决定。通过将该欧氏点积拉回至 \(T_p\mathcal{M}\)，在局部坐标系下可直接由雅可比矩阵 \(J(p) = J_{\varphi \circ \psi}(p)\) 诱导表示为对称半正定度量张量：
其中 \(m = \dim(\mathcal{M})\)。当映射为浸入时，局部基向量线性无关，\(G(p)\) 严格属于对称正定（SPD）锥 \(\mathcal{S}_{++}^m\)。该拉回度量完全内化了激活层对输入空间的局部各向异性缩放、旋转与扭曲，且矩阵维度仅取决于输入流形内蕴维度 \(m\)，与网络隐藏神经元数量 \(n\) 完全解耦。
2. 广义特征值谱比率度量：在对称正定锥上构建有界距离 为了对比两个网络在同一点处产生的拉回度量 \(G(p)\) 与 \(G'(p)\)，需要定义一种几何上自洽且有界的 SPD 矩阵距离。虽然黎曼几何中存在经典的仿射不变黎曼度量（AIRM），但 AIRM 的取值范围为 \([0, +\infty)\)，难以直接映射为直观归一化的表征相似度 \([0, 1]\)。为此，本文提出了基于广义特征值极值的谱比率（Spectral Ratio, SR）距离：考虑广义特征值问题 \(G v_i = \lambda_i G' v_i\)，将广义特征值按降序排列 \(\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_m > 0\)。谱比率距离定义为最小与最大广义特征值平方根之比的补数：
该度量严格满足伪距离公理（分离性、对称性以及借助瑞利商与特征值上下界不等式严格证明的三角不等式）。当两矩阵完全成标量比例（即内在各向同性形变完全一致）时 \(d_{\mathrm{SR}} = 0\)；当两矩阵主轴退化或秩不匹配时极限逼近 \(1\)。由于其天然有界，直接定义内蕴相似度为 \(1 - d_{\mathrm{SR}} \in [0, 1]\)。
3. 流形全局积分与双重不变性保障：坐标无关性与状态空间旋转不变性 由于局部度量张量 \(G(p)\) 依赖于求值点，MSA 定义为流形全域关于体积微元 \(\mathrm{dvol}_g(p)\) 的归一化积分：
本文在理论上严格证明了 MSA 的两大核心不变性定理：其一为隐藏状态空间旋转不变性（Proposition 4.1），若对任意网络隐藏层施加正交变换 \(Q \in O(n)\)，其拉回雅可比满足 \((Q J)^\top (Q J) = J^\top Q^\top Q J = J^\top J\)，度量张量保持不变；其二为输入流形局部坐标图卡变换不变性（Proposition 4.2），当在图卡重叠区域应用微分同胚 \(f: \phi_k(U_k) \to \phi_j(U_j)\) 变换局部坐标系时，虽然度量矩阵变换为 \(\tilde{G} = J_{kj}^\top G J_{kj}\)，但广义特征方程 \(J_{kj}^\top G_1 J_{kj} v = \lambda J_{kj}^\top G_2 J_{kj} v\) 左右两边消除非奇异变换后，其特征值谱集保持严格不变，从而确保了相似度评估完全反映内在几何而非坐标系选取。
4. 动态系统与统计流形扩展机制：覆盖时序动力学与生成扩散模型 MSA 并不局限于前馈网络，针对循环网络（RNN）与状态空间模型（SSM），本文将时间 \(t\) 作为显式坐标引入流形，构建三维时空扩展流形 \(\mathcal{M}' = \mathcal{M} \times \mathcal{T}\)，利用时空流形上的 \(3 \times 3\) 拉回度量同时量化网络表征的几何演化与动力学流矢量场。针对扩散生成模型，本文建立了拉回度量与信息几何 Fisher-Rao 度量的理论对偶性：对于参数化概率密度 \(p_\pi(x)\)，对数似然映射的拉回期望即为 Fisher 信息矩阵 \(F(\pi) = \mathbb{E}[\nabla_\pi \log p_\pi(x) \otimes \nabla_\pi \log p_\pi(x)]\)，从而使 MSA 能够直接度量文本提示控制流形上的统计流形内在曲率与无分类器引导（CFG）导致的几何坍缩。
实验关键数据¶
主实验¶
论文在三种截然不同的神经计算场景下展开实验：多超参层级前馈网络（富/懒惰学习机制、不同类别任务、随机种子）、工作记忆时序动力学网络（RNN vs SSM）、以及大型文本扩散模型（Stable Diffusion XL 隐空间流形）。下表展示了在层级模型族与动力学架构对比中，MSA 与传统外在度量（Procrustes、RSA、CCA、DSA）在结构分辨力与机制解耦能力上的关键数值表现：
| 实验场景 / 评估对比项 | 评估指标 | MSA（本文内蕴度量） | Procrustes / RSA / CKA | CCA / DSA | 结论与区分优势 |
|---|---|---|---|---|---|
| 富机制 vs 懒惰机制（同任务 \(k=5\)） | 相似度值 | 0.18（敏感区分） | ~0.99 / ~0.95（几乎判定相同） | ~0.82（显著虚高） | 外在点云分布重合，仅 MSA 捕捉到测地线弯曲差异 |
| 同机制跨随机种子（Rich S1 vs Rich S2） | 相似度值 | 0.84 | ~0.99 | ~0.96 | MSA 准确保留随机初始化下的表征复现性 |
| 跨任务对比（2类分类 vs 5类分类） | 相似度值 | 0.00（正交解耦） | ~0.65 | ~0.55 | 外在方法严重高估不同任务隐层相似度 |
| 训练 vs 未训练网络（Trained vs Untrained） | 相似度值 | 0.00 | ~0.42 | ~0.38 | RSA/CCA 无法剥离未经训练的先验伪相关 |
| 序列工作记忆（Trained RNN vs Trained SSM） | 跨架构相似度 | 0.31 | 0.48 (RSA) | 0.81 (DSA) | 区分非正规动力学与连续吸引子机制差异 |
| 时序架构对比（Trained RNN vs Untrained SSM） | 对照相似度 | 0.02 | 0.47 (RSA，无区分) | 0.79 (DSA，动力学混淆) | RSA 对 SSM 训练状态无响应，MSA 严格敏感 |
消融实验¶
论文通过构建递进参数控制的矩阵族与扩散模型引导系数实验，验证了谱比率距离度量构造与扩散引导强度的几何敏感性：
| 实验配置 / 扰动变量 | 关键度量值 | 几何与表征物理意义说明 |
|---|---|---|
| 2×2 SPD 锥切片：旋转角 \(\Delta\theta \to \pi/2\) | \(1 - d_{\mathrm{SR}} \to 0.00\) | 局部主曲率轴正交化时相似度平滑单调降至 0 |
| 2×2 SPD 锥切片：对角尺度比 \(r = \lambda_2/\lambda_1 \to 0\) | \(1 - d_{\mathrm{SR}} \to 0.00\) | 表征流形退化或秩亏损时严格分离 |
| SDXL 引导系数 \(\gamma = 1\)（无分类器引导） | \(1 - d_{\mathrm{MSA}} = 1.00\)（基准） | 基础语义统计流形信息几何基线 |
| SDXL 引导系数 \(\gamma = 4.0\)（适度引导） | \(1 - d_{\mathrm{MSA}} = 0.42\) | 扩散轨迹快速偏离无引导几何，流形显著弯曲 |
| SDXL 引导系数 \(\gamma = 7.5\)（标准最优点） | \(1 - d_{\mathrm{MSA}} = 0.28\)（极小值） | 统计流形几何差异达到峰值，生成多样性与提示对齐达到最优平衡 |
| SDXL 引导系数 \(\gamma = 15.0\)（过度引导/过饱和） | \(1 - d_{\mathrm{MSA}} = 0.65\) | 表征流形发生模式坍缩，在降维流形上与自由模型产生假性统计相似 |
关键发现¶
- 传统点云对齐方法（Procrustes、RSA、CCA）受外在嵌入主导，在面对“相同外在几何、本质不同内蕴形变”时完全失效，例如将过拟合单样本的懒惰学习与提取全局抽象特征的富学习判定为高度相似（相似度接近 1.0）。
- 在层级超参数网络测试中，MSA 产生的成对相似度精确呈现块对角层级嵌套结构（任务差异 > 学习机制差异 > 随机种子差异），而 CCA 与 RSA 对 untrained 模型产生非零假阳性相似度（>0.40），完全无法体现任务解耦。
- 在时序动力学工作记忆任务中，RSA 仅能对比静态几何，将训练后 SSM 与未训练 SSM 评估为对 RNN 具有相同相似度（~0.47）；DSA 仅捕捉线性时间常数导致相似度虚高；而 MSA 将时间作为流形坐标后，同时捕捉到 RNN 的旋转正规动态保持与 SSM 的非正规剪切漂移。
亮点与洞察¶
- 首次将流形假设下的微分几何拉回度量与广义特征值谱比率结合，为表征可解释性领域提供了首个具备完整度量空间公理与双重不变性的内蕴比较框架。
- 巧妙证明了谱比率不仅满足伪距离的三角不等式，而且通过归一化直接获得了严格落在 \([0, 1]\) 区间内的相似度，克服了经典仿射不变黎曼度量（AIRM）无上界、难以直观打分的弊端。
- 将动态时序模型（RNN/SSM）的动力学矢量场与生成扩散模型（SDXL）的 Fisher 信息几何统一纳入拉回度量泛化框架中，展示了跨模型范式（静态、动态、概率生成）几何分析的通用普适性。
局限与展望¶
- MSA 依赖于对输入数据流形 \(\mathcal{M}\) 的明确参数化或参数化拟合；在非结构化神经科学记录或未知高维自然图像等流形形式未知的场景下，必须依赖生成模型先验进行流形学习，若流形重建存在偏差会传递至拉回度量。
- MSA 聚焦于单一隐层的内蕴几何形变，尚未将下游解码器（Decoder）的秩亏损或零空间（Nullspace）映射纳入力度量中；若解码器投影恰好过滤了某局部几何弯曲，MSA 仍会忠实记录该形变，与最终任务预测表现可能存在非因果的解耦。
- 未来可将 MSA 与解码探针及可微优化结合，通过惩罚或引导内蕴拉回度量来主动约束网络表征几何，从而实现几何正则化驱动的稳健模型微调与机制对齐。
相关工作与启发¶
- vs Procrustes / CKA / RSA (Kornblith et al., 2019; Williams, 2024): 传统方法通过欧氏状态空间采样点云的外在协方差或核矩阵计算相似度，本质受制于环境空间嵌入；MSA 采用内蕴微分几何的拉回度量，完全消除了环境维度与空间刚体旋转的干扰，能精准识别深层内在机制差异。
- vs DSA / Dform (Ostrow et al., 2023; Chen et al., 2024): DSA 依赖 Koopman 算子线性逼近比较时序动力学，忽略了非线性流形表征；MSA 将时间显式构造成流形的一个正交坐标维度，在统一的黎曼度量张量中同时量化空间几何表征与时序流形演化。
- vs 信息几何模型比较 (Mao et al., 2024): 既有信息几何比较通常作用于网络最终输出的预测概率分布空间；MSA 将 Fisher-Rao 度量与中间隐藏特征流形拉回度量打通，直接揭示扩散模型隐变量随采样反向去噪过程中的几何塌缩轨迹。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立基于拉回黎曼度量与广义特征谱比率的神经网络内蕴表征相似度理论框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖前馈网络富/懒机制、循环与状态空间时序动态模型、以及百万级规模 SDXL 扩散模型，证据扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严密自洽，从理论公理到数值实验脉络极其清晰通透。
- 价值: ⭐⭐⭐⭐⭐ 为机械可解释性、表征对齐与复杂神经计算动力学比较提供了兼具理论深度与实用性的基础分析工具。