FRInGe: Distribution-Space Integrated Gradients with Fisher–Rao Geometry¶

会议: NeurIPS 2026
arXiv: 2605.06404
代码: https://anonymous.4open.science/r/FRInGe-D5F4
领域: 可解释性
关键词: 特征归因, 梯度积分, Fisher-Rao度规, 极大熵参考点, 模型校准

一句话总结¶

FRInGe 放弃输入空间的启发式基准与直线插值，转在模型预测分布空间中定义极大熵参考点与 Fisher–Rao 测地线调度，并借助拉回度规与双重置信域在输入空间实现平滑积分轨迹，显著提升了归因幅度与模型置信度动态的校准质量。

研究背景与动机¶

梯度积分（Integrated Gradients, IG）是模型解释领域兼具公理化完备性与工程通用性的经典归因方法，通过沿连接基准与输入的路径对输出梯度进行积分来量化各特征重要性。然而，传统 IG 严重受制于输入基准与积分路径的任意性：全黑、全白或均值高斯噪声等启发式基准往往引入虚假的先验语义，且在欧氏输入空间中走直线插值常使模型在早期迅速跨过判别边界进入饱和区，导致路径后半段充斥着近乎无信息的梯度噪声。

虽然已有工作尝试通过背景样本采样、对抗扰动或生成流形约束来重塑路径，但核心症结依旧存在——这些方法均在几何特性难以先验建模的输入空间做文章，无法保证模型预测置信度在整条轨迹上平稳褪除。若输入扰动未与模型自身的置信度流形匹配，计算得到的积分项就极易出现离散化误差与高频对抗伪影，不仅弱化了局部解释的保真度，还使得归因质量对步数与截断超参极为敏感。

为了从根本上摆脱输入空间对基准与路径设计的硬性依赖，本文跳出像素空间，转而在输出预测分布单纯形（Probability Simplex）上定义基准与积分步长。核心 idea：将「无信息状态」定义为预测空间上的均匀极大熵分布，沿概率单纯形上的 Fisher–Rao 测地线构建插值调度，再通过模型诱导的拉回 Fisher 度规与 KL-欧氏联合置信域反求输入空间轨迹，使累积归因严格对齐模型内部的置信度演化动力学。

方法详解¶

整体框架¶

FRInGe 不预设具体的像素基准输入，而是从原始输入的预测分布出发，以球面仿射坐标追踪通往极大熵目标分布的测地线路径点。在每个路径点上，通过极小化球面相似度损失引导预测退化，并求解基于拉回 Fisher 算子的阻尼自然梯度方向。为了防止输入空间步长过大或受到高频对抗噪声干扰，算法结合了预测空间 KL 预算与输入空间欧氏球径的双重置信域截断，并引入离散双调和正则化算子。最终，算法沿反向生成的输入空间轨迹采用梯形积分规则累积输出梯度，并取反恢复标准基准至输入的正向归因图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x 与预测分布 p(x)"] --> B["测地线航标规划<br/>单纯形 Fisher-Rao 路径与步数同步"]
    B --> C["拉回度规求解<br/>无矩阵隐式自然梯度方向求解"]
    C --> D["双重置信域步长适配<br/>预测 KL 边界与输入欧氏硬截断"]
    D --> E["双调和光滑正则化<br/>抑制对抗性高频伪影"]
    E --> F["轨迹梯形积分归因<br/>输入反转积分与完备性闭合"]

关键设计¶

1. 预测分布空间极大熵参考与 Fisher–Rao 测地线规划：摆脱输入基准主观臆断

传统 IG 的公理体系需要指定参考点 $x'$，但图像领域中并不存在绝对客观的“无信息”像素值。FRInGe 将基准直接设定在模型输出的概率单纯形 $\Delta^{C-1}$ 中心，即极大熵均匀分布 $q^\star = \frac{1}{C}\mathbf{1}$。在此基础上，概率单纯形上的内蕴黎曼度规由 Fisher–Rao 度规给出。通过平方根坐标映射 $\psi(p) = \sqrt{p}$，单纯形被等距嵌入至单位超球面的第一卦限 $\mathbb{S}^{C-1}_+$，此时两点间的测地线退化为大圆弧插值： $$s(\alpha) = \frac{\sin((1-\alpha)\theta)}{\sin\theta}\sqrt{p(x)} + \frac{\sin(\alpha\theta)}{\sin\theta}\sqrt{q^\star}, \quad \theta = \arccos\left(\langle \sqrt{p(x)}, \sqrt{q^\star} \rangle\right)$$ 通过离散化 $\alpha_k = k/T$，构造目标预测航标序列 $q_k = s_k \odot s_k$。总步数 $T$ 根据总测地距离 $D_{\text{total}} = 2\theta$ 与单步 KL 预算 $\tau$ 自适应同步为 $T = \lceil D_{\text{total}} / \sqrt{2\tau} \rceil$。即使在类别数极大的情况下（如 ImageNet $C=1000$），由于 $\arccos(1/\sqrt{C}) \le \pi/2$，名义积分步数也有确定上界 $\lceil \pi / \sqrt{2\tau} \rceil$，从而保证了步长分辨率在不同输入间的一致性。

2. 拉回 Fisher 度规与无矩阵隐式自然梯度求解：构建模型感知的几何流向

为了将单纯形上的测地航标拉回输入空间，算法定义球面配准损失 $\mathcal{L}_k(x) = 1 - \langle \sqrt{p(x)}, s_k \rangle$。直接沿该损失的欧氏梯度更新会忽略模型的弯曲曲率，陷入输入病态区域。模型输出对输入的雅可比矩阵为 $J_F(x) = \partial F(x)/\partial x \in \mathbb{R}^{C \times n}$，Logit 空间的 Softmax Fisher 矩阵为 $S(x) = \operatorname{diag}(p(x)) - p(x)p(x)^\top$。由此在输入空间诱导出的拉回 Fisher 度规为： $$G(x) = J_F(x)^\top S(p(x)) J_F(x) \in \mathbb{R}^{n \times n}$$ 在极小化二阶局部逼近下，自然梯度更新方向满足线性方程 $(G(x_k) + \lambda I)v_k = g_k$（其中 $g_k = \nabla_x \mathcal{L}_k(x)|_{x_k}$）。由于输入维度高（如图像百万级像素），矩阵 $G(x)$ 无法显式实例化。FRInGe 借助自动微分，将矩阵向量乘拆解为雅可比向量积（JVP）、乘以解析 $S(p)$ 以及向量雅可比积（VJP）的三步链式调用，使用预条件共轭梯度法（PCG）在线求解，并采用上一航标的解热启动迭代，大幅降低了解算开销。

3. 双重置信域步长适配机制：兼顾流形曲率与积分离散化稳定性

在局部二次近似下，移动 $\eta v_k$ 引发的预测空间 KL 散度为 $\operatorname{KL}(p(x_k - \eta v_k) \,\|\, p(x_k)) \approx \frac{1}{2}\eta^2 v_k^\top G(x_k) v_k$。给定每步允许的 KL 预算 $\tau$，可导出预测空间自适应步长： $$\eta_{\text{KL}} = \sqrt{\frac{2\tau}{v_k^\top G(x_k) v_k + \varepsilon}}$$ 该机制在曲率陡峭区域自动缩减步长，在平缓区扩大步长。然而，当输入空间某方向几乎不引起模型预测变动（即度规近似退化为零空间）时，$\eta_{\text{KL}}$ 会诱导巨大的像素空间跳跃，破坏连续线积分的离散梯形近似精度。因此，算法引入输入欧氏距离硬上界 $\delta_{\text{euc}}$，构造混合置信域更新准则： $$\eta_k = \min\left(\eta_{\max}, \; \sqrt{\frac{2\tau}{v_k^\top G(x_k) v_k + \varepsilon}}, \; \frac{\delta_{\text{euc}}}{\|v_k\|_2 + \varepsilon}\right)$$ 在轨迹初期，输入欧氏截断主导步长以抑制跃迁伪影；在后期置信度快速瓦解阶段，KL 约束成为限制因子，保证以恒定信息几何速率匀速剥离判别特征。

4. 离散双调和正则化与 Sobolev 预条件：抑制高频对抗捷径

仅根据模型预测熵上升优化输入像素时，模型深层 CNN 极易被高频微小扰动欺骗，产生类似对抗样本的伪均匀预测，而非真正语义层次的特征去除。为此，FRInGe 引入离散拉普拉斯算子 $L$（对应的 $L^\top L$ 为双调和算子），在求解系统中引入双正则化项： $$(G(x_k) + \lambda I + \gamma_{\text{step}} L^\top L) v_k = g_k + \gamma_{\text{prior}} L^\top L x_k$$ 其中，$\gamma_{\text{step}}$ 惩罚方向向量 $v_k$ 的高频分量以改善方程条件数；$\gamma_{\text{prior}}$ 将当前状态 $x_k$ 的高频噪声向平滑空间拉回。在求解算法中，配套引入 Sobolev 预条件子 $M^{-1}(v) \approx \frac{\operatorname{Blur}(v)}{\lambda}$，使用高斯平滑算子快速阻尼高频误差分量，使共轭梯度法能在 20 步以内迅速收敛。

实验关键数据¶

主实验¶

实验基于 ImageNet 验证集的 1,000 张图像，对包含 Inception-v3、ResNet 系列及 VGG-19 在内的 6 种主流视觉模型展开评测。除传统因果扰动曲线（Insertion/Deletion AUC，Ins-AUC / Del-AUC）和局部保真度（Infidelity）外，实验重点评估了幅值对齐评分（Magnitude Aligned Scoring, MAS）。MAS 指标通过惩罚累积归因质量占比与模型实际置信度变化之间的差异，衡量归因幅度与模型决策动态的校准程度（MAS-Ins 越大越好，MAS-Del 越小越好）。

架构	方法	MAS-Ins ↑	MAS-Del ↓	Ins-AUC ↑	Del-AUC ↓	Infidelity ↓
Inception-v3	FRInGe (本文)	0.761 ± 0.009	0.444 ± 0.020	0.709 ± 0.014	0.240 ± 0.012	0.020 ± 0.005
Inception-v3	IG (基准)	0.673 ± 0.010	0.485 ± 0.019	0.647 ± 0.014	0.271 ± 0.013	0.032 ± 0.006
Inception-v3	SmoothGrad	0.660 ± 0.009	0.373 ± 0.008	0.690 ± 0.013	0.206 ± 0.011	0.021 ± 0.005
Inception-v3	GGIG	0.631 ± 0.011	0.473 ± 0.015	0.658 ± 0.015	0.215 ± 0.011	0.411 ± 0.018
Inception-v3	GeoIG	0.647 ± 0.009	0.469 ± 0.016	0.668 ± 0.014	0.216 ± 0.011	$4.76 \times 10^3$
ResNet-18	FRInGe (本文)	0.597 ± 0.015	0.264 ± 0.010	0.492 ± 0.016	0.130 ± 0.008	0.058 ± 0.008
ResNet-18	IG (基准)	0.443 ± 0.015	0.359 ± 0.011	0.415 ± 0.014	0.178 ± 0.010	0.104 ± 0.009
ResNet-18	SmoothGrad	0.488 ± 0.014	0.325 ± 0.004	0.477 ± 0.015	0.122 ± 0.007	0.057 ± 0.008
ResNet-18	GGIG	0.426 ± 0.016	0.373 ± 0.008	0.404 ± 0.016	0.164 ± 0.009	0.432 ± 0.017
ResNet-18	GeoIG	0.453 ± 0.014	0.359 ± 0.007	0.430 ± 0.014	0.135 ± 0.008	$3.81 \times 10^3$

消融实验¶

消融实验对比了三种不同几何与正则配置：① 欧氏单纯形追踪（忽略曲率直接梯度更新）；② 未正则化 Fisher–Rao 几何（仅保留拉回度规与 KL 置信域，无平滑约束）；③ 完整 FRInGe。

架构 / 配置	MAS-Ins ↑	MAS-Del ↓	Ins-AUC ↑	Del-AUC ↓	稀疏度 (Sparseness) ↑
ResNet-18
欧氏追踪 (Euclidean)	0.414 ± 0.017	0.319 ± 0.012	0.358 ± 0.014	0.195 ± 0.010	0.764 ± 0.003
未正则化 Fisher–Rao	0.399 ± 0.017	0.330 ± 0.012	0.347 ± 0.013	0.207 ± 0.010	0.785 ± 0.003
完整 FRInGe	0.597 ± 0.015	0.264 ± 0.010	0.492 ± 0.016	0.130 ± 0.008	0.706 ± 0.002
ResNet-50
欧氏追踪 (Euclidean)	0.491 ± 0.018	0.361 ± 0.014	0.415 ± 0.014	0.246 ± 0.012	0.763 ± 0.003
未正则化 Fisher–Rao	0.477 ± 0.018	0.372 ± 0.014	0.403 ± 0.014	0.261 ± 0.012	0.791 ± 0.004
完整 FRInGe	0.648 ± 0.014	0.302 ± 0.012	0.581 ± 0.016	0.161 ± 0.009	0.702 ± 0.002

关键发现¶

校准指标具有显著优势：FRInGe 在全部 6 个模型上的 MAS-Ins 显著超越所有对比方法（在 Inception-v3 上达 0.761，比标准 IG 提升近 9 个百分点），证明其积分权重集中在模型真正做决策的早期高曲率区间，有效克服了传统 IG 的末期饱和效应。
高频对抗捷径必须借助空间正则抑制：未正则化的 Fisher–Rao 追踪虽然在数学上完全贴合流形，但输出的归因图呈现严重的椒盐点状噪点，导致因果 AUC 和 MAS 分数大幅下滑；双调和算子成功将证据剥离集中到语义物体主体。
欧氏置信域以终点逼近换取积分稳定性：实验表明，关闭 $\delta_{\text{euc}}$ 虽能使末端分布严格对齐极大熵点（KL 由 3.697 降至 0.148），但欧氏跳跃过大会使完备性积分误差激增数倍（从 0.011 恶化至 0.078），证实了混合置信域在数值积分上的工程必要性。

亮点与洞察¶

范式从输入空间转向预测流形：不同于以往在像素或潜在空间手工寻找背景基准，FRInGe 将“无信息”严格定义在模型预测单纯形的极大熵中心，用信息几何统一了基准定义与步长规划。
隐式矩阵向量积规避显式 Fisher 存储：巧妙通过 JVP 与 VJP 链式调用，使得百万像素级输入上的自然梯度方程求解完全可行，展现了高阶几何可解释性方法落地的工程可扩展性。
发现置信度校准与稀疏度的解耦：消融实验揭示，极度稀疏的归因往往源于高频伪影导致的过拟合伪归因，而符合认知且与模型内部置信度动态校准的解释图往往需要适度平滑的空间相干性。

局限与展望¶

计算时间显著增加：由于每步需要迭代求解隐式 PCG 系统，顺序执行下单张图像的解释耗时相比标准 IG 慢了 4.7 倍至 22.3 倍（ResNet-18 约 55 秒，ResNet-152 约 319 秒），难以直接应用于实时诊断系统。
终点并非绝对极大熵：受到欧氏置信域硬截断的限制，离散轨迹终点到严格极大熵状态存在一定 KL 残差，完备性是关于实际落盘终点 $x_T$ 成立，而非全局固定基准。
未来改进路径：探索拉回度规的低秩近似或克罗内克分解（K-FAC），训练专门的摊销自然梯度网络（Amortized Predictor）直接单步预测更新方向，可大幅压缩在线推断延迟。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 Fisher–Rao 信息几何与拉回度规系统性引入预测空间的积分路径与基准构造。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 种主流视觉骨干网络，包含完备的定量校准指标、消融实验与超参敏感度剖析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨自洽，对双重置信域的权衡与高频对抗伪影的机制解释透彻。
价值: ⭐⭐⭐⭐☆ 为消除特征归因的基准依赖指明了全新的几何视角，唯计算效率尚待进一步算子化加速。