跳转至

From Baselines to Transport Geodesics: Axiomatic Attribution via Optimal Generative Flows

会议: NeurIPS 2026
arXiv: 2603.05093
OpenReview: https://openreview.net/forum?id=6mst9gKX4f
代码: https://github.com/cenweizhang/OTFlowSHAP
领域: 可解释性
关键词: 特征归因, 最优传输, 测地线, 生成流模型, 积分梯度

一句话总结

针对特征归因中参考基线与反事实插值路径选择的主观随意性,本文将归因问题严谨解耦为固定路径积分分配与分布级路径选择,证明了 Aumann-Shapley 线积分的公理唯一性,并利用 Rectified Flow 逼近最小动能作用量的最优传输测地线,实现了几何一致且高稳定性的归因图。

研究背景与动机

基于反事实插值的特征归因方法(如 Integrated Gradients 与 Expected Gradients)试图通过度量模型输入从无信息参考状态到目标样本过程中的预测响应,来定量解释各输入特征的贡献。然而,何为合理的“无信息状态”在图像等高维结构化数据中存在天然的语义模糊性:全黑、均值平滑、随机模糊或图像修复基线代表了截然不同的缺失语义。更严峻的是,给定基线端点后,如何在输入空间中架设过渡路径直接决定了非线性神经网络沿途的梯度采样区域。常规的直线插值往往强制模型在脱离真实数据分布的低密度异常区域进行前向与反向传播,导致梯度抖动剧烈、归因图充满高频伪影。

该困境背后的核心矛盾在于:反事实路径的选择往往是由人工主观启发式设定的几何线段(如欧氏直线插值),或者是受被解释模型自身高敏感度流形诱导的黎曼测地线,并未真正根植于数据本身的生成结构之中。虽然近期有工作尝试在预训练生成模型上构建曲线上溯,但多聚焦于实例层面的几何曲线搜索,缺乏公理化的归因唯一性约束,且容易混淆经验曲线与真实低维数据流形。

本文的切入角度是将特征归因问题拆解为两项正交的子任务:一是固定路径上的信用分配公理化表征,二是连接参考分布与数据分布的输运流场优化。核心 idea:证明固定光滑路径下 Aumann-Shapley 线积分是唯一满足基本公理的分配律,并将反事实路径选择表述为参考分布到数据分布的最小动能作用量最优传输动力学问题,进而借助 Rectified Flow / Reflow 构造出可稳定逼近 \(W_2\) 测地线的生成输运流归因。

方法详解

整体框架

本文提出的归因框架严格分离了两项建模决策:首先在分布层级,通过最小化连续时间输运流场的动力学动能作用量(Kinetic Action),在参考先验分布与数据分布之间确定唯一的最优传输测地线流场;随后针对任意给定的目标样本,沿反向 ODE 积分确定其在先验空间中的耦合基线端点,并顺向回溯生成输运特征线;最后沿该固定特征线执行坐标分解的 Aumann-Shapley 线积分累加特征得分贡献。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x1 与参考先验分布 p0"] --> B["最小动能作用量输运流场求解<br/>Benamou-Brenier 动力学最优传输"]
    B --> C["Rectified Flow 与 Reflow 轨迹拉直逼近<br/>学习速度场并反向/正向积分生成特征线"]
    C --> D["Aumann-Shapley 固定路径信用分配<br/>沿生成输运测地线做坐标分解梯度线积分"]
    D --> E["输出特征归因图 Ψ 与动力学诊断"]

关键设计

1. Aumann-Shapley 固定路径信用分配的公理唯一性表征

针对传统归因算法将积分形式与路径选择混杂的问题,首先固定一条连续可微的正则路径 \(\gamma: [0, 1] \to \mathbb{R}^d\)(满足 \(\gamma(0)=\bm{x}_0, \gamma(1)=\bm{x}_1\))。定义单个坐标轴的无穷小得分变化追踪量(coordinate trace)为 \(h_i^f(t) = \frac{\partial f(\gamma(t))}{\partial x_i} \frac{\mathrm{d}\gamma_i(t)}{\mathrm{d}t}\)。只要归因规则满足有效性(总和等于得分差 \(f(\gamma(1))-f(\gamma(0))\))、模型线性、虚拟特征零归因(dummy property)、平滑重参数化时间不变性,以及连续依赖于自身坐标轨迹的坐标迹决定性条件,那么任何满足上述公理且具备坐标迹丰富度的归因规则,在数学上唯一收敛为 Aumann-Shapley 梯度线积分: $$ \Phi_i(f, \gamma) = \int_0^1 \frac{\partial f(\gamma(t))}{\partial x_i} \frac{\mathrm{d}\gamma_i(t)}{\mathrm{d}t} \,\mathrm{d}t $$ 该结论确立了分配算子的无歧义性,证明了解释算法的探索空间不应在于修改积分公式本身,而在于如何严谨选取反事实路径 \(\gamma\)。

2. 最小动能作用量输运流场求解(Benamou-Brenier 测地线选择)

为避免直线插值穿过高维空洞或受分类器敏感度曲率操纵,本文将参考基线提升为参考先验分布 \(p_0\)(如标准高斯先验),并将数据样本视为 \(p_1\)。在所有满足连续性方程 \(\partial_t \rho_t + \nabla \cdot (\rho_t \bm{v}_t) = 0\) 的输运流场对 \((\rho, \bm{v})\) 中,寻找最小化如下动力学动能作用量(Kinetic Action)的最优解: $$ \mathcal{A}(\rho, \bm{v}) = \int_0^1 \int_{\mathbb{R}^d} |\bm{v}_t(\bm{x})|_2^2 \,\mathrm{d}\rho_t(\bm{x}) \,\mathrm{d}t $$ 根据 Benamou-Brenier 定理,该作用量的极小值严格等于分布间的二次 Wasserstein 距离平方 \(W_2^2(p_0, p_1)\),其解对应的概率密度演化族正是概率测度空间中的 \(W_2\) 测地线。对于目标样本 \(\bm{x}_1\),反事实路径 \(\gamma_{\bm{x}_1}^\star(t)\) 即由极值速度场 \(\bm{v}_t^\star\) 的特征线方程 \(\frac{\mathrm{d}\gamma(t)}{\mathrm{d}t} = \bm{v}_t^\star(\gamma(t))\) 在终止边界 \(\gamma(1)=\bm{x}_1\) 下唯一确定。

3. Rectified Flow 与 Reflow 轨迹拉直逼近与端点耦合

由于高维图像空间无法直接求解偏微分方程约束下的最优传输极值,本文引入 Rectified Flow 与迭代 Reflow 技术逼近该理想测地线。网络 \(\bm{v}_{\bm{\theta}}(\bm{x}, t)\) 通过回归耦合端点之间的常速度方向 \(\bm{z}_1 - \bm{z}_0\) 进行优化。通过 Reflow 重采样诱导端点,能大幅消除流场交叉并压制输运轨迹曲率,使经验流场在数值上无限逼近恒速位移插值。对于解释对象 \(\bm{x}_1\),算法首先沿逆向 ODE 积分求解隐空间唯一的伴随先验端点 \(\hat{\bm{x}}_0\),再正向数值积分得到 \(K\) 步离散离散轨迹序列 \(\hat{\bm{x}}_0, \ldots, \hat{\bm{x}}_K\)。

4. 速度场扰动下的归因稳定性上界保障

为了给工程逼近提供理论兜底,定理 4.6 建立了流场估计误差与最终归因误差之间的定量稳定性界:假定目标打分函数的梯度具有有界性与 Lipschitz 连续性,且数值轨迹保持在紧集 \(\mathcal{K}\) 内,若学习到的流场在紧集上的均匀误差受控于 \(\sup_{t, \bm{x}} \|\hat{\bm{v}}_t(\bm{x}) - \bm{v}_t^\star(\bm{x})\|_2 \le \varepsilon\),则通过向后 Gronwall 不等式可证特征线轨迹漂移满足 \(\|\gamma(t) - \hat{\gamma}(t)\|_2 \le e^{L_v} \varepsilon\)。由此,各特征分量的归因偏差严格满足一阶线性上界: $$

|\Psi_i(f_c, \bm{x}_1) - \hat{\Psi}_i(f_c, \bm{x}_1)| \le \left[ B_g (L_v e^{L_v} + 1) + B_v L_g e^{L_v} \right] \varepsilon = C \varepsilon $$ 这一界限定量证明了提升生成流模型的拟合精度可直接、可控地转化为归因结果的可靠性提升。

实验关键数据

主实验

在 CIFAR-10 和 CelebA-HQ 图像分类基准上,针对代表性视觉模型,对比了 SmoothGrad、Guided Backpropagation、GradientSHAP、Integrated Gradients (IG)、DDIM 逆向扩散轨迹以及本文 Transport Flow。评估指标包含几何路径平直度(GPS)、流动力学一致性误差(FCE)、结构感知全变差(SATV)、边缘对齐度(EAS)以及基于零替换(Del. zero)与模糊替换(Del. blur)的渐进删除忠实度 AUC。

数据集 方法 GPS FCE \(\downarrow\) SATV \(\downarrow\) EAS \(\uparrow\) Del. zero \(\downarrow\) Del. blur \(\downarrow\)
CIFAR-10 SmoothGrad - - \(0.022 \pm 0.008\) \(0.363 \pm 0.117\) \(0.525 \pm 0.923\) \(1.216 \pm 1.202\)
CIFAR-10 GuidedBackprop - - \(0.040 \pm 0.018\) \(0.439 \pm 0.128\) \(0.966 \pm 0.978\) \(1.627 \pm 1.064\)
CIFAR-10 GradientSHAP - - \(0.669 \pm 0.408\) \(0.116 \pm 0.146\) \(0.691 \pm 0.975\) \(1.978 \pm 1.050\)
CIFAR-10 Integrated Gradients \(1.000 \pm 0.000\) \((1.0 \pm 0.1) \times 10^4\) \(0.643 \pm 0.404\) \(0.114 \pm 0.134\) \(0.670 \pm 0.965\) \(1.931 \pm 1.105\)
CIFAR-10 DDIM \(1.059 \pm 0.017\) \((3.1 \pm 0.5) \times 10^3\) \(0.073 \pm 0.062\) \(0.119 \pm 0.160\) \(\mathbf{0.444 \pm 0.940}\) \(1.360 \pm 1.143\)
CIFAR-10 Transport Flow (本文) \(1.023 \pm 0.008\) \(\mathbf{0.005 \pm 0.003}\) \(\mathbf{0.062 \pm 0.048}\) \(\mathbf{0.119 \pm 0.138}\) \(0.456 \pm 0.967\) \(\mathbf{1.311 \pm 1.177}\)
CelebA-HQ SmoothGrad - - \(0.001 \pm 0.000\) \(0.232 \pm 0.105\) \(0.216 \pm 0.356\) \(0.631 \pm 0.483\)
CelebA-HQ GuidedBackprop - - \(0.001 \pm 0.000\) \(0.385 \pm 0.097\) \(0.222 \pm 0.313\) \(\mathbf{0.475 \pm 0.434}\)
CelebA-HQ GradientSHAP - - \(0.011 \pm 0.004\) \(0.061 \pm 0.114\) \(0.188 \pm 0.305\) \(1.107 \pm 0.663\)
CelebA-HQ Integrated Gradients \(1.000 \pm 0.000\) \((1.3 \pm 0.1) \times 10^6\) \(0.010 \pm 0.003\) \(0.060 \pm 0.114\) \(0.188 \pm 0.304\) \(1.108 \pm 0.662\)
CelebA-HQ DDIM \(1.047 \pm 0.006\) \((2.8 \pm 0.1) \times 10^5\) \(\mathbf{0.003 \pm 0.001}\) \(\mathbf{0.147 \pm 0.097}\) \(\mathbf{0.175 \pm 0.321}\) \(0.897 \pm 0.579\)
CelebA-HQ Transport Flow (本文) \(1.011 \pm 0.005\) \(\mathbf{1.780 \pm 0.557}\) \(\mathbf{0.003 \pm 0.001}\) \(0.091 \pm 0.101\) \(0.184 \pm 0.320\) \(0.926 \pm 0.587\)

消融与诊断实验

1. 动能作用量与归因稳定性分析 对比单阶段 Rectified Flow(1-RF)与 Reflow 迭代模型(2-RF)在跨随机种子下的动力学动能作用量 \(\widehat{\mathcal{A}}\)、像素级归因方差、归因图结构相似度(SSIM)及特征重要性排序等级相关系数(Rank Correlation):

方法 动能作用量 \(\widehat{\mathcal{A}} \downarrow\) 像素级方差 \(\downarrow\) 归因图 SSIM \(\uparrow\) 排序相关度 \(\uparrow\) 说明
1-RF (标准生成流) \(3179.2 \pm 295.8\) \(0.0032 \pm 0.0021\) \(0.716 \pm 0.080\) \(0.662 \pm 0.087\) 轨迹未拉直,动能较高,流场存在扰动
2-RF (Reflow 拉直) \(\mathbf{3006.9 \pm 340.4}\) \(\mathbf{0.0010 \pm 0.0008}\) \(\mathbf{0.911 \pm 0.051}\) \(\mathbf{0.882 \pm 0.061}\) 动能降低,像素方差降低 68.8%,跨种子一致性显著飞跃

2. 离散数值积分步数 \(K\) 对完备性残差 \(R_{\mathrm{eff}}\) 的收敛性验证(CUB-200)

积分步数 \(K\) 绝对误差 MAE \(\downarrow\) 标准差 Std. dev. 标准误 SEM 相对误差 Relative error \(\downarrow\)
10 1.483 1.346 0.177 19.30%
20 0.895 0.778 0.102 11.65%
50 0.411 0.317 0.042 5.34%
100 0.229 0.181 0.024 2.98%
200 \(\mathbf{0.101}\) 0.079 0.010 \(\mathbf{1.34\%}\)

关键发现

  • 动力学一致性实现数量级突破:在 CIFAR-10 上,Transport Flow 的 FCE 降至 0.005,相较于 IG 的 \(10^4\) 与 DDIM 的 \(10^3\) 降低了 5 到 6 个数量级,证明其实际计算路径完全紧密贴合于速度场的流体力学轨迹。
  • 作用量更低则归因排序更稳定:Reflow 操作(2-RF)将动能作用量由 3179.2 降至 3006.9,使得解释图在不同训练随机种子下的 SSIM 从 0.716 飙升至 0.911,等级相关度从 0.662 提升至 0.882,验证了反事实路径的几何平直化直接抑制了梯度积分的方差积累。
  • 兼顾视觉连贯度与删除忠实度:在保留与 SOTA 相当的删除曲线(如 CIFAR-10 模糊删除 AUC 达到最优的 1.311)的同时,SATV 结构感知变差大幅低于 IG(0.062 vs. 0.643),有效滤除了非生成路径引入的高频散斑假象。

亮点与洞察

  • 将路径归因拆解为公理分配与测地选择两阶段:澄清了可解释性领域长期以来的概念纠缠,明确了“沿固定路径积分”必须严格服从 Aumann-Shapley 线积分,任何探索与创新均应集中在“如何利用生成动力学选择路径”。
  • 规避虚妄的低维流形认证,拥抱分布输运过渡态:作者严谨明确了不声称样本轨迹处于真实的“数据流形”上,而是将中间态清晰界定为由 Benamou-Brenier 极小化问题连接参考先验与数据分布的动力学过渡态(Transport Marginals),在概念真实性上极具学术审慎度。
  • 流场误差线性控制归因误差的稳定理论保证:推导出的扰动上界定量建立了从下游生成模型表征能力到可解释性可靠程度的直连通道,赋予了“使用更强生成模型可获得更准确解释”的坚实理论依据。

局限与展望

  • 反向 ODE 积分导致的端点偏离风险:在高维或流场刚性较强的网络中,从 \(\bm{x}_1\) 逆向求解 \(\hat{\bm{x}}_0\) 再正向展开时可能产生末端漂移,算法需要强制校准末项以维持数值闭环。
  • 对生成流网络训练质量的严重前置依赖:若生成流模型在长尾类别或稀疏样本上学习不佳、存在模式崩塌或伪关联,所得的输运路径将夹带生成器的先验偏见,从而扭曲原本针对分类器的诊断结论。
  • 在线积分的高昂计算开销:单次解释需调用 \(K\) 步 ODE 求解及对应数量的分类器前向反向梯度计算,相较于单次反向传播的 Grad-CAM 或轻量级 SmoothGrad 而言,在实时工业部署场景中耗时显著增加。

相关工作与启发

  • vs. Integrated Gradients (IG):IG 沿欧氏直线插值,直接计算简单但路径贯穿任意低概率空间,FCE 极高且伴随强烈噪声;本文以生成输运测地线替换直线,消除了非流形噪声,且在数学上包含了 IG 作为常速度特例。
  • vs. Manifold Integrated Gradients (MIG) / 黎曼测地线归因:MIG 依赖于输入空间或分类器输出诱导的黎曼度量寻找单实例测地线;本文则将问题提升至分布层级,利用不依赖分类器敏感度的生成模型流场构建动态最优传输路径。
  • vs. DDIM 逆向扩散路径:DDIM 提供了基于扩散的反事实轨道,但在离散化下容易产生高曲率拐弯,FCE 显著高于经过 Reflow 拉直后的 Transport Flow,导致排序稳定性欠佳。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将可解释性归因明确解耦为公理分配与测地线输运,并利用 Benamou-Brenier 理论指导路径选择,数学严谨且构思巧妙]
  • 实验充分度: ⭐⭐⭐⭐⭐ [完备性残差收敛、高斯理论神谕、Reflow 作用量消融、跨种子稳定性与图像基准多维评测兼备]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进,对“流形假设”的澄清极具科学实事求是精神,理论证明详实严整]
  • 价值: ⭐⭐⭐⭐☆ [为基于路径的特征归因奠定了扎实的新数学基石,虽受制于 ODE 多步梯度开销,但为可解释性研究指明了生成物理学结合的新范式]