Spectral-Spatial Interpretation¶

会议: NeurIPS 2026
arXiv: 2610.21114
代码: https://github.com/AtheavenMa/Spectral-Spatial-Interpretation
领域: 可解释性
关键词: 事后解释性, 多光谱归因, 沙普利值, 空间-光谱联合归因, 条件博弈

一句话总结¶

针对多光谱视觉模型中波段重要性具有局部物理意义且无法被全局热力图或一维波段权重充分解释的问题，提出光谱-空间解释（SSI）方法，通过在固定观测外部上下文下对每个空间网格位置求解通道子博弈的沙普利值，生成保持上下文聚合一致性的全网格联合归因矩阵。

研究背景与动机¶

现代计算机视觉与遥感深度学习模型日益依赖具有物理意义的多光谱与高光谱输入数据，涵盖从 RGB 细粒度图像识别到 Sentinel-2 土地覆盖分类以及卫星火灾迹地（burn scar）制图等场景。然而，现有的事后解释方法在解释这类模型时存在严重的表达瓶颈：以 Grad-CAM、RISE 和 Extremal Perturbation 为代表的空间归因方法通常对所有输入通道进行求和或加权聚合，仅能输出指示模型注视区域的二维单通道空间热力图；而基于互信息、通道注意力或全局 SHAP 的光谱归因方法则在整个图像空间上对波段进行全局重要性打分，抹平了光谱相关性在空间维度上的异构分布。

即使采用将二维空间热力图与一维全局通道权重向量直接相乘的两阶段折中方案，其本质上也强加了秩一（rank-1）空间-光谱因子分解假设。这一假设在物理现实中极易失效：在鸟类羽毛识别中，红腹、绿背与蓝头各自依赖完全不同的 RGB 通道响应；在卫星地物遥感中，近红外波段在植被边界至关重要，而短波红外波段在过火区判别中处于决定性地位。同一个光谱通道在特定局部地物区域可能具有决定性作用，而在其他区域完全无关，因此归因目标必须是精细化到位置-通道粒度的联合归因，而非退化的空间或光谱单一投影。

基于博弈论的经典沙普利值方法若直接将所有位置和通道视作扁平玩家，不仅会带来难以承受的组合采样复杂度，而且其全局平均机制会破坏多光谱图像固有的层次聚合结构。核心 idea：将多光谱归因问题形式化为以“位置-通道”为基本玩家的联合博弈，在保持外部图像观测上下文完全固定的前提下，对每个局部空间位置内的通道集合构建条件位置博弈并求解局部沙普利值，以极低的局部采样代价生成满足局部公平性与上下文聚合一致性的全网格归因矩阵。

方法详解¶

整体框架¶

SSI 的核心流程由两级层次抽象构成：输入为具备 $C$ 个通道和 $H \times W$ 空间分辨率的多光谱张量，空间域被离散划分为网格单元集合 $\mathcal{G}$，从而构成联合玩家集 $\mathcal{P} = \mathcal{G} \times \mathcal{C}$。对于每一个目标空间位置 $g \in \mathcal{G}$，SSI 保持该位置之外的所有背景区域 $B_g = \mathcal{P} \setminus S_g$ 处于真实观测输入状态，仅让该位置内的 $C$ 个通道参与局部博弈。模型对各通道子集掩蔽输入进行前向推理以获得目标类别 logit 响应，并在该局部博弈上计算标准沙普利值，最终直接输出完整的联合归因矩阵 $\Phi \in \mathbb{R}^{C \times H \times W}$。该归因矩阵既可直接评估，也可无损聚合为二维空间显著图或一维光谱响应谱。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多光谱图像<br/>X ∈ R^(C×H×W) 与目标类别 y"] --> B["空间网格划分与联合玩家空间构建<br/>P = G × C, S_g = {(g,c)}"]
    B --> C["条件位置博弈构建<br/>固定外部观测上下文 B_g = P \ S_g"]
    C --> D["局部通道沙普利值分配<br/>置换采样评估 w_g(R) 计算 Φ(g,c)"]
    D --> E["全网格联合归因矩阵<br/>Φ ∈ R^(C×H×W)"]
    E --> F["上下文聚合与多重视角解耦<br/>空间聚合 Δ(g) 与全局光谱汇总 A_ch(c)"]

关键设计¶

1. 空间-光谱玩家集合与观测上下文条件博弈：消除全局无效组合与外部方差

针对经典全局 Shapley 归因将空间所有像素与通道打平成单个超大玩家集合导致算力爆炸、且在遥感物理上产生大量非真实空间组合的问题，SSI 显式利用多光谱图像的“空间-波段”两级自然结构。对于空间网格 $g$，其所有波段集合记为 $S_g = \{(g, c) : c \in \mathcal{C}\}$，而外部背景玩家集合记为 $B_g = \mathcal{P} \setminus S_g$。SSI 将每个网格的解释直接建立在真实观测到的外部上下文之上，定义局部条件位置博弈： $$w_g(R) = v(B_g \cup R) - v(B_g), \quad R \subseteq S_g$$ 其中 $v(S) = z_y(x_S) - z_y(x_\emptyset)$ 表示未掩蔽子集 $S$ 相较于基线掩蔽 $x_\emptyset$ 产生的目标类 logit 响应变化。该博弈衡量的是：在图像其他区域完全维持其实际观测外观的前提下，在网格 $g$ 处仅激活通道子集 $R$ 相较于该网格完全置为基线所带来的边际决策收益。这种条件化设计将原本在 $G \times C$ 全局玩家空间中指数爆炸的博弈，严格解耦为 $G$ 个独立的、仅有 $C$ 个玩家的小型合作博弈。

2. 局部沙普利值分配机制与公理化性质：局部公平性与上下文聚合一致性

在所定义的条件博弈 $w_g$ 上，SSI 将通道 $c$ 在位置 $g$ 的归因分数严格定义为该局部博弈的标准沙普利值： $$\Phi(g,c) = \mathrm{Sh}_c(w_g) = \sum_{R \subseteq S_g \setminus \{(g,c)\}} \frac{|R|!(C - |R| - 1)!}{C!} \left[w_g(R \cup \{(g,c)\}) - w_g(R)\right]$$ 该数学公式具备严格的理论公理保证。定理 1（局部沙普利表征）证明了 $\Phi(g, \cdot)$ 是该局部博弈中唯一同时满足局部有效性、位置内对称性、位置内零玩家和可加性的归因分配。更为关键的是定理 2（上下文聚合一致性）：由于局部沙普利值的局部有效性，对网格 $g$ 处所有通道的归因求和精确恒等于将整个网格替换为基线时的全上下文对比差值： $$\sum_{c \in \mathcal{C}} \Phi(g,c) = w_g(S_g) - w_g(\emptyset) = v(\mathcal{P}) - v(\mathcal{P} \setminus S_g) = \Delta(g)$$ 这一性质揭示了 SSI 空间聚合图的物理本质——它并不是对无量纲权重的任意求和，而是忠实反映了各局部空间图块在真实全局语境下的因果反事实对比度，彻底解决了传统扁平化方法（如 KernelSHAP）无法在空间层级实现保真聚合的理论缺陷。

3. 轻量化局部置换采样与一致性界：以极低开销压制估计误差

当通道数较小时（如 RGB 图像 $C=3$），子集总数 $2^C = 8 \le 10$，SSI 直接枚举全部 $2^C$ 种通道子集获得完全无偏、零方差的精确沙普利值；当通道数较多时（如 EuroSAT 的 13 个波段与 HLS 的 6 个波段），SSI 采用通道排列置换采样估计器，对每个网格采样 $K = \min(2^C, 10)$ 种排列，通过遍历前驱通道集合计算边际贡献： $$\widehat{\Phi}_K(g,c) = \frac{1}{K} \sum_{k=1}^K M_{g,c}(\pi_k)$$ 论文在理论上给出了该估计器的全网格一致收敛上界（命题 2）：在边际贡献波动范围有界为 $R$ 的前提下，全网格所有 $| \mathcal{G} | C$ 个位置-通道玩家的最大估计误差以至少 $1-\delta$ 的概率被严格约束在 $R \sqrt{\frac{\ln(2|\mathcal{G}|C/\delta)}{2K}}$ 之内。在实测中，EuroSAT 与 HLS Burn Scar 在 $K=10$ 下的最大一致误差界分别低至 0.0067 与 0.0043，远低于各方法间的指标差距。这使得 SSI 相比于需要对外层空间联盟进行昂贵采样的 Owen-style 层级沙普利估计器（MC-Owen），仅需其约 6% 的模型前向传播预算即可获得更优的归因保真度。

损失函数 / 训练策略¶

SSI 本身属于模型无关（model-agnostic）的事后解释方法，无需对被解释的主干模型进行任何重新训练或梯度微调。在基础模型准备阶段，CUB-200 采用在 ImageNet 上预训练的 ResNet-18 进行微调；EuroSAT 采用 13 通道输入、从零开始训练的 ResNet-18 分类器；HLS Burn Scar 采用轻量级 UNet 语义分割架构，针对二值化火灾迹地掩码进行训练，在解释时取真实过火区域像素对应的过火类别平均 logit 作为标量响应值。在基线掩蔽策略上，默认采用通道均值作为基线（per-channel mean baseline），并同时提供零基线（zero baseline）以验证归因结果对基线选取的稳健性。

实验关键数据¶

主实验¶

实验在三种不同数据形态（RGB 细粒度、13 波段卫星地物分类、6 波段过火面积分割）上全面评估联合位置-通道归因的忠实度（Faithfulness）。评价指标采用联合删除曲线下面积（Joint Deletion AUC，越低越好）、秩一投影删除面积（Rank-1 Deletion AUC，越低越好）以及网格和插入曲线下面积（GridSum Insertion AUC，越高越好）。

数据集	指标	SSI（本文）	IG	DeepSHAP	KernelSHAP	RISE (Rank-1)	优势/提升
CUB-200 (均值基线)	Joint Deletion AUC ↓	0.0088	0.0112	0.0112	0.0178	0.0183	相比 IG 降低 21.4%
CUB-200 (均值基线)	Rank-1 Deletion AUC ↓	0.0104	0.0126	0.0127	0.0222	0.0183	优于所有基线与秩一分解
CUB-200 (均值基线)	Insertion AUC ↑	0.7132	0.2895	0.2853	0.3481	0.6886	显著领先（+0.0246 vs RISE）
EuroSAT (均值基线)	Joint Deletion AUC ↓	0.1397	0.2097	0.2078	0.2434	0.2130	相比 DeepSHAP 降低 32.8%
EuroSAT (均值基线)	Rank-1 Deletion AUC ↓	0.1682	0.2267	0.2255	0.2824	0.1969	优于最佳基线 0.0287
EuroSAT (均值基线)	Insertion AUC ↑	0.7319	0.6621	0.6614	0.5767	0.7091	领先 SOTA +0.0228
HLS Burn Scar (均值基线)	Joint Deletion AUC ↓	0.1545	0.2160	0.2149	0.2096	0.2888	相比 DeepSHAP 降低 28.1%
HLS Burn Scar (均值基线)	Rank-1 Deletion AUC ↓	0.1657	0.2723	0.2704	0.2558	0.2871	显著优于所有对比方法
HLS Burn Scar (均值基线)	Insertion AUC ↑	0.6638	0.6291	0.6321	0.5500	0.6130	稳健领先

消融实验¶

在 HLS Burn Scar 数据集上，将基于观测上下文的 SSI 与基于全局联盟平均的层级博弈估算器（MC-Owen，采用 200 个排列）及其他梯度基线进行系统性对比与算力消融。

解释方法与计算配置	Joint Del ↓	Rank-1 Del ↓	Channel Del ↓	Ins. AUC ↑	空间 mIoU @15% ↑	光谱 Hit@3 ↑	前向传播评估次数 $N_{\mathrm{eval}}$	说明
SSI (本文, 局部博弈)	0.155	0.166	0.218	0.664	0.387	0.603	4,480 (100%)	完整模型：高精度、低方差、低预算
MC-Owen (全局层级博弈)	0.173	0.254	0.261	0.627	0.254	0.460	76,800 (~1714%)	引入外部上下文采样方差，耗算力且指标全面下滑
Expected Gradients	0.185	0.238	0.275	0.637	0.284	0.510	- (反向传播)	连续插值梯度基线，空间定位差于 SSI
Guided IG	0.185	0.244	0.280	0.630	0.283	0.500	- (反向传播)	自适应路径仍无法有效解决局部通道耦合
FullGrad	0.278	0.277	0.581	0.543	0.135	0.333	- (反向传播)	包含偏置梯度，通道级归因严重失真

关键发现¶

观测上下文相比外部联盟平均具有压倒性优势：在 HLS Burn Scar 消融中，MC-Owen 因外层空间联盟组合引入了极高的外部上下文方差 $\mathrm{Var}_T(\mathbb{E}[Z_{g,c} \mid T])$，导致其在使用了高达 76,800 次前向调用的情况下，Joint Deletion (0.173 vs 0.155) 和空间定位 mIoU (0.254 vs 0.387) 仍显著落后于仅需 4,480 次前向调用的 SSI（仅占 MC-Owen 算力预算的约 6%）。
秩一空间-光谱因子分解假设彻底破产：在 EuroSAT 13 通道复杂场景中，秩一分解使得删除 AUC 从 0.1397 恶化至 0.1682（RISE 则从 0.2130 恶化至 0.1969），通道维度越高，秩一压缩带来的信息丢失越致命，证明了空间-光谱不可解耦的联合建模必要性。
物理先验命中率显著拔群：在光谱聚合评估中，SSI 在 EuroSAT 的植被类别中精准捕获红边（B05-B07）与近红外（B08/B8A）波段，在 HLS 过火区检测中精准锁定了红光与短波红外（SWIR1/SWIR2），在 Hit@1 到 Hit@5 阈值下均大幅领先传统基线，证明其归因结果高度符合领域物理机理。

亮点与洞察¶

将全局高维博弈重构为局部条件博弈：传统 Shapley 方法因组合爆炸在空间网格上寸步难行，SSI 巧妙地将外部背景全部视作固定的真实观测上下文，将计算限制在网格内的局部通道维度，兼顾了理论自洽与计算可行性。
定理 2 搭建起通道归因与反事实空间对比的完美桥梁：证明了网格内局部通道沙普利值之和精确等于该网格整体被基线替换后的全局模型响应降幅，使通道加总具有无瑕疵的局部因果可解释性。
普适的模型无关性与跨模态通用设计：算法无需获取网络权重或特定梯度流，输入输出接口极其干净，能够直接迁移到高光谱遥感、生物医学显微成像以及多通道工业无损检测等多波段视觉场景中。

局限与展望¶

超高光谱维度的潜在冗余与扩展瓶颈：作者坦承当输入通道扩展至数百个高光谱波段（如航空高光谱或 EnMAP 卫星）时，各相邻波段间的高度共线性可能使得直接置换采样的边际贡献稀释，未来需引入波段筛选或自适应通道分组机制。
对基线选择固有的语义依赖：与所有基于扰动的归因方法一致，条件博弈的边际贡献大小依赖于零基线或均值基线的设定，在某些极端分布偏移下基线像素可能引入分布外（OOD）伪影。
计算开销虽远低于 Owen 却仍受网格分辨率制约：前向计算复杂度与空间网格单元总数 $|\mathcal{G}|$ 呈严格线性关系，在超大尺寸图像的高密网格（如 $64 \times 64$）上若无针对性区域筛选，整体推理延迟仍需进一步工程优化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统性提出面向多光谱物理特性的空间-通道联合条件博弈归因范式，理论证明优雅透彻。]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖自然图像 RGB、13 通道多光谱地物以及 6 通道卫星过火分割，同时涵盖忠实度、物理先验命中率与 ROAD 评测。]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严谨，从公理化表征到计算复杂度界定一气呵成，图文表达极具说服力。]
价值: ⭐⭐⭐⭐⭐ [有效填补了多光谱与遥感基础模型在细粒度、物理可解释性方面的理论与工具空白，具备高度实用价值。]