Measuring Cross-Modal Synergy: A Benchmark for VLM Explainability¶

会议: NeurIPS 2026
arXiv: 2605.22168
领域: 多模态VLM
关键词: 视觉语言模型、可解释性评测、协同忠实度、Shapley交互指数、跨模态冗余

一句话总结¶

本文指出传统单模态扰动指标因语言偏置与跨模态冗余会导致多模态解释器评测排名严重崩溃，提出了基于 Shapley 交互指数与两方 Harsanyi 红利的协同忠实度指标 \(\mathcal{F}_{syn}\)（实现 24 倍加速且 \(\rho=0.92\)），并在 3 个模型与 3 个基准上系统评估 8 种 XAI 方法，证实注意力解释方法在跨模态协同忠实度上显著超越过度依赖视觉显著性的 VLM 原生解释器。

研究背景与动机¶

视觉语言模型（VLM）通过将高维视觉输入映射至大语言模型的语义空间，在各类多模态推理任务中取得了突破性进展。随着 VLM 逐步应用于医疗辅助诊断、自动驾驶和具身智能等高风险严苛场景，理解其内部跨模态推理逻辑已不再仅是学术探索，而成为欧盟人工智能法案等监管法规对“可解释权”和决策可追溯性的强制要求。然而，现代 VLM 巨大的参数规模和极高的非线性黑盒特性，使得构建先验内在可解释模型极其困难，事后可解释性（Post-hoc XAI）技术因而成为模型审计与可信落地的唯一实际抓手。但安全部署解释器的前提，是评估指标必须在数学上真实反映模型内在逻辑的“忠实度”（Faithfulness），而非仅仅提供迎合人类直觉的“视觉合理性”（Plausibility）。

长久以来，学术界评估多模态解释器忠实度普遍沿用从纯视觉或纯文本时代继承的单模态扰动范式，如 Insertion/Deletion AUC。该范式假设：若解释器准确找出了关键输入特征（视觉 patch 或文本 token），系统性屏蔽这些特征会导致模型置信度骤降。然而，多模态数据集广泛存在严重的语言先验与模态偏置，使 VLM 呈现出极高的跨模态冗余（Cross-Modal Redundancy）——模型常能仅靠残留文本甚至语言共现推断出视觉问题的答案。在这一背景下，即便解释器完美标出了关键视觉 patch，遮盖它们后模型仍能从文本中获得满分置信度，从而被 Deletion 指标严重扣分判为最差；反之，插入测试中模型仅凭未遮盖的文本就能在初始阶段取得极高置信度，导致随机扰动也能拿高分。

这种机制缺陷直接引发了灾难性的“评估崩溃”：同一套解释方法在同一数据集上，基于视觉扰动与文本扰动得出的忠实度排名呈现出近乎随机的冲突。当前的评测指标所测量的本质上是解释器对特定数据集模态偏置的敏感度，而非算法真实的内在忠实度。本文的核心 idea 是：将多模态忠实度评测从孤立的单模态特征归因转向严格的博弈论跨模态协同度量，提出一种基于 Shapley 交互指数（SII）与两方 Harsanyi 红利的高效代理指标 Synergistic Faithfulness（\(\mathcal{F}_{syn}\)），以 \(\mathcal{O}(K)\) 复杂度消除指数级计算瓶颈，从而在消除模态偏置干扰的前提下真实评估 VLM 跨模态解释器的内在协同推理能力。

方法详解¶

整体框架¶

本文构建的协同忠实度评测框架将 VLM 推理抽象为图文特征协作的合作博弈过程。对于输入的图像 \(I\)（包含 \(m\) 个视觉 patch）与文本 Prompt \(T\)（包含 \(n\) 个文本 token），目标是量化由解释器 \(\mathcal{E}\) 所识别出的高贡献视觉集合 \(I_k\) 与文本集合 \(T_k\) 之间的联合协同效应。整个评测流程包含“双模态连续扰动轨迹生成”、“两方 Harsanyi 红利动态解耦计算”与“基于黎曼和的协同忠实度积分”。为保证评测不仅适用于判别模型，还能无缝适配主流自回归生成的生成式 VLM，该框架设计了严格受控的视觉低通滤波基准态与向量化目标序列联合概率置信度函数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像 I (m patches) + 文本 T (n tokens)"] --> B["解释器特征重要性排序<br/>抽取 Top-k 视觉集合 Ik 与文本集合 Tk"]
    B --> C["连续扰动轨迹与模态基线定义<br/>文本 Pad 替换 + 图像高斯模糊零态 (r=30)"]
    C --> D["自回归目标序列联合概率置信度<br/>向量化对数概率求和映射到 [0,1]"]
    D --> E["动态两方 Harsanyi 红利解耦<br/>计算联合、图像与文本扰动差分"]
    E --> F["双向协同积分与融合指标<br/>计算 AUC_ins 与 AUC_del 均值得到 F_syn"]
    F --> G["线性混合效应模型 LMM 分析<br/>剔除模型架构与数据集难度随机方差"]

关键设计¶

1. 连续扰动轨迹与模态零态基准：消除越界扰动激活并支持联合扰动

传统特征扰动直接将视觉 patch 填充为纯黑全零张量，这往往会使视觉编码器输入严重偏离自然图像分布（OOD），诱发模型内部产生不可控的异常激活。针对这一痛点，本文在构建零态基准（Zero-state baseline）时引入了基于高通语义破坏的平滑替代机制：视觉基准态 \(I_\emptyset\) 采用半径 \(r=30\) 的强高斯低频滤波生成，该处理在彻底抹除高频局部语义结构的同时完整保留了全局色彩与亮度分布；而在文本侧基准态 \(T_\emptyset\) 中，算法在输入 token 序列中精确剥离出用户查询的核心语义 token（排除系统 Prompt 和特殊占位标记），将其替换为词表的特定 pad_token_id。基于解释器 \(\mathcal{E}\) 给出的排序，在任意扰动比例阈值 \(k \in [0, 1]\) 下，构建 Top-\(k\) 比例的特征子集 \(I_k \subseteq I\) 与 \(T_k \subseteq T\)，从而为后续在连续轨迹上开展联合扰动提供了严格的数值基础。

2. 自回归目标序列联合概率置信度：适配生成式 VLM 的有界概率映射

博弈论 Shapley 交互指数的数学公理严格要求特征效用函数（Characteristic function）输出严格有界于 \([0, 1]\) 区间内的置信标量。现代 VLM 普遍采用自回归多 token 生成架构而非单分类 logit 输出，无法直接套用经典分类概率。为此，本文设计了全局向量化目标序列联合概率抽取函数。设模型自由生成的目标答案 token 序列为 \(Y=\{y_1, y_2, \dots, y_m\}\)（如二分类标签 Yes/No 或多选题标签选项字母），在每个扰动状态 \((I_k, T_k)\) 下，将带有扰动掩码的输入送入模型，提取各目标生成位置的原始 logits，通过 log-softmax 抽取对应真实 target token 的对数概率并沿序列维度求和，最终经指数映射恢复至线性联合概率空间：

\[f(I_k, T_k) = \exp\left(\sum_{i=1}^{m} \log P(y_i \mid I_k, T_k, y_{<i})\right)\]

该置信度度量严格反映了在特定模态特征子集保留或遮蔽下，模型复现完整目标回答的确定性程度，同时确保了后续两方交互差分在数学上的数值稳定性。

3. 基于两方 Harsanyi 红利的协同忠实度指标：突破指数级组合复杂度的极速代理

在合作博弈论中，衡量跨模态图文特征间纯粹交互作用的金标准是基于两方 Harsanyi 红利的 Shapley 交互指数（SII），但在包含上千视觉 patch 与文本 token 的现代高分辨率 VLM 中，精确计算 SII 需要 \(\mathcal{O}(2^{m+n})\) 次前向传播，在算力上完全不可行。为攻克这一计算瓶颈，本文将离散幂集子集遍历投影到沿解释器归因排序构成的单调连续扰动轨迹上，直接在布尔格（Boolean lattice）的顶端（协同删除）与底端（协同插入）计算两方 Harsanyi 红利：

\[syn_{del}(k) = f(I \setminus I_k, T \setminus T_k) - f(I \setminus I_k, T) - f(I, T \setminus T_k) + f(I, T)\]

\[syn_{ins}(k) = f(I_\emptyset \cup I_k, T_\emptyset \cup T_k) - f(I_\emptyset \cup I_k, T_\emptyset) - f(I_\emptyset, T_\emptyset \cup T_k) + f(I_\emptyset, T_\emptyset)\]

在此基础上，通过对扰动阈值 \(k\) 在 \([0, 1]\) 区间内进行黎曼求和（离散划分为 \(K=11\) 个步长），分别获得全区间插入与删除协同积分 \(AUC_{ins} = \int_0^1 syn_{ins}(k) dk\) 与 \(AUC_{del} = \int_0^1 syn_{del}(k) dk\)。最终将二者融合构建单一标量指标 \(\mathcal{F}_{syn}\)：

\[\mathcal{F}_{syn} = \frac{AUC_{ins} + AUC_{del}}{2}\]

该指标将每次样本评估的前向传播次数严格锁定为 \(6K+2\) 次，在保持与真实 SII 高度保真（Spearman 相关系数 \(\rho=0.92\)）的同时实现了 24 倍的计算加速，使得高分辨率 VLM 的全量大规模 XAI 基准评估成为可能。

4. 线性混合效应模型（LMM）统计清洗：剥离数据集偏置与模型能力方差

在多模态评测中，解释器的原始忠实度得分极易受到底座 VLM 推理能力强弱和不同数据集模态偏置严重程度的干扰；且由于所有解释器在相同样本上反复评测，数据并不满足方差分析（ANOVA）的独立同分布假设。为此，本文建立全局线性混合效应模型（Linear Mixed-effects Model, LMM），将待测解释器类型作为固定效应（Fixed Effect），同时将数据集随机截距 \(w_l\)、VLM 架构随机截距 \(v_k\) 以及具体图文样本随机截距 \(u_j\) 纳入随机效应建模：

\[\mathcal{F}_{syn}^{(i,j,k,l)} = \beta_0 + \beta_i^{Explainer_i} + u_j + v_k + w_l + \epsilon_{ijkl}\]

通过拟合该统计模型并提取边际均值系数 \(\beta\)，算法能够在严格受控的数学前提下完全剔除测试集难度与模型异构性带来的背景方差，精确剥离出各解释算法纯粹的真实算法优越性。

实验关键数据¶

主实验¶

实验覆盖 3 种主流开源 VLM 架构（LLaVA-1.5-7B、Qwen2.5-VL-3B、InternVL-3.5-2B）与 3 个专门针对语言先验抑制的多模态基准（CVBench、MMStar、RePOPE），系统评测了包含随机基线在内的 9 种代表性解释器。表 1 展示了各方法在各基准上的平均 \(\mathcal{F}_{syn}\) 协同忠实度得分以及经 LMM 方差解耦后相对于 Random 基线的固定效应净增益系数 \(\beta\)。

解释器类型	解释器算法 (Explainer)	CVBench \(\mathcal{F}_{syn}\)	MMStar \(\mathcal{F}_{syn}\)	RePOPE \(\mathcal{F}_{syn}\)	Overall \(\mathcal{F}_{syn}\)	LMM 固定效应 \(\beta\)
基线方法	Random (Baseline)	0.069 (±0.08)	0.096 (±0.11)	0.068 (±0.11)	0.073 (±0.10)	0.000 (参考基准)
经典梯度	GradCAM	0.075 (±0.08)	0.103 (±0.11)	0.083 (±0.12)	0.084 (±0.11)	+0.011 (\(p<0.001\))
经典梯度	Input×Gradients	0.092 (±0.10)	0.112 (±0.13)	0.083 (±0.12)	0.090 (±0.12)	+0.017 (\(p<0.001\))
经典梯度	Integrated Gradients	0.084 (±0.09)	0.109 (±0.12)	0.085 (±0.13)	0.089 (±0.12)	+0.016 (\(p<0.001\))
注意力机制	Rollout	0.103 (±0.13)	0.133 (±0.15)	0.090 (±0.14)	0.101 (±0.14)	+0.028 (\(p<0.001\))
注意力机制	Grad×Rollout	0.110 (±0.13)	0.137 (±0.16)	0.081 (±0.12)	0.099 (±0.13)	+0.026 (\(p<0.001\))
注意力机制	AttnLRP	0.099 (±0.11)	0.128 (±0.14)	0.095 (±0.14)	0.102 (±0.13)	+0.029 (\(p<0.001\))
VLM 原生	LLaVA-CAM	0.074 (±0.08)	0.102 (±0.12)	0.079 (±0.11)	0.081 (±0.11)	+0.008 (\(p<0.001\))
VLM 原生	TAM	0.082 (±0.09)	0.114 (±0.13)	0.070 (±0.11)	0.081 (±0.11)	+0.008 (\(p<0.001\))

消融实验¶

为验证 \(\mathcal{F}_{syn}\) 作为金标准 Shapley 交互指数（SII）代理的有效性与高效性，作者在 \(N=200\) 个典型图文样本上基于宏观联盟（Macro-coalitions）聚合计算了真实的 SII 精确基准，并测试了不同解释器下 \(\mathcal{F}_{syn}\) 与真实 SII 的序数对齐度（Spearman \(\rho\) 与 Kendall \(\tau\)）以及在单卡 NVIDIA L40S GPU 上的单样本平均推理延迟。

解释器算法配置	真实 SII 秩相关 \(\rho\)	真实 SII 秩相关 \(\tau\)	单样本评测耗时 (秒)	相对精确 SII 计算加速比	说明
精确 SII 基线 (Macro-coalition)	1.000 (定义值)	1.000 (定义值)	281.0 s	1.0× (基准)	组合采样开销极大，无法大规模运行
\(\mathcal{F}_{syn}\) (Full, Global)	0.920	0.870	11.0 s	24.1×	全局一致性极高，大幅削减计算开销
\(\mathcal{F}_{syn}\) (TAM 解释器)	0.940	0.890	11.2 s	25.1×	在特征激活图解释器上对齐度最佳
\(\mathcal{F}_{syn}\) (Input×Gradients)	0.920	0.850	11.0 s	25.5×	梯度类解释器保持稳健对齐
\(\mathcal{F}_{syn}\) (Rollout 解释器)	0.920	0.870	11.1 s	25.3×	注意力流方法完美保持序数结构
\(\mathcal{F}_{syn}\) (Random 基线)	0.900	0.840	10.8 s	26.0×	随机噪声输入下依然高度拟合交互底数

关键发现¶

单模态忠实度指标引发严重的评估崩溃：在全局范围内，仅通过视觉扰动指标 \(\mu_I^{srg}\) 与文本扰动指标 \(\mu_T^{srg}\) 获得的解释器排名呈现近乎随机的冲突，Kendall 秩相关系数仅为 \(\tau = -0.06\) (\(p=0.92\))。在强语言偏置的 RePOPE 上二者相关性仅为 \(\tau=0.22\)，即使在强调严苛多模态协同推理的 MMStar 上，单模态排名相关度也仅为边缘弱相关（\(\tau=0.50, p=0.08\)）。这证明单模态指标完全无法区分解释器的真实质量与数据集固有的模态冗余。
注意力流解释器在跨模态协同忠实度上显著胜出：基于 Transformer 注意力图传播与分层相关性传播的机制（AttnLRP 与 Rollout）展现出压倒性的算法优越性。在 LMM 模型中，AttnLRP 的算法增益固定效应达到 \(\beta = +0.029\)（\(p<0.001\)），Rollout 达到 \(\beta = +0.028\)，且成对 Wilcoxon 符号秩检验均达到统计显著。
新兴 VLM 原生解释器存在严重的“视觉显著性过度索引”缺陷：专为多模态 VLM 设计的原生解释器（LLaVA-CAM 与 TAM）在人类可读性（如指向游戏或边界框 IoU）上表现优异，但在捕捉真实跨模态协同（Harsanyi 交互）时表现极其乏力，LMM 固定效应仅为 \(\beta = +0.008\)，甚至不及传统的 Input×Gradients（\(\beta = +0.017\)）。这表明此类方法本质上退化成了无文本引导能力的“物体检测器”，过度拟合人类期望看到的视觉物体，而未能真实体现模型图文跨模态对齐推理的内部逻辑。

亮点与洞察¶

将博弈论 Harsanyi 红利成功工程化落地为实用评测指标：巧妙地将计算复杂度为 \(\mathcal{O}(2^{m+n})\) 的 Shapley 交互指数投影至 Top-\(k\) 单调扰动轨迹，在仅需 \(6K+2\) 次前向传播的 \(\mathcal{O}(K)\) 复杂度下实现了 24 倍加速与 \(\rho=0.92\) 的超高保真逼近，为高分辨率 VLM 的严苛解释性评测扫清了算力障碍。
深刻揭示了多模态 XAI 中“人类合理性（Plausibility）”与“算法忠实度（Faithfulness）”的根本脱钩：明确指出不能仅因为热力图精准覆盖了目标物体就认定解释器有效；真正的跨模态推理必须体现图文交互增益。这一洞察对高风险领域的安全审计和合规监管具有极为关键的警示意义。
通用方法学设计可无缝迁移至任意跨模态架构：框架中提出的连续轨迹 Harsanyi 差分计算逻辑不仅适用于视觉语言模型，还可天然推广至音频-文本、视频-文本甚至多传感器融合系统的特征交互忠实度评估中。

局限与展望¶

离散黎曼积分仍存在一定的离散化误差与离线开销：虽然将复杂度降至 \(\mathcal{O}(K)\) 并实现 24 倍加速，但单样本仍需约 11 秒（需多次前向传播），目前仅适合作为离线审计基准，难以在严苛低延迟的线上实时交互推理中在线部署。
评测形式受限于受控 VQA 格式与开源中小尺度模型：当前实证主要集中于短序列生成的 VQA 任务和 2B~7B 参数量的开源白盒模型。对于不公开 logits 和注意力权重的闭源大模型（如 GPT-4o、Gemini 2.5），由于无法执行梯度回传与 logit 抽取，该评测体系尚无法直接无创适配。
未来改进方向：可进一步探索基于核方法或轻量代理模型的单步交互度量网络，并将评估维度扩展至开放式生成文本任务与长视频-语言多模态大模型中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统证明多模态扰动评测中存在的崩溃悖论，并将博弈论两方 Harsanyi 红利成功改造为高效实用的度量指标。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 类代表性解释器、3 种主流架构与 3 大权威数据集，配合 LMM 混合效应模型清洗方差，统计检验严谨扎实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从博弈论公理到工程近似层层递进，论点鲜明且图文配合高度连贯。
价值: ⭐⭐⭐⭐⭐ 直击多模态可解释性评测的核心盲区，对可信 AI 审计、监管合规以及多模态特征融合机制研究具有深远指导意义。