跳转至

Visual Attention Faithfulness in Vision-Language Models is Heterogeneous

会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态 VLM
关键词: 视觉注意力忠实度、因果扰动分析、多模态大模型、充分性与完备性、注意力机制解释性

一句话总结

本文通过首个针对视觉-语言模型(VLM)中视觉 Token 的 Token 级因果扰动分析(完备性与充分性差距),揭示出视觉注意力忠实度并非全有或全无的二元属性,而是异质性地分布在忠实充分、忠实分布式与非聚焦三种处理模式中,并揭示了模型真实因果依赖与人类标注区域之间仅约 60% 重合的系统性分歧。

研究背景与动机

注意力权重是否能够忠实反映神经网络的内部推理过程,在纯文本自然语言处理领域长期存在激烈争端。以 Jain 和 Wallace 为代表的研究认为注意力权重可以被任意置换而不显著影响模型最终预测,因此不能视为忠实解释;而 Wiegreffe 等学者则指出,对注意力施加约束会从根本上改变模型行为,表明注意力依然承载关键的计算路由功能。经过多年讨论,NLP 社区逐渐形成共识:解释的忠实度绝非非黑即白的二元属性,而必须通过输入级扰动与因果干预进行样本维度的连续定量衡量(如基于 ERASER 基准的完备性与充分性指标)。然而,这一根本性讨论一直被局限在离散且一维的纯文本模态中,从未拓展到多模态架构。

多模态大模型(VLM)通常将 Vision Transformer 编码器与自回归语言模型骨干相串联,将连续图像网格切分为视觉 Token 序列,与文本 Token 一同送入统一的注意力层。二维图像固有的空间局部性、邻近 Patch 间极高的信息冗余度,以及视觉与文本跨模态语义交互的非对称性,使 VLM 中的注意力分布呈现与纯文本截然不同的动力学特征。然而,现有的 VLM 效率优化工作(如 Token 剪枝与合并)通常先验地假定低注意力 Token 可直接抛弃,而注意力可视化与可解释性工作(如 Grad-CAM 或跨模态注意力热图)则普遍缺乏对注意力高权区域是否真正因果驱动预测的严格检验。VLM 语言模型端对视觉 Token 的注意力分配究竟是否忠实对应于模型对视觉信息的因果依赖,成为了该领域尚未被触碰的基础盲区。

解决这一问题的核心矛盾在于:视觉信息在 Transformer 层级传递中既高度分散又存在全局依赖,仅靠注意力热图的可视化无法证明因果性,而直接在像素级做掩码又会混淆视觉编码器的破坏与语言模型的自身注意力归因。为此,研究团队将视角聚焦于语言模型第一层入口处的 Token 级因果扰动,通过零化消融精确解耦“因果必要性”(完备性)与“独立充分性”(充分性差距)。核心 idea:通过首个针对 VLM 视觉 Token 的 Token 级因果扰动框架,定量测度完备性与充分性差距,揭示出视觉注意力忠实度呈现异质性的三种处理模式(忠实充分、忠实分布式、非聚焦),并证明人类直觉标注与模型真实因果依赖存在系统性背离。

方法详解

整体框架

本文将 VLM 中视觉注意力忠实度的检验形式化为一个严格的因果测量问题。对于输入图像 \(I\) 经视觉编码器投影得到的视觉 Token 序列 \(V=\{v_1, \dots, v_N\}\) 和文本查询 Token 序列 \(T=\{t_1, \dots, t_M\}\),VLM 自回归生成答案 \(y\)。为了排除采样随机性对概率测量的干扰,评测全程采用贪心解码(温度为 0)。方法整体流水线包含四个核心步骤:跨层注意力聚合排序、语言模型第一层隐状态零化扰动、双轴忠实度度量(完备性与充分性差距),以及基于两阶段大津算法(Otsu)和流形分析的处理模式划分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多模态序列<br/>图像 Token V + 文本 Token T"] --> B["跨层注意力聚合排序<br/>全层全头对生成 Token 平均注意力打分"]
    B --> C["Token 级因果零化干预<br/>首个 Decoder 层隐状态置零消融"]
    C --> D["双轴归一化忠实度评测<br/>计算完备性 Comp 与充分性差距 Sgap"]
    D --> E["两阶段 Otsu 聚类划分<br/>Mode A 忠实充分 / Mode B 忠实分布 / Mode C 非聚焦"]

关键设计

1. 跨层注意力聚合排序:消除单层路由偏置的全网注意力重要性标定

单层注意力或特定注意力头往往只捕捉局部的语法或特定特征转移,无法代表整个骨干网络对视觉信息的全局路由倾向。为了获得对每个视觉 Token \(v_i\) 的无偏重要性估计,该方法在具有 \(L\) 层、每层 \(H\) 个注意力头的 Transformer 解码器中,将所有生成答案 Token \(y_s \in y\) 对视觉 Token \(v_i\) 的原始注意力权重 \(\alpha_{l,h}(i, y_s)\) 进行全层求和、全头平均,并对生成序列长度 \(|y|\) 进行平均: $\(a_i = \frac{1}{|y|} \sum_{s=1}^{|y|} \sum_{l=1}^L \frac{1}{H} \sum_{h=1}^H \alpha_{l,h}(i, y_s)\)$ 全头平均有效避免了对主导路由头的先验假设,跨层直接求和则在不引入额外信息流人工传播假设的前提下完整保留原生注意力密度。随后按 \(a_i\) 降序排序,选取前 \(k\) 个视觉 Token 构成最受关注的子集 \(S_k = \{v_{(1)}, v_{(2)}, \dots, v_{(k)}\}\)。

2. 首层输入状态零化扰动:保留 2D 空间排布的因果干预

为建立因果而非相关性推断,传统方法常直接在输入端剔除 Token 或在像素层面加噪。但在现代自回归 VLM 中,完全删除 Token 会打破 2D 空间网格的扁平化排列顺序,使后续位置编码产生位移失真,从而将“Token 内容的丢失”与“空间拓扑结构的破坏”相互混淆;而在像素空间打码又测量的是视觉编码器的鲁棒性而非语言模型内部的注意力依赖。本文在语言模型第一层解码器入口处实施隐状态置零介入: $\(h_i^{(0)} \leftarrow \mathbf{0}, \quad \forall v_i \in S\)$ 零化消融不会向嵌入空间引入外生语义信息,同时完美维持了序列长度与 2D 空间位置索引,使后续注意力和 FFN 计算对该位置的特征完全不可见,精确隔离语言模型层面的因果响应。

3. 归一化完备性与充分性差距:正交刻画因果依赖深度的量化指标

不同多模态样本在基线状态下的预测概率 \(P(y \mid V, T)\) 差异巨大,直接对比概率差值会带来统计偏差。本文对指标进行了样本级基线归一化。完备性(Comprehensiveness, Comp)度量 Top-k 视觉 Token 的“必要性”——若剔除这些高注意力 Token,模型预测概率应当剧烈下降: $\(\text{Comp}(S_k) = \frac{P(y \mid V, T) - P(y \mid V \setminus S_k, T)}{P(y \mid V, T)}\)$ 充分性差距(Sufficiency Gap, Sgap)则度量保留 Top-k Token 而抹去其余所有视觉 Token 时,预测概率的跌落程度: $\(\text{Sgap}(S_k) = \frac{P(y \mid V, T) - P(y \mid S_k, T)}{P(y \mid V, T)}\)$ 若 Sgap 极低(甚至接近 0 或微负),表明这 \(k\) 个 Token 自身已构成了支持回答的充分因果闭环;若 Sgap 显著偏高,则表明模型虽然高度依赖这些核心 Token,但若缺少全局背景拓扑上下文仍无法维持原预测。

4. 两阶段大津算法与三模式异质性解耦:结构化表征模型处理机制

在 (Comp, Sgap) 相空间中,有效样本呈现清晰的双峰与带状分离。研究提出两阶段 Otsu 自动阈值切分:首先在全样本的 Comp 轴上做一阶 Otsu 聚类,将样本分离为“非聚焦型”(Low-Comp)与“聚焦型”(High-Comp);接着仅在 High-Comp 子集内部的 Sgap 轴上执行二阶 Otsu 聚类,区分出“充分”与“分布式”。结合边界样本的人工语义校准,最终确立了三类异质处理模式: - Mode A(忠实充分型,Faithful-Sufficient):极高 Comp(\(\approx 0.98\))与极低甚至略微负值的 Sgap(\(-0.026\)),Top-k 视觉 Token 既必要又充分,外围视觉背景甚至起轻微干扰作用; - Mode B(忠实分布式,Faithful-Distributed):极高 Comp(\(\approx 0.95\))但高 Sgap(\(0.818\)),Top-k 区域不可或缺,但必须依赖周围大范围场景或排版上下文共同决策; - Mode C(非聚焦型,Non-Focal):低 Comp(\(0.213\))与中等 Sgap(\(0.460\)),局部高注意力区域并无因果必要性,但整图消融会导致预测崩溃(Comp 达到 0.973),说明视觉信息作为漫反射式全局触发器存在,无法被局部注意力排名有效定位。

实验关键数据

实验主要基于 Qwen2.5-VL-7B(原生分辨率单网格编码)与 InternVL2.5-8B(动态切片 Dynamic-Tile 编码),并在 Qwen2.5-VL-3B 与 InternVL2.5-4B 上完成参数量缩放验证。评测基准包括从 VQAv2 中抽取的 90 个问答对(包含 30 个是非题、30 个计数题、30 个开放式问题,均配有人工校验的双专家 GT 区域标注)、VRDU 文档信息抽取数据集(60 个测试样本)以及 ChartQA 图表问答数据集(100 个样本)。

主实验:VQAv2 四种扰动策略对比与三模式分布

在 VQAv2 有效样本(剔除 5 个需要全图语义理解的极值样本)上,设置消融 Token 数量 \(k\) 严格等于对应样本人类标注 GT 区域的 Token 覆盖数,确保消融面积完全对齐。对比了 Overall Top-k、GT Object、Non-GT Top-k 与随机扰动四种策略。

扰动策略 (Strategy) Qwen2.5-VL-7B 均值 Comp ↑ Qwen2.5-VL-7B 均值 Sgap ↓ InternVL2.5-8B 均值 Comp ↑ InternVL2.5-8B 均值 Sgap ↓
Overall Top-k(模型自身注意力) 0.813 0.469 0.733 0.468
Non-GT Top-k(非 GT 区域高注意力) 0.659 0.653 0.474 0.659
GT Object(人类标注真实物体区域) 0.505 0.846 0.609 0.555
Random(随机基线) 0.502 0.599 0.487 0.549

在各处理模式的占比及模型自身准确率方面,Qwen2.5-VL-7B 呈现出以下分布特征:

处理模式 (Processing Mode) 样本占比 (%) 均值 Comp 均值 Sgap 模型准确率 Acc (%)
Mode A: Faithful-Sufficient (忠实充分) 32.9% 0.978 -0.026 92.9%
Mode B: Faithful-Distributed (忠实分布) 47.1% 0.952 0.818 100.0%
Mode C: Non-Focal (非聚焦) 20.0% 0.213 0.460 94.1%

文档理解与跨模型任务泛化实验

在 VRDU 文档信息抽取与 ChartQA 图表分析任务中,模型面临具有高度结构化与文字排版特征的视觉输入。通过按比例掩码 Top-k 视觉 Token(1%、3%、5%、10%、30%),考察因果效应演进。

任务与模型 掩码比例 5% (Comp / Sgap) 掩码比例 10% (Comp / Sgap) 掩码比例 30% (Comp / Sgap) 判定模式归属
ChartQA (Qwen2.5-VL-7B Top-k) 0.37 / 1.00 0.49 / 1.00 0.77 / 0.91 Mode B (忠实分布)
ChartQA (Qwen2.5-VL-7B Random) 0.01 / 1.00 0.02 / 1.00 0.27 / 0.99 基准参照
ChartQA (InternVL2.5-8B Top-k) 0.65 / 0.42 0.71 / 0.26 0.79 / 0.08 Mode A (忠实充分)
ChartQA (InternVL2.5-8B Random) 0.01 / 0.82 0.01 / 0.74 0.06 / 0.39 基准参照
VRDU-IE (Qwen2.5-VL-7B Top-k) Comp: 0.68 / Sgap: 0.95 Comp: 0.826 / Sgap: 0.947 - Mode B (极度依赖版面)
VRDU-IE (InternVL2.5-8B Top-k) Comp: 0.65 / Sgap: 0.40 Comp: 0.650 / Sgap: 0.189 - Mode A (聚焦且充分)

模型尺度扩展分析 (Scaling Across Model Sizes)

模型版本 Overall Top-k Comp GT Object Comp Mode A 占比 (%) Mode B 占比 (%) Mode C 占比 (%)
Qwen2.5-VL-3B 0.739 0.432 31.8% 37.6% 30.6%
Qwen2.5-VL-7B 0.813 0.505 32.9% 47.1% 20.0%
InternVL2.5-4B 0.792 0.636 18.8% 54.1% 27.1%
InternVL2.5-8B 0.733 0.609 29.4$ 45.9% 24.7%

关键发现

  • 注意力排序的因果优越性:在所有测试模型与尺度下,模型自身的 Overall Top-k 注意力区域的完备性均显著超越随机基线与人类标注 GT 区域(Qwen2.5-VL-7B 上达 0.813 vs 0.505),充分性差距也是所有策略中最低的(0.469),表明视觉注意力确实显著反映了模型内部的因果依赖,而非无意义的计算副产物。
  • 人类直觉与模型因果的系统性分歧:人类标注的 GT 区域在完备性指标上呈现显著的双峰分布(仅约 60% 的样本与模型高因果区域重合)。在未重合的样本中,GT-Comp 均值竟跌至 -0.150,而模型的 Top-k Comp 依然高达 0.945。典型案例(如“右侧水槽是什么颜色?”)显示,模型往往依赖水槽周围带有环境反射和光照色彩相关性的外围 Token 做出推断,而非水槽本身,直接推翻了“人类标注可直接作为模型注意力评估真值”的传统假设。
  • 任务推理需求决定模式分布:在 VQAv2 中,是非判断题高度集中在 Mode B(55.6%),反映出模型需要将局部判别物与场景全局上下文综合结合;计数类题目在局部目标明显时落在 Mode A(48.3%),而当需要全局扫描排重时落在 Mode B(37.9%);开放式问题由于依赖图像激活内在常识,呈现出最高比例的 Mode C(34.5%)。
  • 模型架构决定同任务的处理风格:针对完全相同的文档信息抽取(VRDU)与 ChartQA,Qwen2.5-VL 表现为极端的 Mode B(消融 10% Token 引起 82.6% 的概率崩溃,但单独保留 10% 仅能恢复 5% 的置信度),表现出强烈的全局版面上下文绑定;而采用 Dynamic-Tile + 全局缩略图设计的 InternVL2.5 则迅速收敛至 Mode A(保留 10% Token 时 Sgap 降至 0.189,ChartQA 在 30% 时降至 0.08),局部 Token 自身即可独立构成答案的充分解释。

亮点与洞察

  • 将注意力忠实度定性争论转化为定量因果刻画:论文没有停留在“注意力到底有没有用”的口水仗,而是借鉴 ERASER 思想并创新地在语言解码器首层隐状态构建了保留 2D 拓扑的因果干预算子,给出了严谨的数学度量工具。
  • 粉碎了人类标注作为解释真值的迷思:证实了 VLM 发展出了异于人类直觉的上下文关联表征机制(例如靠周围反射色调推断物体颜色),因此不能机械地用人类框定区域去惩罚或对齐模型的内部注意力。
  • 为 VLM Token 压缩与剪枝提供了理论戒律:当前主流推理加速算法无差别地假设低注意力 Token 是冗余的;但本文发现 Mode B 占据近半数样本且在特定架构的文档任务中占支配地位,在这些样本中丢弃外围低注意力 Token 会因丧失全局上下文导致性能骤降。

局限与展望

  • 动态切片与固定分辨率架构外推性未覆盖:本文主要基于 Qwen2.5-VL 与 InternVL2.5 等动态分辨率切片模型,对于以经典 LLaVA 为代表的固定尺寸插值架构未展开同等规模的对照实验。
  • 缺乏对慢思考(Slow-Thinking)多步推理模型的覆盖:评测针对直接给出预测的单步生成模型,而在带有长思维链(o1/R1 风格慢思考)的多模态大模型中,推理过程中的视觉回视(Visual Saccades)注意力演进机制更为复杂,尚待未来工作深入探究。
  • 样本规模相对聚焦:由于需要严密的单 Token 级置零前向扰动计算及人工双重 GT 校验,主干 VQA 深入分析的样本量为 90 个精选问答对,未来可进一步开发自动化管线将因果相空间分析推广至万级基准。

相关工作与启发

  • vs Jain & Wallace (2019) / Wiegreffe & Pinter (2019):纯文本注意力争论争执于全局是否具有解释力;本文将该战场延伸至多模态领域,并证明在二维空间与高跨模态信息冗余下,忠实度既不是全局失效也不是全局有效,而是受任务与架构决定的三模态异质分布。
  • vs DeYoung et al. (2020) ERASER:ERASER 针对纯文本有理化证据,直接丢弃词向量;本文解决了二维视觉 Token 删除导致的位置编码扰动和拓扑坍塌难题,提出了首层隐状态置零方案,奠定了多模态注意力因果评测标准。
  • vs Sparse-VLM (Zhang et al., 2025) / LLaVA-PruMerge (Shang et al., 2025):现有加速方案普遍假设注意力低的视觉 Token 可随意修剪;本文的 Mode B 发现直接敲响了警钟——对于依赖版面和全局场景的样本,盲目丢弃低权重视觉 Token 会直接诱发严重的信息贫血。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出 VLM 视觉注意力因果忠实度评测框架,发现三处理模式与人类标注分歧现象。
  • 实验充分度: ⭐⭐⭐⭐☆ 涵盖两大多模态模型家族、参数量缩放对比、自然场景 VQA 与文档/图表任务,分析极其深入透彻。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨清晰,实验图表信息密度高且论证层层递进,洞察深刻。
  • 价值: ⭐⭐⭐⭐⭐ 为 VLM 内部机制可解释性、可信归因以及下游推理加速/Token 剪枝提供了不可或缺的理论基准。