Pathways of Visual Information Flow in Vision-Language Models¶

会议: NeurIPS 2026
arXiv: 2607.03358
代码: https://github.com/israfelsr/vlm-pathways
领域: 多模态VLM
关键词: 视觉语言模型, 机制可解释性, 因果修补, 信息流路径, 备用回路

一句话总结¶

通过因果干预与注意力敲除分析，揭示视觉语言模型中并存的“直接读取”与“文本中介”两条视觉信息流路径，证明路径选择由任务与数据分布调控，且文本中介可在直接路径受阻时作为弹性备用回路。

研究背景与动机¶

视觉语言模型（VLM）在图文多模态推理与理解中展现出强大能力，但其自回归生成过程中视觉信息究竟如何在语言模型内部流转并汇聚到最终预测 token，至今仍存在激烈分歧。以往研究大多依赖注意力权重分析或注意力敲除（Attention Knockout）等单一消融技术：部分学者观察到图像识别中视觉信息直接从图像 token 流向尾 token，进而主张“直接读取”机制；另一部分学者则发现文本查询始终在图像与尾 token 之间充当中介，认为所有跨模态任务均由“文本中介”所支配。

这一学术争议的核心矛盾在于，传统的消融干预（如阻断特定注意力路径）只能证明模型在失去某组件时“能否”通过其他方式完成任务（即必要性），却无法揭示模型在未受扰动的标准前向传播中“实际使用”了哪条路径。此外，已有干预研究多局限于孤立任务或高度合成的玩具数据，缺乏统一任务体系与因果分析框架，导致结论往往反映的是干预引起的应激代偿，而非模型的原生推理机制。

为了解决这一认知断层，本文采用因果修补（Causal Patching）结合配对反事实样本，系统覆盖了物体识别、空间关系判断以及绝对定位三类核心感知能力，横跨合成图形与自然图像分布。核心 idea：VLM 内部并非固化为单一流转模式，而是并存着“直接读取”与“文本中介”两条异构路径；路径选择不仅由任务语义复杂度决定，还会受数据分布与 Prompt 设计动态调控，且文本中介机制能在直接路径受阻时充当无损的弹性备用回路（Fallback Pathway）。

方法详解¶

整体框架¶

本文构建了一套涵盖“直接路径”、“文本中介路径”以及“敲除/修补干预”的机制可解释性分析框架。设输入序列包含图像 token 集合 \(\mathcal{I}\)、自然语言查询文本 token 集合 \(\mathcal{T}\) 以及预测最终答案的单 token \(x_n\)（排除边界定界符与特殊 token）。模型内部可能的信息传输路径被形式化为三类有向交互弧：\(r_{\mathcal{I}\to\text{last}}\)（尾 token 直接从图像读取）、\(r_{\mathcal{I}\to\mathcal{T}}\)（图像信息注入文本查询）以及 \(r_{\mathcal{T}\to\text{last}}\)（尾 token 从文本查询读取融合特征）。

整体分析由三种互补的干预策略驱动：通过层级反事实因果修补（Causal Patching）定位标准推理下的活跃流转路径；通过全层注意力敲除（Attention Knockouts）验证特定路径的存在必要性；通过破坏图像输入的噪声修补（Corrupted-Input Patching）测试文本 token 内部编码视觉信息的充分性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像集合 I 与查询集合 T"] --> B["反事实因果修补<br/>对齐图像/文本隐藏状态并测量恢复分数"]
    B --> C["双路径状态辨析<br/>识别直接读取与文本中介路径"]
    C --> D["注意力敲除分析<br/>阻断特定路径注意力以检验必要性"]
    D --> E["破坏输入恢复测试<br/>纯噪声图像下激活文本中介备用回路"]
    E --> F["输出自适应机制判定<br/>任务、数据与Prompt调控路径选择"]

关键设计¶

1. 反事实因果修补与恢复分数度量：解耦标准前向计算中的实际使用路径

针对传统注意力观测无法建立因果结论的问题，本文构建严格对齐的反事实样本对 \((x, \tilde{x})\)。两者的查询文本完全一致，仅在视觉实体、空间位置或朝向（如水平镜像翻转并同步反转左右标签）上施加最小化反事实扰动，确保模型在干净输入下对两组样本均能正确预测。在模型第 \(\ell\) 层，将原始前向推理中的特定 token 隐藏状态 \(\mathbf{h}_\ell(x_k)\) 替换为反事实运行对应位置的状态 \(\mathbf{h}_\ell(\tilde{x}_k)\)：

\[\mathbf{h}^{\prime}_{\ell}(x_{k})=\begin{cases}\mathbf{h}_{\ell}(\tilde{x}_{k}),&x_{k}\in \mathcal{G},\\ \mathbf{h}_{\ell}(x_{k}),&x_{k}\notin \mathcal{G}\end{cases}\]

其中 \(\mathcal{G}\) 可以是图像 token 集合 \(\mathcal{I}\) 或文本 token 集合 \(\mathcal{T}\)。通过计算反事实目标概率归一化位移的恢复分数（Restoration Score），精准描绘信息在各层、各模态流转的动态生命周期：

\[\text{Restoration Score}=\frac{P(\tilde{y}\,|\,x\,;\mathbf{h}^{\prime}_{\ell}(x))-P(\tilde{y}|x)}{P(\tilde{y}|\tilde{x})-P(\tilde{y}|x)}\]

若文本修补在中间层引发极高恢复分数而图像修补失效，则判定为文本中介路径；反之若整个前向过程中仅图像修补有效且文本修补恢复分数为零，则证实为直接读取路径。

2. 注意力敲除干预：严格检验路径的不可替代性

为了验证特定路径是否为生成预测所严格必需，本文在自注意力 Softmax 计算之前，对特定路径 \(r\) 施加无穷大负偏置掩码：

\[\hat{M}_{ij}^{(l)}=M_{ij}^{(l)}-\infty\cdot\mathbf{1}_{(i,j)\in r}\]

该干预彻底切断 token \(x_j\) 对 token \(x_i\) 的信息聚合（如阻断尾 token 观察图像 \(r_{\mathcal{I}\to\text{last}}\)，或阻断文本查询观察图像 \(r_{\mathcal{I}\to\mathcal{T}}\)）。实验揭示了一个惊人事实：即便在因果修补中完全依赖直接读取的任务（如物体识别），敲除 \(r_{\mathcal{I}\to\text{last}}\) 后模型精度不仅没有崩塌，甚至几乎零下降。这证实消融实验测得的“非必需”并不等同于前向计算中的“未使用”。

3. 图像退化与文本特征恢复：发掘潜在的弹性备用回路

为了排除“直接路径敲除未掉点是因为模型依赖先验盲猜”的可能性，设计了破坏图像输入的激活修补协议。将图像输入彻底替换为均匀随机高斯噪声（或纯黑/纯白画面），阻断所有图像视觉输入，此时模型完全丧失视觉线索。随后，在所有 Transformer 层注入来自真实图像前向推理中计算得到的纯文本 token 隐藏表示 \(\mathbf{h}_\ell(\mathcal{T})\)。实验表明，仅凭这些文本 token 的隐藏状态，模型便能完全恢复高精度输出，确证了视觉语义在文本序列中保留了完备的潜在表征，能够在直接路径受阻时作为高保真备份回路生效。

理论分析与设计权衡¶

研究从计算机制和表征抽象层级剖析了双路径并存的内在逻辑。直接路径在本质上执行的是“视觉属性查表”（Attribute Lookup），适用于低认知负载的物体识别或规整网格下的单目标定位，直接由末尾 token 汇聚深层视觉特征即可完成判决。而文本中介路径则承载了组合式推理（Compositional Reasoning）与空间参考系转换（Reference Resolution）：在复杂多物体场景或自然干扰项下，模型需要先借由文本查询的语义引导，将特定物体的几何拓扑特征与关系前置绑定至文本 token 中，再由末尾 token 汇总输出。

这种路径分离呈现出明确的设计权衡：直接路径延迟短、交互步骤少，但在多实体关系推理中容易受到跨区域特征混淆；文本中介路径具备高度结构化的整合能力，但需要消耗文本 token 的表征带宽。更有趣的是，当 Prompt 从开放式生成（Open）变为给定候选项（Choices）时，物体识别任务也会从直接读取显著转向文本中介，表明候选词列表迫使模型提前在文本侧进行特征对齐与假设检验。

实验关键数据¶

主实验¶

在 Qwen3-VL-4B 模型上对合成数据（Shapes）与自然图像数据（COCO、Visual Genome、What's Up、VSR）开展标准前向因果修补（全层文本修补）与注意力敲除测试。

数据来源	任务类型	样本数 \(N\)	全层文本修补：文本偏向 (%)	全层文本修补：图像偏向 (%)	敲除直接路径 \(\Delta\text{Acc}\) (%)	敲除图像→文本 \(\Delta\text{Acc}\) (%)
Synthetic	物体识别 (Recognition)	200	0.0	100.0	0.0	0.0
Synthetic	空间关系 (Relations)	200	98.0	2.0	0.0	-10.5
Synthetic	目标定位 (Localization)	200	0.0	100.0	0.0	0.0
Natural	物体识别 (Recognition)	61	3.3	96.7	+1.4	-2.7
Natural	空间关系 (Relations)	959	91.4	8.6	-1.5	-34.9
Natural	目标定位 (Localization)	1770	89.9	10.1	+3.6	-18.3

消融实验：退化图像下的文本特征恢复与噪声鲁棒性¶

为测试文本 token 是否真正蕴含完整的视觉判别信息，在完全去除图像信号（替换为随机高斯噪声）的条件下，全层修补文本 token 隐藏状态，对比恢复分数（RS）与受限候选词准确率（Acc）。

数据集	任务类型	样本数 \(N\)	纯噪声恢复分数 (RS)	纯噪声准确率 (%)	纯黑图像准确率 (%)	纯白图像准确率 (%)
Synthetic	Recognition	400	1.00	100.0	100.0	100.0
Synthetic	Relations	400	1.00	100.0	100.0	100.0
Synthetic	Localization	400	0.08	100.0	100.0	100.0
Natural	Recognition	144	0.82	81.9	91.7	91.7
Natural	Relations	1361	1.00	94.9	95.1	94.7
Natural	Localization	1897	1.00	95.8	96.7	96.1

关键发现¶

路径偏好的任务解耦性：物体识别在合成与自然场景下均严格采用直接路径（文本修补恢复率 \(\le 3.3\%\)）；空间关系推理则高度依赖文本中介路径（文本偏向 \(\ge 91.4\%\)），信息在中间层显著完成模态转移。
环境复杂度诱导路径跃迁：目标定位任务展现了鲜明的分布敏感性，在规则无干扰的合成数据上走直接路径（100% 图像偏向），而在富含上下文干扰项的自然图像中翻转为文本中介路径（89.9% 文本偏向）。
直接路径非必需与备用回路无损性：彻底敲除尾 token 到图像的直接注意力（\(r_{\mathcal{I}\to\text{last}}\)）对模型性能几乎无损（自然定位甚至反升 \(+3.6\%\)），说明模型能无缝借道文本中介完成自适应补偿；相反，切断图像到文本的注意力（\(r_{\mathcal{I}\to\mathcal{T}}\)）会导致自然空间关系精度断崖式下跌 \(34.9\%\)。
跨架构与跨参数规模的一致性：在 InternVL3.5-4B、LLaVA-1.5-7B 以及 Qwen3-VL 8B/32B 上均完整复现了上述双路径拓扑及弹性代偿规律。

亮点与洞察¶

澄清了注意力敲除在可解释性研究中的方法论陷阱：消融实验只能测定组件的“不可或缺性”，无法测定“日常前向活跃度”。若忽视备份回路的自适应重路由，极易误将后备代偿当作常规机制。
揭示了 VLM 内部视觉表征的双通道容错机制：语言模型的文本 token 流不仅承载提示词指令，更在浅中层实质性地充当了“视觉特征黑板”，将空间与语义信息转录沉淀，为下游推理提供了第二条冗余通路。

局限与展望¶

评估主要聚焦于单 token 离散回答（方向介词、物体名称类别），针对长文本自由生成、复杂多步视觉思维链（Visual CoT）等开放式任务的双路径流转规律仍有待拓展。
分析粒度停留于 token 组与全局隐藏表示层级，尚未将直接与中介路径解构至具体的注意力头（Attention Heads）和特定 MLP 神经元子路。
本文所有实验均在冻结权重的推理阶段展开，双路径在预训练与多模态对齐阶段如何渐进演化生成仍属未知。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示并统一了 VLM 中直接与文本中介两条信息流路径及其动态代偿机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖因果修补、敲除、破坏输入三重干预，横跨 3 大模型家族及 4B~32B 多尺度，兼顾合成与自然数据。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，论证步步推进，方法论辨析深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为深入理解多模态模型内在机理及设计更优的测试时干预（Test-time Intervention）提供了关键指引。