Instruction Anchor: Dissecting the Mechanistic Dynamics of Modality Arbitration¶

会议: NeurIPS 2026
arXiv: 2602.03677
OpenReview: https://openreview.net/forum?id=i55gKixTsv
领域: 多模态VLM
关键词: 多模态指令遵循, 机械可解释性, 模态仲裁, 注意力敲除分析, 指令锚点

一句话总结¶

本文从信息流视角解构多模态大模型在模态冲突下的仲裁机制，发现指令标记扮演了信息聚合与决策裁决的“结构锚点”，揭示了浅层注意力作为隐式缓冲、深层注意力由极稀疏注意力头主导模态仲裁的分层动态。

研究背景与动机¶

多模态指令遵循（Multimodal Instruction Following, MIF）是多模态大语言模型（MLLM）在具身智能、图形界面交互与复杂多轮对话等高可靠场景下安全落地的基石。与纯语言模型偏向输出格式约束的指令遵循不同，多模态指令遵循要求模型能够根据用户明确指示，在异构模态上下文存在语义冲突时，精准裁决并仅采纳目标模态证据。然而，当输入文本与图像信息发生对抗或矛盾时，模型内部如何权衡不同模态、如何完成模态选择，至今仍是一个未经解构的“黑盒”，这给模型幻觉归因和行为安全调控带来了巨大阻碍。

现有关于多模态大模型可解释性的研究大多局限于感知中心范式（Perception-Centric Perspective），侧重于探究视觉特征如何被编码、投射并在前馈层或单模态神经元中表达，或者通过稀疏自编码器与 Logit Lens 观察语义概念在残差流中的涌现。然而，这些研究几乎完全忽略了跨模态竞争时的决策仲裁机制（Modality Arbitration）。即当模型同时接收到指向不同答案的视觉与文本证据时，究竟是哪个网络组件、在哪个序列位置、经历怎样的层级动态决定了最终遵从哪种模态。

本文的切入角度是：不再将目光单向聚焦在最终生成标记（Generated Tokens）的特征解码上，而是从跨模态信息中继与流动的拓扑结构切入，追踪模态冲突在残差流与注意力图中的动态演化。核心 idea：将多模态指令标记（Instruction Tokens）定位为模态仲裁的“结构锚点”，揭示注意力机制从浅层无差别信息汇聚（隐式缓冲）到深层极稀疏注意力头决定性仲裁的分层功能分化，并据此实现对多模态指令遵循行为的高精度因果干预与修复。

方法详解¶

整体框架¶

本文构建了一个受控跨模态对抗诊断框架，输入由目标模态遵循指令、视觉上下文与文本上下文组成，其中两模态分别支持互斥的候选答案。基于该诊断环境，作者系统解构了多模态大模型（如 Qwen2.5-VL-7B、InternVL3-8B 等）内部跨模态线索的流动轨迹与决策收敛过程。整个分析与干预流程包含三个核心阶段：注意力通路敲除与关键汇聚点定位、指令标记内部的残差流与组件贡献归因，以及针对深层仲裁注意力头的因果干预与行为调控。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["多模态冲突输入<br/>(视觉上下文 + 文本上下文 + 模态指令)"] --> K1["1. 注意力敲除分析与结构发掘<br/>计算归一化符号结构散度"]
    K1 --> K2["2. 隐式决策对齐与潜状态追踪<br/>指令锚点层级表征解码"]
    K2 --> K3["3. 层级注意力机制功能分化<br/>浅层缓冲中继与深层决策裁决"]
    K3 --> K4["4. 极稀疏注意力头因果干预<br/>靶向头屏蔽与激活放大"]
    K4 --> Out["决策调控与生成输出<br/>(保全通用能力 / 修复失败样本)"]

关键设计¶

1. 注意力敲除分析与结构发掘：基于归一化符号结构散度定位指令锚点

为了定位跨模态线索传递至最终预测的关键通路，同时抑制与任务无关的输出分布扰动，该设计提出了针对模态决策子空间的因果切断与敏感性度量。在Transformer多头自注意力计算中，通过将目标源token集合至目标token集合的因果注意力掩码置为 $-\infty$（滑动窗口 $k=3$ 层），显式切断特定注意力边。为了精确衡量敲除对指令遵循的影响，作者构建了决策子空间 $\mathcal{U} = Y_p \cup Y_c$，其中 $Y_p$ 为遵循指令的目标模态答案空间，$Y_c$ 为竞争模态答案空间。通过限制在子空间概率分布 $P_\mathcal{U}$ 并计算归一化符号结构散度： $$\mathcal{I}_{\text{NSSD}} := \operatorname{sign}\!\left[\widetilde{P}_{\mathcal{U}}(Y_{p})-P_{\mathcal{U}}(Y_{p})\right] D_{\mathrm{KL}}\!\left(P_{\mathcal{U}}\,\middle\|\,\widetilde{P}_{\mathcal{U}}\right)$$ 当敲除某条通路导致目标模态概率发生负向偏移时，$\mathcal{I}_{\text{NSSD}}$ 为负，其绝对值量化了该通路对模态遵循的必要性。分析发现，切断从模态证据直接连向生成标记的注意力边对 $\mathcal{I}_{\text{NSSD}}$ 影响甚微，而切断模态证据流向指令标记（$X_{\text{inst}}$）的通路则引发剧烈负向偏移。位置对照消融进一步证实，这种汇聚发生在语义指令标记而非格式约束标记上，确立了指令标记是跨模态信息汇集的“结构锚点”。

2. 隐式决策对齐与潜状态追踪：验证模态仲裁在指令标记内部终结

在确立指令标记是信息汇集中心后，紧接着需要验证模态仲裁究竟是在指令标记处已经结晶，还是推迟至生成标记处才完成。作者利用 Logit Lens 将各层指令标记的隐状态映射至词表空间，结合双语同义词候选词典，通过最大对数几率提取各子空间信号强度： $$S_{m}(\mathbf{H}_{\text{inst}}^{l}):=\frac{1}{K}\sum_{i\in\mathcal{T}_{m}^{l}}\max_{y\in\mathcal{E}_{m}}(\mathbf{E}\cdot\mathbf{h}_{i}^{l})_{y},\quad m\in\{p,c\}$$ 并进一步提出隐式决策对齐率（Latent Decision Alignment Rate, LDAR）指标： $$\operatorname{LDAR}(l):=\frac{1}{|\mathcal{D}|}\sum \mathbb{I}\left[S_{p}(\mathbf{H}_{\text{inst}}^{l})>S_{c}(\mathbf{H}_{\text{inst}}^{l})\right]$$ 实验表明，浅层 LDAR 处于 0.5 左右的几率水平；而跨过中间层后，深层指令标记的 LDAR 迅速攀升至 95% 以上。此时，强行切断指令标记至生成标记的信息通路会导致遵循率断崖式下跌，且指令标记与生成标记处的潜决策展现出超过 90% 的样本级同步率。这确凿证实了模态仲裁在指令标记内部已完成了结晶与定性，生成标记仅是接收并表露指令标记传来的裁决结果。

3. 层级注意力机制功能分化：解构从浅层缓冲到深层裁决的动力学

为了探明指令标记内部如何完成仲裁，研究将残差流更新分解为多头注意力贡献 $\mathbf{A}^l$ 与前馈网络贡献 $\mathbf{F}^l$，并定义模态仲裁边际 $\Delta S = S_p - S_c$。通过对数几率差异归因（Logit-difference Attribution）分别追踪两类组件对仲裁边际的调制量 $\delta_A^l(\Delta S)$ 和 $\delta_F^l(\Delta S)$。结果揭示：前馈网络（MLP）主要表达与输入线索甚至指令相抗衡的内部先验知识，而自注意力机制（Attention）则始终稳定地向指令意图方向提供正向推动力。

更深层的分层剖析揭示了显著的功能分水岭：在浅层，注意力机制对目标模态与对抗模态施加近乎相等的正向调制（$\delta_A^l(S_p) \approx \delta_A^l(S_c)$），边际贡献接近于零，此时注意力不作选择，仅充当汇聚多模态线索的“隐式缓冲池（Latent Buffer）”；进入深层后，注意力机制急剧放大了符合指令模态的信号并相对抑制对抗模态，一举敲定仲裁结果（“决定性裁决者”）。进一步细化到单注意力头时，发现深层推动仲裁边际的并非全部注意力头，而是高度集中于极稀疏的特定注意力头。

4. 极稀疏注意力头因果干预：实现模态遵循的特异性调控与样本修复

为验证上述识别出的关键注意力头并非仅仅是统计相关，而是具有因果功能特异性，该设计构建了靶向头屏蔽（Blocking）与靶向头激活放大（Amplifying）干预方案。将特定注意力头在指令标记处的输出投影置零或乘以增益系数 $\alpha > 1$： $$\text{Head}_{\text{inst}}^{l,j} \leftarrow 0 \quad \text{或} \quad \text{Head}_{\text{inst}}^{l,j} \leftarrow \alpha \cdot \text{Head}_{\text{inst}}^{l,j}$$ 通过比较识别出的靶向头、随机头以及视觉-文本模态共享头在模态遵循率（MFR）以及通用感知/语言基准（TextVQA、Flickr30k、MMLU、IFEval）上的表现，构建严密的因果闭环。实验表明，仅需干预深层约 5% 的靶向注意力头即可精准操纵跨模态裁决行为，而完全不破坏模型固有的基础语言理解与图像解题能力。

实验关键数据¶

主实验¶

在 Qwen2.5-VL-7B 上评估屏蔽关键注意力头对通用视觉与语言任务的影响，证实识别出的模态仲裁头具有极高的功能特异性，不会损伤通用基准表现：

方法配置	视觉问答 TextVQA (Acc %)	图像描述 Flickr30k (CIDEr / PPL)	通用语言 MMLU (Acc %)	指令遵循 IFEval (Acc %)
原始基线 (Qwen2.5-VL-7B)	63.10	28.4 / 19.6	68.3	66.4
屏蔽 #10 靶向注意力头	62.95	28.0 / 19.1	68.5	66.0
屏蔽 #20 靶向注意力头	63.26	26.9 / 18.4	67.8	65.7
屏蔽 #30 靶向注意力头	63.32	28.5 / 20.3	66.9	65.3

在存在模态对抗文本干扰的开放式生成任务（Flickr30k 图像描述）下，切断关键注意力通路对图文融合能力的影响：

评估配置 / 敲除通路	METEOR (↑)	CIDEr (↑)	SPICE (↑)
Qwen2.5-VL-7B 原始输出	20.0	18.6	13.5
切断：视觉上下文 $\nrightarrow$ 干扰文本上下文	19.6	18.5	13.3
切断：视觉上下文 $\nrightarrow$ 生成标记	20.0	18.4	13.6
切断：视觉上下文 $\nrightarrow$ 语义指令标记	2.3	0.8	0.6

消融实验¶

针对注意力头放大系数 $\alpha$ 的敏感性与崩溃边界消融（在失败样本集合上测试模态遵循率 MFR 恢复情况）：

放大系数 $\alpha$	文本遵循 MFR (%)	视觉遵循 MFR (%)	状态说明
$\alpha = 8$	48.8	52.5	显著恢复，保持平稳
$\alpha = 10$	49.7	51.0	接近峰值性能区间
$\alpha = 12$	47.5	48.5	出现轻微饱和衰退
$\alpha = 14$	34.1	30.6	激活过强引起退化
$\alpha = 16$	21.0	21.9	语义连贯性受到破坏
$\alpha = 18$	2.0	3.3	语言能力崩溃，表征失真

关键发现¶

通路敏感性极大集中于指令锚点：切断视觉到指令标记的通路会导致图像描述指标暴跌（CIDEr 从 18.6 骤降至 0.8），而直接切断到生成标记的通路指标波动小于 1%，证伪了“生成词直接从视觉中提取冲突解决信号”的朴素直觉。
极小参数驱动行为质变：仅屏蔽深层约 30-40 个注意力头（约占全模型注意力头总数的 5%），原本 100% 遵循指令的模型在文本遵循上的 MFR 直线下跌约 60%；而随机屏蔽同等数量头仅造成微弱波动。
失败案例高比例拯救：在基线彻底失败（MFR=0%）的困难冲突样本中，针对识别出的 Top-30 仲裁头施加适度放大（$\alpha \in [8, 10]$），可将模态遵循成功率直接拯救提升至约 60%，证明模型内部已编码正确特征，仅因仲裁头激活不足而导致表面错误。

亮点与洞察¶

提出跨模态中继视角与指令锚点概念：打破了过去仅将指令视作生成前置条件或格式约束的传统假设，证明了指令标记在几何与信息动力学层面实质上充当了模态仲裁的核心结晶位点。
揭示注意力的两阶段功能分工：清晰勾勒出浅层“无偏见收集信息作为隐式缓冲”与深层“依据意图由稀疏头强势裁决”的分层范式，为理解 Transformer 的多层级特征整合机制提供了严谨证据。
可复用的结构化干预工具箱：提出的 $\mathcal{I}_{\text{NSSD}}$ 指标与局部头放大机制不仅适用于机理诊断，更能直接迁移至轻量级推理期无训练引导（Inference-time Steering）与幻觉抑制中。

局限与展望¶

神经元级精细度未覆盖：论文主要定位至注意力头（Head-level）颗粒度，尚未进一步下探解构单个注意力头内部的键值投射矩阵及前馈层单个神经元的激活模式。
任务形式聚焦于双模态二元冲突：实验验证主要集中于图文互斥场景，对于包含音频、时序视频等多模态共同参与的三方及以上复杂博弈仲裁机制有待进一步拓展。
放大系数存在刚性崩溃阈值：推理期激活放大缺乏自适应动态收敛机制，当 $\alpha \ge 16$ 时会因激活值过大而引发全局语言建模能力的断崖式崩塌。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从信息流与指令锚点视角系统解构多模态仲裁机制，极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖注意力敲除、Logit Lens追踪、稀疏头屏蔽与放大干预，跨模型/多尺度验证严密完整。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，数学形式化规范，层级递进自然通畅。
价值: ⭐⭐⭐⭐⭐ 为解决 MLLM 模态竞争失衡、幻觉治理以及高能效上下文压缩提供了关键理论支点。

放大系数 \(\alpha\)	文本遵循 MFR (%)	视觉遵循 MFR (%)	状态说明
\(\alpha = 8\)	48.8	52.5	显著恢复，保持平稳
\(\alpha = 10\)	49.7	51.0	接近峰值性能区间
\(\alpha = 12\)	47.5	48.5	出现轻微饱和衰退
\(\alpha = 14\)	34.1	30.6	激活过强引起退化
\(\alpha = 16\)	21.0	21.9	语义连贯性受到破坏
\(\alpha = 18\)	2.0	3.3	语言能力崩溃，表征失真