When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models¶

会议: NeurIPS 2026
arXiv: 2508.10552
领域: 多模态大模型
关键词: 多模态大模型, 文本主导, 跨模态注意力, 模态主导指数, Token压缩

一句话总结¶

本文首次跨越图像、视频、音频、时间序列及图谱五大模态系统揭示了多模态大模型中普遍存在的“文本主导”（Text Dominance）现象，提出模态主导指数（MDI）与注意力效率指数（AEI）双量化指标，证明该偏差源于非文本Token冗余引起的注意力稀释，并证实免微调的Token压缩可显著将注意力重新平衡。

研究背景与动机¶

多模态大语言模型（MLLMs）在图文问答、跨模态推理和具身交互等任务中展现出令人瞩目的综合理解能力。然而，学界在视觉问答（VQA）等场景中逐渐观察到一种反常的模态失衡现象：模型在推理生成时往往严重偏向文本上下文，甚至在完全遮蔽图像时依然能凭借语言先验答对问题。以往研究通常将这种偏差归咎于训练数据集本身的先验统计偏差，或是视觉编码器与预训练语言底座参数量级的静态不对称性，且绝大多数探讨仅停留在传统的图文双模态范畴。

然而，多模态模型内部核心的自注意力机制究竟在模态失衡中扮演了何种角色，仍旧缺乏系统性的微观量化分析。随着多模态大模型快速拓展至长视频、多通道音频、多元时间序列以及拓扑图结构等高维非文本领域，非文本输入被离散化切片后往往产生海量Token。这引出了一个深层次的核心科学疑问：文本主导究竟是图文模态特有的局部数据拟合瑕疵，还是基于Transformer架构的多模态生成模型在注意力分配上面临的内生共性缺陷？

本文切入的角度是从生成式自注意力机制的微观注意力分布切入，跨越五种截然不同的非文本模态，建立规范的注意力主导权与资源转换效率评估基准，并揭示其背后的动态演化机制。核心 idea：文本主导本质上并非预训练赋予的静态模态偏好，而是非文本模态因Token严重冗余稀释有效权重所导致的动态注意力失衡；通过对非文本Token进行语义保真的显著性压缩，能够直接遏制注意力稀释并恢复多模态注意力的均衡协同。

方法详解¶

整体框架¶

本文构建了面向多模态大模型的跨模态注意力探测与重平衡方法体系。整个流程主要包含三大环节：首先，在自回归解码生成过程中提取输出Token对各模态输入Token的注意力权重，通过模态主导指数（MDI）与注意力效率指数（AEI）双指标解耦绝对主导权与单位Token注意力转换效率；其次，通过对不同网络深度、模态融合架构（浅层线性投影 vs. 深层交叉融合）以及Token缩放倍率的系统对照，剖析注意力稀释、架构放大与Prompt引导三大致因；最后，针对注意力稀释根因，引入基于视觉编码器[CLS]注意力引导的动态Token剪枝方案，在推理期滤除语义低密度Token，从输入端重构跨模态注意力的均衡分配。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态异构输入<br/>文本 T 与非文本 O"] --> B["自回归生成过程<br/>提取层级自注意力权重"]
    B --> C["跨模态注意力度量体系<br/>解耦计算 MDI 与 AEI 指标"]
    C --> D["模态主导动因归因分析<br/>冗余稀释 / 架构深度 / 任务Prompt"]
    D --> E["CLS引导的动态Token剪枝<br/>自适应压缩非文本冗余Token"]
    E --> F["重平衡多模态协同推理<br/>MDI趋近1.0恢复跨模态效能"]

关键设计¶

1. 跨模态注意力度量体系：MDI 与 AEI 双指标解耦主导权与资源效率 为了摆脱以往仅依靠黑盒消融实验或输出置信度间接推断模态依赖的局限，本文直接从Transformer自注意力图谱入手。给定输入序列中的文本Token集合 \(\mathcal{T}\) 和非文本Token集合 \(\mathcal{O}\)，设模型在自回归生成 \(N\) 个输出Token期间分配给文本与非文本模态的归一化累计注意力得分分别为 \(A_T\) 与 \(A_O\)（满足 \(A_T + A_O = 1\)）。由于不同模态在分词后Token数量差异悬殊，单纯统计累计注意力无法反映各模态的真实单位影响力。因此，本文提出了模态主导指数（Modality Dominance Index, MDI）：

\[MDI = \left(\frac{A_T}{|\mathcal{T}|}\right) \cdot \left(\frac{A_O}{|\mathcal{O}|}\right)^{-1}\]

MDI大于1代表文本模态占据单Token主导地位，小于1代表非文本模态占优，趋近1则代表两种模态在单位Token层级达成平权。然而，若某种模态以极高的Token基数分流注意力，其宏观资源捕获效率依然可能被掩盖。为此，本文设计了注意力效率指数（Attention Efficiency Index, AEI），将文本模态的注意力捕获份额 \(P_T = \frac{A_T}{A_T + A_O}\) 与其在输入中所占的Token规模比例 \(Q_T = \frac{|\mathcal{T}|}{|\mathcal{T}| + |\mathcal{O}|}\) 进行比值归一化：

\[AEI_T = \frac{P_T}{Q_T} = \frac{A_T / (A_T + A_O)}{|\mathcal{T}| / (|\mathcal{T}| + |\mathcal{O}|)}\]

AEI大于1表明文本模态以不成比例的高效转换率汲取了模型的计算资源。MDI侧重衡量生成过程到底被谁所主导，而AEI则量化了各模态在受限Token预算下的注意力转换生产力，二者配合构成了刻画跨模态注意力动态分布的完备度量。

2. 模态主导动因分析：Token冗余稀释、融合架构与指令导向三维归因 通过跨模态测量，本文揭示了造成文本主导的三大核心机制。第一，Token冗余引发的注意力稀释（Attention Dilution）是非文本模态被边缘化的主因。视频按帧抽取、音频按梅尔谱分块、时间序列按窗口切片都会产生数十倍于文本的Token数量，导致信息密度被严重摊薄；在Softmax归一化的全连接注意力竞争中，语义高度紧凑的文本Token迅速抢占显著性峰值，使得非文本Token权重被指数级稀释。第二，融合架构设计反向加剧偏差。对比采用简单线性投影的LLaVA-1.5与采用深层MLP视觉语言融合模块的Qwen2.5-VL可以发现，深层融合网络虽然增强了特征交互，却在深层进一步放大了文本的单Token主导权重，使MDI大幅攀升。第三，任务Prompt对推理逻辑的隐式锚定。在音频情感识别或时间序列推理中，任务目标、归一化参数与约束指令均由自然语言承担，大模型内生的文本先行解码惯性自然将核心推理路径锚定在提示词上，即使非文本Token成倍复制，模型分配给文本的相对关注反而不减反增。

3. [CLS]注意力引导的动态Token剪枝：自适应重平衡跨模态注意力密度 既然文本主导主要源于非文本模态Token冗余引发的注意力稀释，最直接且优雅的解法不是强行重训练，而是提高非文本特征的信息密度。本文采用冻结视觉编码器中的全局语义 [CLS] Token作为显著性评估器。设视觉Transformer提取的 \(N\) 个视觉Token为 \(V = \{v_1, \ldots, v_N\}\)，计算每个Token与 [CLS] 之间的注意力权重作为重要性评分：

\[s_i = \mathrm{Attn}([\mathrm{CLS}], v_i)\]

对于给定的计算预算 \(R\)（或剪枝压缩率 \(r\)），动态自适应阈值 \(\tau\) 满足：

\[\tau = \min\left\{\tau \mid \left|\left\{a \in a_{[\mathrm{CLS}]} \mid a \ge \tau\right\}\right| \le N \times (1 - R)\right\}\]

模型仅保留评分最高的前 \(M = N(1 - r)\) 个核心视觉Token，构建压缩后的视觉输入序列 \(V' = \{v'_1, \ldots, v'_M\}\)。这种剪枝策略直接削减了非文本Token集合基数 \(|\mathcal{O}|\)，显著压缩了非文本输入的背景噪声，使得保留下来的关键视觉Token在与文本Token竞争时具备可比的语义密度，从源头上遏制了注意力被过度稀释的病态现象。

一个完整示例¶

以 LLaVA-1.5-7B 处理 MMMU-Pro 图像推理样本为例： 1. 未压缩基线：输入包含 32 个指令文本 Token 和 576 个视觉 Patch Token。在自回归生成后期，文本平均单 Token 注意力权重达到视觉 Token 的 17.37 倍（Late MDI = 17.37），文本注意力效率 AEI 达到 4.23。尽管视觉 Token 占据了全序列超 94% 的长度，模型的推理依据几乎被提示词语义全面覆盖，视觉特征被边缘化为低权重背景。 2. [CLS] 引导显著性打分：在视觉编码器最后一层，提取 [CLS] Token 对 576 个视觉 Token 的自注意力分布向量 \(a_{[\mathrm{CLS}]}\)。 3. 90% 压缩率剪枝：设定剪枝率 \(r = 90\%\)，自适应截断保留排名前 58 个最具全局语义代表性的视觉 Token，其余 518 个冗余背景 Token 直接丢弃。 4. 重平衡推理输出：压缩后送入语言模型骨干，中间层 MDI 从未压缩的 10.23 骤降至 1.10，末层 MDI 降至 1.84；末层 AEI 从 4.23 同步降至 1.17。文本模态不再绝对压制视觉模态，二者在注意力空间形成均衡协作。

损失函数 / 训练策略¶

本文提出的基于 [CLS] 注意力引导的 Token 剪枝策略（FasterVLM 范式）为完全免训练（Training-free）的推理期即插即用方法，无需对多模态大模型的视觉编码器、投影层或语言骨干进行任何梯度更新或参数微调。剪枝操作完全在视觉特征输入语言模型前的特征预处理阶段完成，严格依据预训练 ViT 中固有的自注意力几何结构截断低显著性 Token。在跨模态任务评测中，基线模型仅通过调整压缩率超参数 \(r \in \{75\%, 90\%, 95\%\}\) 即可实现注意力重平衡，既显著降低了自注意力计算复杂度，又有效抑制了文本模态的注意力垄断。

实验关键数据¶

主实验¶

本文针对图像（MMMU-Pro）、视频（MMBench-Video）、音频（IEMOCAP）、多元时间序列（TimeSeries-Reasoning）和拓扑图（GraphGPT-Eval-Instruction）五大多模态场景下的主流模型，统计了早期（前2层）、中期（中间2层）和后期（最后2层）的 MDI 与 AEI 指标，并在非文本模态进行了 \(\times 1\)、\(\times 5\)、\(\times 10\) Token 复制对照实验：

模型	模态	评测基准/配置	早期 MDI	早期 AEI	中期 MDI	中期 AEI	后期 MDI	后期 AEI
Qwen2.5-VL-7B	图像	MMMU-Pro	2.26	14.24	21.12	10.86	33.10	1.42
Qwen2.5-VL-32B	图像	MMMU-Pro	3.84	2.82	54.96	21.88	26.03	13.95
Qwen2.5-VL-72B	图像	MMMU-Pro	9.33	6.15	92.21	60.43	24.46	14.60
LLaVA-1.5-7B	图像	MMMU-Pro	1.58	1.04	10.23	3.51	17.37	4.23
Kimi-VL-A3B-Instruct	图像	MMMU-Pro	2.27	3.91	3.78	2.99	28.39	2.59
Qwen2.5-VL-7B	视频	MMBench-Video	10.72	9.60	74.13	41.78	86.95	47.84
VideoLLaMA3-7B	视频	MMBench-Video	19.14	17.90	140.10	73.75	157.53	76.26
Qwen2-Audio-7B-Instruct	音频	IEMOCAP \(\times 1\)	1.02	1.32	3.24	1.99	1.16	1.08
Qwen2-Audio-7B-Instruct	音频	IEMOCAP \(\times 5\)	2.65	2.56	8.09	5.17	6.73	4.31
Qwen2-Audio-7B-Instruct	音频	IEMOCAP \(\times 10\)	2.80	2.50	10.10	5.46	8.70	5.09
ChatTS-14B	时序	TimeSeries-Reasoning \(\times 1\)	1.52	1.19	4.37	1.40	3.52	1.37
ChatTS-14B	时序	TimeSeries-Reasoning \(\times 5\)	2.08	1.95	10.72	3.15	9.28	3.03
ChatTS-14B	时序	TimeSeries-Reasoning \(\times 10\)	2.36	2.67	20.70	5.37	16.25	5.13
GraphGPT-7B	图谱	GraphGPT-Eval \(\times 1\)	0.14	0.84	0.14	0.84	0.20	0.90
GraphGPT-7B	图谱	GraphGPT-Eval \(\times 5\)	0.20	0.69	0.35	0.83	0.69	0.98
GraphGPT-7B	图谱	GraphGPT-Eval \(\times 10\)	0.31	0.71	0.68	0.97	1.35	1.14

消融与分析实验¶

在 LLaVA-1.5-7B 模型与 MMMU-Pro 图像基准上，应用 [CLS] 引导的视觉 Token 压缩（FasterVLM）在不同压缩率下的层级 MDI 与 AEI 指标变化如下表所示：

方法	压缩率 (\(r\))	早期 MDI	早期 AEI	中期 MDI	中期 AEI	后期 MDI	后期 AEI	状态说明
LLaVA-1.5-7B (基线)	0%	1.58	1.04	10.23	3.51	17.37	4.23	显著文本主导，后期注意力严重倾斜
FasterVLM	75%	0.57	0.71	1.81	1.33	3.39	1.64	文本主导大幅缓解，MDI快速下降
FasterVLM	90%	0.57	0.80	1.10	1.03	1.84	1.17	最优平衡区间，中期与后期均接近平衡
FasterVLM	95%	0.48	0.82	0.86	0.97	3.39	1.64	早期非文本轻微反超，末层略有回升

关键发现¶

深层注意力向文本极化：在图像与视频任务中，MDI 随网络层深呈现出强烈的递增趋势。Qwen2.5-VL-7B 的 MDI 从前期的 2.26 飙升至后期的 33.10；VideoLLaMA3-7B 的后期 MDI 更是高达 157.53（AEI = 76.26），意味着输出端单文本 Token 吸收的注意力达到单视频帧 Token 的 157 倍以上，绝大多数视觉特征在生成阶段被边缘化。
Token 规模放大会成倍加剧失衡：在音频和时间序列实验中，保持文本提示不变，人为将非文本 Token 复制 5 倍与 10 倍，并不会提升非文本模态的影响力，反而诱发了更为剧烈的文本主导——ChatTS-14B 的后期 MDI 从 3.52 攀升至 16.25，Qwen2-Audio-7B 的后期 MDI 从 1.16 升至 8.70。这证明了非文本信息基数越大，单 Token 的语义被稀释得越严重。
图模态反转验证了“信息密度假说”：GraphGPT-7B 在标准配置下 MDI 仅为 0.20（图模态占据主导地位），因为该场景下图结构高度凝练、Token 数极少而语义密度高；但当图 Token 被无语义复制 10 倍后，MDI 顺势突破平衡线跃升至 1.35，转变为文本主导。这强有力地驳斥了“模型偏好由预训练固定决定”的旧认知，证实注意力偏好是由输入结构与信息密度动态调控的。
剪枝重平衡的有效性：通过 90% 的免训练视觉 Token 压缩，LLaVA-1.5-7B 的后期 MDI 从 17.37 剧降至 1.84，中期 MDI 达到 1.10，末层 AEI 降至 1.17，有效恢复了各模态的平权协同。

亮点与洞察¶

首次将文本模态主导现象从图文扩展至视频、音频、时序及图拓扑五大维度，建立了统一的 MDI 与 AEI 微观注意力度量标准，摆脱了以往仅凭消融精度粗糙推测模态偏差的局限。
提出了“注意力稀释理论”（Attention Dilution），指出非文本模态由于空间 patch 或时间窗口切片带来了严峻的 Token 膨胀，其低信息密度在全连接注意力竞争中天然处于劣势，而文本的高语义紧凑度使其占据了主导地位。
巧妙证明了模态主导性的“动态可逆性”：在图任务中通过复制稀释可将非文本主导逆转为文本主导，而在视觉任务中通过 Token 剪枝可将文本绝对主导拉回均衡，为未来设计免训练的跨模态输入适配器提供了清晰的指导准则。

局限与展望¶

实验中验证的 Token 压缩主要集中在视觉模态的 [CLS] 引导剪枝，尚未将针对性的结构化压缩算法扩展验证至高维视频流、音频频谱或时序序列。
评估主要依赖微观注意力权重分布（MDI/AEI），虽然揭示了内部计算分配，但缺乏对各模态信息因果阻断与最终任务准确率之间多维度非线性关联的深入建模。
未来方向包括探索兼顾高语义密度的跨模态自适应融合架构，以及重构任务 Prompt 范式以减少模型对自然语言指导的刚性依赖。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次跨越五大模态系统化量化文本主导现象，提出 MDI/AEI 双指标并揭示注意力稀释根因。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个顶尖模型、5 大异构模态基准，设计了网络层深、Token 复制及剪枝消融等多维实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照自洽，机制分析层层递进。
价值: ⭐⭐⭐⭐⭐ 彻底澄清了多模态大模型模态失衡的物理本质，为后续架构设计与推理加速重平衡提供了坚实基础。