Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models¶
会议: NeurIPS 2026
arXiv: 2505.19616
领域: 多模态大模型
关键词: 多模态大语言模型, 模态干扰, 因果干预, 对抗扰动, 一致性正则化
一句话总结¶
针对多模态大语言模型难以甄别任务无关虚假信号的“跨模态胜任力”缺陷，本文基于因果干预框架系统诊断了模态干扰现象，并提出结合跨模态掩码对抗扰动与预测一致性正则化的统一微调方案，在大幅提升单模态鲁棒性的同时保持并增强了多模态基准表现。
研究背景与动机¶
多模态大语言模型（MLLMs）通过视觉编码器与大型语言模型的对齐融合，在多模态理解与推理任务上取得了突破性进展。然而在优异的多模态基准评测背后，模型在单模态诊断场景（即只需单一模态即可求解的任务）中暴露出脆弱性：例如面对纯视觉分类任务时若掺入无关或误导性文本，或者在纯文本常识推理中加入不相干的图像干扰，模型的预测准确率常发生雪崩式下降。这表明 MLLMs 在推理过程中严重缺乏区分“任务相关”与“任务无关”信号的能力，极易受到虚假模态线索的误导。
以往研究通常将这一问题归咎于孤立的对齐阶段缺陷，例如多模态微调破坏视觉特征的灾难性遗忘、图文参数记忆不一致导致的跨模态知识冲突，或是表层图文特征的虚假关联等。然而这些分析彼此割裂，未能从统一的推断机制层面解释模型为何在推理时无法按需过滤干扰模态。实际上，这种脆弱性源于 MLLMs 缺乏系统性的“跨模态胜任力（Cross-Modality Competency）”，即无法在统一表征空间内公平评估不同模态对当前任务的因果贡献，导致任务无关模态的非必要信号在决策层发生深度干扰。
为了从根本上诊断并根治该问题，本文提出基于因果干预的系统性诊断基准与防御策略。通过在因果图中对非必要输入施加受控扰动，量化模型的决策转移概率，进而建立能够同时对抗表层启发式噪声与嵌入空间最坏情况扰动的统一训练框架。核心 idea：将模态干扰抽象为因果图中的非因果通路偏差，通过构建结合任务无关模态特定掩码的嵌入级对抗扰动与图文数据增强，并引入输出层预测分布的一致性正则化约束，强制模型切断虚假跨模态因果依赖。
方法详解¶
整体框架¶
本文的方法流程旨在增强模型决策对于真实因果路径（纯视觉路径 \(X_I \to Z_I \to A\) 或纯文本路径 \(X_T \to Z_T \to A\)）的依赖，消除来自无关干扰模态的直接因果效应。系统包含三大核心阶段：首先是构建包含单模态与多模态样本的数据混合体，并在输入端注入启发式扰动；其次在多模态嵌入空间中，利用针对任务无关模态的二值掩码生成最大化分类损失的对抗扰动，以模拟最坏情况下的模态表征失真；最后在预测层对干净样本与扰动样本计算一致性正则化损失，约束模型预测分布在输入受扰时保持恒定不变。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入样本<br/>(图像 X_I, 文本 X_T)"] --> B["多任务启发式扰动增强<br/>注入无关事实/误导描述/背景噪声"]
B --> C["模态特定掩码对抗扰动<br/>在嵌入空间沿无关模态梯度上升"]
C --> D["双路自回归监督训练<br/>标准交叉熵损失 L_sft + 对抗损失 L_adv"]
C --> E["分布级一致性正则化<br/>原始样本与扰动样本的 JS/KL 散度约束"]
D --> F["鲁棒预测输出 A"]
E --> F关键设计¶
1. 多任务启发式扰动数据构建：建立因果不变性基底 传统的全微调往往全盘使用图文平衡的 VQA 数据，导致模型隐式假定所有输入的视觉与文本 token 均对答案有同等贡献。为了打破这种伪对齐先验，本文将训练混合数据显式划分为三部分：视觉主导的图像任务 \(\mathcal{D}^{\text{img}}\)、文本主导的推理任务 \(\mathcal{D}^{\text{text}}\) 以及标准的平衡任务 \(\mathcal{D}^{\text{VQA}}\)。对于 \(\mathcal{D}^{\text{img}}\)，在保持图像不变的前提下，在文本端注入不相关科学事实或误导性选项描述；对于 \(\mathcal{D}^{\text{text}}\)，则在纯文本题目上挂载语义真实的无关图像或纯黑/纯白画布。这种构造生成了成对的原型样本与扰动样本，强制模型在自回归微调中学习到即使干扰模态充斥虚假线索，真值标签依然仅由有效因果模态决定。
2. 模态特定掩码对抗扰动：挖掘隐空间最坏情况干扰 启发式输入扰动虽然直观，但其多样性受限于人工规则，难以覆盖高维连续表征空间中更隐蔽的跨模态虚假相关。为此，本文在多模态 token 嵌入层 \(\mathbf{E} \in \mathbb{R}^{L \times d}\) 设计了一种定制化的对抗扰动策略。与传统无差别破坏所有 token 的 PGD 不同，本文引入了一个因果解耦的二值模态掩码 \(M \in \{0, 1\}^{L \times d}\)，将扰动严格限制在当前任务的非必要模态 token 上（例如对图像分类只扰动文本 token，对纯文本问答只扰动视觉 token）： $\(\tilde{\mathbf{E}} = \mathbf{E} + \delta \odot M\)$ 同时，取消了传统 PGD 粗糙的符号函数更新，采用原始梯度进行平滑的多步投影梯度下降更新： $\(\delta^{(t+1)} = \Pi_{\|\delta\|_\infty \le \epsilon} \Big( \delta^{(t)} + \alpha \cdot \nabla_\delta \mathcal{L}_{\text{cls}}(f(\mathbf{E} + \delta^{(t)} \odot M)) \Big)\)$ 该设计不仅避免了盲目扰动破坏有效模态的关键特征，还能针对性诱导模型暴露由于浅层跨模态投影产生的最脆弱对齐连接。
3. 跨扰动预测一致性正则化：锚定决策流形稳定性 单纯依赖对抗训练可能迫使模型陷入复杂的分类边界过拟合，而未直接约束中间表征对于扰动的敏感度。本文在原始输入 \(x\) 与受扰副本 \(\tilde{x}\) 之间施加预测分布级的一致性正则化，迫使两者的输出概率分布保持吻合。通过在 token 级别的未归一化 logits 上应用带温度系数 \(\tau\) 的 Jensen-Shannon (JS) 或 Kullback-Leibler (KL) 散度，惩罚模型在面对无关模态漂移时产生的置信度波动： $\(\mathcal{L}_{\text{consistency}} = \frac{1}{L_A} \sum_{i=1}^{L_A} \sum_{v=1}^V \text{softmax}\!\left(\frac{l_i^{\text{orig}}}{\tau}\right)_v \cdot \log \frac{\text{softmax}\!\left(\frac{l_i^{\text{orig}}}{\tau}\right)_v}{\text{softmax}\!\left(\frac{l_i^{\text{pert}}}{\tau}\right)_v}\)$ 该约束直接将表征不变性引导至最终决策路径，确保模型在受到严重噪声干扰时，其输出仍然稳定地扎根于有效因果通道。
损失函数 / 训练策略¶
模型的总优化目标由三项联合驱动：原始样本与启发式扰动样本的自回归交叉熵损失 \(\mathcal{L}_{\text{sft}}\)、针对掩码对抗样本的对抗分类损失 \(\mathcal{L}_{\text{adv}}\)，以及衡量原始样本与全部扰动版本之间分布距离的一致性损失 \(\mathcal{L}_{\text{consistency}}\)： $\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{sft}} + \mathcal{L}_{\text{adv}} + \lambda_{\text{cons}} \cdot \mathcal{L}_{\text{consistency}}\)$ 训练阶段采用全量微调，冻结预训练视觉编码器（在 InstructBLIP 系列中同时冻结易过拟合的 Q-Former），仅微调投影层与语言模型基座。默认对抗迭代轮数设为 \(T=2\) 步（步长 \(\alpha=0.1\)，扰动界 \(\epsilon=10^{-3}\)），一致性损失权重设为 \(\lambda_{\text{cons}}=0.01\)，温度 \(\tau=1.0\)。
实验关键数据¶
主实验¶
论文在图像主导任务（Mini-ImageNet、Caltech-101）、文本主导任务（OpenBookQA、MMLU）及标准多模态 VQA 基准（ScienceQA、MM-Bench、Seed-Bench）上进行了系统评测。在单模态任务中，重点对比原始输入（Orig）与施加最严苛模态干扰（Perturbed）下的准确率：
| 模型与配置 | Mini-Img (Orig) | Mini-Img (Perturb) | Caltech-101 (Orig) | Caltech-101 (Perturb) | OBQA (Orig) | OBQA (Perturb) | MMLU (Orig) | MMLU (Perturb) | MM-Bench (VQA) | Seed-Bench (VQA) |
|---|---|---|---|---|---|---|---|---|---|---|
| LLaVA-1.5-7B (Vanilla) | 95.3 | 43.5 | 97.0 | 57.4 | 62.4 | 56.4 | 46.3 | 45.2 | 64.3 | 63.4 |
| + CoT | 81.7 | 28.9 | 80.9 | 36.0 | 38.8 | 38.9 | 39.6 | 38.7 | 65.2 | 64.1 |
| + VLMClassifier-1 | 15.1 | 0.0 | 15.6 | 0.0 | 61.5 | 61.5 | 47.8 | 47.5 | 36.2 | 35.9 |
| + Ours | 98.6 | 98.4 | 99.3 | 98.9 | 81.8 | 81.0 | 51.5 | 51.0 | 73.1 | 64.6 |
| LLaVA-1.5-13B (Vanilla) | 95.6 | 73.0 | 97.9 | 77.4 | 65.9 | 63.8 | 51.8 | 50.8 | 72.1 | 64.5 |
| + I-MoF | 93.9 | 70.1 | 97.8 | 80.9 | 69.2 | 64.5 | 46.2 | 39.1 | 73.0 | 66.6 |
| + Ours | 98.5 | 98.4 | 99.2 | 98.6 | 83.0 | 82.1 | 56.6 | 55.8 | 73.7 | 68.4 |
| Qwen2.5-VL-7B (Vanilla) | 99.3 | 96.3 | 99.1 | 97.2 | 85.9 | 77.5 | 69.3 | 63.7 | 86.6 | 77.0 |
| R1-OneVision-7B (Thinking) | 98.2 | 87.7 | 96.5 | 84.7 | 81.2 | 77.6 | 63.2 | 60.8 | 85.4 | 76.3 |
| + Ours | 99.6 | 99.5 | 99.6 | 99.7 | 90.9 | 89.7 | 69.8 | 68.2 | 87.0 | 78.3 |
消融实验¶
为了量化启发式增强、正则化项与对抗微调的独立贡献，论文在跨模型尺度上进行了详尽消融（以 VQA 加权综合指标及单模态鲁棒性为代表）：
| 模型与消融配置 | ScienceQA-IMG | MM-Bench-EN | Seed-Bench-IMG | VQA Overall | Caltech-101 (Orig/Perturb) | MMLU (Orig/Perturb) |
|---|---|---|---|---|---|---|
| LLaVA-1.5-7B (Vanilla) | 64.5 | 64.3 | 63.4 | 63.8 | 97.0 / 57.4 | 46.3 / 45.2 |
| + FFT with \(\mathcal{D}^{\text{VQA}}\) | 61.6 | 71.4 | 62.4 | 64.0 | 96.2 / 46.3 | 46.8 / 45.6 |
| + FFT with \(\mathcal{D}^{\text{AUG}}\) | 65.4 | 71.1 | 63.9 | 65.6 | 98.5 / 98.6 | 51.1 / 50.7 |
| + JS Regularization | 63.8 | 73.5 | 63.7 | 65.6 | 99.1 / 99.0 | 52.0 / 51.8 |
| + ADV (Masked PGD) | 66.7 | 71.4 | 63.6 | 65.7 | 98.7 / 98.5 | 50.6 / 50.3 |
| Ours (Full Combined) | 67.8 | 73.1 | 64.6 | 66.8 | 99.3 / 99.0 | 51.5 / 51.0 |
| InstructBLIP-7B (Vanilla) | 52.1 | 65.5 | 54.8 | 56.4 | 90.3 / 17.5 | 35.3 / 35.2 |
| + FFT with \(\mathcal{D}^{\text{AUG}}\) | 65.4 | 71.1 | 61.2 | 63.9 | 99.0 / 56.1 | 50.0 / 49.7 |
| InstructBLIP-7B (Ours) | 64.0 | 71.4 | 63.0 | 64.8 | 99.2 / 98.3 | 50.2 / 49.7 |
关键发现¶
- 启发式增强与对抗扰动具备强互补性：仅使用启发式增强 \(\mathcal{D}^{\text{AUG}}\) 时，模型面对已见扰动表现良好，但在面对未见分布（如 FUNSD 实际扫描文档 OCR 噪声与 RICO 移动端 UI 截图）时容易崩塌；引入隐空间对抗扰动后，模型在真实分布外扰动下的留存率大幅提升（如 InstructBLIP-7B 在 Caltech-101 面对 OCR 噪声时从 83.6% 跃升至 99.0%）。
- 模态掩码对于防止多模态语义坍缩不可或缺：若在所有模态上无差别施加对抗噪声（No Mask 消融），LLaVA-1.5-7B 的 VQA Overall 准确率从 66.8% 跌落至 61.5%，且在 OpenBookQA 面对 UI 截图时断崖式下降至 62.7%（有掩码版为 81.8%），证明无差别噪声会破坏关键模态的原生语义信息。
- 显式推理链（Thinking / CoT）无法自发消除模态干扰：即使是具备长思维链特性的 R1-OneVision-7B，在被误导性文本干扰时，Caltech-101 准确率依然从 96.5% 大跌至 84.7%；分析其思考痕迹发现，模型往往过度脑补、基于干扰模态产生详尽的幻觉解释，反而加深了错误决策。
亮点与洞察¶
- 将表层对齐冲突提升至因果干预抽象：不再纠结于灾难性遗忘或浅层 projector 表达力受限等经验性猜想，而是从因果图角度将模态干扰明确表述为非因果通路的直接干扰效应，提供了清晰可证伪的形式化分析工具。
- 平滑无符号梯度 + 模态特定掩码的对抗训练技巧：打破了离散文本攻击与传统连续图像 PGD 之间的壁垒，在多模态共享嵌入层直接根据任务类型施加掩码约束并采用连续梯度更新，既保证了对抗样本的自然度，又精确模拟了最坏情况下的跨模态解耦破坏。
- 兼顾单模态高韧性与多模态通用能力的帕累托改进：以往针对视觉纯分类强化的方案（如 VLMClassifier）几乎以牺牲多模态 VQA 为代价，而本文通过多任务配比与一致性约束，在实现 98%+ 扰动保留率的同时，反哺了 VQA 主流基准的平均准确率。
局限与展望¶
- 粗粒度模态划分与动态注意力跟踪的欠缺：当前研究主要从“图像主导”与“文本主导”的宏观二元划分出发，尚未深入探讨复杂交织任务中 token 级别的动态模态归因机制。
- 对抗边界与真实语义畸变的鸿沟：基于 \(\ell_\infty\) 范数约束的嵌入层扰动属于连续空间的几何探针，虽然泛化能力强，但并不能完全等价于现实世界中高层语义层面的逻辑对抗或深度对抗图文配对。
- 计算开销权衡：虽然对抗训练仅增加前向计算而不引入额外的优化器反向更新，但在百亿级大模型上微调仍带来约 1.3-1.6 倍的时间开销，未来可探索轻量化的 LoRA 级对抗正则化适配器。
相关工作与启发¶
- vs VLMClassifier (Zhang et al., 2024): VLMClassifier 针对图像分类退化采用纯视觉微调，导致模型在多模态 VQA 任务上断崖式下跌（MM-Bench 降至 36% 左右）；本文通过保持多任务混合与双向模态扰动正则化，实现了单模态鲁棒性与多模态 VQA 能力的协同提升。
- vs I-MoF (Tong et al., 2024): I-MoF 试图通过融合多源视觉编码器（CLIP + DINOv2）提升视觉表征丰富度，但在面临恶意文本干扰时依然大幅掉点（LLaVA-13B 从 93.9% 掉至 70.1%）；本文表明仅增强表征编码是不够的，必须在决策层显式约束跨模态因果依赖。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ (从因果干预视角统一解释跨模态干扰，设计了模态掩码嵌入对抗与一致性微调)
- 实验充分度: ⭐⭐⭐⭐⭐ (覆盖 3 个模型家族、3B 至 110B 跨尺度模型，涵盖单模态、VQA、分布外 OCR/UI 噪声和思维链对比)
- 写作质量: ⭐⭐⭐⭐⭐ (因果建模表述清晰，实验对比扎实，消融设计完备)
- 价值: ⭐⭐⭐⭐⭐ (为提升开源 MLLM 在真实开放环境下的稳健部署提供了极具实用价值的训练范式)