跳转至

FusionAudit: Pathway-Conditioned Robustness Auditing for Native Multimodal Models

会议: NeurIPS 2026
arXiv: 2610.21667
论文: https://arxiv.org/abs/2610.21667
领域: 多模态VLM
关键词: 原生多模态模型, 鲁棒性审计, 通路条件化风险, 边际感知扰动, 宿主一致性注入

一句话总结

针对原生多模态模型跨模态深层融合带来的防御机理变化，本文提出通路条件化鲁棒性审计框架 PaRMA 与 FusionAudit，揭示了传统 PGD 梯度稀释缺陷与排版文字“看见却不上当”的视觉排异特征，并设计针对性攻击算法 MANTIS 与 Nat-Evid，对 18 个开源 VLM 全面曝光了被传统单标量评测掩盖的显著残余风险。

研究背景与动机

视觉语言模型（VLM）正经历从早期“冻结视觉编码器 + 线性投影层/瓶颈连接器 + 预训练大语言模型”的模块化架构，向多层视觉特征注入乃至端到端早期融合统一骨干网络（Early-Fusion / DeepStack）的原生多模态架构（Native Multimodal Models）全面演进。在原生融合架构下，视觉 token 与文本 token 从早期层便在统一表征空间中共同参与自注意力交互，像素信息、图像内嵌文本以及用户指令形成全方位的直接竞争。然而，现有的多模态对抗鲁棒性评测体系严重滞后于这一架构变迁，仍沿用单一攻击方法或静态基准测试套件，暴露出两个致命的认知盲区。

在纯像素扰动通路（\(\pi_{\text{pix}}\)）上，传统攻击要么仅锚定在视觉编码器输出特征处而无视解码器反传梯度，要么直接使用端到端 PGD 在完整输出答案序列上均匀分摊交叉熵梯度，导致在模型做出错误决策的关键判定位置梯度压力被严重稀释；而在渲染文本注入通路（\(\pi_{\text{txt}}\)）上，传统研究往往简单地将错误答案作为印刷体横幅贴在画面上方，但在原生多模态模型中，注意力诊断显示模型虽然对叠加排版文字投射了极高注意力，但在任务生成阶段却表现出极强的视觉排异（Visual Rejection）能力——即“看见了却不上当”（See-but-not-deceived），使得传统排版注入产生虚假的鲁棒性表象。

面对上述问题，鲁棒性评测不能停留在无序罗列攻击算法的静态排行榜，而必须转向可证伪、具备行为与梯度诊断能力的证据驱动型审计方法。本文的核心 idea 是：将视觉通道解耦为像素扰动与渲染文本两条独立通路，基于诊断发现的“序列梯度稀释”与“排版视觉排异”机制，分别设计靶向首分歧 token 的边际优化攻击（MANTIS）与融入图像语义的宿主一致性排版注入（Nat-Evid），以此构建通路条件化鲁棒性审计框架 PaRMA，精确度量原生 VLM 的残余通路完整风险下界。

方法详解

整体框架

本文提出的 PaRMA（Pathway-conditioned Risk for Multimodal Auditing）框架及其实现系统 FusionAudit，旨在系统化地揭示原生多模态模型在视觉信道上的漏洞。框架首先建立了一套覆盖 \(\text{L}_1\)（对齐期瓶颈模型）、\(\text{L}_2\)（浅层原生融合模型）到 \(\text{L}_3\)（深层堆叠/早期融合原生模型）的架构原生性分类轴（Nativeness Taxonomy）。对于给定的多模态输入图像 \(x_v\) 和固定指令文本 \(x_t\)，评测完全严格条件化在模型的干净样本正确子集 \(\mathcal{C}_\theta(\mathcal{D})\) 上。

审计管线分为三个有机衔接的阶段：首先通过基线攻击套件（Vis-PGD、End-PGD、Typo-Evid）探测初始失效情况，并收集读-用差距（RUG）与图层注意力重合比（OAR）等细粒度诊断指标；随后根据诊断出的失效特征触发针对性增强算法——针对像素通路采用首个分歧 token 边际最大化的 MANTIS，针对文本通路采用保留背景语义一致性的 Nat-Evid 图像编辑生成；最后计算融合双通路的联合失效并集，输出经过强化的残余通路完整风险估计值 \(\widehat{\mathcal{R}}^{+}_{\mathrm{FA}}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态干净正确样本对<br/>图像 xv 与固定提问 xt"] --> B["基线攻击与双通路探测<br/>Vis-PGD / End-PGD / Typo-Evid"]
    B --> C["通路行为与梯度诊断<br/>读-用差距 RUG 与注意力比值 OAR"]
    C --> D["边际感知首分歧点像素攻击<br/>MANTIS 聚焦关键判定 token"]
    C --> E["宿主一致性排版文本注入<br/>Nat-Evid 规避视觉排异效应"]
    D --> F["通路条件化联合风险估计<br/>计算双通路增强并集残余风险 R+"]
    E --> F

关键设计

1. 架构原生性分类体系与通路条件化风险测度：建立跨融合深度的形式化评测边界

为了克服将不同融合深度的模型混为一谈的局限，本文形式化定义了原生性三级梯队：\(\text{L}_1\) 包含以 LLaVA-1.5、BLIP-2 为代表的投影瓶颈架构，模态间计算严格隔离；\(\text{L}_2\) 包含 Qwen2-VL、Gemma3 等浅层前缀融合架构，视觉 token 经连接器映射后作为固定前缀输入单一 Transformer；\(\text{L}_3\) 则包含 Qwen3-VL（DeepStack 多层再注入）与 Gemma4-E4B、Qwen3.5 等早期端到端融合架构。

在风险度量上，框架将视觉空间划分为 \(\ell_\infty\) 像素扰动通路 \(\pi_{\text{pix}}\) 与字符串渲染通路 \(\pi_{\text{txt}}\)。对于包含攻击集合 \(\mathcal{A}_k\) 的通路体系，经验通路完整风险定义为所有攻击造成预测失效样本集的并集比例：

\[\widehat{\mathcal{R}}_{\mathrm{FA}}(f_{\theta};\mathcal{D},\mathcal{A})=\frac{\left|\bigcup_{k}\bigcup_{a\in\mathcal{A}_{k}}\mathcal{S}_{a}\right|}{|\mathcal{C}_{\theta}(\mathcal{D})|}\]

其中 \(\mathcal{S}_a\) 为攻击 \(a\) 在干净正确集合 \(\mathcal{C}_\theta(\mathcal{D})\) 上诱发的错误样本集合。该测度天然构成真实风险的严格经验下界，并通过后续诊断驱动的增强攻击单调提升这一紧致度。

2. 读-用差距（RUG）与图层注意力重合比（OAR）：诊断“看见却不上当”的视觉排异机制

传统排版水印攻击（Typo-Evid）直接在图像上覆盖显眼的错误文本横幅。为了探究原生多模态模型对该类扰动的真实反应，本文设计了两个互补的内在机制诊断工具：

  • 读-用差距（Read-Use Gap, RUG）：分别定义模型在显式 OCR 读取指令下的识别成功率 \(P_{\text{read}}(f_\theta)\)，以及在标准下游任务中采纳该错误文本的回答采纳率 \(P_{\text{use}}(f_\theta)\)。两者之差即表征可读性与采纳性之间的断层： $\(\mathrm{RUG}(f_{\theta})=P_{\mathrm{read}}(f_{\theta})-P_{\mathrm{use}}(f_{\theta})\)$
  • 图层注意力重合比（Overlay Attention Ratio, OAR）：设排版区域覆盖的图像 patch 索引集合为 \(\Omega \subset [N_v]\)，\(\bar{a}_j\) 为深层解码层中文字 token 对图像 patch \(j\) 的平均跨注意力权重。OAR 计算落入排版区域的相对注意力密度： $\(\mathrm{OAR}=\frac{\sum_{j\in\Omega}\bar{a}_{j}/\sum_{j=1}^{N_{v}}\bar{a}_{j}}{|\Omega|/N_{v}}\)$

实验发现，在 \(\text{L}_2\) 与 \(\text{L}_3\) 原生模型中，OAR 较干净图像暴增超过 130%（表明注意力被强烈吸引），同时 RUG 扩大至 +69.5%（能够精准识别文本内容，但回答时拒绝使用）。这一“看见却不上当”的信号证实了原生模型具有强大的视觉语境协调性，能将非原生的贴字判定为外来干扰，进而指导了必须采用宿主一致性生成的改进方向。

3. MANTIS 边际感知首分歧点像素攻击：破除端到端长序列梯度稀释

在深层融合模型中，端到端 PGD（End-PGD）通常最大化目标真值序列 \(y^+\) 上每个 token 的交叉熵之和。由于视觉扰动在长序列生成中存在衰减，且许多功能词与句式前缀在真伪答案中完全通用，全序列优化会平摊梯度压力。针对此缺陷，MANTIS 显式定位标准正确输出 \(y^+\) 与预先设定的规范错误输出 \(y^-\) 之间的首个分歧 token 坐标：

\[t^{\star}=\min\{t:y^{+}_{t}\neq y^{-}_{t}\}\]

MANTIS 将全部扰动预算集中在 \(t^\star\) 位置，优化错误 token 与正确 token 的对数概率边际：

\[\max_{\|\delta\|_{\infty}\leq\varepsilon}\Bigl[\log p_{\theta}(y^{-}_{t^{\star}}\mid\phi_{\text{pix}}(x_{v};\delta),x_{t},y^{-}_{<t^{\star}})-\log p_{\theta}(y^{+}_{t^{\star}}\mid\phi_{\text{pix}}(x_{v};\delta),x_{t},y^{+}_{<t^{\star}})\Bigr]\]

通过在关键分水岭位置施加极其精准的对偶对抗压力，MANTIS 避开了前缀相同部分的无效梯度传播，使得对抗扰动能直接击穿深层视觉特征再注入的纠错防护。

4. Nat-Evid 宿主一致性排版注入：融合场景语境规避视觉排异

针对原生多模态模型对浮层外挂文字的排异防线，Nat-Evid 摒弃了刚性排版覆盖（\(\tilde{x}_v = \phi_{\text{txt}}(x_v; w, p)\)），转而通过语义引导的图像编辑变换 \(\hat{x}_v = \mathcal{E}(x_v; w)\) 实现排版自然化。该模块在严格冻结原始画面主体证据的前提下，利用指令编辑技术将错误答案文字 \(w\) 伪装渲染为图像原生的宿主载体——例如将图表中的轴标签、图例或自然场景中的广告牌、街景招牌进行伪造改写。由于注入信息在字体风格、光照、透视及纹理上与原图浑然一体，成功欺骗了深层多模态注意力判定层，将原本被视觉排斥的错误信息重新转化为被任务决策直接采纳的关键支撑证据。

实验关键数据

主实验

审计在涵盖 ChartQA、DocVQA 以及 MME 构成的 1500 样本平衡评测集上展开，严格基于 18 个开源 VLM 各自的干净正确子集 \(n_c\) 计算攻击成功率（ASR）与并集风险 \(\widehat{R}\)。

架构等级 代表模型 Clean 准确率 (%) Vis-PGD (%) End-PGD (%) MANTIS (%) MANTIS 独占增量 \(\delta\) (%) Typo-Evid (%) Nat-Evid (%) Nat-Evid 独占增量 \(\delta\) (%) 基线风险 \(\widehat{R}^0\) (%) 审计残余风险 \(\widehat{R}^+\) (%) 风险增量 (%)
\(\text{L}_1\) 对齐期 SmolVLM2-2.2B 61.2 52.7 80.4 99.5 13.4 17.2 30.9 22.2 86.7 100.0 +13.3
\(\text{L}_1\) 对齐期 BLIP2-OPT-2.7B 19.8 20.2 43.1 63.0 25.9 69.4 4.4 1.0 83.5 91.2 +7.7
\(\text{L}_1\) 对齐期 InstructBLIP-7B 26.5 60.5 70.5 98.0 11.8 10.8 6.0 3.0 87.7 99.5 +11.8
\(\text{L}_1\) 对齐期 LLaVA-1.5-7B 30.7 47.5 82.0 94.8 9.5 8.5 20.0 15.2 87.6 97.2 +9.6
\(\text{L}_1\) 均值 (4) 宏平均 34.5 45.2 69.0 88.8 15.2 26.5 15.3 10.4 86.4 97.0 +10.6
\(\text{L}_2\) 浅层融合 Qwen-VL-Chat 57.5 71.8 62.2 93.3 13.5 23.7 34.8 22.9 85.3 97.9 +12.6
\(\text{L}_2\) 浅层融合 Qwen2-VL-2B 72.4 17.8 65.9 66.9 16.7 31.3 38.3 22.7 74.5 89.8 +15.3
\(\text{L}_2\) 浅层融合 Qwen2.5-VL-3B 77.3 19.4 66.6 59.5 13.0 19.5 36.6 26.8 72.0 85.7 +13.7
\(\text{L}_2\) 浅层融合 Gemma3-4B 65.3 45.2 45.3 71.5 18.9 11.1 33.8 27.2 66.5 85.4 +18.9
\(\text{L}_2\) 浅层融合 Qwen2.5-VL-7B 80.1 13.3 45.4 59.0 25.2 15.6 33.9 24.3 54.2 79.5 +25.3
\(\text{L}_2\) 浅层融合 Gemma3-12B 73.6 38.1 35.7 69.5 22.5 14.1 34.0 25.1 60.2 81.5 +21.3
\(\text{L}_2\) 浅层融合 DeepSeek-VL-7B 52.9 79.2 58.0 96.3 13.5 31.1 29.9 16.8 87.9 99.2 +11.3
\(\text{L}_2\) 均值 (7) 宏平均 68.4 40.7 54.2 73.7 17.6 20.9 34.5 23.7 71.5 88.4 +16.9
\(\text{L}_3\) 深层融合 Qwen3-VL-2B 78.0 11.8 42.8 62.9 29.1 10.4 32.1 27.1 51.1 82.7 +31.6
\(\text{L}_3\) 深层融合 Qwen3-VL-4B 80.7 11.8 37.4 61.1 32.1 12.6 29.9 23.5 44.7 78.9 +34.2
\(\text{L}_3\) 深层融合 Qwen3-VL-8B 82.5 9.0 41.6 56.6 25.5 4.0 27.8 24.8 46.0 73.1 +27.1
\(\text{L}_3\) 深层融合 Qwen3.5-2B 77.7 9.4 39.9 61.9 31.3 13.5 31.2 22.1 46.5 78.0 +31.5
\(\text{L}_3\) 深层融合 Qwen3.5-4B 79.5 12.1 31.7 43.9 22.8 27.2 24.5 10.0 50.4 68.1 +17.7
\(\text{L}_3\) 深层融合 Qwen3.5-9B 82.7 11.1 38.3 39.2 14.3 16.1 25.1 14.5 43.4 59.5 +16.1
\(\text{L}_3\) 深层融合 Gemma4-E4B 62.7 50.1 46.7 72.4 17.3 8.9 27.1 22.2 71.4 88.7 +17.3
\(\text{L}_3\) 均值 (7) 宏平均 77.7 16.5 39.8 56.8 24.6 13.2 28.2 20.6 50.5 75.6 +25.1

消融与诊断实验

表 1：跨架构层级的读-用断层（RUG）与注意力重合比（OAR）统计

架构等级 显式读取成功率 \(P_{\text{read}}\) (%) 任务采纳率 \(P_{\text{use}}\) (%) 读-用差距 RUG (%) OAR 相对干净图增幅 (%) 解码器前缀层恢复率 (%)
\(\text{L}_1\)（对齐期） 38.9 22.4 +16.5 +13.0 92.2
\(\text{L}_2\)（浅层融合） 68.6 15.9 +52.7 +138.0 62.6
\(\text{L}_3\)（深层融合） 81.0 11.6 +69.5 +135.0 25.6

表 2：MANTIS 算法在 300 样本平衡子集上的优化超参消融

扰动预算 (\(\varepsilon\)) PGD 迭代步数 (\(t\)) 随机种子标准差 (%) \(\text{L}_1\) 均值 ASR (%) \(\text{L}_2\) 均值 ASR (%) \(\text{L}_3\) 均值 ASR (%) 整体宏平均 ASR (%)
\(2/255\) 40 1.1 62.4 42.1 28.5 44.3
\(4/255\) 40 1.2 79.1 60.5 44.8 61.5
\(8/255\) (标准设置) 10 1.6 78.4 63.8 48.0 63.4
\(8/255\) (标准设置) 20 1.4 85.2 70.2 53.9 69.8
\(8/255\) (标准设置) 40 1.3 88.8 73.7 56.8 73.1
\(8/255\) (标准设置) 50 1.3 91.6 (+2.8) 74.7 (+1.0) 59.0 (+2.2) 75.1 (+2.0)

关键发现

  • 诊断驱动的残余风险激增：基线攻击显著低估了原生架构的脆弱性。从 \(\widehat{R}^0\) 到 \(\widehat{R}^+\)，\(\text{L}_1\) 增长 +10.6%，\(\text{L}_2\) 增长 +16.9%，而在深层融合的 \(\text{L}_3\) 中激增达 +25.1%（如 Qwen3-VL-4B 风险从 44.7% 跃升至 78.9%，增幅超 34 个百分点），证明深层融合模型的实际安全隐患远高于传统基线评测结果。
  • MANTIS 独占攻击增量随融合深度单调攀升：在存活过 Vis-PGD 和 End-PGD 的干净样本中，被 MANTIS 额外攻破的比例在 \(\text{L}_1\)、\(\text{L}_2\)、\(\text{L}_3\) 分别为 15.2%、17.6% 与 24.6%。层级恢复实验揭示了这一原因：对齐期模型只需恢复浅层前缀隐状态就有 92.2% 的攻击被化解，而 \(\text{L}_3\) 模型因视觉信号在多层反复注入，浅层恢复成功率骤降至 25.6%，因此聚焦在 \(t^\star\) 的边际优化能最大化利用深层融合的累积扰动。
  • 单指标评测排名的严重失真：若以传统 End-PGD 为单一基准，其与最终联合残余风险 \(\widehat{R}^+\) 仅呈现中等相关（Spearman \(\rho = 0.837\), Kendall \(\tau_b = 0.634\)）。18 个被测模型中有 8 个发生了 3 位以上的位次重排，例如 Gemma3-12B 在 End-PGD 下表现极佳（高居第 2），但在全面审计下因对 MANTIS 高度敏感，其实际鲁棒性跌落至第 7 位。

亮点与洞察

  • “看见却不上当”反直觉现象的形式化与破除：通过 OAR 与 RUG 诊断揭示了原生多模态模型的高阶跨模态对齐防御能力——模型会将外挂水印识别为低置信度噪声。本文跳出单纯文字叠加的思维定式，通过宿主一致性图像重构 Nat-Evid 突破这一防御，为研究跨模态语境对齐机制提供了关键标尺。
  • 首分歧 token 靶向边际优化策略：精准发现端到端长序列交叉熵损失在对抗梯度反传中的“梯度平摊”与“前缀冗余计算”漏洞，提出锁定 \(t^\star\) 的对数概率边际目标，以极简形式实现攻击效率与跨层穿透力的倍数级飞跃。
  • 严谨的单因素对照链设计：在横向评测 18 个不同厂商模型之余，精心构建了 Qwen2.5-VL \(\to\) Qwen3-VL \(\to\) Qwen3.5 的同家族融合演进对照链，排除了训练数据演进与参数规模差异的干扰，确证了风险暴露模式与架构融合深度之间的直接耦合性。

局限与展望

  • 原生性分类的观察性特征：作者承认 \(\text{L}_1\text{--}\text{L}_3\) 属于基于开源模型现状的经验观察分类，并非严格的因果控制阶梯；且完全由单一大模型骨干统一分词的 \(\text{L}_4\) 终极形态因缺乏支持密集文本图像的高性能开源权重而未纳入实证。
  • 任务目标局限与安全攻击泛化：当前排版文本通路仅针对单轮 VQA 的任务答案诱导（错误答案篡改），尚未拓展至开放式多轮对话中的视听多模态间接提示注入（Prompt Injection）与越狱（Jailbreak）场景，后者需要完全不同的合规性判定指标。
  • 防御加固机制的缺失：论文重点在于暴露漏洞并确立审计协议，提出了残余风险下界估计，但尚未提出针对 MANTIS 与 Nat-Evid 的有效对抗防御或结构解耦正则化训练策略。

相关工作与启发

  • vs 传统视觉-文本 PGD（End-PGD / Vis-PGD）：传统方法只顾及模态接口或序列全局平均损失，导致深层融合架构中梯度被冗余 token 稀释；本文的 MANTIS 锁定首个分歧决策点 \(t^\star\) 最大化判别边际，在原生模型上攻破率平均提高 17.0%，独占增量高达 24.6%。
  • vs Typo-Evid / 文字对抗注入：以往工作简单将印刷文字叠加于图像表面，忽视了原生模型的多层跨注意力排异；本文提出 Nat-Evid 语义融合编辑，配合 RUG/OAR 诊断指标，使排版文字攻击在深层融合模型上的成功率提升超过 15 个百分点。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭示原生多模态融合架构在对抗攻击下的独有失效机制与视觉排异特征，提出了针对性极强的诊断驱动审计体系。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 18 个主流开源模型（涵盖 Qwen、Gemma、DeepSeek、LLaVA 等系列），横跨 3 大基准集，包含步数、半径、随机种子稳定性消融与内层隐状态恢复因果实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 形式化推导清晰严谨，逻辑链路层层递进，图表数据丰富详实，对架构差异的本质剖析极为深刻。
  • 价值: ⭐⭐⭐⭐⭐ 彻底打破了传统单标量评测对原生 VLM 鲁棒性的虚假安全感，为下一代端到端原生多模态模型的安全评测树立了规范的标杆。

相关论文