Conceal, Reconstruct, Jailbreak: Exploiting the Reconstruction–Concealment Tradeoff in MLLMs¶

会议: NeurIPS 2026
arXiv: 2605.05709
领域: 多模态VLM
关键词: 多模态大模型越狱、意图混淆、重建-隐藏权衡、字符删除变体、干扰图像生成

一句话总结¶

论文揭示了多模态大语言模型（MLLM）意图混淆越狱攻击背后固有的“重建-隐藏权衡”（Reconstruction–Concealment Tradeoff），提出了感知隐藏的变体构建算法与基于有害关键词的干扰图像生成策略，利用模型自身的跨模态重建能力绕过安全对齐，并在主流闭源与开源 MLLM 上取得了高达 99.7% 的越狱成功率。

研究背景与动机¶

随着多模态大语言模型（MLLMs）在图文联合推理与理解任务上的迅猛发展，模型的安全性对齐（Safety Alignment）成为了阻断有害内容生成的核心屏障。然而，多模态输入的引入显著放大了攻击面。在实际应用中，由于多数前沿 MLLM 仅通过 API 以黑盒形式对外提供服务，黑盒越狱攻击尤为关键。近期代表性的黑盒攻击方法主要依赖“意图混淆”（Intent Obfuscation），试图将原始有害查询转化或分散到多模态输入中，以绕过安全过滤机制。例如，CS-DJ 将查询分解为排版子图并搭配干扰图，Shuffle Inconsistency（SI）打乱词序和图像 patch 顺序，FlipAttack 则将文本字符完全反转。

然而，现有方法在机制上均不可避免地面临一个未被形式化探讨的深层困境：为了让受害模型生成有意义的攻击响应，模型必须能够从混淆输入中正确“恢复/重建”（Reconstruction）出原始恶意意图；但为了绕过安全审查，输入又必须足够隐蔽地“隐藏”（Concealment）该有害意图。如果混淆程度过轻（如 SI 和 CS-DJ），输入与恶意意图或关键词的语义相似度过高，极易被多模态安全护栏拦截；如果混淆过于激进（如 FlipAttack 的字符倒序），模型自身的语言重组能力又难以准确还原原始意图，导致模型无法理解任务而生成无害或无关回答。

针对这一困境，本文系统地将这种张力形式化为“重建-隐藏权衡”（Reconstruction–Concealment Tradeoff）。通过对主流黑盒方法的重建保真度与语义隐藏度进行对比分析，作者发现随机字符删除变体展现出了比词序打乱或反向翻转更优的权衡潜能。核心 idea：通过基于关键词对齐度与语义多样性的贪心筛选构建字符删除变体，结合五种模态感知提示策略与关键词相关的上下文干扰图像生成，利用模型自身的重构能力实现高隐蔽性且高保真度的多模态越狱。

方法详解¶

整体框架¶

本文提出的基于重建的多模态越狱框架将有害文本查询转化为一组字符删除变体，使得单个变体在语义上淡化恶意意图，同时多变体集合为受害者 MLLM 联合重建原始请求保留充分的互补信息。系统主要包含三个核心阶段：首先执行感知隐藏的变体构建，生成并筛选低关键词对齐度、高互补多样性的字符删除变体集；接着通过设计的五种模态感知提示策略，将字符变体及其缺失索引映射到纯文本、纯排版图像或图文混合通道；最后，针对需要视觉辅助的策略，利用多模态生成模型合成与有害关键词弱相关的多样化上下文干扰图像并完成图文拼接，送入受害模型诱导其自主重建并执行恶意任务。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始有害查询与恶意关键词"] --> B["感知隐藏的变体构建<br/>字符随机删除与双阶段贪心筛选"]
    B --> C["模态感知提示策略<br/>跨文本与排版图像通道分配"]
    D["关键词相关干扰图构建<br/>SD3生成多语境图像并筛选"] --> C
    C --> E["受害多模态大模型<br/>跨模态联合推理与查询重建"]
    E --> F["有害目标响应输出<br/>评估越狱成功率与毒性"]

关键设计¶

1. 感知隐藏的变体构建：在抑制关键词语义的同时保留互补重构线索

为了在弱化恶意意图特征的同时保留足够的字符恢复信息，方法设定字符删除比例 $\rho \in (0, 1)$（默认 $\rho=0.2$）。对于长度为 $n$ 的查询 $x_t$，随机剔除 $k = \lfloor \rho n \rfloor$ 个字符并记录缺失索引集合，生成 $N_c = 150$ 个候选变体构成的候选池 $\mathcal{V}(x_t) = \{(\tilde{x}_t^i, I_i)\}_{i=1}^{N_c}$。在去重并丢弃仍包含有害关键词 $w$ 的候选后，算法采用双阶段选择：第一阶段为关键词对齐过滤。利用 CLIP 文本编码器 $\phi_t(\cdot)$ 计算候选变体与有害关键词 $w$ 的余弦相似度： $$s_i^{(\mathrm{kw})} = \cos\big(\phi_t(\tilde{x}_t^i), \phi_t(w)\big)$$ 保留相似度最低的 $N_p = 40$ 个变体，剔除包含显著恶意关键词特征的候选，最大化隐藏性。第二阶段为多样性贪心采样。初始化锚点集 $\mathcal{A}_{\mathrm{var}} = \{\phi_t(x_t)\}$。在每一步迭代中，计算未入选候选与当前锚点集的平均余弦相似度： $$s_i^{(\mathrm{anc})} = \frac{1}{|\mathcal{A}_{\mathrm{var}}|} \sum_{a \in \mathcal{A}_{\mathrm{var}}} \cos\big(\phi_t(\tilde{x}_t^i), a\big)$$ 每次贪心选取 $s_i^{(\mathrm{anc})}$ 最小的候选加入选定集，并将其文本嵌入并入锚点集，直至选出 $N = 5$ 个互补变体 $\hat{\mathcal{V}}(x_t)$。这样选出的变体既与原查询保持语义距离，又相互差异显著，组合后覆盖了原句几乎全部字符信息。

2. 模态感知提示策略：多通道拆解与排版渲染分配

构建完成变体集 $\hat{\mathcal{V}}(x_t)$ 后，方法设计了五种渐进式提示策略 $\mathcal{T}(x_t; \mathcal{D})$，探索不同模态分配方式对越狱效果的影响： - 纯文本变体（TxtV）：将所有 $N$ 个变体及其删除索引全部放入文本 prompt，不使用视觉通道（$\hat{x}_v = \varnothing$）。 - 结合生成干扰图的文本变体（TxtV-GDI）：文本通道包含全部变体与索引，视觉通道输入由 $K_d = 9$ 张关键词相关干扰图构成的 $3 \times 3$ 拼接图像网格 $\Gamma(\mathcal{D}(x_t))$，通过视觉上下文分散模型的防御注意。 - 纯排版图像变体（TypV）：文本端仅提供固定任务指令，利用排版渲染算子 $G_{\mathrm{typo}}$ 将全部 $N$ 个变体及其索引渲染成带黑色边框的垂直白底文字图块作为视觉输入，完全消除文本通道中的恶意词元。 - 图文跨模态变体（TTV）：将变体集合划分为文本集 $\hat{\mathcal{V}}^{(t)}(x_t)$（分配 $n_t = 3$ 个）与视觉集 $\hat{\mathcal{V}}^{(v)}(x_t)$（分配 $N - n_t = 2$ 个），视觉部分渲染为排版图块。模型必须完成跨模态特征融合才能拼出原查询。 - 结合生成干扰图的图文变体（TTV-GDI）：在 TTV 的基础上，将 $K_d = 6$ 张干扰图（排成 $2 \times 3$ 网格）与 2 个排版变体图块垂直拼合成单张图像。这种策略同时结合了跨模态重建难度与视觉注意力分散。

3. 关键词相关干扰图构建：利用多语境生成增强语义干扰有效性

相比以往基线（如 CS-DJ）从公共图库中随机抽取不相关的通用干扰图，本文发现生成包含关键词但语境无害且多样的图像能够提供显著更强的辅助混淆效果。其构建分三步实施：首先，利用辅助大语言模型（Qwen3-4B-Instruct）生成 $N_s = 500$ 个显式包含关键词 $w$ 的多样化无害描述句 $\mathcal{S}(w)$。以 $\phi_t(w)$ 为初始锚点，贪心挑选与锚点平均相似度最低的 $M_s = 100$ 个语义高度发散的句子。其次，以这 100 个句子作为文本条件，使用 Stable Diffusion 3 生成候选干扰图池 $\mathcal{B}(w) = \{D_j\}_{j=1}^{M_s}$。最后，利用 CLIP 跨模态共享空间进行图像级筛选：以原有害查询的文本嵌入 $\phi_t(x_t)$ 为初始锚点 $\mathcal{A}_{\mathrm{img}}$，贪心计算候选图像特征与当前锚点集的平均余弦相似度： $$s_j^{(\mathrm{img})} = \frac{1}{|\mathcal{A}_{\mathrm{img}}|} \sum_{a \in \mathcal{A}_{\mathrm{img}}} \cos\big(\phi_v(D_j), a\big)$$ 迭代选出与原查询上下文最不相似的 $K_d$ 张干扰图 $\mathcal{D}(x_t)$。这一设计确保了干扰图像在视觉上强化了关键词的存在，但上下文完全脱离恶意语境，极大干扰了对齐模型的拒答逻辑。

实验关键数据¶

主实验¶

在涵盖暴力、金融、隐私、自残和动物虐待 5 大类别共 750 条有害查询的 HADES 基准上，针对闭源和开源共 19 个先进 MLLM 进行了评估。越狱成功率判定采用 HarmBench（$\text{ASR}_{\text{HB}}$）与 GPT-5.4-mini（$\text{ASR}_{\text{GPT}}$）。

下表展示了闭源商业模型上的越狱效果对比（5 次试验的最大查询越狱率 %）：

| 受害模型 | 评价指标 | FigStep | HADES | CS-DJ | FlipAttack | SI | 本文 TxtV | 本文 TxtV-GDI | 本文 TypV | 本文 TTV | 本文 TTV-GDI | |---|---|---|---|---|---|---|---|---|---|---| | GPT-5.4-nano | $\text{ASR}_{\text{GPT}}$ | 3.20 | 1.33 | 25.73 | 4.80 | 4.27 | 42.80 | 69.60 | 61.07 | 71.47 | 78.67 | | | $\text{ASR}_{\text{HB}}$ | 3.33 | 1.73 | 14.40 | 5.60 | 5.07 | 33.73 | 62.40 | 54.00 | 68.93 | 74.67 | | GPT-5.4-mini | $\text{ASR}_{\text{GPT}}$ | 0.27 | 0.67 | 11.20 | 0.53 | 5.60 | 63.47 | 58.40 | 61.87 | 73.20 | 79.60 | | | $\text{ASR}_{\text{HB}}$ | 0.53 | 1.73 | 7.60 | 1.87 | 6.00 | 63.87 | 53.33 | 61.07 | 69.47 | 78.80 | | Gemini-2.5-Flash | $\text{ASR}_{\text{GPT}}$ | 89.20 | 31.33 | 75.20 | 95.07 | 50.80 | 97.73 | 97.47 | 96.93 | 97.60 | 97.73 | | | $\text{ASR}_{\text{HB}}$ | 88.27 | 27.33 | 44.93 | 83.07 | 54.93 | 98.13 | 97.60 | 97.73 | 97.07 | 97.20 | | Claude Haiku 4.5 | $\text{ASR}_{\text{GPT}}$ | 0.53 | 0.67 | 6.80 | 0.53 | 3.73 | 27.20 | 14.67 | 37.87 | 39.73 | 35.60 | | | $\text{ASR}_{\text{HB}}$ | 1.33 | 1.47 | 5.73 | 1.07 | 4.67 | 25.33 | 14.53 | 38.00 | 39.33 | 34.67 |

在开源模型上，以 $\text{ASR}_{\text{HB}}$(%) 为例，各方法在典型代表模型上的表现如下： - Kimi K2.5: 最强基线 FlipAttack 仅为 27.73%，而 TTV-GDI 达到惊人的 99.73%（TxtV 亦达 99.60%）。 - Llama-4-Maverick: 强基线 FlipAttack 为 73.47%，TxtV-GDI 达到 89.20%。 - InternVL3-8B: 强基线 CS-DJ 为 42.13%，TTV 达到 97.07%，TTV-GDI 达 94.27%。 - Qwen3.5-35B: 强基线 CS-DJ 仅为 7.47%，TTV-GDI 达到 98.67%（大幅提升 91.2 个百分点）。

消融实验¶

为了单独评估“关键词相关生成干扰图（GDI）”相比从 LLaVA-CC3M 随机采样的“通用干扰图（DI）”的增益，论文在两种策略和多个受害模型上进行了严格的对比消融：

干扰图方案	策略	GPT-5.4-nano	Llama-3.2-11B-Vision	Qwen3-VL-8B	Qwen3.5-4B	Qwen3.5-35B	InternVL3-8B	InternVL3.5-38B
通用干扰图 (DI)	TxtV-DI	56.53	77.07	72.00	64.13	76.93	80.40	89.47
生成干扰图 (GDI)	TxtV-GDI	62.40	89.60	91.20	76.67	87.60	92.40	95.20
通用干扰图 (DI)	TTV-DI	68.67	65.73	78.80	84.40	95.07	88.13	93.07
生成干扰图 (GDI)	TTV-GDI	74.67	82.93	93.73	85.47	98.67	94.27	94.93

关键发现¶

删除率呈现倒 U 型曲线：越狱成功率随着字符删除比例 $\rho$ 的增加呈现先升后降的倒 U 型（Inverted-U）规律。当 $\rho$ 较小时，隐藏性不足易被防御层拦截；当 $\rho$ 过大（如超过 0.4）时，模型的重构能力崩溃，导致越狱失败。最佳平衡点位于 $\rho = 0.2$ 附近。
感知隐藏筛选带来“零代价”隐藏增益：对比随机字符删除与感知隐藏字符删除，二者在模型的文本恢复质量（Exact Match、Edit Similarity、CLIP 相似度）上几乎完全重合，但感知隐藏策略大幅压低了变体与恶意关键词之间的 CLIP 相似度，在不损失重构成效的前提下显著提升了越狱率。
模型规模越大越易受跨模态变体攻击：在 Qwen3.5 家族中，随着参数从 2B 增长至 35B，TTV-GDI 的 ASR 从 71.47% 单调上升至 98.67%。这表明参数量更大的模型具备更强大的跨模态推理与零散碎片重组能力，这一强大的理解能力反而被攻击者利用为恢复恶意指令的利刃。

亮点与洞察¶

提出并形式化了意图混淆攻击的本质矛盾：明确指出了“隐藏恶意意图”与“保留可重构性”之间的动态博弈（Reconstruction–Concealment Tradeoff），为评估与设计混淆类越狱攻击提供了定量的理论标尺。
揭示了“以子之矛攻子之盾”的安全对齐新漏洞：攻击无需外部优化器或复杂提示工程，仅通过诱导模型执行正常的“完形填空式”文本重构任务，便能让模型自发生成恶意文本并顺理成章地给出解答，证明了当前安全护栏在面对“分散重构”式任务时的脆弱性。
关键词相关弱语境干扰的有效性：打破了过去认为“只要放无关图像分散注意力即可”的粗糙认知，证明构建与关键词同源但在具体语境上无害且多样的图像，能更深度地混淆模型的安全判定边界。

局限与展望¶

基准与单关键词依赖：当前实证基于 HADES 数据集展开，依赖单关键词设定。在包含复杂多实体、复合恶意概念的长篇提示词场景下，如何自适应提取并分散多个关键词仍待拓展。
图像生成的离线开销：构建 GDI 依赖文生图大模型（SD3）离线预先生成，针对 250 个关键词需消耗约 28 个 GPU 小时，对动态即时攻击存在一定的前置资源门槛。
缺乏自适应防御方案：论文重点揭示了攻击机制并呼吁社区重视“面向重构的安全对齐”，但尚未提出具体的防御补丁（例如在解码前置或特征层识别分散的重构原语）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从“重建-隐藏权衡”视角深入解构意图混淆攻击，机制分析深刻透彻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大闭源与 14 大开源模型（覆盖 InternVL3.5、Qwen3.5 完整梯度），多达 750 条复杂查询与双重裁判验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路清晰，数学形式化严谨，权衡分析与消融图表说服力极强。
价值: ⭐⭐⭐⭐⭐ 揭示了先进 MLLM 越强大越容易被自身重构能力“反噬”的深层安全漏洞，对下一代多模态安全对齐具有极高的预警价值。