Fully Unleashing the Multimodal Attacker: Meta-Adaptive Jailbreaking of Vision-Language Models¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Alibaba-VELLDEPTH/MetaJailbreak-VLM
领域: LLM 安全
关键词: 多模态越狱, 红队测试, 元自适应, 视觉语言模型, 策略优化
一句话总结¶
针对视觉语言模型多模态越狱仅停留在单样本内容迭代的局限,本文提出首个元自适应框架 MAMJ,在跨样本轨迹群体上交替演化攻击策略提示词并用 GRPO 强化学习更新攻击模型权重,使前沿商业 VLM 越狱成功率突破 82% 且具备零样本跨模型与跨防御迁移能力。
研究背景与动机¶
大语言模型与多模态视觉语言模型(VLM)的快速迭代,使图文跨模态交互成为 AI 安全评测与治理的核心阵地。然而,现有多模态对抗越狱方法在自适应维度上存在根本性局限:无论是基于静态模板的方法(如 FigStep 利用排版布局规避文本对齐、SIVA 拆分子图碎片、HADES 隐写恶意关键词),还是近期引入反馈回环的单样本自适应方法(如 IDEATOR 和 VisCo),其对抗机制在“元级别(meta level)”都是完全静态的。模板化攻击的版面与文本载荷在部署前即已固化,极易被 OCR 过滤、布局检测或关键词匹配全面封堵;而单样本迭代方法虽然能够根据受害者模型的拒绝响应在单条查询内多轮重写图文,其底层的迭代提示词却始终保持手工硬编码,且攻击模型参数在测试期全程冻结。
这种范式造成的核心矛盾在于:真实世界中的对抗攻击者具有动态进化能力,而现有越狱框架的攻击策略与攻击者能力却被锁死在静态约束中。单样本迭代攻击在处理每一条恶意目标时都必须从零开始尝试与探索,无法跨样本、跨轨迹复用历史对抗经验,导致攻击空间受限于手工提示词的局部语义,在面对商业化成熟防御与强对齐前沿模型时攻击成功率迅速衰减。
本文的切入角度是:必须将多模态越狱的自适应性从“样本级内容生成”提升至“攻击者本身”的元自适应。与其针对单个样本耗费多轮推理去调优图文,不如直接优化攻击者的两根支柱——控制图文迭代模式的自然语言攻击策略提示词(ASP),以及决定攻击策略执行上限的攻击者模型权重。核心 idea:将多模态对抗攻击提升为元自适应双轴优化问题,先通过轨迹群体的质性归因与集束搜索演化出可迁移的攻击策略提示词 \(\theta^\star\),再在固定策略下借助群体相对优势归一化的 GRPO 算法强化攻击者模型权重 \(\phi^\star\)。
方法详解¶
整体框架¶
MAMJ 的整体架构旨在摆脱单样本独立搜索的孤岛效应,通过两阶段流水线解耦策略语义演化与参数能力强化。系统包含四个核心角色:受害者模型 \(V\)(训练源为 GPT-4o)、文本生图扩散模型 \(G\)(采用 6B 参数的单流 Diffusion Transformer 架构 Z-Image)、判别裁判 \(J\)(对受害者回复按 1~5 分评分并映射为基准奖励 \(r \in [0, 1]\)),以及攻击者自身 \(A_\phi\)(基座为 32B 参数的 Qwen3-VL-32B-Thinking)。优化目标为最大化联合期望奖励 \(( \theta^\star, \phi^\star ) = \arg\max_{\theta, \phi} f(\theta, \phi)\)。
整个优化流程分为两个明确解耦的阶段:第一阶段在攻击者权重冻结为预训练初始状态 \(\phi_0\) 时,利用双层群体批判机制在离散语言空间中对攻击策略提示词 \(\theta\) 进行集束搜索演化,提炼出收敛的 \(\theta^\star\);第二阶段将 \(\theta^\star\) 作为全局系统前缀固化,解冻攻击模型的语言生成栈 \(\phi_{\text{train}}\),基于多路采样轨迹计算群体相对优势,执行全序列 token 级的 GRPO 强化学习更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["恶意目标分布 Dtrain"] --> B["阶段一:分析师-聚合器两级诊断反馈<br/>成批轨迹生成与失败样本过滤"]
B --> C["阶段一:集束搜索与探针集评估<br/>在语言空间演化出最优策略提示词 θ*"]
C --> D["阶段二:格式完备性门控过滤<br/>校验推理块、生图提示词与文本载荷"]
D --> E["阶段二:群体相对优势估计与 GRPO 更新<br/>单查询采样多路轨迹计算组内归一化优势"]
E --> F["输出元自适应对抗工件 (θ*, φ*)<br/>零样本迁移至未知模型与防御外挂"]
关键设计¶
1. 分析师-聚合器两级诊断反馈:将群体失败转化为稳健的策略重写 在策略提示词 \(\theta\) 的演化阶段,若直接把整批失败样本塞入提示词往往会导致模型产生上下文混淆或过拟合到特定有害词汇。MAMJ 提出了“分析师-聚合器(Analyst-Aggregator)”的两级协作机制。在微批次 \(B^{(t)}\) 中,攻击者采样轨迹并筛选出得分未达越狱阈值(\(r_i < 0.75\))的失败子集 \(B^{(t)}_{\text{fail}}\)。首先,单轨迹分析师 \(R_{\text{ana}}\) 针对单个失败轨迹 \(\xi_i = (q_i, t_{\text{img}, i}, u_i, I_i, y_i, r_i)\) 进行因果归因,输出结构化咨询建议 \(a_i = (\text{cause}_i, \text{action}_i)\),强制从受害者拒绝回复中摘录具体证据词,指明当前提示词的漏洞。随后,跨轨迹聚合器 \(R_{\text{agg}}\) 一次性审阅全批次的咨询建议集合 \(\{a_i\}\),跨越不同攻击主题提炼出反复出现的系统性防御模式,并将其泛化合并为 \(b\) 个候选用以重写全局策略提示词。这种分离设计避免了单一极端样本对全局策略的误导,实现了元层面的稳定迭代。
2. 探针集驱动的集束搜索演化:离散策略空间下的高置信度同步 由于语言空间的质性修改缺乏直接梯度指引且单次编辑不一定在所有安全类别上普适,MAMJ 引入了集束大小为 \(M=3\)、分支因子为 \(b=3\) 的集束搜索机制。在每一轮宏观迭代中,聚合器从当前集束维护的每个父节点衍生出 \(b\) 个候选策略,连同保留的父节点构成候选池,并在包含 40 个均衡分布恶意的保留探针集 \(\mathcal{P}\) 上进行前向评估。探针集上的平均攻击奖励直接作为打分基准:
算法每轮仅保留得分最高的 \(M\) 个候选进入下一轮迭代,直至达到迭代预算 \(N_{\text{ASP}}=2\)。最终输出的 \(\theta^\star\) 确立了一种高隐蔽性的“声东击西(Bait-and-Switch)”元策略:首先生成富含符号隐喻但视觉无害的超现实或图纸风格图像以穿透生图安全检测,再配合学术研究或艺术批评设问让受害者 VLM 建立信任,最后在多轮交互中顺理成章地将视觉符号与违规知识挂钩,达成越狱。
3. 格式门控与群体相对优势估计:消除跨目标奖励尺度漂移 进入强化学习阶段后,直接使用受害者判别分计算全局优势会导致学习极其不稳定,因为不同恶意主题(如侵犯隐私与制造武器)的天然拒绝难度与基准分数差异巨大。MAMJ 基于 GRPO 范式,对每个训练查询 \(q_i\) 采样 \(G=4\) 条 rollout 轨迹。在计算奖励前,首先通过结构验证器 \(R_{\text{fmt}}(o) \in \{0, 1\}\) 检查模型输出是否完整包含思考过程、生图指令 \(t_{\text{img}}\) 和攻击文本 \(u\),形成门控奖励 \(\tilde{r}_{i,g} = R_{\text{fmt}}(o_{i,g}) \cdot r_{i,g}\)。随后,优势估计完全限制在同一查询的 \(G\) 个组内成员之间:
这种组内归一化剥离了样本本身的天然难度偏差,使得优势值完全取决于同一问题下不同生成采样的相对质量,无需人工微调全局 baseline 或价值网络(Critic)。
4. 涵盖思考链的全序列 Token 级 GRPO 优化:保持对抗因果链一致 现代多模态大模型(如 Qwen3-VL-Thinking)具备长思维链推理能力,其在输出最终攻击载荷前会生成内生思考 tokens。若仅在最终图文 prompt 上计算策略梯度,不仅会导致重要性采样比率 \(\rho_{i,g,t}(\phi)\) 因忽略了思考转移概率而产生理论偏差,更会切断对抗决策的因果链条——思考链如何拆解防御规则直接决定了后续伪装 payload 的有效性。因此,MAMJ 将完整生成序列 \(o = (\text{reasoning}, t_{\text{img}}, u)\) 纳入策略比率和针对固定参考策略 \(\pi_{\phi_0}\) 的 \(k_3\) 形式 KL 散度约束中,更新目标为:
通过在 48 张 H100 GPU 上采用解耦的训练引擎(Megatron TP=8)、生成引擎(vLLM TP=4)与参考策略引擎(Megatron-infer TP=4)并行架构,实现了对 32B 规模多模态攻击者的稳定优化。
损失函数 / 训练策略¶
Stage 2 强化学习在 1,000 个平衡覆盖 MM-SafetyBench 13 个场景的构造数据集 \(D_{\text{train}}\) 上进行。采用 AdamW 优化器,学习率设为 \(1 \times 10^{-6}\),余弦退火衰减,梯度裁剪阈值 \(g_{\text{max}} = 1.0\)。批次包含 \(|B|=32\) 个查询,每条查询采样 \(G=4\) 路生成,内层更新执行 \(E=2\) 个 epoch,策略裁剪范围 \(\varepsilon_{\text{clip}} = 0.2\),KL 正则化权重 \(\beta_{\text{KL}} = 0.01\)。冻结视觉编码器 \(\phi_{\text{ViT}}\),仅更新语言栈参数 \(\phi_{\text{train}}\),总训练步数严格控制在 60 步内(耗时约 12 小时),奖励曲线平稳饱和且策略熵平滑下降。
实验关键数据¶
主实验¶
在涵盖 13 个安全场景共 1,680 个测试样本的 MM-SafetyBench 上,MAMJ 与四种模板化攻击(MM-SafetyBench 基线、HADES、SIVA、FigStep)和两种代表性单样本迭代攻击(VisCo、IDEATOR)进行了严谨公平的横向对比(所有方法均基于相同的 32B 攻击基座与 Z-Image 图像生成器)。主实验评估涵盖了三大顶尖前沿商业 VLM,且 MAMJ 仅需 \(N_{\text{iter}}=2\) 轮交互:
| 目标受害者模型 | 评估攻击方法 | 交互轮数 \(N_{\text{iter}}\) | 平均 ASR (%) | 相比强基线提升 (pp) |
|---|---|---|---|---|
| GPT-4o (OpenAI) | FigStep | 1 | 14.40 | - |
| GPT-4o (OpenAI) | VisCo | 4 | 54.23 | - |
| GPT-4o (OpenAI) | IDEATOR | 3 | 61.85 | Baseline |
| GPT-4o (OpenAI) | MAMJ (Ours) | 2 | 82.02 | +20.17 |
| Gemini-3-Pro-Preview (Google) | FigStep | 1 | 14.40 | - |
| Gemini-3-Pro-Preview (Google) | VisCo | 4 | 47.98 | - |
| Gemini-3-Pro-Preview (Google) | IDEATOR | 3 | 56.67 | Baseline |
| Gemini-3-Pro-Preview (Google) | MAMJ (Ours) | 2 | 79.29 | +22.62 |
| Seed 2.0 (ByteDance) | FigStep | 1 | 22.50 | - |
| Seed 2.0 (ByteDance) | VisCo | 4 | 55.77 | - |
| Seed 2.0 (ByteDance) | IDEATOR | 3 | 62.92 | Baseline |
| Seed 2.0 (ByteDance) | MAMJ (Ours) | 2 | 83.04 | +20.12 |
在面对四种代表性防御机制(提示词护盾 AdaShield、VLMGuard-R1,以及外部防御护栏 Llama-Guard-4、LlavaGuard)时,攻击工件 \((\theta^\star, \phi^\star)\) 未经任何重新微调,展现出极强的鲁棒性:
| 防御类型与名称 | VisCo (\(N_{\text{iter}}=4\)) | IDEATOR (\(N_{\text{iter}}=3\)) | MAMJ (\(N_{\text{iter}}=2\)) | 领先优势 (pp) |
|---|---|---|---|---|
| 提示词护盾: AdaShield | 39.40% | 47.98% | 52.68% | +4.70 |
| 提示词护盾: VLMGuard-R1 | 34.70% | 42.74% | 49.17% | +6.43 |
| 外部护栏: Llama-Guard-4 | 39.58% | 41.13% | 54.17% | +13.04 |
| 外部护栏: LlavaGuard | 44.23% | 49.64% | 64.17% | +14.53 |
消融实验¶
在 GPT-4o 目标上对核心优化模块、诊断反馈聚合机制以及奖励归一化方案进行了严格的消融对比:
| 实验切面 | 架构配置 / 变体 | 平均 ASR (%) | 说明与结论 |
|---|---|---|---|
| 优化双轴消融 | 基座攻击模型(无优化基线) | 35.4 ± 1.5 | 默认提示词且参数未微调 |
| 优化双轴消融 | 仅策略提示词优化(ASP only, 冻结 \(\phi_0\)) | 68.7 ± 1.2 | 单独演化提示词带来最大增幅 (+33.3 pp) |
| 优化双轴消融 | 仅参数强化学习(RL only, 基于原始通用 prompt) | 63.2 ± 1.4 | 缺乏先验策略时稀疏奖励引导受限 |
| 优化双轴消融 | 完整 MAMJ 框架(双轴联合优化) | 82.0 ± 0.9 | 两阶段协同实现最佳效果 (+46.6 pp) |
| 诊断反馈聚合 | 单样本独立编辑(无跨轨迹聚合) | 56.4 ± 1.8 | 易受单一样本噪声干扰 |
| 诊断反馈聚合 | 仅聚合器(去除单轨迹分析师 \(R_{\text{ana}}\)) | 62.8 ± 1.6 | 缺少局部因果归因导致策略过于泛化 |
| 诊断反馈聚合 | MAMJ 分层聚合(分析师归因 + 聚合器合成) | 68.7 ± 1.2 | 兼顾局部证据与全局共性,表现最佳 |
| 优势归一化策略 | 全局归一化(运行滑动平均 baseline) | 72.4 ± 1.5 | 训练过程中奖励漂移导致方差过大 |
| 优势归一化策略 | 批次全局归一化(混合所有查询的 rollout) | 76.8 ± 1.1 | 跨样本混合稀释了同题对抗信号 |
| 优势归一化策略 | 群体相对归一化(同一查询内归一化) | 82.0 ± 0.9 | 纯化组内相对优劣,梯度方差最小最稳 |
| 思维链作用域 | 截断 log-prob(仅对生图和文本载荷计算) | 73.5 ± 2.4 | 割裂因果链,易在 40 步后崩溃 |
| 思维链作用域 | 全序列 log-prob(含思考链 tokens) | 82.02 ± 0.9 | 保证重要性比率无偏且优化平稳 |
关键发现¶
- 元自适应显著碾压样本级启发式迭代:在单样本迭代轮数更少(2 轮 vs 3/4 轮)的严格算力预算下,MAMJ 在 13 个场景上全面领先,特别是在法律违规(LO)、仇恨言论(HC)等强拒答场景中,传统方法由于提示词僵化几乎完全失效,而 MAMJ 依然维持了 44%~76% 的越狱突破。
- 跨模型与跨基准的零迁移能力:MAMJ 仅在 GPT-4o 单一模型上训练,其产出的 \((\theta^\star, \phi^\star)\) 直接作用于 Gemini-3-Pro-Preview 和 Seed 2.0 时,ASR 依然高达 79.29% 和 83.04%;在完全独立的 SafeBench(10 大类别 500 样本)上,MAMJ 在未经任何重训的情况下达到 87.80% ASR(超越 IDEATOR 8.8 pp)。
- 摊销成本具有实际落地优势:虽然 MAMJ 在离线训练阶段消耗了约 \(6.36 \times 10^9\) 等效 tokens(其中生图开销占 96.9%),但在推断期单样本开销比 IDEATOR 低 33.4%;当评测样本规模超过 8,920 个查询时,MAMJ 的总算力成本便低于纯在线迭代搜索的方法。
亮点与洞察¶
- 将越狱范式提升至元自适应(Meta-Adaptation):本文首次明确指出现有多模态越狱在“元层级”静态的本质缺陷,将研究焦点从“微调单个 prompt/图片”转移到“训练攻击者策略提示词与模型参数”,填补了多模态红队评估的方法论空白。
- 分析师与聚合器解耦的群体反馈机制:通过“单样本抓归因证据、跨样本抓共性规律”的两级批判,巧妙化解了 LLM 在处理大规模批次失败案例时容易产生虚假归纳或模式坍缩的痛点。
- 长思维链与组内相对优势的协同训练:在 GRPO 中保留完整的内生思考链,并严格执行同题多样本优势归一化,证明了在无需 Critic 价值网络的情况下,大模型安全对抗训练也能实现极高的稳定收敛性。
局限与展望¶
- 作者承认的局限:生图模型 \(G\)(Z-Image)在训练与推断中均作为不可导的黑盒处理,未参与联合参数微调;尽管统计显示失败主因在于 VLM 的安全拒答而非图像生成崩坏,但联合优化端到端视觉扩散模型仍是未来开放课题。
- 实验维度的潜在不足:主要评测依赖 MM-SafetyBench 及其衍生分布,虽然补充了 SafeBench,但在更为隐蔽的细粒度多模态欺骗(如多图交错上下文、视听多模态、隐写嵌入)上的防御穿透力尚未完全覆盖。
- 防御侧启示:静态规则匹配与单纯的外置护栏在面对具备元自适应进化能力的攻击者时形同虚设;未来的防守策略必须同样具备元自适应能力,建立能感知对抗策略分布迁移的自进化动态安全网关。
相关工作与启发¶
- vs 静态模板攻击 (FigStep, SIVA, HADES): 模板类方法依靠固定的图文布局绕过对齐,缺乏对受害者回复的感知与交互能力,极易被规则库针对性查杀;MAMJ 具备动态交互能力,并在群体层面自适应演化出最难被察觉的隐喻关联策略。
- vs 单样本迭代攻击 (IDEATOR, VisCo): 单样本方法通过多轮对话重写内容,但每条样本从零摸索,其底层策略提示词手工指定且攻击者权重冻结;MAMJ 直接优化攻击者参数工件 \((\theta^\star, \phi^\star)\),不仅单次越狱步数更少、成功率更高,而且一次训练即可全局复用。
- vs 文本自适应越狱 (AutoDAN-Turbo, AdvPrompter): 纯文本自适应方法仅在词表或离散 prompt 空间搜索,未触及多模态图文交叉绑定的特殊漏洞;MAMJ 针对图文语义解耦与视觉隐喻机制构建了专用的双轴优化管道。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态越狱的元自适应双轴优化范式,理念与机制均具高度原创性。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大前沿商业模型、四大主流防御,包含详尽的机制消融、成本摊销核算及独立裁判复核。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密,数学公式表述规范,实验论证扎实客观。
- 价值: ⭐⭐⭐⭐⭐ 深刻揭示了前沿 VLM 面对元自适应攻击者的系统性脆弱,为构建下一代自适应安全防御提供了关键基准。