Learning to Detect Unseen Jailbreak Attacks in Large Vision-Language Models¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ShuangLiangX/Learning-to-Detect
领域: 安全
关键词: 视觉语言模型安全, 越狱攻击检测, 概念激活向量, 异常检测, 泛化防御
一句话总结¶
针对视觉语言模型面对未知越狱攻击时泛化与精度难以兼得的困境,本文提出无需攻击样本与启发式规则的 LoD 框架,利用多模态安全概念激活向量抽取层级安全表征,并结合安全模式自编码器进行无监督异常打分,实现高精度且高泛化的越狱检测。
研究背景与动机¶
多模态大语言模型(LVLMs)通过视觉编码器与交叉融合机制拓展了对多模态输入的感知与推理能力,但也显著放大了攻击面。图像模态的高维连续特性使得细微的对抗扰动或精心编排的视觉提示能够轻易绕过对齐防护,诱导模型输出有害内容,甚至在 AdvBench 等基准上诱发高达 96% 的有害回复率。为了抵御此类越狱威胁,社区主要探索了两类检测范式:基于监督学习的方法高度依赖已知攻击数据(如特定对抗样本或越狱模板)进行训练,但在真实场景中面对形态未知的全新攻击时极易失效;而免训练的启发式方法(如监测拒绝词频次或特定梯度特征)虽避免了对攻击数据的依赖,但人工规则在复杂场景下误报漏报严重,且多阶段推理引入了巨大的计算开销。
这种防御失效的核心矛盾在于:攻击方式在开放场景下具有不可穷举性与形态多样性,而模型中间层的安全语义表征却具有内在一致性。现有的表征监测方法缺乏系统化的特征提纯机制,无法从高维隐层激活中解耦出纯净的安全信号与任务无关噪声(如句法、语义细节)。同时,高维安全表征在维度层面存在显著的数值重叠,简单的逐层阈值硬切断极易破坏跨层特征的关联结构。
本文的切入角度是打破对已知攻击样本的依赖,转向建模模型对良性输入的内部安全认知流形。研究发现,虽然越狱攻击能在最终输出层伪装成良性交互,但在中间层的激活空间中依然会留下显著异于纯良性输入的表征痕迹。核心 idea:将未知越狱检测重构为两阶段内部激活异常检测,先通过多模态安全概念激活向量(MSCAV)提取紧凑层级安全表征过滤任务噪声,再仅基于良性样本训练安全模式自编码器(SPAE),以重构误差作为异常分数精确捕获偏离安全流形的未知攻击。
方法详解¶
整体框架¶
LoD 框架包含表征学习与攻击判别两个核心阶段。在线下自适应阶段,框架仅利用常规良性图文对与朴素有害图文对(无需任何特定越狱攻击数据)提取各层末尾 token 的隐层激活,训练一组层级线性分类器构建多模态安全概念激活向量(MSCAV),并筛选验证精度达标的安全敏感层集合;随后,仅利用良性样本在这些安全层上的激活表征训练一个三层全连接对称自编码器(SPAE),隐式学习良性安全表征的流形分布。在线检测阶段,给定任意测试图文输入,经过 LVLM 前向传播后直接提取选定层的隐状态,经由冻结的 MSCAV 分类器映射为一维逐层不安全概率向量,输入 SPAE 计算重构误差,超过设定阈值即判定为越狱攻击。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态测试输入<br/>(图像 + 文本提示)"] --> B["LVLM 前向推理<br/>提取各层末尾 Token 隐状态"]
B --> C["MSCAV 敏感层安全表征提取<br/>层级线性投影与噪声过滤"]
C --> D["SPAE 重构误差异常打分<br/>安全流形偏离度度量"]
D -->|误差 delta > tau| E["拦截:判定为越狱攻击"]
D -->|误差 delta <= tau| F["放行:判定为安全输入"]
关键设计¶
1. MSCAV 敏感层安全表征提取:解耦安全感知与任务无关噪声
为了从模型隐层高达数千维的原始激活中剔除句法、情绪等任务无关干扰,该设计验证并利用了 LVLM 激活空间中的线性可分性假设。对于 \(L\) 层的 LVLM,提取输入在第 \(l\) 层最终 token 位置的隐藏状态 \(e_l \in \mathbb{R}^d\),构建一组轻量线性分类器 \(C_l(e_l) = \text{sigmoid}(w_l^\top e_l + b_l)\),映射为该层认为输入不安全的概率。训练时仅使用朴素的良性样本 \(I^+\) 与未经过越狱混淆的有害样本 \(I^-\)(如 AdvBench 文本搭配合成图像),通过二元交叉熵损失优化权重:
实验发现 LVLM 在第 4 层左右即可达到 90% 以上的安全分类精度,显著早于纯文本 LLM(通常在第 10 层后)。为了进一步提升鲁棒性并去除低信噪比层的干扰,框架通过验证精度阈值 \(P_0\) 筛选出高置信度敏感层集合 \(\mathcal{L}_s = \{l \mid P_l \ge P_0\}\),并将这些层的输出拼接为精炼安全表征 \(S_r = [C_l(e_l)]_{l \in \mathcal{L}_s}^\top \in \mathbb{R}^{|\mathcal{L}_s|}\)。虽然越狱攻击能在输出层压制拒绝倾向,但在中间特征层其安全概率曲线始终显著高于良性样本,构成了泛化判别的物理基础。
2. SPAE 重构误差异常打分:无监督建模安全流形消除规则偏置
尽管精炼表征 \(S_r\) 展现出平均趋势的分离性,但各维度在极端值之间依然存在高达 40% 以上的重叠区间,直接施加人工硬阈值极易造成过拟合或高误报。为此,LoD 将攻击检测转化为单类异常检测问题,构建包含三层全连接编码器与对称解码器的安全模式自编码器(SPAE)。SPAE 仅在良性样本提取的安全表征集合上进行无监督训练,目标是最小化均方重构误差:
由于网络只拟合了良性样本在跨层安全概率上的多维非线性依赖关系,遇到任何类型的越狱攻击时,其中间层被扰动的异常概率模式均无法被自编码器精确还原,从而产生显著增大的重构误差:
判别时只需判断 \(\delta > \tau\)。阈值 \(\tau\) 预先在独立良性保留集(如 MM-Vet2 的 100 样本)的第 90 百分位数上校准,使得系统无需假定任何越狱攻击形态,即可实现低误报率下的广谱拦截。
损失函数 / 训练策略¶
LoD 采用分步离线训练策略,整体耗时极低且无需修改目标 LVLM 的任何参数。第一阶段,使用 100 对良性/有害样本训练 \(L\) 个独立的线性 MSCAV 分类器(每个仅需训练 \(d+1\) 个参数,全模型约 12 秒);基于验证集设定 \(P_0 = 0.9\) 截断出核心敏感层集合 \(\mathcal{L}_s\)。第二阶段,冻结分类器,抽取 320 个良性多模态样本的安全表征输入 SPAE,以 Adam 优化器最小化 \(\mathcal{L}_{\text{rec}}\) 拟合良性分布(耗时约 2 秒)。在线推理时仅涉及单次前向传导与几个极小的矩阵乘法,完全规避了反向梯度计算与多轮解码生成。
实验关键数据¶
主实验¶
在 LLaVA-1.6-vicuna-7B、Qwen2.5-VL-7B-Instruct 以及 CogVLM-chat-v1.1 三个主流多模态大模型上,评测覆盖了 6 种代表性越狱攻击:4 种提示篡改攻击(FC-Attack、JOOD、HADES、MML)和 2 种对抗视觉扰动攻击(VAJM、UMK)。基准方法涵盖输入输出检测范式(MirrorCheck、CIDER、JailGuard)以及内部表征/梯度检测范式(GradSafe、HiddenDetect)。主评测采用全阈值鲁棒指标 AUROC。
| 模型 | 方法类别 / 代表方法 | 最低 AUROC (Min) | 平均 AUROC (Avg.) | 相比最优基线提升 |
|---|---|---|---|---|
| LLaVA-1.6 | 输入输出类 (JailGuard) | 0.3451 | 0.4760 | - |
| 内部信号类 (HiddenDetect) | 0.3271 | 0.8230 | 基线最优 (Avg.) | |
| LoD (Ours) | 0.9645 | 0.9820 | +19.32% (Min 提升 +170.4%) | |
| Qwen2.5-VL | 输入输出类 (CIDER) | 0.1503 | 0.5668 | - |
| 内部信号类 (GradSafe) | 0.8902 | 0.9414 | 基线最优 (Avg.) | |
| LoD (Ours) | 0.9253 | 0.9838 | +4.50% (Min 提升 +3.94%) | |
| CogVLM | 输入输出类 (MirrorCheck) | 0.4311 | 0.5956 | - |
| 内部信号类 (HiddenDetect) | 0.6951 | 0.8287 | 基线最优 (Avg.) | |
| LoD (Ours) | 0.8798 | 0.9705 | +17.11% (Min 提升 +26.57%) |
在最严苛的低误报率场景(FPR \(\le 0.01\))下,LoD 在三款模型上的平均真正率(TPR)分别达到 0.487、0.764 和 0.717,在 CogVLM 上相对最优基线(0.176)实现了超过 300% 的突破性增益。
消融实验¶
为验证各模块的必要性,论文在六种攻击场景下进行了详细消融实验(以平均 AUROC 为评估基准):
| 配置变体 | LLaVA-1.6 Avg. AUROC | Qwen2.5-VL Avg. AUROC | CogVLM Avg. AUROC | 说明 |
|---|---|---|---|---|
| LoD 完整模型 | 0.982 | 0.984 | 0.971 | MSCAV 提纯 + SPAE 异常打分 |
| w/o MSCAV Classifiers | 0.467 | 0.336 | 0.138 | 移除分类器,直接将原始隐层拼接输入 SPAE,性能彻底崩溃 |
| w/o SPAE | 0.875 | 0.874 | 0.857 | 移除 SPAE,对各层安全表征采用 95 分位硬阈值聚合判别 |
| w/ HiddenDetect 表征 | 0.811 | 0.703 | 0.616 | 用 HiddenDetect 启发式拒绝表征替换 MSCAV 表征 |
| SPAE-unsafe (引入有害数据) | 0.985 | 0.973 | 0.971 | 在 SPAE 训练中加入带边际惩罚的有害样本重构项,泛化性出现波动 |
关键发现¶
- MSCAV 提纯是性能基石:去掉 MSCAV 后平均 AUROC 直接暴跌至 0.138~0.467。这表明未经降维过滤的高维原始激活中充斥着图文内容与语法的密集噪声,自编码器无法在无监督下自动辨识微弱的安全流形模式。
- 高维重叠决定了 SPAE 的不可替代性:安全表征在各单维度上的良性与被攻击样本平均重叠率超过 40%(如 LLaVA 上达 44.14%)。纯阈值切分(w/o SPAE)无法捕获跨层联合特征,导致检测率损失约 10 个百分点。
- 推理开销与训练成本极低:在单个 A800 GPU 上,LoD 单样本在线检测耗时仅为 0.25 秒(LLaVA)至 0.62 秒(Qwen2.5-VL),相比传统输入扰动与重推理基线(JailGuard 需 15~21 秒)加速最高达 62.7%;离线 MSCAV 与 SPAE 训练耗时总计仅 14 秒。
亮点与洞察¶
- 将越狱防御范式转为单类良性流形建模:巧妙绕开了防御研究中“跟在攻击后面对抗性收集数据”的被动军备竞赛,仅利用易得的良性交互隐状态即可检测完全未见的复杂越狱手段。
- 揭示了多模态安全特征在浅层的早期涌现:论文通过逐层探测发现 LVLM 在第 4 层即完成安全语义线性解耦(远早于纯文本 LLM 的第 10 层),证实视觉特征注入促进了模型对图文危险意图的早期表征形成。
- 零额外前向与反向传播的极轻量接入:检测逻辑完全依托于正常响应时的首轮 prompt 隐状态,无需额外生成多候选答案或计算参数梯度,便于工业级 API 旁路低延迟部署。
局限与展望¶
- 针对隐层表征的自适应攻击防御尚未经验证:若攻击者获得白盒权限,将对抗损失目标同时显式约束在中间层安全向量的激活值上(欺骗自编码器),当前的重构误差检测机制可能面临退化。
- 跨模态深度隐蔽攻击存在检测边界:在如 MML 等通过镜像翻转图像加字谜还原的复杂跨模态加密攻击中,由于恶意语义在输入端被高度分散,中间层表征更偏向于良性的代码/推理模式,使得 LoD 相比基于梯度的 GradSafe 存在微弱差距。
相关工作与启发¶
- vs HiddenDetect / GradSafe:后两者虽也探测中间层,但 HiddenDetect 依赖人工预设的拒绝 token 字典,GradSafe 需反向传播计算梯度切片且极度耗费显存;LoD 纯粹基于数据驱动自编码降维,速度提升数倍且在跨模型下无断崖式失效。
- vs CIDER / JailGuard:输入输出级方法依靠多次图像降噪或大模型辅助重写对比输出,不仅开销高昂(多耗时数十倍),更受限于提示级微弱线索;LoD 深入内部激活层,以极小成本换取了压倒性的鲁棒性。
评分¶
- 新颖性: ⭐⭐⭐⭐ [突破已知攻击数据驱动与人工规则启发式瓶颈,提出结合概念向量与单类异常检测的统一自适应防御范式]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 大开源主流 LVLM、6 类异构攻防基准、严苛的低 FPR 指标与扩增数据集稳健性评测,消融深入]
- 写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑极其清晰,方法图示直观,各设计环节数学表述与实验归因严谨自洽]
- 价值: ⭐⭐⭐⭐⭐ [工业界急需的低时延、免攻击样本标注的通用 VLM 越狱防火墙方案,落地与复用价值极高]