跳转至

CAVD-Guard: Defending Against Token Fragmentation Jailbreaks via Attention Verification

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/serendipity098/CAVD-Guard
领域: LLM 安全
关键词: 越狱防御、Token碎片化、注意力足迹、注意力空白比率、护栏模型

一句话总结

针对将敏感词拆解为可恢复碎片从而绕过前置安全审查的 Token 碎片化越狱攻击,本文揭示了碎片化输入在注意力矩阵中留下的特征性“注意力空白”足迹,提出了无需训练且带长度校准的检测器 CAVD 与分级规范化视图包装器 CAVD-Guard,在几乎不增加误报的前提下将平均攻击成功率由 53.61% 骤降至 1.63%。

研究背景与动机

随着大语言模型(LLM)被广泛部署于交互式应用中,模型安全对齐与越狱防御成为了至关重要的基础生命线。当前工业界与学术界的防御方案主要依赖两大抓手:一是部署前置的独立安全护栏模型(如 Llama Guard、ShieldLM 和 WildGuard),在请求输入下游生成前进行快速毒性过滤;二是在目标模型内部通过困惑度过滤、表征引导或激活裁剪进行介入。然而,绝大多数安全护栏模型都有一个核心假设:输入的恶意请求中依然包含完整的恶意关键词、语义连贯的违规概念或明确的越狱模式。一旦攻击者通过空间字符画(如 ArtPrompt、ArtPerception)、特殊表情符交错插入(如 Emoji Attack)、冗余音节替换(如 Ubbi Game)或子词分割扰动等方式,将关键敏感词拆解为孤立的字符与片段,传统的安全护栏便会因为无法捕获完整敏感词而彻底失效。

这种防御失效的核心矛盾在于前置审查与生成解码之间的表征能力不对称。在预填充审查阶段,前置护栏只观察到表面上破碎、零散的无害符号序列,因而判断该输入完全良性并放行;但在目标模型的生成阶段,强大的自回归注意力机制与上下文重构能力却能够自发跨越非连续片段,将破碎的符号拼合恢复成完整的敏感概念并据此执行有害意图。由于这种碎片化变体不改变高层恶意语义,且能穿透通用的困惑度过滤与表面模式匹配,现有基于通用文本扰动平滑或固定关键词匹配的防御手段难以平衡防御截断率与良性输入的误杀率。

面对这一不对称性,本文深入探究了一个基础问题:包含可恢复敏感词碎片的指令在 LLM 的预填充阶段是否会留下可度量的内生表征足迹?通过对主流开源基座与护栏模型注意力分布的系统分析,作者发现模型在处理碎片化词汇时,注意力会高度向碎片符号内部聚集,而碎片与正常上下文完整词之间的连接却极度稀疏。核心 idea:利用碎片化输入在末层注意力矩阵中形成的非局部“注意力空白”足迹构建长度校准的免微调检测器 CAVD,并在触发后通过分级确定性规范化视图路由恢复被掩盖的真实语义,使现有护栏模型无需重训即可直接阻断碎片化越狱。

方法详解

整体框架

CAVD-Guard 是一种无需修改下游目标模型参数且免于训练的外挂式护栏防御包装框架。其核心工作流由两阶段构成:第一阶段为校准注意力空白检测(Calibrated Attention-Void Detection, CAVD),在护栏模型的预填充阶段提取末层注意力矩阵,在剥离近对角线局部句法窗与前缀位置键后,计算非局部弱连接比例(Attention-Void Ratio, AVR),并结合离线由纯良性样本拟合的长度自适应判定界 \(T(L)\) 判定输入是否属于碎片化越狱嫌疑序列;第二阶段为确定性规范化视图路由(Deterministic Canonical Views Routing),对于未触发异常(\(z(x)=0\))的普通输入直接沿用护栏模型的原始判决,而对触发异常(\(z(x)=1\))的指令,按预设优先级生成候选重构视图集并进行级联早停审查,只要任一重构视图被护栏判定违规即予以阻断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["输入用户指令 x"] --> D1["注意力空白比率度量<br/>剥离局部窗与前缀键后统计末层超弱注意力占比 AVR"]
    D1 --> D2["长度条件化良性边界校准<br/>对比长度动态阈值 T(L) 判定异常表征 z(x)"]
    D2 -->|未触发 z(x)=0| GUARD_ORIG["原始视图安全审查<br/>护栏模型直接判定原始输入 G(x)"]
    D2 -->|触发异常 z(x)=1| D3["分级确定性规范化视图路由<br/>按 t0/t1/t2 顺序生成规范视图并早停判定"]
    GUARD_ORIG --> OUT["安全放行 / 拦截请求"]
    D3 --> OUT

关键设计

1. 注意力空白比率度量:非连续恶意碎片导致注意力异常稀疏 -> 剥离局部句法与前缀沉淀后统计超弱注意力连接占比 -> 无需微调捕捉碎片重构表征足迹 为定量捕捉碎片化敏感词在模型内部引起的表征异常,作者首先在末层(Terminal Layer)提取各注意力头平均后的因果注意力矩阵 \(\bar{A}\)。由于临近对角线附近的局部窗口主要反映词与词之间的局部句法依存关系,而序列起始的前几个前缀 Token 容易受到“注意力沉淀(Attention Sinks)”影响汇聚与内容无关的高权值,CAVD 对这两种非目标连接实施了显式剥离。定义非局部测量区域 \(F = \{(i, j) : i > j, i - j > W_{\text{local}}\}\)(默认局部窗口宽度 \(W_{\text{local}}=5\)),并在计算指令级基准均值 \(\mu(x)\) 时进一步排除前缀键列 \(C = \{(i, j) \in F : j \ge W_{\text{prefix}}\}\)(默认 \(W_{\text{prefix}}=30\)): $\(\mu(x) = \frac{1}{|C|} \sum_{(i,j) \in C} \bar{A}_{ij}\)$ 在此基础上,注意力空白比率(AVR)被定义为非局部测量区域中权值显著低于基准均值(低于一个数量级,\(\alpha=0.1\))的连接所占比例: $\(\text{AVR}(x) = \frac{1}{|F|} \sum_{(i,j) \in F} \mathbb{I}\left[\bar{A}_{ij} < \alpha \mu(x)\right]\)$ 当输入存在碎片化字符画或多余符号插入时,注意力高度集中在少数相互重构的碎片 Token 之间,导致绝大多数非局部 Token 对之间的注意力连接远弱于正常文本,从而呈现极高的 AVR 读数。

2. 长度条件化良性边界校准:长文本自然稀疏性导致固定阈值误报 -> 基于纯良性长文本回归拟合长度自适应安全上界 -> 实现零恶意样本无监督鲁棒触发 实证研究表明,良性文本的 AVR 也会随着序列长度 \(L\) 的增加而自然上升,因为长序列中包含更多语义弱相关的长程 Token 对。若使用单一固定的 AVR 阈值,极易在长文本良性请求上产生高频误报。为此,CAVD 引入基于长度条件的离线校准机制。该校准完全不依赖任何越狱样本或良性测试集,仅利用基于 XSTest 扩充的长文本纯良性校准集 XSTEST-CAL(包含 770 条多长度区间的安全请求)。通过对良性样本的 AVR 与序列长度 \(L\) 进行线性回归,建立动态安全判定边界: $\(T(L) = w L + b + k \sigma\)$ 其中 \(w\) 与 \(b\) 为拟合斜率与截距,\(\sigma\) 为拟合残差的标准差,\(k\) 为安全裕度系数(默认固定为 \(k=1\))。在推理阶段,CAVD 仅需单次预填充前向传播,若待测指令满足 \(\text{AVR}(x) > T(|x|)\),即标记异常标志 \(z(x)=1\),表明当前表层文本不可靠、需进一步介入,否则 \(z(x)=0\) 直接放行。

3. 分级确定性规范化视图路由:直接阻断造成良性符号误杀 -> 触发后按结构解码、清洗与规范化三级重构并级联早停审查 -> 大幅降低护栏调用开销且近零误报 若将 \(z(x)=1\) 的指令直接拦截,会导致良性代码、Markdown 表格等高符号密度输入遭遇严重的假阳性惩罚。CAVD-Guard 采用“检测-路由-重审”的解耦架构,将 CAVD 作为可靠性触发开关,并构建确定性规范化视图集 \(U^+(x) = [C_1(x), \dots, C_K(x)]\)。视图生成器按三级优先级严格串行执行: - 严格特定线索重构(\(t_0\)):针对具有显式空间网格、规律性分割符或掩码槽位的输入提取连续文本,解码重复音节或规则语言游戏模式,并抽取引号内的封闭危险载荷孤岛; - 宽容结构清洗(\(t_1\)):移除表情符、零宽字符、不可见控制符,压缩过量重复标点、空行与异常空格,并执行单字符编辑距离内的受限拼写修复; - 通用排版规范化(\(t_2\)):对文本执行通用的 Unicode 兼容性规范化(NFKC)、空白折叠与首尾修剪。 护栏模型按 \(t_0 \to t_1 \to t_2\) 的顺序依次评估各重构视图 \(v \in U^+(x)\) 的毒性 \(G(v) \in \{0, 1\}\),并在发现首个违规视图时立刻触发早停拦截。指令最终拒绝策略为 \(D(x) = \max_{v \in U^+(x)} G(v)\)。这种分级早停策略不仅使碎片化敏感词在重构后暴露给护栏,且避免了对无害格式文本的暴力截断。

评估基准与实验设计

实验全面涵盖 4 个主流 Token 碎片化越狱基准:基于 2D 字符画渲染的 ARTPROMPT(722 例)与 ARTPERCEPTION(150 例),以及在敏感词中交错插入特殊符号的 EMOJI ATTACK(520 例)与语言游戏扰动的 UBBI GAME(574 例)。同时引入 AdvBench(520 例)与 HarmBench(200 例)作为非碎片化标准恶意基准,并选用 DOLLY(15,011 例)与 CODE-INS(30,000 例)作为良性测试集。目标受害模型涵盖 4 款开源基座(Llama-3-8B、Mistral-7B、Qwen3-8B、Gemma-2-9B)与 2 款闭源 API 模型(DeepSeek-V3.2、GPT-4o-mini)。下游安全性由 Qwen-Plus 担任自动化判官,在 0–5 分制下评定有害严重度(Harmfulness Severity, HS),并将评分 \(\ge 3\) 判定为越狱攻击成功(Attack Success Rate, ASR)。

实验关键数据

主实验

如表 1 所示,在未经防御时,各类碎片化攻击对主流目标模型具有极高的侵入性(平均 ASR 达 37.49%–71.81%)。现有的通用过滤机制(PPL、ABD)由于无法重构被掩盖的关键词,防御效果非常有限。独立护栏模型直接审查时也因“碎片失明”而遭遇严重穿透(例如 Llama Guard 在 ARTPERCEPTION 上的 ASR 高达 67.00%)。而在外挂 CAVD-Guard 后,所有护栏在各个数据集上的攻击成功率均被压制至近乎为零,总体平均 ASR 从无防御的 53.61% 降至仅 1.63%。

数据集 防御方法 Llama-3 ASR(%) / HS Mistral ASR(%) / HS Qwen3 ASR(%) / HS Gemma-2 ASR(%) / HS DeepSeek-V3.2 ASR(%) / HS GPT-4o-mini ASR(%) / HS 平均 ASR(%) / HS
ARTP 无防御 18.01 / 1.59 63.99 / 3.32 58.03 / 2.77 31.99 / 2.14 41.97 / 2.37 10.94 / 1.38 37.49 / 2.26
(字符画) Llama Guard 12.05 / 1.18 41.97 / 2.20 32.96 / 1.79 21.05 / 1.49 31.99 / 1.63 10.94 / 1.11 25.16 / 1.57
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
ShieldLM 1.94 / 0.10 5.96 / 0.26 4.02 / 0.16 1.94 / 0.16 4.99 / 0.17 0.97 / 0.10 3.30 / 0.16
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
WildGuard 0.97 / 0.05 1.94 / 0.06 0.00 / 0.04 0.00 / 0.04 0.00 / 0.03 0.00 / 0.02 0.49 / 0.04
+ CAVD-Guard 0.97 / 0.05 0.97 / 0.05 0.00 / 0.04 0.00 / 0.04 0.00 / 0.03 0.00 / 0.02 0.32 / 0.04
ARTPERC 无防御 78.67 / 3.57 68.00 / 3.39 58.67 / 2.80 46.67 / 2.61 62.67 / 3.09 76.00 / 3.57 65.11 / 3.17
(感知字符) Llama Guard 72.00 / 3.53 76.00 / 3.54 61.33 / 2.86 52.00 / 2.78 62.00 / 2.94 78.67 / 3.59 67.00 / 3.21
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
ShieldLM 73.33 / 3.26 68.00 / 3.22 50.67 / 2.48 50.00 / 2.48 54.00 / 2.66 68.00 / 3.05 60.67 / 2.86
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
WildGuard 18.67 / 0.90 18.67 / 0.89 16.00 / 0.78 12.00 / 0.66 18.67 / 0.90 21.33 / 0.90 17.56 / 0.84
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
EMOJI 无防御 70.96 / 3.63 70.00 / 3.67 86.92 / 3.87 5.96 / 1.24 1.92 / 1.09 5.00 / 1.20 40.13 / 2.45
(表情插入) Llama Guard 19.04 / 0.94 15.00 / 0.86 25.00 / 1.10 4.04 / 0.42 0.96 / 0.30 4.04 / 0.40 11.35 / 0.67
+ CAVD-Guard 1.92 / 0.08 1.92 / 0.10 1.92 / 0.08 0.96 / 0.06 0.00 / 0.02 0.00 / 0.03 1.12 / 0.06
ShieldLM 69.04 / 3.50 68.08 / 3.62 85.00 / 3.89 5.96 / 1.20 3.08 / 1.09 4.04 / 1.14 39.20 / 2.41
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
WildGuard 29.04 / 1.29 25.96 / 1.27 28.08 / 1.33 0.00 / 0.32 0.00 / 0.32 3.08 / 0.42 14.36 / 0.83
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
UBBI 无防御 66.03 / 3.29 89.02 / 4.30 59.93 / 2.93 56.97 / 3.05 86.93 / 4.41 71.95 / 3.68 71.81 / 3.61
(语言游戏) Llama Guard 62.02 / 3.31 86.06 / 4.13 48.95 / 2.91 64.98 / 3.16 81.01 / 4.20 73.00 / 3.78 69.34 / 3.58
+ CAVD-Guard 18.12 / 0.84 19.16 / 0.90 13.07 / 0.62 16.03 / 0.76 17.94 / 0.88 18.99 / 0.94 17.22 / 0.82
ShieldLM 55.05 / 2.86 85.02 / 4.11 39.02 / 2.48 50.00 / 2.81 74.04 / 3.88 63.07 / 3.45 61.03 / 3.27
+ CAVD-Guard 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00 0.00 / 0.00
WildGuard 67.07 / 3.34 86.06 / 4.23 44.08 / 2.82 55.05 / 3.11 86.93 / 4.42 71.08 / 3.69 68.38 / 3.60
+ CAVD-Guard 0.87 / 0.08 1.05 / 0.09 0.52 / 0.04 0.87 / 0.08 1.05 / 0.09 1.05 / 0.08 0.90 / 0.08

消融实验

表 2 展示了在 800 条混合指令(含常规恶意样本、碎片化越狱样本和良性样本)上的机制消融实验。对比“纯护栏(Guard-only)”、“纯表面特征(Surface-only)”、“纯检测直接阻断(CAVD-only)”以及“全量规范化重构(Always-CV Guard)”,CAVD-Guard 实现了最高的净收益(Avg. BR − FPR)与极高的推理效率。

护栏模型 配置方法 非碎片化攻击拦截率 (%) ↑
[Adv/Harm/均值]
碎片化越狱拦截率 (%) ↑
[ARTP/PERC/EMOJI/UBBI/均值]
良性样本误报率 (%) ↓
[DOLLY/CODE/均值]
净收益指标 (BR − FPR) ↑ 下游护栏调用次数 ↓
模型无关 Surface-only 0.00 / 0.00 / 0.00 100.00 / 100.00 / 100.00 / 100.00 / 100.00 10.00 / 59.00 / 34.50 32.17 –
Llama Guard Guard-only 94.00 / 71.00 / 82.50 40.00 / 2.00 / 70.00 / 0.00 / 28.00 0.00 / 0.00 / 0.00 46.17 800
CAVD-only 0.00 / 0.00 / 0.00 100.00 / 100.00 / 100.00 / 100.00 / 100.00 0.00 / 13.00 / 6.50 60.17 –
CAVD-Guard 94.00 / 71.00 / 82.50 100.00 / 98.00 / 94.00 / 80.00 / 93.00 0.00 / 0.50 / 0.25 89.25 1,067
Always-CV Guard 94.00 / 73.00 / 83.50 100.00 / 98.00 / 94.00 / 80.00 / 93.00 0.50 / 0.50 / 0.50 89.33 2,903
ShieldLM Guard-only 100.00 / 96.00 / 98.00 96.00 / 34.00 / 14.00 / 52.00 / 49.00 1.00 / 0.00 / 0.50 64.83 800
CAVD-only 0.00 / 0.00 / 0.00 100.00 / 100.00 / 100.00 / 100.00 / 100.00 1.50 / 19.00 / 10.25 56.42 –
CAVD-Guard 100.00 / 96.00 / 98.00 100.00 / 100.00 / 98.00 / 98.00 / 99.00 1.00 / 0.50 / 0.75 97.92 1,021
Always-CV Guard 100.00 / 100.00 / 100.00 100.00 / 100.00 / 98.00 / 98.00 / 99.00 1.50 / 2.50 / 2.00 97.33 2,622
WildGuard Guard-only 100.00 / 99.00 / 99.50 96.00 / 66.00 / 72.00 / 0.00 / 58.50 0.50 / 0.00 / 0.25 71.92 800
CAVD-only 0.00 / 0.00 / 0.00 100.00 / 100.00 / 100.00 / 100.00 / 100.00 13.50 / 49.50 / 31.50 35.67 –
CAVD-Guard 100.00 / 99.00 / 99.50 100.00 / 100.00 / 98.00 / 90.00 / 97.00 0.50 / 0.00 / 0.25 97.58 1,395
Always-CV Guard 100.00 / 99.00 / 99.50 100.00 / 100.00 / 100.00 / 90.00 / 97.50 0.50 / 0.00 / 0.25 97.92 2,656

关键发现

  • 纯表面过滤与纯注意力阻断的硬伤:Surface-only 虽能捕获常见碎片变体,但在符号密集的良性编程指令(CODE-INS)上误报率飙升至 59.00%;而直接阻断触发样本的 CAVD-only 在 WildGuard 上的良性误报率也高达 31.50%。这强有力地证明了注意力足迹仅是输入结构异常的警示,绝不能直接等同于有害标签,分级规范化重构才是保证低误报的关键。
  • 动态阈值与关键掩码的必要性:CAVD 内部组件消融(表 9)显示,若移除长度动态阈值(改用固定最大阈值),攻击触发率骤降至 79.91%(漏判严重);而若去掉局部对角线窗或前缀排除窗,良性误报率则会从 22.51% 恶化至 25% 以上。
  • 超轻量 Proxy 的可行性与计算加速:通过部署超小型的 Qwen3-0.6B 作为前端注意力检测代理(表 3),单条指令计算 CAVD 标志仅耗时 17.18 ms(仅占完整护栏单次前向开销的 12.1%),并能在保持 100% 碎片化越狱覆盖率的同时将下游调用总数削减至 921 次,较全量规范化检查(Always-CV)节省 57.4% 的护栏调用开销。

亮点与洞察

  • 机制机理的深入洞察:本文通过严格的成对实验(消融上下文提示与显式重构指令对比,表 14),证实碎片化输入引起的末层注意力集中是由模型内部的“自发重构过程”驱动,而非单纯的符号噪声副产物。
  • 免训练且轻量解耦的架构设计:CAVD 无需微调护栏或目标生成模型,也不需要反向传播或收集越狱攻击数据进行拟合;校准边界完全建立在无标签的良性数据之上,天然具备抵抗对抗性过拟合的泛化优势。
  • 可扩展的模块化视图接口:检测机制(何时需要重构)与规范化视图(如何重构)完全解耦,未来面对全新的碎片机制(如逆序排列),仅需在 \(t_0\) 视图集中插入确定性逆序算子即可完成即插即用防御,无需重新标定检测器。

局限与展望

  • 白盒注意力可见性约束:CAVD 依赖于预填充阶段注意力权重的可观测性,因此更适合部署于开源自建护栏;若面向仅提供标签的纯黑盒护栏 API,则必须依赖前端引入的小型代理模型计算注意力足迹。
  • 非碎片化越狱防御范围局限:该方法专注于防御因敏感词物理/格式拆解引发的表征异常,无法直接迁移至不改变词汇完整性的纯语义欺骗(如复杂角色扮演、多轮催眠或基于梯度的连续对抗后缀)。
  • 极度符号化良性输入的过度路由:测试显示,在 LaTeX 公式、终端输出及系统日志等天然富含符号的良性输入中,CAVD 仍有约 25% 的误触发路由率;未来需要进一步结合局法语义先验,提升在复杂结构化文本上的路由选择性。

相关工作与启发

  • vs. ArtPrompt / ArtPerception / Ubbi Game: 攻击工作揭示了利用 2D 字符画与语言游戏拆分敏感词能够绕过安全对齐;本文则从逆向角度提出了首个专为抵御此类 Token 碎片化越狱而设计的免微调通用防御方案。
  • vs. ABD (Attention-based Defense, Pu et al., 2025): ABD 依赖全模型注意力的宏观分布统计进行二分类拦截,缺乏对词汇碎片的针对性解构;CAVD 聚焦于非局部弱连接比例(AVR),并引入了确定性重构机制,兼顾了高拦截率与低误杀率。
  • vs. SmoothLLM / Retokenization: 传统字符替换平滑在面对 2D 字符画或长音节混淆时无法有效还原真实语义;CAVD-Guard 采用多级分层确定性视图,精确逆转了攻击者的格式扰动。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次揭示 Token 碎片化攻击在预填充末层的注意力空白足迹,并巧妙解耦检测与视图路由。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 款主流目标模型、3 款护栏模型、4 种碎片攻击及多种良性与非碎片恶意基准,消融与分析极其详尽。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯,图表设计信息量大,问题驱动明确且术语定义规范。
  • 价值: ⭐⭐⭐⭐⭐ 为解决 LLM 碎片化越狱防御提供了工业级、高能效、即插即用的前置护栏强化标准范式。