跳转至

CAVD-Guard: Defending Against Token Fragmentation Jailbreaks via Attention Footprints

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/serendipity098/CAVD-Guard
领域: LLM 安全
关键词: 大语言模型安全, 越狱防御, Token Fragmentation, 注意力足迹, 规范视图

一句话总结

针对将敏感词切碎为离散碎片以绕过前端安全检测的 Token 分块越狱攻击,提出基于预填注意力足迹的免训练检测器 CAVD 与多级确定性规范视图路由框架 CAVD-Guard,在无需微调生成模型的前提下将各类分块越狱成功率压缩至 1.63%,且良性误报率低于 0.75%。

研究背景与动机

大语言模型在各行各业的规模化落地使其输入输出的安全对齐成为核心底线要求。为了拦截潜在的恶意有害提示词,工业界与学术界普遍依赖两类防御范式:一类是部署在生成系统前端的安全护栏模型(如 LLaMA Guard、ShieldLM、WildGuard 等),负责在指令递交给主生成模型前判定其风险并执行拦截;另一类则是基于模型内部表征或解码时干预的防御机制(如困惑度过滤或安全解码)。然而,这些外部防御普遍建立在一个根本性假设之上——安全审查系统所检查的提示文本必须暴露完整的违禁敏感词或连贯的语义线索,才能激活其安全判别逻辑。

近期涌现的一类高隐蔽性越狱攻击直接击碎了这一假设,即 Token 分块越狱(Token Fragmentation Jailbreaks, TFJ)。攻击者利用 2D ASCII 艺术排版(如 ArtPrompt、ArtPerception)、表情符号交错插入(Emoji Attack)、冗余无害音节填充(Ubbi Dubbi 语言游戏)或子词扰动等变换手段,将指令中的核心有害关键词(如 "bomb"、"hack")拆解为表面离散但在空间或规则上可还原的字符碎片。这一攻击引发了安全审查与模型生成之间的严重脱节:前端护栏模型仅接收到看似杂乱甚至合法的子词碎片,因而放行指令;而后端能力强大的目标生成模型却能凭借强大的上下文理解与重构能力,在自回归生成过程中自发缝合这些分散的碎片,推断出被隐藏的真实违规意图并输出危险内容。

为了弥合这一审查与生成脱节的漏洞,本文深入探究大语言模型处理分块指令时的内部表征行为,发现分散的关键词碎片在模型前向预填阶段会留下独特的注意力足迹——分块字符彼此之间会形成异常密集的注意力聚集回路,而这些碎片与周围正常完整词之间的注意力连接则极其微弱,导致大范围注意力连接显著衰竭。核心 idea:利用分块关键词在预填阶段必然触发的非局部注意力凹陷与强锚点集聚特征,构建免训练且经长度标定的注意力空洞检测器(CAVD),并作为轻量路由器将异常指令重定向至多级确定性规范视图(Canonical Views)完成重构后再交由护栏裁决。

方法详解

整体框架

CAVD-Guard 是一种专为防范 Token 分块越狱而设计的免微调护栏包装器(Guard Wrapper)。其端到端执行流程包含三大阶段:预填注意力提取与空洞评分、长度条件化自适应路由判定、以及分级确定性规范视图重构与护栏裁决。系统首先在护栏模型(或更轻量的小型代理模型)前向预填时,提取终端 Transformer 层的多头平均因果注意力矩阵,滤除对角线局部语法窗口并计算非局部注意力空洞比例(AVR);接着与基于良性校验集标定的长度依赖阈值曲面比对,判定输入是否出现分块异常;若未触发警报,则直接采纳护栏模型的原始判别结果;若触发异常,则依次生成基于结构线索的严格还原、结构清洗与通用规范化三级确定性视图,并在首次触发有害判定时执行早停拦截。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入指令 x"] --> B["预填因果注意力提取<br/>终端层多头平均 ¯A"]
    B --> C["注意力空洞比率计算 (AVR)<br/>排除局部窗口与前缀列"]
    C --> D["长度条件化标定检测 (CAVD)<br/>比对动态阈值 T(L)"]
    D -->|未触发异常 z=0| E["原始视图护栏判别 G(x)"]
    D -->|触发分块异常 z=1| F["分级确定性规范视图生成<br/>t0 严格还原 → t1 结构清洗 → t2 通用规范"]
    F --> G["护栏串行裁决与早停 (CAVD-Guard)<br/>D(x) = max G(v)"]
    E --> H["安全放行 / 拦截决策"]
    G --> H

关键设计

1. 注意力空洞比率计算 (AVR):剥离局部语法与前缀偏差,量化非局部弱连接稀疏度

Token 分块攻击为了诱导生成模型还原语义,迫使模型将绝大多数注意力质量集中在彼此分离的碎片字符之间(在前 20% 强连接中占比过载),导致其余绝大多数非局部位置之间的关联质量极度匮乏(后 30% 弱连接占比急剧萎缩)。针对这一分布特征,AVR 旨在通过统计低于参考均值数量级阈值的弱连接比例,精确捕捉这种注意力凹陷足迹。设终端层多头平均注意力矩阵为 \(\bar{A}\),为避免临近词法依赖的干扰,排除宽度为 \(W_{\text{local}}=5\) 的近对角带,构成测量非局部区域 \(F = \{(i, j) : i > j, i - j > W_{\text{local}}\}\);同时排除前 \(W_{\text{prefix}}=30\) 列前缀键(防止初始位置吸附过多无意义注意力),在参考区域 \(C = \{(i, j) \in F : j \ge W_{\text{prefix}}\}\) 上计算指令级参考均值 \(\mu(x) = |C|^{-1} \sum_{(i,j)\in C} \bar{A}_{ij}\)。最终将 AVR 定义为非局部区域内远低于均值的离散连接所占比例:

\[ \text{AVR}(x) = \frac{1}{|F|} \sum_{(i,j)\in F} \mathbf{1}\left[\bar{A}_{ij} < \alpha \mu(x)\right] \]

默认比例因子取 \(\alpha = 0.1\),即筛选比非局部参考均值小一个数量级以上的微弱连接。该指标作为纯粹的内部结构异化度量,完全不依赖语义有害性打分,从而对各类变换模式保持通用感知。

2. 长度条件化标定检测 (CAVD):消除序列长度对注意力稀疏性的自然干扰,建立免样本边界

实证研究表明,随着输入序列长度 \(L\) 的递增,Transformer 注意力矩阵维数呈二次方膨胀,即使对于合法的良性长文本,非局部区域内的长尾弱连接比例也会自然单调上升。若采用全局固定阈值,势必在长文本上发生严重的良性误判,或在短文本上遗漏真实攻击。为此,CAVD 引入基于良性文本池的长度条件化线性标定机制。利用不含任何攻击样本与测试集、涵盖多样化安全长文本的良性校准集 XSTEST-CAL(通过对 XSTest 安全子集提示词开展多级扩展生成),拟合良性 AVR 与序列长度 \(L\) 的线性回归线,并结合残差标准差 \(\sigma\) 与安全边际 \(k=1\) 确定动态拦截上界:

\[ T(L) = w L + b + k \sigma \]

在推理时,护栏前端仅需一次极快的前向预填即可获得标定判别标志 \(z(x) = \mathbf{1}[\text{AVR}(x) > T(|x|)]\)。整个标定过程不更新模型参数、不接触攻击样本,实现了严格零样本、免训练的轻量化判定。

3. 分级确定性规范视图生成与串行裁决:由针对性线索到通用平滑的多层重构

当检测器判定指令存在分块风险(\(z(x)=1\))时,防御系统并不直接粗暴拦截,而是将输入重定向至确定性规范视图生成管线,主动重构可能隐藏的敏感信息供护栏审查。为了兼顾针对性还原与泛化鲁棒性,系统定义了优先级从高到低的三级确定性视图族: - t0(线索特异性严格还原):针对包含明确结构标记的输入,从二维网格中逆向解析连贯文本、依据语言游戏规则(如 Ubbi Dubbi 元音去填充)解码重复分块模式,或从长伪装模板中剥离被引号/代码块包裹的高风险载荷岛屿; - t1(宽容结构清洗):剥离表情符号、象形填充符、零宽字符等破坏分词的非语义噪声,压缩连续重复标点与空行,并应用基于固定编辑距离词表的受限混淆字符修复; - t2(通用规范化兜底):执行 Unicode 兼容性规范化(NFKC)、空白折叠与行尾修剪。

护栏模型依照 \(t_0 \to t_1 \to t_2\) 的严格层级顺序对候选视图列表 \(U^+(x) = [C_1(x), \dots, C_K(x)]\) 展开串行判别,并在首次输出有害标记(\(G(v)=1\))时立即早停熔断拒绝,仅当所有规范视图均判定为安全时方予以放行。该串行设计既彻底消除了无谓的冗余护栏调用开销,又确保了对未知分块变体的最大容错捕获能力。

损失函数 / 训练策略

CAVD 与 CAVD-Guard 均为完全免训练(Training-free)架构,无需微调生成大模型或重新训练安全护栏的任何网络参数。其唯一的超参数配置(\(W_{\text{local}}=5\), \(W_{\text{prefix}}=30\), \(\alpha=0.1\), \(k=1\))在开发阶段于宽广的平稳敏感性区间内直接固定,并在所有主干模型、护栏类型及攻击基准上保持冻结不变。此外,注意力足迹指标支持跨模型迁移,允许采用极轻量的小型模型(如 Qwen3-0.6B)作为前端代理特征提取器,从而将注意力计算延迟压低至仅 17.18 毫秒。

实验关键数据

主实验

主实验在六大主流通用大语言模型(开源组:Llama-3-8B、Mistral-7B、Qwen3-8B、Gemma-2-9B;闭源组:DeepSeek-V3.2、GPT-4o-mini)上系统评估,涵盖四大经典 Token 分块越狱攻击基准:ArtPrompt (ARTP)、ArtPerception (ARTPERC)、Emoji Attack (EMOJI) 和 Ubbi Game (UBBI)。攻击成功率(Attack Success Rate, ASR)由独立的 Qwen-Plus 自动裁判在 0–5 分危害评级下按 \(\ge 3\) 分判定。

下表摘录了主流开源与闭源模型在四大分块攻击下的越狱成功率(ASR %)及全模型平均表现(Avg. ASR %):

攻击基准 防御机制 Llama-3-8B Mistral-7B Qwen3-8B Gemma-2-9B DeepSeek-V3.2 GPT-4o-mini 全模型平均 ASR (%)
ARTP 无防御 (No Defense) 18.01 63.99 58.03 31.99 41.97 10.94 37.49
PPL 过滤 23.96 68.01 54.99 31.02 – – 44.50
ABD 注意力防御 17.04 62.05 57.06 32.96 – – 42.28
LLAMA GUARD 12.05 41.97 32.96 21.05 31.99 10.94 25.16
+ CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
SHIELDLM + CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
WILDGUARD + CAVD-Guard 0.97 0.97 0.00 0.00 0.00 0.00 0.32
ARTPERC 无防御 (No Defense) 78.67 68.00 58.67 46.67 62.67 76.00 65.11
LLAMA GUARD 72.00 76.00 61.33 52.00 62.00 78.67 67.00
+ CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
SHIELDLM + CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
WILDGUARD + CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
EMOJI 无防御 (No Defense) 70.96 70.00 86.92 5.96 1.92 5.00 40.13
LLAMA GUARD 19.04 15.00 25.00 4.04 0.96 4.04 11.35
+ CAVD-Guard 1.92 1.92 1.92 0.96 0.00 0.00 1.12
SHIELDLM + CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
WILDGUARD + CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
UBBI 无防御 (No Defense) 66.03 89.02 59.93 56.97 86.93 71.95 71.81
LLAMA GUARD 62.02 86.06 48.95 64.98 81.01 73.00 69.34
+ CAVD-Guard 18.12 19.16 13.07 16.03 17.94 18.99 17.22
SHIELDLM + CAVD-Guard 0.00 0.00 0.00 0.00 0.00 0.00 0.00
WILDGUARD + CAVD-Guard 0.87 1.05 0.52 0.87 1.05 1.05 0.90

在各类目标模型与护栏配置下,CAVD-Guard 均取得了显著的防御增强;其中基于 ShieldLM 与 WildGuard 的集成防御在三大基准上实现了 0.00% 的绝对零越狱率,即使在最棘手的 Ubbi Game 上,WildGuard + CAVD-Guard 也将未设防时的 71.81% ASR 压制到了 0.90%。跨四大基准与三类护栏的总体后防御平均 ASR 仅为 1.63%。

消融实验

为了严格解耦前端注意力检测与下游规范视图重构的各自贡献,论文在包含 800 条指令的固定混合集上进行机制级消融分析(包含 AdvBench、HarmBench 非分块有害集各 100 条,四大分块越狱集各 50 条,Dolly 与 Code-Ins 良性样本各 200 条)。对比了单纯基于表面统计规则(Surface-only)、护栏直连(Guard-only)、仅注意力触发直阻(CAVD-only)、全量规范视图(Always-CV Guard)以及完整的路由防御(CAVD-Guard)。

下表汇报了在三大护栏基座上的分块拦截率(BR %)、良性假阳性误报率(FPR %)以及下游护栏前向调用总次数:

护栏基座模型 机制配置 非分块攻击拦截率 (BR %) 分块越狱攻击拦截率 (BR %) 良性误报率 (FPR %) 净安全增益 (Avg. BR - FPR) 下游护栏调用总次数
无护栏模型 Surface-only (表面规则) 0.00 100.00 34.50 32.17 –
LLAMA GUARD Guard-only (原始护栏) 82.50 28.00 0.00 46.17 800
CAVD-only (纯足迹直阻) 0.00 100.00 6.50 60.17 –
Always-CV Guard (全量视图) 83.50 93.00 0.50 89.33 2,903
CAVD-Guard (路由+重构) 82.50 93.00 0.25 89.25 1,067
SHIELDLM Guard-only (原始护栏) 98.00 49.00 0.50 64.83 800
CAVD-only (纯足迹直阻) 0.00 100.00 10.25 56.42 –
Always-CV Guard (全量视图) 100.00 99.00 2.00 97.33 2,622
CAVD-Guard (路由+重构) 98.00 99.00 0.75 97.92 1,021
WILDGUARD Guard-only (原始护栏) 99.50 58.50 0.25 71.92 800
CAVD-only (纯足迹直阻) 1.50 100.00 31.50 35.67 –
Always-CV Guard (全量视图) 99.50 97.50 0.25 97.92 2,656
CAVD-Guard (路由+重构) 99.50 97.00 0.25 97.58 1,395

关键发现

  • 分块攻击导致原始护栏几乎形同虚设:未装备 CAVD 时,三大主流护栏在常规恶意指令上具备 82.5%–99.5% 的高拦截率,但面对分块越狱时拦截率暴跌至 28.00%(LLaMA Guard)、49.00%(ShieldLM)和 58.50%(WildGuard),表明纯语义审查在碎片化掩码下存在系统性盲区。
  • 纯表面过滤与纯足迹直阻会引发严重误报:基于表面特征的启发式规则(Surface-only)和纯注意力空洞直接拦截(CAVD-only)虽然能捕获 100% 的分块攻击,但在良性代码与长文本上造成了高达 10.25%–34.50% 的不可接受误报;CAVD 作为条件路由器将良性误报严格抑制在 0.25%–0.75%。
  • 动态路由以微小开销换取近乎无损的安全上界:相较于对所有输入无差别生成规范视图的 Always-CV 方案,CAVD-Guard 维持了近乎一致的高拦截能力(分块平均拦截率 96.33% vs 96.50%),同时将下游护栏调用次数从平均 2,727 次大幅缩减至 1,161 次(减少 57.4%)。
  • 极佳的小模型代理加速潜力:利用 Qwen3-0.6B 作为前端检测代理时,单次指令判定延迟仅 17.18 毫秒(仅占单次护栏前向耗时的 12.1%),并同样实现分块越狱 100% 触发率与 3.50% 的整体良性触发率。

亮点与洞察

  • 从机械表面匹配转向机理级注意力足迹:揭示了大语言模型在缝合离散碎片时内部注意力质量呈现“非局部空洞与局部锚点强聚集”的内在动力学规律,为防御碎片化对抗扰动提供了模型内生且难以伪装的物理信号。
  • “检测即路由”的非破坏性纵深防御范式:巧妙地将异常检测器定位于“置信度路由开关”而非直接阻断判定器,解耦了“何时需要辅助重构(CAVD)”与“重构后究竟是否违规(Guard)”,有效化解了高敏感度探测器在富符号良性任务(如代码、表格、Markdown)中的误伤困境。
  • 基于经验分级的即插即用确定性视图:设计了从显式结构逆变换到通用文本规范化的轻量级确定性视图管线,避免了调用庞大生成模型二次重写引入的额外幻觉与高昂推理时延。

局限与展望

  • 依赖白盒注意力权重暴露:CAVD 的核心在于提取预填阶段终端层的注意力矩阵,因而最适合部署在本地开源或可插桩的安全护栏上;若安全系统仅接入第三方黑盒闭源 API,则必须额外引入开源小模型(如 Qwen3-0.6B)作为前端代理提取器。
  • 针对非分块越狱的防御边界限制:该机制专门靶向利用字符碎片隐匿敏感词的结构化越狱,无法防范基于角色扮演(Role-play)、社会工程说服(Persuasion)或基于梯度的对抗后缀等非关键词分块攻击。
  • 富符号良性域的过度路由倾向:在面向终端命令行输出(43.0% 触发)或配置文件(32.0% 触发)等天然富含密集特殊符号的良性输入时,CAVD 仍存在约 25.17% 的过度路由率,虽不会直接误拒,但仍会增加少量的冗余规范视图审查开销。

相关工作与启发

  • vs PPL(困惑度过滤,Alon and Kamfonas, 2023): PPL 依赖目标模型对异常字词序列的表面似然打分,在面对 ASCII 艺术等非自然排版时往往无所适从或大幅误伤普通代码;本文直接利用预填注意力结构特征,对分块越狱具有极高灵敏度与区分度。
  • vs ABD(注意力分布防御,Pu et al., 2025): ABD 侧重于目标模型层面的广义注意力发散度量,缺乏对碎片间强聚集与其余背景稀疏性的细粒度分离;本文提出的 AVR 配合长度自适应标定,在显著抑制良性误报的同时精准锚定分块重构足迹。
  • vs SmoothLLM 等输入扰动与重重构方法(Robey et al., 2023; Jain et al., 2023): 传统平滑机制采用随机字符替换或启发式擦除,易破坏原本合法的语义结构;本文采用分级确定性规范视图与早停裁决,实现了更高保真度与更低开销的确定性重构。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次揭示分块越狱在 Transformer 预填注意力矩阵中的结构化“空洞”足迹,并提出轻量有效的免训练检测量化指标。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 类主流开源/闭源模型、3 大主流安全护栏、4 项分块基准及 2 项外部泛化集,消融深入,数据充实。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述流畅自然,机理解释透彻,实验设计严谨自洽。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型安全护栏系统修补了长期暴露在字符碎片越狱下的重大前门漏洞,即插即用且开销极低。