Metaphor is not all Attention Needs¶

会议: NeurIPS 2026
arXiv: 2605.12128
OpenReview: https://openreview.net/forum?id=KV6QfeD53p
领域: 安全
关键词: 大语言模型安全, 越狱攻击, 机械可解释性, 注意力分析, 文学风格越狱

一句话总结¶

通过构建三维可解释注意力张量降维表征与线性探测，揭示诗歌等文学越狱并非依靠孤立修辞手法或模型未能识别文学体裁，而是利用累积的风格与结构异常避开后训练安全触发词，诱发与有害意图识别脱钩的特定注意力模式。

研究背景与动机¶

经过指令微调、人类反馈强化学习（RLHF）以及宪政AI（Constitutional AI）对齐后的大语言模型，已经能够有效拒绝包含假冒身份、权限提升及直接劝诱等形式的恶意提示词。然而，当攻击者将恶意意图包裹进文学风格表征（如将违规指令改写为诗歌或民间传说）时，模型的安全对齐机制往往遭遇严重失效，越狱成功率（ASR）甚至激增十数倍。现有研究普遍将此类现象归结为安全训练中的“不匹配泛化”问题，即模型具备理解复杂文学表述并执行任务的通用能力，却无法将安全边界泛化迁移至非标准文本形态。

这一跨越主流闭源与开源模型的共性漏洞引发了核心疑问：文学越狱究竟是由某种特定的诗歌修辞格（例如隐喻、格律或倒装）直接致使安全机制瘫痪，还是源于模型在理解文学格式时产生了底层解析障碍？如果是后者，模型内部的注意力机制是否能够感知诗歌与常规散文的边界？如果是前者，文学风格转换中是否隐藏着最小充分攻击操作子？

为了解答这些疑问，本文不再局限于黑盒攻击成功率的宏观统计，而是从机械可解释性视角切入，以自注意力层权重分布为显微镜开展因果消融与表征探测。核心 idea：将提示词分解为多层次修辞与功能单元，并构建跨生成阶段、网络层簇和功能词元组的可解释三维注意力向量表征，证实文学越狱并非依赖单一修辞手法，而是累积的格式与风格异常诱发了与有害内容检测正交的独立注意力机制。

方法详解¶

整体框架¶

本文构建了一套结合输入层多级修辞消融与注意力模式机械解释的混合分析体系。整体流程包含四个阶段：首先基于结构主义诗学理论对恶意诗歌进行自底向上的细粒度修辞组件消融，定量评估单一与组合修辞格对安全判决的因果效应；其次在受试模型（Qwen3-14B）贪婪解码过程中截获自注意力张量，跨注意力头最大池化后，沿生成阶段、聚类层簇、功能语义词元组三维空间压缩折叠，生成72维结构化注意力特征向量；接着利用无监督聚类（PCA）与线性/非线性分类探测器验证内部表征对文本体裁与安全状态的线性可分性；最后通过探测器权重归因定位主导风格识别与安全判决的关键神经元层位及词元类型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词对<br/>(恶意散文 vs 配对诗歌)"] --> B["输入层多级修辞消融<br/>自底向上剔除语音/格律/隐喻"]
    B --> C["受试模型推理解码与注意力张量采集<br/>(Qwen3-14B, T=50, H=40, L=40)"]
    C --> D["三维注意力张量可解释表征投影<br/>头池化 + 3阶段 × 4层簇 × 6功能组"]
    D --> E["体裁与安全线性探测及PCA空间聚类<br/>Logistic Regression / SVC / MLP"]
    E --> F["注意力机制脱钩归因分析<br/>体裁高分识别与安全弱信号正交"]

关键设计¶

1. 输入层多级修辞消融：解析文学越狱的极小充分操作子 针对文学越狱是否依赖特定修辞格的争议，研究团队借鉴洛特曼结构主义诗学体系，将提示词中的文学变异自底向上解构为三大层级：语言与语音层（头韵、元音韵、辅音韵、特殊词汇与句法倒装）、形式与结构层（押韵格式、音步格律、诗节分段）以及语义与主题层（隐喻意象与场景构建）。消融实验采用双向因果干预逻辑：一方面从越狱成功的诗歌中逐级剥离修辞元素直至退化为极简形态，另一方面将修辞成分反向注入原本被拦截的散文提示词中，以安全判决的翻转率作为因果影响指标。实验发现单一修辞格剥离或添加时的平均标签跳变率仅为约16%，且押韵等结构特征的“有效性”本质来自于押韵替换过程中规避了预训练黑名单词汇。这证明文学越狱并不存在孤立的“阿喀琉斯之踵”，而是表面风格变异累积形成的复合效应。

2. 三维可解释注意力特征工程：高维张量的结构化压缩投影 为解决全注意力矩阵维度爆炸（单样本高达数百万元素）且缺乏语义可读性的瓶颈，本文提出一种固定长度的72维可解释注意力特征映射向量 $\mathbf{f} \in \mathbb{R}^{72}$。对于长度为 $S_k$ 的键序列，在每个时间步 $t \in [0, T-1]$ 和网络层 $l \in [0, L-1]$，首先对所有注意力头实施最大池化（$H=40 \to 1$），保留任意头分配给特定键位置的最强注意力信号： $$\tilde{A}^{(t,l)}_k = \max_{h \in \{1,\ldots,H\}} A^{(t,l,h)}_k$$ 随后沿着三个核心轴线完成结构化池化： - 解码阶段轴 ($P=3$)：将生成的50个token均分为早期 $p_0 \in [0, 16]$、中期 $p_1 \in [17, 33]$ 和晚期 $p_2 \in [34, 49]$，捕捉拒绝信号的时序演进； - 网络层簇轴 ($C=4$)：利用沃德层次聚类（Ward's hierarchical clustering）对校准集上层间注意力相关性矩阵进行凝聚分组，归纳出结构高度一致的四组功能层簇 $c_0=\{0\}$（嵌入首层）、$c_1=\{1\text{-}4\}$（初级语法层）、$c_2=\{5, 6\}$（特征过渡层）和 $c_3=\{7\text{-}39\}$（深层语义推理层）； - 功能词元轴 ($G=6$)：将输入提示词切分为隐喻表述（FIGURATIVE）、有害载荷（HARMFUL_PAYLOAD）、中性铺垫（SETUP）、专业术语（TECHNICAL）、语法虚词（FUNCTION_WORD）和结构标点换行（PUNCTUATION），在各词元组内部采用均值池化（Mean-pooling）消除诗歌与散文间平均3.3倍的文本长度偏差。最终 $3 \times 4 \times 6 = 72$ 维特征向量完整保留了时序、深度与词元功能语义。

3. 体裁与安全双重线性探测：证实内部表征的正交脱钩 为了探究注意力模式中编码的信息实质，研究设计了体裁探测器（全数据集区分诗歌与散文）和格式内安全探测器（在诗歌与散文子集上分别预测模型是否输出有害内容）。探测器采用 $L_1$ 正则化逻辑回归，并配合高斯核支持向量机（SVC）与多层感知机（MLP）作为非线性基线以排除非线性掩盖。在样本划分上严格采用组感知交叉验证（GroupKFold），确保同源的散文-诗歌提示词对不发生跨折语义泄漏，并在散文安全子集上引入子抽样平衡。探测结果结合特征权重分析直接证明：模型在前序过渡层对诗歌格式有着极高置信度的识别，但这种注意力重组并未将有害载荷的注意力重定向与安全拦截计算有效绑定，形成了“识别了体裁却失控了意图”的脱钩现象。

实验关键数据¶

主实验¶

在由 1,197 个 MLCommons AILuminate 基准散文样本与 DeepSeek-R1 改写的 1,200 个对应诗歌组成的 2,397 个样本全量数据集上，评估 Qwen3-14B 的安全表现及三种分类器在注意力特征上的探测性能（均值 $\pm$ 标准差）。

评估子集	预测目标	分类器类型	测试集准确率 (Accuracy)	ROC-AUC
全量数据集 (Full)	文本体裁 (Format: 诗歌 vs 散文)	Logistic Regression	$0.985 \pm 0.006$	$0.997 \pm 0.002$
全量数据集 (Full)	文本体裁 (Format: 诗歌 vs 散文)	SVC (RBF核)	$0.993 \pm 0.006$	$1.000 \pm 0.000$
全量数据集 (Full)	文本体裁 (Format: 诗歌 vs 散文)	MLP (128隐层)	$0.993 \pm 0.006$	–
散文子集 (Prose)	安全标签 (Safety: 安全 vs 越狱)	Logistic Regression	$0.673 \pm 0.087$	$0.709 \pm 0.100$
散文子集 (Prose)	安全标签 (Safety: 安全 vs 越狱)	SVC (RBF核)	$0.601 \pm 0.076$	$0.652 \pm 0.082$
散文子集 (Prose)	安全标签 (Safety: 安全 vs 越狱)	MLP (128隐层)	$0.638 \pm 0.036$	–
诗歌子集 (Poetry)	安全标签 (Safety: 安全 vs 越狱)	Logistic Regression	$0.658 \pm 0.035$	$0.722 \pm 0.052$
诗歌子集 (Poetry)	安全标签 (Safety: 安全 vs 越狱)	SVC (RBF核)	$0.654 \pm 0.030$	$0.717 \pm 0.031$
诗歌子集 (Poetry)	安全标签 (Safety: 安全 vs 越狱)	MLP (128隐层)	$0.671 \pm 0.030$	–

消融实验¶

基于 60 个配对样本（30 对诗歌-散文）进行的输入层修辞设备因果干预消融，以及全量数据集上两种文本格式在 Qwen3-14B 下的基础安全表现统计。

实验配置 / 样本类型	样本总数	安全回答数 (Safe)	越狱输出数 (Unsafe)	攻击成功率 (ASR)
主数据集：散文基准 (Prose)	1,197	1,072	125	10.44%
主数据集：诗歌变体 (Poetry)	1,200	637	563	46.92%
校准集：散文基准	20	14	6	30.00%
校准集：诗歌变体	20	13	7	35.00%
单一修辞格双向消融 (平均)	60	–	–	标签翻转率 $\approx 16\%$
孤立剥离押韵格式 (Poetry $\to$ Refusal)	30	5 翻转为安全	25 维持越狱	翻转率 16.67%
孤立注入押韵格式 (Prose $\to$ Jailbreak)	30	23 维持安全	7 翻转为越狱 (同义词替换诱导)	翻转率 23.33%

关键发现¶

体裁信号的绝对主导性：仅凭 72 维注意力特征中的 39 个非零系数，线性逻辑回归探测器即可达到 98.5% 的体裁判别准确率与 0.997 的 AUC，且非线性模型（SVC/MLP）并未体现出优势，表明体裁特征在注意力空间中是高度线性可分的。
安全表征的弱信号与正交性：格式内安全预测的线性探测准确率仅在 65%–67% 浮动，虽然显著高于随机猜测，但大幅低于体裁识别表现。更重要的是，主导格式识别的注意力特征（早期层对 FUNCTION_WORD、PUNCTUATION 和过渡层对 FIGURATIVE 的关注）与主导安全预测的特征在系数分布上几乎完全解耦。
生成早期过渡层的关键决策作用：模型对文本风格格式的识别主要发生在生成早期阶段（$p_0 \in [0, 16]$）且集中在第 1 至第 6 层的“过渡层”（Transition layers $c_1$ 与 $c_2$）；标点与换行符（PUNCTUATION）在散文预测中占据绝对支配地位的负系数。

亮点与洞察¶

解构了“隐喻即越狱”的认知误区：实证指明任何孤立的修辞手法既非充分也非必要，诗歌越狱的有效性来自于风格排版异常与敏感词替换的多因子累积效应。
构建了跨模态可复用的结构化注意力表征框架：将变长、高维的多头自注意力张量压缩为 $P \times C \times G$ 维度的低维语义向量，为大模型安全性与上下文理解的机制解释分析提供了轻量且标准化的范式。
揭示了安全对齐中的“形式-意图脱钩”病理：大语言模型具备极强的体裁自知力，但后训练安全机制过度绑定于具体词汇触发器，导致其在处理非常规文学格式时注意力资源被文体解析所分散，无法激活拒绝通路。

局限与展望¶

池化操作造成的信息损失：在注意力头上采用最大池化丢弃了特异性单头（Specialized Heads）的独立表征，同时均值池化平滑了局部极值，未能完整保留精细分布。
算力限制下的单一模型与固定截断：实验仅以 Qwen3-14B 为受试对象且固定生成步数为 50（无思考模式），虽有强迁移性假说支撑，但仍需在更多闭源及推理大模型上验证通用性。
未覆盖残差流与MLP非线性变换：研究止步于自注意力矩阵的诊断分析，尚未探究注意力输出在残差流（Residual Stream）与前馈神经网络（MLP）层内的后续非线性投影演化，未来可结合激活工程（Activation Steering）开展方向干预。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从机械可解释性视角系统解构文学越狱的注意力内部机制并提出结构化特征表征。
实验充分度: ⭐⭐⭐⭐☆ 包含自底向上修辞消融、2,397样本全量探测及多分类器交叉验证，但受限显存仅测单模型。
写作质量: ⭐⭐⭐⭐⭐ 论证逻辑严密，文献综述完备，方法学定义与可视化分析均具备极高规范性。
价值: ⭐⭐⭐⭐⭐ 为防御风格化越狱指明了脱离关键词匹配、面向风格诱导注意力漂移的新防线构建方向。