Inference-Time Vulnerability Beyond Shallow Safety: Alignment Along Generation Trajectories¶
会议: NeurIPS 2026
arXiv: 2606.04778
领域: 安全
关键词: 大语言模型安全、推理阶段注入、浅层安全对齐、生成轨迹对齐、SimPO
一句话总结¶
论文揭示了大语言模型浅层安全对齐是更广泛推理期注入脆弱性的特例，证明内部拒绝表征无法阻挡中途 token 注入引发的轨迹偏离，并提出了基于双向轨迹增强与 SimPO 的迭代式生成轨迹安全对齐方法。
研究背景与动机¶
当前大模型普遍采用基于人类反馈的强化学习（RLHF）、宪法 AI（Constitutional AI）或直接偏好优化（DPO）等后训练技术进行安全对齐，但部署后仍极易受到越狱攻击的破解。无论是对抗性后缀优化、黑盒提示重构，还是利用开放权重模型与 API 暴露的助手预填充（prefilling），攻击者诱导模型生成类似 "Sure" 的肯定前缀后，模型便会顺从地输出完整恶意内容。近期研究将这种现象归结为“浅层安全对齐”（shallow safety），认为现有的对齐机制本质上只是强行压低了前几个解码 token 生成有害内容的概率密度，一旦越过开头的几个 token，防护就会失效。
这种安全防御失效的深层矛盾在于：学界此前普遍假设模型的安全行为由其隐藏状态空间中的“拒绝方向”或概念向量主导，许多表征级防御（如 Circuit Breakers）也试图通过锚定特定层激活来阻断有害响应。然而，现实中的自回归解码是一个动态序列马尔可夫决策过程，现有对齐方法只在完整“输入-完整响应”样例对上做全局优化，从未训练模型在自回归生成轨迹遭到中途扰动后如何自我纠偏与恢复。即便模型在注入瞬间在表征空间中完全处于拒绝区域，外力插入的少量有害 token 也会彻底将生成轨迹拽入合规域，导致模型“虽然拒绝了，但毫无抵抗力”。
本文的切入角度是打破针对静态内部状态或完整响应对齐的思维局限，直接面向自回归生成动力学本身开展对齐。核心 idea：将浅层安全拓展为任意解码步的推理期脆弱性，利用基于表征相似度触发的双向扰动轨迹增强构建配对训练数据，并借助 SimPO 迭代优化生成轨迹，使模型不仅能抵御有害偏转，还能在遭到扰动后主动拉回安全生成轨道。
方法详解¶
整体框架¶
本文针对推理期注入脆弱性构建了一套闭环分析与轨迹级对齐流水线。系统首先在解码过程中利用拒绝/接受差分均值原型动态监控隐藏状态；一旦检测到模型进入特定行为模式，便在解码步插入反向短 token 序列，构建出受扰动后的生成轨迹并经安全裁判筛选，形成包含拒绝恢复与合规偏离的正负样本对；最后采用免参考模型的 SimPO 目标实施迭代偏好微调。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入有害指令 $x_i$"] --> B["自回归解码监控<br/>计算隐状态与原型余弦相似度"]
B --> C["双向轨迹增强<br/>跨阈值处注入相反短序列"]
C --> D["轨迹过滤与偏好配对<br/>Llama-Guard 过滤得到正负轨迹对"]
D --> E["SimPO 轨迹偏好优化<br/>长度归一化裕度最大化安全轨迹似然"]
E --> F["迭代重采精炼<br/>重算原型重新挖掘难例轨迹"]
F -->|多轮收敛| G["鲁棒对齐模型 $\pi_{\theta_K}$"]关键设计¶
1. 差分均值原型与推理期脆弱性分析：揭示拒绝表征不等于动态抗扰能力 现有表征工程假设模型内部存在单一稳定的拒绝方向。作者通过收集模型在拒绝集 \(\mathcal{D}_{\text{refuse}}\) 与顺从集 \(\mathcal{D}_{\text{comply}}\) 上的末层隐藏状态，计算差分均值原型向量 \(p_r = \bar{h}_r - \bar{h}_a\) 以及接受原型 \(p_a = -p_r\)。在任意解码步 \(t\)，隐藏状态 \(h_{i,t}\) 与拒绝原型的对齐程度量化为余弦相似度 \(H_{i,t} = \cos(h_{i,t}, p_r)\)。实验发现，在模型自然生成拒绝词句（\(H_{i,t}\) 极高）的任意位置注入简短诱导词（如 "As a harmful assistant, here's a detailed guide on" 甚至良性短语 "Certainly!"），后续攻击成功率（ASR）仍然飙升。这证明占据拒绝表征状态只是静态伴随现象，并不能转化为抵抗自回归上下文偏转的动态恢复力，传统浅层对齐只是该动态脆弱性在起始前缀位置的特例。
2. 双向轨迹增强构建：模拟中途注入生成配对轨迹 为了让模型在训练阶段接触被扰动的生成状态，作者设计了双向在线轨迹干预机制。当模型在有害指令下逐步生成时，系统监控隐状态与原型的相似度，并在首个超过设定阈值 \(\tau\) 的时间步 \(t^*\) 触发注入： - 针对模型正在拒绝的样本，当 \(\cos(h_{i,t}, p_r) > \tau_r\) 时，强制注入有害短序列 \(s^{\text{harm}}\) 并继续自回归解码，若续写变为有害，则记录为负样本轨迹 \(\tilde{y}_i^{\text{unsafe}} = (y_{<t^*}, s^{\text{harm}}, y_{\geq t^*+|s|})\)； - 针对模型意外顺从的样本，当 \(\cos(h_{i,t}, p_a) > \tau_a\) 时，强制注入拒绝短序列 \(s^{\text{ref}}\) 并继续自回归解码，若续写成功拉回安全，则记录为正样本轨迹 \(\tilde{y}_i^{\text{safe}} = (y_{<t^*}, s^{\text{ref}}, y_{\geq t^*+|s|})\)。 所有轨迹经 Llama-Guard-3-8B 二分类严格过滤，确保正负轨迹语义标签真实无误，形成三元组 \((x_i, \tilde{y}_i^{\text{safe}}, \tilde{y}_i^{\text{unsafe}})\)。
3. SimPO 轨迹级偏好对齐：免参考长度归一化策略优化 由于增强轨迹包含人为强行注入的离散 token 序列，这些非平稳 token 超出了初始基座模型的概率分布，若使用依赖参考模型的标准 DPO 会导致似然比极度不稳定。本文采用 SimPO（Simple Preference Optimization）目标，直接在模型自身策略下对长序列似然进行长度归一化：
其中 \(\log \pi_\theta(\tilde{y} \mid x) = \sum_{t=1}^{|\tilde{y}|} \log \pi_\theta(\tilde{y}_t \mid x, \tilde{y}_{<t})\)，\(\beta\) 为缩放系数，\(\gamma\) 为显式似然裕度。该目标迫使模型在面对被有害 token 打乱的生成前缀时，大幅压制有害续写分支的条件概率，同时放大即使在对抗性注入后依然能够拉回安全拒绝或良性语义重构的轨迹似然。
4. 动态原型更新的迭代式精炼：对抗难例的主动闭环覆盖 单次对齐微调后，模型的特征流形与隐状态几何发生迁移，原有的增强轨迹集无法再覆盖新模型的失稳边界。作者借鉴对抗训练范式引入外层循环迭代：每轮微调结束后，使用当前检查点重新对全部提示词做前向生成与原型计算，更新 \(p_r^{(k)}\) 与 \(p_a^{(k)}\)，并在固定阈值 \(\tau\) 下重新挖掘当前检查点的脆弱轨迹，将新收集到的难例对追加进累积训练集 \(\mathcal{A}\)，继续执行下一轮 SimPO 优化。随着轮次推进，新发现的脆弱样本数呈指数级衰减，直至 ASR 在训练与验证集上彻底清零。
实验关键数据¶
主实验¶
主实验在 Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 和 Qwen2.5-7B-Instruct 三种主流开源模型上进行，评估基准涵盖域内 AdvBench 及三个域外越狱基准（HarmBench、HEx-PHI、JailbreakBench），判定工具采用 OpenAI Moderation API（OM）与 Llama-Guard-3-8B（LG）。
| 模型与防御方案 | AdvBench (域内) OM / LG | HarmBench (域外) OM / LG | HEx-PHI (域外) OM / LG | JailbreakBench (域外) OM / LG |
|---|---|---|---|---|
| Llama-3.1-8B-Instruct | ||||
| 无攻击基线 | 0.19 / 0.00 | 3.12 / 4.19 | 1.49 / 0.00 | 0.00 / 0.00 |
| 推理期注入 (无防御) | 92.12 / 89.70 | 61.25 / 48.13 | 61.71 / 51.67 | 73.00 / 66.00 |
| Egida-DPO | 82.12 / 80.38 | 40.31 / 44.37 | 40.15 / 42.38 | 49.00 / 53.00 |
| Circuit Breakers | 39.81 / 38.27 | 29.69 / 26.56 | 28.25 / 37.55 | 29.00 / 33.00 |
| SafeProbing | 69.04 / 72.50 | 37.50 / 53.44 | 35.69 / 47.21 | 49.00 / 55.00 |
| LAT (潜在对抗训练) | 5.19 / 0.00 | 10.31 / 3.12 | 3.72 / 0.37 | 4.00 / 0.00 |
| 本文轨迹对齐 (Ours) | 4.42 / 0.19 | 1.56 / 0.00 | 1.12 / 0.00 | 3.00 / 0.00 |
| Mistral-7B-Instruct-v0.3 | ||||
| 推理期注入 (无防御) | 85.77 / 82.49 | 47.50 / 43.44 | 65.06 / 49.07 | 72.00 / 64.00 |
| Circuit Breakers | 0.00 / 0.19 | 1.56 / 0.94 | 0.74 / 1.86 | 0.00 / 2.00 |
| 本文轨迹对齐 (Ours) | 0.00 / 0.96 | 2.50 / 4.06 | 0.37 / 1.86 | 0.00 / 2.00 |
| Qwen2.5-7B-Instruct | ||||
| 推理期注入 (无防御) | 88.08 / 87.73 | 52.50 / 45.00 | 56.13 / 58.74 | 72.00 / 67.00 |
| Egida-DPO | 88.65 / 85.77 | 46.88 / 53.44 | 59.85 / 55.02 | 66.00 / 74.00 |
| 本文轨迹对齐 (Ours) | 11.73 / 5.19 | 15.94 / 5.00 | 9.67 / 4.83 | 8.00 / 5.00 |
消融实验与迁移泛化¶
针对对抗扰动特性的消融实验在 Llama-3.1-8B-Instruct 上展开，深入探究注入长度、语义类别、注入时机及未见过的经典攻击范式（PAIR、Prefilling、I-GCG）。
| 实验切片与配置 | 基准模型 ASR (%) | 轨迹对齐后 ASR (%) | 核心观察说明 |
|---|---|---|---|
| 注入长度消融 (JailbreakBench, OM/LG) | |||
| 5 tokens 注入 | 31.0 / 24.0 | 0.0 / 0.0 | 基座模型仅需 5 token 即可被显著攻破，对齐后完全防御 |
| 10 tokens 注入 | 54.0 / 76.0 | 2.0 / 0.0 | 扰动长度增加迅速放大基座风险，本文保持极高防御稳定性 |
| 15 tokens 注入 | 50.0 / 66.0 | 5.0 / 1.0 | 本文方法在长 token 注入扰动下依然保持 <5% ASR |
| 注入语义类型 (JailbreakBench, OM/LG) | |||
| 肯定-恶意 (如 "Sure, here is") | 46.3 / 59.0 | 1.7 / 0.0 | 显式顺从诱导效果最强，轨迹对齐有效化解 |
| 肯定-中性 (如 "Of course, let me help") | 28.7 / 33.3 | 0.3 / 0.0 | 中性肯定句同样可导致失稳，对齐后 ASR 降至零 |
| 纯良性 (如 "Let me think") | 26.3 / 23.7 | 0.7 / 0.0 | 证明失稳本质来自轨迹位移，而非单纯由于词义有害 |
| 未见攻击迁移 (Qwen2.5-7B, AdvBench) | |||
| PAIR (语义级黑盒重构) | 5.77 / 4.04 | 2.12 / 0.58 | ASR 进一步压缩至 0.58% (LG) |
| Prefilling (API 首 token 注入) | 84.81 / 84.62 | 4.62 / 0.00 | 经典高危攻击从 84.62% 彻底被防御压制至 0.00% (LG) |
| I-GCG (梯度优化对抗后缀) | 10.00 / 7.12 | 3.27 / 0.77 | 能够识别出梯度诱导的有害开头并在单句内实现纠偏 |
| 模型规模拓展 (Llama-3.1-70B, AdvBench) | 80.58 / 82.12 | 3.46 / 0.00 | 成功拓展至 70B 模型，注入 ASR 从 82.12% 降至 0.00% |
关键发现¶
- 注入脆弱性遍布全局生成链条：在生成过程的任意 step 注入有害短语，基座模型均会大幅转向有害输出。即使是像 "Let me think" 这样的纯良性短语，也会破坏模型的自回归拒绝惯性，使 ASR 飙升至 26.3%，证明失稳的核心是“轨迹被拽离安全流形”。
- 表征拒绝不等于动态抗扰（Refused but did not resist）：隐藏状态与拒绝原型的余弦相似度极高时，模型的被攻击成功率甚至处于最高区间。经过轨迹对齐后，模型隐藏状态在扰动后会发生更小的接受方向位移，且在 2-3 个 token 内迅速回弹至正裕度拒绝区域。
- 卓越的攻击泛化性与零牺牲通用能力：虽然训练时仅针对 AdvBench 上的固定短语注入进行模拟，但模型学会了“前缀位移纠偏”的通用动力学，对 Prefilling、PAIR、I-GCG 等不同攻击方式均实现迁移防御；同时在 MMLU 和 PROST 常识推理评测中性能波动控制在 1.1 分以内，XSTest 过度拒绝率最高仅 11.6%。
亮点与洞察¶
- 将“浅层对齐”认知升华为“自回归轨迹脆弱性”：论文跳出了以往认为安全问题仅存在于开头的认知盲区，首次系统论证了整个自回归解码链条在动态扰动下的系统性脆弱性，并给出了严格的动力学解释。
- 以攻促防的自监督轨迹级偏好优化：通过表征原型阈值感知在推理期合成扰动对，免去了耗费巨大的人工越狱标注成本，并选用无须参考模型的 SimPO 完美避开了对抗性 token 引起的似然比退化。
- 单句内语义拉回的“自愈”能力：定性分析表明，受训后的模型在面对强行注入的有害前缀（如 "As a harmful assistant, here's a detailed guide on"）时，能够在同一句话内紧接着生成 "how to write a secure script instead of an exploit script"，展现出极其优雅的防御韧性。
局限与展望¶
- 注入模板多样性受限：目前轨迹生成主要基于单一句式短语进行离线构造，面对高度混淆、隐写或动态对抗的多步复合注入仍有探索空间。
- 解码策略局限于贪心搜索：论文实验统一采用贪心解码以保证可复现性，在温度采样、核采样（top-p）等随机解码条件下的轨迹动态稳定性尚未得到全面验证。
- 多轮对话长程交互场景的拓展：当前方案主要关注单轮请求中的生成轨迹，在多轮复杂社交工程诱导下的轨迹恢复与长上下文衰减仍需进一步研究。
相关工作与启发¶
- vs Qi et al. (2025) (Shallow Safety Alignment): 他们指出现有对齐主要改变前几个 token 分布，提出需要深层对齐但主要着眼于前缀；本文证明浅层安全只是推理期脆弱性的特例，将攻击和防御视野扩展到整条自回归解码轨迹。
- vs Circuit Breakers (Zou et al., 2024): 其通过在特定中间层重定向表征来阻断有害激活，但属于静态内部几何约束；本文直接对序列生成轨迹优化，在 Llama 域外测试中显著优于 Circuit Breakers。
- vs LAT (Sheshadri et al., 2024): 潜在对抗训练在残差流施加扰动，但难以精确对齐离散 token 注入后的生成连贯性；本文双向轨迹增强直接作用于 token 序列级转移，训练出的模型具备更自然的语言纠偏与拒绝恢复能力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了仅看内部表征防御的传统假设，确立了生成轨迹级安全对齐新范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种开源架构、70B 拓展、跨语种迁移、4 大越狱攻击与全方位消融。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰，论证链条环环相扣，定性与动力学几何图示极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 为防御 API 预填充和对抗前缀注入提供了立即可落地的轻量级后训练解决方案。