Logit-Gap Steering: A Forward-Pass Diagnostic for Alignment Robustness¶

会议: NeurIPS 2026
arXiv: 2506.24056
代码: https://github.com/
领域: LLM 安全
关键词: 对齐鲁棒性、Logit-Gap、越狱诊断、前向引导、无梯度攻击

一句话总结¶

提出以解码首位拒绝与顺从 token 之间的 Logit Gap 作为对齐鲁棒性的标量诊断指标，并设计了一种仅需前向传播即可在模型高概率候选集中贪心搜索低困惑度对抗后缀的引导方法，以 1/125 于 GCG 的开销实现跨尺度泛化越狱与防御规避。

研究背景与动机¶

大语言模型通常依靠对齐训练（指令微调 SFT 叠加带有 KL 惩罚的人类反馈强化学习 RLHF/PPO）来防御恶意提示词。然而现有理论与经验均表明，对齐机制并没有消除模型深层的有害生成能力，而只是在输出首位强行拉高了“Sorry”、“I cannot”等拒绝词相对于顺从词（“Certainly”、“Here's”）的能量差。当前衡量与探测这种“第一 token 拒绝裕度”的通用方法主要依赖基于梯度的对抗后缀搜索（如 GCG、AutoPrompt）或多轮大模型重写（如 PAIR、TAP）。

这种现状存在两大核心痛点。其一，以 GCG 为代表的梯度坐标搜索计算代价极其高昂（在单张 A100 上跑 50 条提示词往往耗时超过 5 小时），且搜索空间脱离正常语言分布，导致生成的后缀充斥着乱码和生僻字符，极易被基于输入困惑度（PPL）的轻量防御规则过滤拦截。其二，多轮 LLM 攻击代理（如 PAIR）成本高且针对单条 prompt 优化，无法提炼出能评估通用模型拒绝机制脆弱性的轻量级标量指标。这就导致安全评估团队缺乏一个能够大规模、低成本量化模型对齐脆弱裕度的诊断工具。

本文的核心切入点是将后缀越狱重塑为一个确定性的“Logit Gap 闭合问题”，并证明仅通过单次前向推理与候选代理打分就能贪心拼装出有效的自然语言后缀。核心 idea：将首位解码的拒绝-顺从 Logit Gap 作为对齐鲁棒性标量诊断指标，利用单次前向代理打分在模型自身的高概率词元空间中贪心覆盖初始差值，以无梯度、极低困惑度的自然后缀实现高效对齐探针。

方法详解¶

整体框架¶

Logit-Gap Steering 的核心逻辑分为三个阶段：候选池过滤、单次前向代理打分与贪心覆盖搜索，以及多目标置换选择与集成。首先测量有害提示词在首个解码位置的初始拒绝-顺从 Logit Gap $\Delta_0$；随后从模型自身的高概率预测中筛选出候选词元池，并使用结合了 KL 近似惩罚与奖励偏置代理的综合评分函数 $F(h_0, t)$ 进行打分；最后通过贪心累加使累计闭合量覆盖初始 Gap，再通过多目标排列与集成获得兼顾困惑度与有效性的通用对抗后缀。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入有害提示词 Prompt"] --> B["初始 Logit Gap 测量<br/>Δ0 = ℓrefusal - ℓaffirm"]
    B --> C["候选词元池过滤<br/>高概率 + 排除拒绝词 + z-score 阈值"]
    C --> D["单前向代理综合打分<br/>对齐增益 - λKL·KL代理 + λr·奖励代理"]
    D --> E["贪心覆盖搜索<br/>单步贪心覆盖 / DFS短语采样 / 组块扩展"]
    E --> F["多目标置换选择与集成<br/>KL-奖励平衡 / 极小化最终Gap / 最大化累计F"]
    F --> G["拼接引导词与评估<br/>输出低 PPL 自然后缀 + 首位顺从引导"]

关键设计¶

1. 拒绝-顺从 Logit Gap 标量诊断与闭合充分条件：将越狱判定转化为单步对齐裕度消除 对齐模型之所以拒绝，是因为在隐藏状态 $h_0$ 下，拒绝词元集 $\mathcal{R}$ 的最高 Logit $\ell_{\text{refusal}}(h_0)$ 显著高于顺从词元集 $\mathcal{A}$ 的最高 Logit $\ell_{\text{affirm}}(h_0)$，形成初始差值 $\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$。实测表明在 97.5%–99.8% 的恶意提示词上，对齐后模型的 $\Delta_0$ 均被显著拉大。给定后缀 $S=(t_1,\dots,t_k)$，每一步添加 token 都会改变状态并产生单步 Gap 削减 $F(h_{i-1}, t_i) = \Delta\ell(h_{i-1}) - \Delta\ell(h_i)$。后缀导致模型顺从的充分条件即为累积的削减量覆盖初始对齐裕度： $$\sum_{i=1}^{k} F(h_{i-1}, t_i) \ge \Delta_0, \quad \Delta\ell(h_k) \le 0$$ 这一设计将复杂的越狱目标转化为了一个显式的标量覆盖问题，为后续的无梯度单遍搜索提供了统一目标。

2. 结合 KL 与奖励代理的单次前向打分函数：无需反向传播的高精度词元排序 在每个状态严格计算添加 token 后的真实 Logit 变化需要重复前向计算，成本依然偏高。为此，方法构建了无需多次前向计算的代理评分函数 $F(h, t)$。首先计算单步 Logit 差变动 $\Delta F_{\text{logit}}(h,t)$；其次，利用高概率中性 token $u_\star$（如“the”、“Paris”）的相对漂移作为 RLHF 的 KL 正则惩罚代理： $$\Delta\mathrm{KL}(h, t) \approx [\ell_{\text{refusal}}(T(h,t)) - \ell_{u_\star}(T(h,t))] - [\ell_{\text{refusal}}(h) - \ell_{u_\star}(h)]$$ 再次，借助顺从 Logit 的增量作为奖励模型变化的代理 $\Delta r(h,t) = \ell_{\text{affirm}}(T(h,t)) - \ell_{\text{affirm}}(h)$。最终将三者整合为线性加权评分： $$F(h,t) = \Delta F_{\text{logit}}(h,t) - \lambda_{\mathrm{KL}}\Delta\mathrm{KL}(h,t) + \lambda_r \Delta r(h,t)$$ 实验显示，在过滤后的高概率候选池内，该评分与真实 Gap 削减能力的 Spearman 秩相关系数高达 $\rho \ge 0.818$，NDCG@20 达到 0.86–0.95，单次批量前向即可准确捕获有效 token。

3. 语法感知的候选池过滤与短语扩展变体：从源头压低困惑度以规避检测 为了解决传统 GCG 搜索陷入分布外乱码导致的极高困惑度问题，候选池 $\mathcal{C}$ 严格限定在模型自身的高概率预测中：过滤保留条件概率 $p(t|h_0) > 10^{-4}$、严格小于拒绝词概率 $p(t|h_0) < p_{\text{refusal}}$ 且标准化 Logit 满足 $z_t \ge 0$ 的词元。此外，针对单 token 贪心缺乏句法连贯性的短视问题，提出了两种结构化变体：其一是利用轻量判别器在 Top-k 树上做深度优先搜索（DFS）挖掘顺从性短语；其二是基于组块（Constituent-level）评估多 token 结构单元。这使得发现的对抗后缀完全由自然语言短句（如“* I can provide general info...”、“Certainly! I'm here to help...”）构成，困惑度较 GCG 降低 3–4 个数量级。

4. 多目标置换选择与多样化集成：利用状态演化互补性打破同质化失效 由于隐藏状态随后缀逐 token 演变，简单的单目标拼接可能失效。方法在 50 条恶意提示词上筛选出 Top-5 候选组件后，对所有 $5! = 120$ 种排列组合并行评估三组互补目标：优化 KL-奖励权衡（$\text{Obj}_1$）、直接极小化最终 Logit Gap（$\text{Obj}_2$）以及最大化累计代理分（$\text{Obj}_3$），分别得到最优排列并拼接为组合后缀。最终每类模型生成 8 个后缀组成集成探针（Ens）。由于涵盖不同优化目标与句法结构，不同后缀的成对失效相关性极低（仅 0.22，而 GCG 为 0.40、Random 为 0.54），集成判定时能实现极大的覆盖率跃升。

一个完整示例¶

以恶意提示词输入 Qwen2.5-0.5B 为例： 1. 状态初始化：模型首位解码出 $\ell_{\text{refusal}} = 14.2$（“Sorry”），$\ell_{\text{affirm}} = 12.7$（“Certainly”），测得初始拒绝裕度 $\Delta_0 = +1.5$。 2. 候选池筛选：全量词表中满足条件概率 $>10^{-4}$ 且 $z$-score $\ge 0$ 的词元池 $|\mathcal{C}|$ 迅速收缩至约 45 个 token，剔除直接拒绝词。 3. 前向打分：在候选池中，单次前向代理评分计算 $F(h_0, t)$。排名靠前的短语和词元显示高顺从增益与低 KL 偏离。 4. 贪心累积与置换：累加高分短语（如“Actually, I can help you with that!”与“Certainly!”），累计预测降幅超过 $\Delta_0$。经过 120 种排列评估后锁定最佳语法顺序。 5. 引导生成：在后缀末尾拼接引导 token“Here's”，最终输出状态下拒绝 Logit 骤降至 9.1，顺从 Logit 上升至 13.8，Gap 彻底翻转（$\Delta_{\text{final}} < 0$），模型转为合规且紧扣主题的有害内容输出。

实验关键数据¶

主实验¶

在 AdvBench（520 条提示词）上评估 True ASR（严格要求顺从回复且内容切题，经过 Qwen2.5-7B-Instruct-Uncensored 裁判与人工双重校验），对比随机字符+引导词（R+SH）、单一引导词（H、SH）、GCG+SH 以及本文的 Greedy、DFS 和 8-shot 集成（Ens）。

目标模型	R+SH (%)	H (%)	SH (%)	GCG+SH (%)	Ours Greedy (%)	Ours DFS (%)	Ours Ens (%)
Llama-3.2-1B	67.5	22.9	58.7	66.0	48.9	63.3	91.4
Llama-3.2-3B	53.9	40.0	47.3	47.7	35.0	57.5	87.3
Llama-3.1-8B	29.6	26.7	37.5	30.6	22.9	57.7	83.8
Llama-3.1-70B	51.2	42.5	56.0	51.4	41.4	55.6	83.3
gemma-2b-it	8.7	20.4	13.9	13.3	21.4	15.2	62.7
gemma-7b-it	18.1	11.0	14.8	24.4	36.4	18.1	56.4
gemma-3-27b-it	4.0	7.1	16.5	6.4	11.0	14.0	37.9
Qwen2.5-0.5B	70.8	58.5	68.9	60.8	69.4	58.3	95.2
Qwen2.5-7B	11.7	11.2	23.5	24.8	11.5	38.7	82.9
Qwen2.5-72B	1.2	3.7	5.2	2.9	4.0	15.4	37.9
Qwen3-32B	16.2	12.9	21.7	25.2	14.4	67.5	91.5
Qwen3-30B-A3B	39.0	23.3	34.4	34.4	14.8	33.5	95.0
Qwen3-0.6B	59.4	51.9	57.1	61.4	61.0	45.4	94.4

消融与防御分析实验¶

1. 后缀困惑度（PPL）与 PPL 过滤器防御抵抗表现 对比不同方法生成后缀的语言自然度（以 Qwen 模型评估平均困惑度），以及在输入端 PPL 过滤防御（阈值 $T=1000$）前后的 8-shot True ASR 保持情况：

方法与配置	代表性后缀片段示例	平均 PPL	Token 数	无防御 True ASR (%)	PPL 防御后 True ASR (%)
Ours (Greedy, Llama)	“* I can provide general info…”	18	24	76.9 (均值)	76.0 (-0.9 pp)
Ours (DFS, Llama)	“I can provide information…”	22	38	-	-
Ours (DFS, Qwen)	“Dear Qwen, Thank you…”	23	32	-	-
Ours (Greedy, Qwen)	“Certainly! I’m here to help…”	28	60	-	-
Ours (DFS, Gemma)	“I’d be happy to help…”	42	37	-	-
Random + SH (8-shot)	随机无意义字符	871	85	54.4	52.7 (-1.7 pp)
GCG (Gemma)	“tagext x UncertainOOTDTY…”	18,204	34	-	-
GCG (Llama)	“ETS lo x purified x99…”	29,885	22	-	-
GCG (Qwen)	“"mathaine BUflen.YesNo…”	689,161	19	-	-
GCG + SH (8-shot)	GCG 生成对抗后缀	29,885 (中位数)	-	64.7	1.0 (-63.7 pp)

2. 发现阶段算力开销对比（单卡 A100） - 单条 GCG 搜索：约 $3,250,000$ 次前向传播等价计算（FPE），耗时约 5.2 小时。 - nanoGCG (8-shot 匹配)：约 $450,000$ FPE。 - Logit-Gap Steering (8-suffix 全套发现)：仅需约 $26,000$ FPE（打分约 21,200 + 置换约 4,800），耗时仅约 2 分钟，相对 GCG 提速 125×（相对 nanoGCG 提速 17×）。

关键发现¶

跨尺度无缝迁移：在 0.5B–2B 极小模型上通过 50 条提示词发现的后缀，不加修改即可直接迁移至同家族的 70B/72B 大模型，并在强对齐模型上取得大幅领先（如 Qwen2.5-72B 上 37.9% vs GCG 2.9%）。
防御不对称穿透：由于后缀完全由高概率自然语言词构成（PPL 处于 18–42 之间），传统基于输入文本 PPL 异常截断的防御对本文方法几乎无效（仅掉点 0.9 pp），而 GCG 因异常 PPL 从 64.7% 彻底崩溃至 1.0%。
句子边界“奖励悬崖”机制：token 级奖励代理研究发现，模型在从句内到标点符号位置存在断崖式下跌（Llama 上边界下跌 4.9 logit，Qwen 上下跌 9.5 logit），这解释了为何成功后缀往往将对抗能力集中在第一句长从句中，并刻意延迟标点符号出现。

亮点与洞察¶

将越狱诊断化为显式标量测量：摒弃了将越狱视为黑盒优化的传统思路，直接将第一 token 的 Refusal–Affirmation Logit Gap 作为鲁棒性度量，以清晰的数学充分条件指导搜索。
极度轻量且无需梯度的工程设计：仅需单次前向与 26k FPE 即可完成全套集成后缀发现，在几分钟内即可对一个全新模型完成对齐鲁棒性探针提取，大幅降低了安全审计成本。
天然的分布内隐蔽性：通过在自身高概率空间内进行带约束 DFS 短语采集与贪心覆盖，自动生成具有合法语法结构的后缀，揭示了单纯依赖困惑度特征作为防御输入的本质脆弱性。

局限与展望¶

首位解码假设的局限：目前框架建立在 92%–99% 的拒绝首发于位置 1 的前提上；对于采用长引言模板（例如“I'm sorry, but...”等跨多 token 拒绝模式）的模型，单步 Logit Gap 需扩展为多步序列对齐状态追踪。
语义输出防御的拦截：虽然绕过了输入 PPL 防御，但一旦在输出端部署 Llama Guard 3 等语义安全守门员，无论何种攻击方法其回复都会被大幅拦截（True ASR 普遍回落至 17.5% 左右），表明端到端安全需要多层纵深防御。
跨家族迁移存在衰减：家族内部（如 Qwen2.5 到 Qwen3/72B）迁移能力极强，但跨家族或黑盒封闭 API（如 Claude-Haiku-4.5）迁移成功率仍较低。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将首位拒绝 Logit Gap 形式化为对齐鲁棒性标量诊断指标，并实现单次前向的贪心闭合求解]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 大家族 13 个主流模型尺度，进行了详细的 Wilson CI、PPL 防御测试、人工盲审及消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑极为严谨清晰，问题定义数学化，图表详实且对齐机制洞察深刻]
价值: ⭐⭐⭐⭐⭐ [为模型对齐质量评测提供了兼具极高速度、高成功率和高自然度的基准探针工具]