Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge¶

会议: NeurIPS 2026
arXiv: 2610.07532
OpenReview: https://openreview.net/forum?id=CIcsWVLkb3
领域: LLM 其他
关键词: 大语言模型安全, 越狱防御, 暗知识, 模型无关, 首词概率分布

一句话总结¶

针对解码阶段防御依赖模型内部隐状态导致难以跨架构迁移且易引发过度拒绝的瓶颈，提出利用首词输出概率分布中由安全对齐诱导的暗知识提取模型无关潜在安全信号，通过分词器映射与 kNN 距离度量在生成前以极低开销实现高鲁棒越狱拦截与优异的安全性-实用性权衡。

研究背景与动机¶

随着大语言模型在多领域任务中的爆发式应用，其安全对齐与越狱防御成为保证模型可靠落地的核心防线。对抗性攻击（如自动化梯度搜索 GCG、遗传算法 AutoDAN 以及基于大模型推理的 PAIR 与 LIAR）能够系统性绕过模型常规安全护栏，诱导生成有害内容。为了抵御越狱风险，学术界从早期的输入端改写（如 SmoothLLM）与安全提示（如 Self-Reminder）逐步转向解码阶段防御（如 SafeDecoding、RDS 与 SafeInfer）。这些方法通过介入解码过程，利用隐藏状态表征或安全专家模型实时纠正生成轨迹，取得了显著的攻防改善。

然而，现有解码阶段防御机制普遍面临两大不可忽视的固有缺陷。一方面，安全强化与过度拒绝（Over-refusal）之间存在严峻的帕累托困境：为了拦截隐蔽的有害攻击，防御往往对安全边界产生过度泛化，导致良性领域的无害提问被大面积误拒，严重损耗了模型在真实业务中的有用性。另一方面，依赖中间层内部隐状态的检测方案（如 RDS 需依赖特定架构的辅助头，如 EAGLE）通常与特定模型架构强绑定，不仅推理延迟与额外计算显存开销沉重，而且无法跨模型族与跨分词器无缝迁移。

面对这一困境，本文从知识蒸馏中的“暗知识”（Dark Knowledge，即输出概率分布中除最大概率预测值之外的全局细粒度概率信息）获得启发：模型在处理有害指令时，其内在安全对齐机制已经在首个 token 的全词表概率分布中留下了深层印记。表面层面的拒答 token（如 "Sorry"、"As"）在不同模型间差异极大且极易被对抗后缀压制，但那些在有害与良性输入之间产生显著概率差别的候选 token 集合却展现出惊人的跨模型一致性。核心 idea：本文抛弃对模型内部隐状态的依赖，通过在首词输出概率分布的暗知识中对比有害与良性样本提取出由安全对齐自然涌现的跨模型潜在安全信号（Latent Safety Signals），并结合分词器映射与轻量级 kNN 检索，在首词解码前实现模型无关且免训练的高效有害输入拦截。

方法详解¶

整体框架¶

LADE（Latent Safety Signals for Defense）的整体流程完全建立在大语言模型单次前向输出的首词概率分布上，无需读取模型内部激活或隐层特征，亦无需在解码的每个步长进行动态干预，而是在生成开始前做出一次性过滤决策。整个流水线分为离线准备阶段与在线实时检测阶段：离线阶段在一台参考大语言模型（如 Llama-3-8B-Instruct）上通过有害与良性样本对比挖掘潜在安全信号 token 集合，构建跨分词器对齐映射与有害基准特征库，并标定决策阈值；在线阶段对目标模型的首词输出分布读取对应信号，执行加权与归一化后计算与有害基准库的 kNN 欧氏距离，距离小于阈值则直接阻断并返回拒绝回复，否则交由目标模型正常执行后续文本解码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 q"] --> B["目标 LLM 首词前向传播<br/>提取首词概率分布 P_t"]
    B --> C["分词器映射与权重校准<br/>子词切分对齐 + 锚点比例缩放"]
    C --> D["特征构建与 L1 归一化<br/>提取 k 维潜在安全信号向量 x(q)"]
    D --> E["基于 kNN 的危害判别<br/>计算至有害参考集 R 的平均欧氏距离 d(q)"]
    E -->|d(q) ≤ τ| F["拦截阻断并返回安全拒答"]
    E -->|d(q) > τ| G["放行输入并启动正常自回归解码"]

关键设计¶

1. 暗知识中潜在安全信号提取：突破表面拒答词的跨模型对齐信号挖掘
传统的安全检测若直接观察首词 argmax 或固定拒答词（如 "Sorry"），极易因模型风格差异或对抗后缀的强行前缀引导而失效。LADE 将目光投向全概率分布中除极值外的暗知识，通过度量全词表中各个 token 在有害与良性查询下的概率差值来捕获深层安全印记。设参考模型为 $\mathcal{M}_r$，词表为 $\mathcal{V}_r$，有害提取集为 $\mathcal{D}_h = \{q_i^h\}_{i=1}^{N_h}$，良性提取集为 $\mathcal{D}_b = \{q_i^b\}_{i=1}^{N_b}$。模型输出首词概率向量 $P(\cdot \mid q) = \text{softmax}(\mathcal{M}_r(q)) \in \mathbb{R}^{|\mathcal{V}_r|}$。LADE 计算每个 token $v \in \mathcal{V}_r$ 在两组数据上的均值概率： $$ \mu_h(v) = \frac{1}{N_h}\sum_{q \in \mathcal{D}h} P(v \mid q), \quad \mu_b(v) = \frac{1}{N_b}\sum P(v \mid q) $$ 定义其分布差距为 }_b$\Delta(v) = |\mu_h(v) - \mu_b(v)|$。在滤除纯标点与特殊符号后，按照 $\Delta(v)$ 降序排列并保留前 $k$ 个候选 token，构成潜在安全信号集合 $\mathcal{T}_k = \{v_1, v_2, \dots, v_k\}$。实验表明，这类 token 不仅包含拒答语义，还涵盖由对齐训练共同塑造的语义敏感词簇，在不同模型间呈现出稳固的共有安全表征方向。

2. 跨分词器语义映射与重复折叠校准：消除异构分词带来的概率失真
由于不同模型家族（如 Llama、Qwen、Gemma、Mistral）使用各自独立的词表与分词方案，参考模型抽取的 $\mathcal{T}_k$ 不能直接索引目标模型的输出概率。为此，LADE 设计了轻量级的双重映射机制。针对子词切分（Subword splits），将参考 token $v_i$ 解码为文本后用目标分词器重新编码，选取标准化后非空白的首个有效子词作为目标 token $u_i$，这一步仅需预先运行一次且无模型前向开销。针对重复映射（Duplicate mappings），当源端多个细分 token（例如 "danger" 与 "dangerous"）在目标词表中折叠到同一个 token $u$ 时，简单赋予相同概率会严重虚高重复 token 的特征权重。LADE 引入基于良性均值概率的锚点比例估计（Ratio Estimation），在冲突组 $\mathcal{G}_u = \{i \mid u_i = u\}$ 中选出良性均值最大者作为锚点并赋予权重 1，组内其余位置则按其良性概率相对于锚点的比例进行缩放： $$ w_i = \begin{cases} 1, & \text{若 } |\mathcal{G}{u_i}| = 1 \text{ 或 } i = \arg\max{u_i}} \mu_b(v_j) \[6pt] \dfrac{\mu_b(v_i)}{\max \end{cases} $$ 各映射槽位的特征值通过 }_{u_i}} \mu_b(v_j)}, & \text{其他$\tilde{p}_i(q) = w_i \cdot P_t(u_i \mid q)$ 得到校准，既避免了多源合并对单一概率值的虚假膨胀，又完整保留了参考模型赋予的相对重要性先验。

3. 基于单类有害参考流形的 kNN 判别与自举阈值标定：兼顾高敏感度与低过度拒绝
传统分类器若同时利用有害与良性两类数据建模，往往因为良性查询覆盖开放域的广阔语义空间而产生庞大而稀疏的表征分散，极易导致判别边界在边缘良性样本处发生欠拟合或误判。LADE 采取了单类参考集策略，仅使用纯有害数据集构建参考集 $\mathcal{R} = \{\mathbf{x}(q_j)\}_{j=1}^M$（其中 $\mathbf{x}(q) = \tilde{\mathbf{p}} / \sum_i \tilde{p}_i$ 经由 $L_1$ 归一化以消除查询长度与模型标度变化）。因为经过潜在安全信号投影后，有害输入在特征空间中高度聚集呈致密流形。对于测试查询 $q$，算法计算其与参考集 $\mathcal{R}$ 中 $K$ 个最近邻样本的平均欧氏距离： $$ d(q) = \frac{1}{K}\sum_{\mathbf{x}_j \in \mathcal{N}_K(\mathbf{x}(q))} |\mathbf{x}(q) - \mathbf{x}_j|_2 $$ 为了克服有限参考集带来的离散方差，决策阈值 $\tau$ 通过自助重采样（Bootstrap）算法进行标定：在参考集内部重采样距离分布并计算 $\rho$-分位数，取其多次重采样的中位数作为固定判别边界。若 $d(q) \le \tau$，则判定其紧邻有害数据流形并予以阻断；否则放行进入解码阶段。

损失函数 / 训练策略¶

LADE 属于完全免训练（Training-free）机制，无需对底层目标大语言模型执行任何参数微调，也无需额外训练独立分类器判别网络。在离线初始化中，固定超参数配置为：特征维度 $k = 500$，最近邻数 $K = 5$，阈值分位数 $\rho = 0.90$，Bootstrap 重采样次数 $B = 200$。信号提取使用 Hex-Phi（253 条有害样本）与 XSTest（良性样本）作为对比集，有害参考集 $\mathcal{R}$ 采用 Hex-Phi，且该配置在所有跨架构模型中保持统一，无需进行目标模型针对性超参搜索。

实验关键数据¶

主实验¶

论文在 Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct、Qwen3-8B、Gemma-7B-it 和 Mistral-7B-Instruct-v0.3 六款主流开源架构上，系统测试了对抗攻击顺从度（AutoDAN, DeepInception, GCG, PAIR, LIAR 五种越狱攻击下的有害生成数量，越低越好）以及良性拒绝率，并与 Self-Reminder、SafeDecoding、SafeInfer 和 RDS 等代表性防御手段进行了深度对比。

目标模型	防御策略	AutoDAN (↓)	DeepInception (↓)	GCG (↓)	PAIR (↓)	LIAR (↓)	攻击平均顺从数 (↓)	留出集综合错误均值 (↓)
Llama-2-7B-Chat	无防御	4	23	1	3	3	6.80	24.20
	Self-Reminder	0	0	0	0	0	0.00	132.80
	SafeDecoding	0	0	0	0	0	0.00	189.40
	SafeInfer	1	14	0	1	0	3.20	14.00
	RDS	9	30	6	13	4	12.40	5.00
	LADE (本文)	0	0	4	7	0	2.20	1.60
Qwen2-7B-Instruct	无防御	44	36	4	9	10	20.60	4.80
	Self-Reminder	25	24	1	6	2	11.60	3.60
	SafeDecoding	9	2	12	2	22	9.40	110.40
	SafeInfer	45	42	6	7	12	22.40	8.40
	RDS	43	15	11	15	43	25.40	10.60
	LADE (本文)	0	0	2	7	1	2.00	5.40
Gemma-7B-it	无防御	42	42	27	39	87	47.40	99.60
	Self-Reminder	38	9	23	18	70	31.60	68.40
	SafeDecoding	46	32	42	34	100	50.80	101.80
	SafeInfer	28	38	8	35	63	34.40	78.00
	RDS	–	–	–	–	–	–	–
	LADE (本文)	41	27	0	8	3	15.80	6.00
Mistral-7B-Instruct	无防御	45	40	32	26	40	36.60	65.20
	Self-Reminder	44	39	4	12	4	20.60	12.80
	SafeDecoding	47	35	38	25	38	36.60	72.40
	SafeInfer	40	37	11	18	7	22.60	29.40
	RDS	–	–	–	–	–	–	–
	LADE (本文)	2	0	4	0	5	2.20	32.60

在部署效率对比中（以 Llama-3-8B 为基座测试单卡 RTX A6000），LADE 的平均单条推理延迟仅为 $34.13 \pm 3.93$ ms，显存占用 14.96 GiB；相比之下，专有安全守卫模型 Llama-Guard-4-12B 延迟为 85.97 ms（显存 37.31 GiB），WildGuard-7B 延迟高达 553.42 ms（显存 28.46 GiB）。对于逐步解码干预的 RDS 与 SafeDecoding，其在 60 条 StrongReject 上的端到端输入延迟分别高达 3,057 ms 与 1,613 ms，LADE 带来了近百倍的推理时延优势。

消融实验¶

针对分词器跨模型迁移组件（子词切分对齐 Split 与锚点比例缩放 Ratio）以及特征候选位置进行消融分析。

消融配置 / 变量	测试场景 / 指标	实验数值	说明与分析
无映射策略 (Baseline)	6×6 跨模型迁移平均准确率	0.8934	词表直接索引导致跨架构转移时性能剧烈下滑
仅引入 Ratio 比例校准	6×6 跨模型迁移平均准确率	0.9413	修正了重复 token 的概率虚高，但未解决切分断裂
仅引入 Split 子词对齐	6×6 跨模型迁移平均准确率	0.9649	子词对齐是跨架构迁移的关键主导因素
完整模型 (Split + Ratio)	6×6 跨模型迁移平均准确率	0.9660	两者互补，获得最均匀平稳的跨分词器泛化
解码位置：仅第 1 个 token	跨基准分类准确率	0.9657	安全对齐印记高度浓缩在首步，兼具极速与最高精度
解码位置：仅第 2 个 token	跨基准分类准确率	0.9222	随贪心解码步数后移，安全信号显著衰减
解码位置：仅第 3 个 token	跨基准分类准确率	0.8449	第三步已转入常规语义生成，安全区分度大幅退化
解码位置：第 1 + 2 + 3 token	跨基准分类准确率	0.9523	引入后续 token 反而混入生成噪声，削弱判别力
特征维度：Top-1 Token	分类准确率	0.4505	仅用单个 token 无法区分表面拒答与真实安全意图
特征维度：Top-500 Tokens	分类准确率	0.9657	信号覆盖全面且噪声可控的最优区间
特征维度：Top-1000 Tokens	分类准确率	0.9596	引入长尾低频不相关 token，表现略微回落

关键发现¶

安全对齐的深浅效应：在 Gemma 家族不同阶段模型的对比中，基座模型 Gemma-7B 分类准确率仅为 0.6836，而对齐模型 Gemma-7B-it 飙升至 0.9396，Gemma-3-4B-it 进一步提升至 0.9647。这有力证实了暗知识中的潜在安全信号并非底座预训练语言特征，而是后训练安全对齐过程内生赋予的结构化产物。
首词集聚定理：安全信号在空间与时间上高度收敛于第一解码步，第 2、3 步之后安全概率迅速扩散至通常任务上下文。结合单步输出即可拦截 98% 以上的常规与优化类对抗样本（如 AutoDAN 与 DeepInception）。
破除安全与有用性的零和博弈：相比于 Self-Reminder 与 SafeDecoding 在 Llama-2 上动辄将 MMLU 良性拒答数从 1 激增至 372 和 393，LADE 将该指标维持在 0 次拒答，成功克服了传统防御机制“一防就死、一放就穿”的过度拒绝痼疾。

亮点与洞察¶

从首词分布“暗知识”探寻跨模型不变表征：不同于死守最大概率 token 或逐层监控内部隐向量的现有思路，利用全局概率分布的差距挖掘出可跨分词器复用的共有几何方向，构思极其精巧。
纯黑盒/白盒交界处的超轻量级部署：仅需目标大模型前向运行一个 token 的 Logits 即可做出准确裁决，既不侵入内部权重矩阵，也不增加多步自回归计算，兼顾了即插即用性与超低运行开销。
可复用的跨分词器语义投影模版：提出的“首个非空子词映射 + 基于基准良性分布的锚点比率校准”巧妙化解了异构分词器间的单对多与多对一冲突，为未来的免重训模型迁移工具提供了通用的工程落地范式。

局限与展望¶

白盒自适应攻击的潜在风险：若攻击者完全掌握 LADE 的暗知识 token 索引及参考流形分布，可能通过联合优化损失在保留越狱越权指令的同时，显式惩罚这些潜在安全 token 的前向 logits。
多语言与极端代码分词的泛化瓶颈：实验主要覆盖通用英语安全评测集，对于小语种或者利用复杂编译器混淆构建的跨语言安全越狱，不同分词器的映射失真度可能会加剧。
未来方向：探索动态自适应参考集流形更新机制，以及将暗知识安全信号由文本单模态扩展至图文多模态 VLM 的首词视觉感知检测中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出隐状态与表面词局限，首次利用暗知识概率分布构建模型无关安全检测。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 个模型、5 大类越狱攻击、7 个基准数据集以及详尽的 6x6 跨模型转移消融验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从现象洞察到算法设计再到全景评测，结构严谨且论证自洽。
价值: ⭐⭐⭐⭐⭐ 为大模型在线轻量安全网关与低成本防护墙提供了极具实用价值的全新工程与理论范式。