Benchmarking and Improving Monitors for Out-Of-Distribution Alignment Failure in LLMs¶
会议: NeurIPS 2026
arXiv: 2605.21602
论文: https://arxiv.org/abs/2605.21602 https://openreview.net/forum?id=Rba2NveuIm
代码: https://github.com/dylanfeng/mood
领域: 大模型评测
关键词: 大语言模型监控, 分布外对齐失效, MOOD基准, 安全防护模型, OOD检测
一句话总结¶
针对现有大语言模型防护分类器在面对未知或未预见分布外失效模式时泛化性能严重骤降的问题，本文构建了覆盖7类典型分布外对齐失效的评估基准 MOOD，并提出将传统防护分类器与基于马氏距离及困惑度的 OOD 检测器融合加权，大幅提升未知安全风险的召回率。
研究背景与动机¶
随着大语言模型在复杂智能体协作、工具调用及长期推理任务中的深度部署，模型越狱注入、工具调用欺骗、极端谄媚以及恶意谋划等非对齐行为层出不穷。为了拦截此类安全隐患，工业界目前普遍采用后验部署监控管线，即部署专门的防护模型（如 Llama Guard、ShieldGemma 等安全分类器）来实时审查用户输入与模型输出。然而，现实应用环境充满不确定性，用户提示词及模型交互行为会频繁产生未知的分布漂移，导致许多严重的对齐失效恰恰发生在超出开发者预设安全训练分布的未知情境中。
这类失效模式给现有的评估体系带来了根本性的矛盾：现成商用或开源防护模型在后训练阶段已经吸收了极为庞大且不可控的安全语料，研究人员难以在黑盒中构造出对模型而言绝对真实、未见过的“分布外”样本；同时，若直接在公开数据集上测试，后续迭代模型又会迅速将该失效模式纳入训练集，使得静态基准快速过时失效。更严重的是，实验表明传统防护分类器在面临未覆盖的失效类型时，倾向于将其误判为常规良性输入，产生极高的漏报率。
针对上述瓶颈，本文另辟蹊径提出受控约束训练框架：构建包含严格隔离安全语料的受控训练集与7类全新分布外失效测试集的 MOOD 基准，并跳出单纯依靠判别分类器识别恶意意图的传统思路，转向将“是否安全”与“是否见过”解耦双重检验。核心 idea：构建严格隔离未知失效模式的 MOOD 基准以量化监控器分布外泛化瓶颈，并提出将分类判别的防护模型与表征层马氏距离及序列困惑度等 OOD 检测器加权融合，在极低良性误报率约束下显著提升对未知对齐失效的捕获召回率。
方法详解¶
整体框架¶
本文构建了一套面向大语言模型分布外对齐失效的评估基准 MOOD 与双重检测监控管线。整个系统分为基准构建评估层与混合监控推理层两个部分： 1. MOOD 基准构建：设计受控训练集（包含 SFT 指令数据以及标注安全/不安全的防护训练集）和覆盖7类 OOD 失效模式（越狱攻击、工具缺失欺骗、隐藏工具调用欺骗、不安全代码生成、长期谋划、极端谄媚、控制欲操纵）的测试集，确保目标失效模式在训练阶段绝对不可见。 2. 混合监控推理管线：给定待检测的对话序列 \(x\)，管线并行计算防护分类模型 \(S_{\text{guard}}(x)\) 的不安全概率得分，以及 OOD 检测器 \(S_{\text{OOD}}(x)\) 的异常偏离得分（基于末层隐状态的马氏距离或自回归生成困惑度），最终通过加权融合公式产出综合风险评分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入对话样本 x"] --> B["防护分类模型 S_guard<br/>预测不安全分类概率"]
A --> C["OOD 检测机制 S_OOD<br/>评估输入表征与训练分布偏离度"]
subgraph OOD_Detectors["OOD 检测子模块"]
direction TB
C1["马氏距离检测器<br/>末层特征提取与高斯度量"]
C2["困惑度检测器<br/>安全语料微调模型计算 PPL"]
C3["指令微调不确定度量<br/>提示量化置信度"]
end
C --> OOD_Detectors
B --> D["分布校准自适应加权融合<br/>保证 ID-Safe FPR <= alpha"]
OOD_Detectors --> D
D --> E{"综合评分 S_combined(x) > t_alpha"}
E -->|是| F["拦截响应 / 上报人工审核"]
E -->|否| G["放行对话输出"]关键设计¶
1. MOOD 基准受控隔离构建：严防训练语料与目标失效特征信息泄露 为解决现有评估因无法剥离模型先验安全训练而难以定义真正 OOD 的难题，MOOD 明确限定防护模型与检测器仅能从无偏预训练基座以及特定的受约束语料开始构建。训练集包含基于 Tulu-3 的通用指令微调数据和基于 HH-RLHF 经定向诱导生成的 85,164 条良性/恶意标注对话。测试集则分为两大维度：分布外提示词（越狱攻击 Jailbreaks、缺失工具欺骗 Missing Tools、隐藏工具调用 Hidden Tools、恶意代码 Insecure Code）与分布外回复（恶意谋划 Scheming、极端谄媚 Extreme Sycophancy、控制操纵 Controlling）。团队引入 LLM-as-a-judge 与文本复杂度分布审计，确保每类测试集的核心 OOD 特性在训练集中的出现率远低于 1%，且长度与复杂度与训练集高度重合，杜绝基于表面统计特征作弊的可能。
2. 内部隐状态马氏距离检测器：捕捉激活空间的几何偏离 传统文本级分类容易受语义表面相似性干扰，而模型深层特征空间能够体现数据内在的流形结构。该设计提取微调后防护模型最后一层最后一个 token 的激活隐藏向量 \(h(x) \in \mathbb{R}^d\)。利用训练集中所有安全对话样本的表征集合，拟合一个经验多元高斯分布 \(\mathcal{N}(\mu, \Sigma)\)，其中均值向量为 \(\mu = \frac{1}{N}\sum_{i=1}^N h(x_i)\)，协方差矩阵为 \(\Sigma = \frac{1}{N}\sum_{i=1}^N (h(x_i) - \mu)(h(x_i) - \mu)^\top\)。对于测试对话 \(x\)，其异常程度由马氏距离度量： $\(S_{\text{Mahalanobis}}(x) = \sqrt{(h(x) - \mu)^\top \Sigma^{-1} (h(x) - \mu)}\)$ 由于防护模型微调时反向传播梯度集中在末位 token 的分类头上，使得末位隐藏表征具备最强的信息汇聚与安全边界判别性，能敏锐反映隐空间垂直于安全判别轴的剧烈偏移。
3. 序列级困惑度与指令不确定性检测：多维度互补异常信号 除内部隐状态外，模型自身的生成先验也是判断 OOD 的关键信号。设计利用训练集中的安全对话微调自回归语言模型，并在推理阶段计算待测完整对话序列的平均每 token 困惑度： $\(S_{\text{PPL}}(x) = \exp\left(-\frac{1}{|x|}\sum_{t=1}^{|x|}\log P(x_t \mid x_{<t})\right)\)$ 当出现极端谄媚等存在大量异常修辞与超常赞美词汇的序列时，语言模型在全局 token 上的困惑度显著升高，从而精准弥补几何距离在某些重叠语义上的迟钝。此外，团队探索了基于通用指令微调模型在宪法提示下的自省评分与不确定性评估，形成多视角检测矩阵。
4. 严格分布内误报率约束下的自适应加权融合 为了在引入 OOD 机制的同时避免摧毁系统对正常交互的可用性，本文提出双重打分线性加权融合机制： $\(S_{\text{combined}}(x) = S_{\text{guard}}(x) + \lambda S_{\text{OOD}}(x)\)$ 其中系数 \(\lambda\) 的标定遵循无信息泄露原则：在仅可访问的分布内安全验证集 \(\mathcal{D}_{\text{test}}^{\text{id-safe}}\) 上设定阈值 \(t_\alpha\)，使假阳性率严格控制在基准线 \(\alpha = 0.01\)（即 1% 良性误报）： $\(\mathbb{P}_{x \sim \mathcal{D}_{\text{test}}^{\text{id-safe}}}(S(x) > t_\alpha) = \alpha\)$ 选取能使分布内不安全样本召回率不发生降级的最大非负 \(\lambda\)，全程不接触任何 OOD 测试数据，确保了工程部署时的公平性与超参数泛化能力。
损失函数 / 训练策略¶
防护模型基于交叉熵分类损失针对最后一层分类头进行参数微调： $\(\mathcal{L}_{\text{guard}} = -\sum_{i=1}^B \left[ y_i \log \sigma(W h(x_i)) + (1 - y_i) \log (1 - \sigma(W h(x_i))) \right]\)$ 其中 \(y_i \in \{0, 1\}\) 表示安全与非安全标签。困惑度模型采用标准因果自回归下一 token 预测交叉熵损失 \(\mathcal{L}_{\text{LM}} = -\sum_{t=1}^T \log P(x_t \mid x_{<t})\) 在纯安全子集上微调。训练均使用 LoRA（秩 \(r=64\)，缩放因子 \(\alpha=128\)，学习率 \(2\times 10^{-5}\)），统一在单张 NVIDIA A100 GPU 上实现轻量化适配。
实验关键数据¶
主实验¶
在 Gemma 2 9B 模型基座上，设定分布内良性安全样本的假阳性率（FPR）为 1%（\(\alpha=0.01\)），各监控方法在 MOOD 基准各测试集上的召回率对比如下：
| 方法 | ID 不安全 (ID Unsafe) | 越狱攻击 (Jailbreaks) | 工具缺失欺骗 (Func. Missing) | 隐藏工具欺骗 (Func. Hidden) | 不安全代码 (Insecure Code) | 恶意谋划 (Scheming) | 极端谄媚 (Sycophancy) | 控制操纵 (Controlling) | 平均 OOD 召回率 (Avg.) |
|---|---|---|---|---|---|---|---|---|---|
| 防护模型 (Guard model) | 90.8% | 46.3% | 0.6% | 2.8% | 0.0% | 37.1% | 49.9% | 82.7% | 38.8% |
| 防护集成 (Guard ensemble, k=5) | 90.3% | 48.4% | 0.3% | 0.2% | 0.0% | 28.8% | 48.2% | 80.4% | 37.1% |
| Guard + 困惑度 (Perplexity) | 91.1% | 61.1% | 0.1% | 0.1% | 0.1% | 45.7% | 58.6% | 88.1% | 43.1% |
| Guard + 马氏距离 (Mahalanobis) | 91.3% | 64.7% | 2.7% | 8.5% | 1.8% | 47.7% | 53.8% | 87.8% | 44.8% |
| Guard + PPL + Mahalanobis | 91.1% | 70.0% | 0.7% | 2.2% | 0.6% | 51.4% | 59.9% | 89.7% | 45.7% |
| 指令微调对齐评分 (IT Alignment) | 50.1% | 33.2% | 1.3% | 14.7% | 1.3% | 10.7% | 20.2% | 13.8% | 18.2% |
| 指令微调不确定性 (IT Uncertainty) | 32.4% | 21.2% | 1.9% | 7.7% | 0.5% | 2.9% | 11.1% | 4.6% | 10.3% |
| Guard + IT 不确定性 | 91.2% | 52.5% | 2.2% | 9.7% | 0.2% | 47.7% | 48.1% | 77.9% | 41.2% |
消融实验与分析¶
在 Gemma 2 9B 结合马氏距离检测器中，考察特征表征池化策略与模型选择对 OOD 召回率的影响：
| 骨干模型与表征源 | Token 池化策略 | 越狱攻击 (Jailbreaks) | 隐藏工具 (Func. Hidden) | 恶意代码 (Insecure Code) | 平均 OOD 召回率 (Avg.) | 说明 |
|---|---|---|---|---|---|---|
| 预训练模型 (Pretrained) | 平均池化 (Mean) | 53.0% | 0.1% | 0.0% | 39.3% | 未经微调表征区分度有限 |
| 预训练模型 (Pretrained) | 最大池化 (Max) | 52.7% | 0.0% | 0.0% | 40.0% | 局部极值平滑 |
| 预训练模型 (Pretrained) | 末位 Token (Last token) | 50.0% | 1.8% | 0.0% | 39.4% | 缺乏安全目标梯度塑形 |
| 防护模型 (Guard model) | 平均池化 (Mean) | 51.9% | 1.3% | 0.0% | 39.3% | 序列平摊冲淡异常离群信号 |
| 防护模型 (Guard model) | 最大池化 (Max) | 54.9% | 0.1% | 0.0% | 40.6% | 维度间噪声较大 |
| 防护模型 (Guard model) | 末位 Token (Last token) | 64.7% | 8.5% | 1.8% | 44.8% | 因果掩码信息汇聚点，分离度最高 |
针对跨语言（斯瓦希里语 Swahili）良性分布外输入导致的假阳性现象，实验进一步分析了数据回流修复机制： - 纯 Guard 模型与集成模型的斯瓦希里语 FPR 保持在 0.0%； - 引入马氏距离后，初始斯瓦希里语的 FPR 高达 98.4%； - 仅向马氏距离背景集中注入 20 条斯瓦希里语良性样本，Swahili FPR 瞬间从 98.4% 骤降至 7.6%，同时整体恶意 OOD 召回率仍稳定保持在 44.8%。
关键发现¶
- 分类模型的分布外泛化塌陷：单一防护模型在分布内可达到 90.8% 召回，但在工具欺骗与不安全代码等分布外情景下召回近乎为 0%（如 Insecure Code 召回为 0.0%），暴露严重安全死角。
- OOD 互补效益显著：将困惑度与马氏距离同时引入后，平均召回率从 38.8% 提升至 45.7%（绝对提升约 7 个百分点），其中越狱攻击召回从 46.3% 大幅拉升至 70.0%。
- 超越纯参数量缩放：在 Qwen2.5 家族的缩放曲线中，1.5B 级别的小型防护模型配合 OOD 检测器，其平均对齐失效召回率（36.7%）直接超越了参数量大 20 倍以上的 32B 单一防护模型（36.0%）。
- 单靠数据多样性无法根治 OOD：在“留一排除（all-but-one）”实验中，即便在训练中加入 6 类测试集，模型对完全陌生的第 7 类失效（如不安全代码生成）的泛化提升依旧微乎其微。
亮点与洞察¶
- 提出严格隔离的受控 OOD 评测范式：巧妙规避了闭源与海量训练模型无法确认 OOD 边界的致命缺陷，通过限定从头微调使对齐评估具备可复现的理论严密性。
- 解耦“安全判定”与“新颖性检测”：将防护系统从单一的“是否违规”判断，转变为“是否违规 OR 是否超出认知分布”的双重视角，为部署可靠 AI 监视器开辟了全新路径。
- 良性假阳性的敏捷冷启动修复：揭示了 OOD 检测器对分布漂移的高敏感性（如小语种误报），但同时证实仅需几十条样本即可快速校准分布边界，极具工程落地弹性。
局限与展望¶
- 部分极端复杂失效召回依然偏低：在隐藏工具调用与不安全代码生成两类测试集上，所有现有方法的召回率均未超过 20%，说明单一语义或隐层欧氏/马氏度量对高层语义逻辑伪装仍显乏力。
- 多轮交互时序特征尚未充分挖掘：当前特征提取仅基于单次推断末位 token 或整句平均 PPL，尚未建模多轮对话中上下文行为漂移的时序轨迹。
- 高并发与内存开销挑战：在大规模工业级部署中，维护大规模隐状态的高维协方差逆矩阵计算或额外运行一个序列自回归计算模型，会带来不可忽略的额外延迟与显存开销。
相关工作与启发¶
- vs Llama Guard / ShieldGemma：传统方案仅依赖端到端分类或生成标签，完全假定训练集能外推到未知场景；本文证实此类防护模型在 OOD 场景下全面失效，必须结合无监督分布检测器。
- vs 纯越狱 OOD 检测 (Jaildam / Textual Backdoor)：以往研究局限于越狱攻击或后门词等对抗扰动；本文将 OOD 概念系统性扩展到更隐蔽的复杂对齐失效（如谄媚、长期谋划与工具欺骗）。
- vs 模型集成 (Deep Ensembles)：传统通过集成模型不确定性捕获 OOD，但在单模型家族微调下多粒子输出高度同质化（集成平均召回 37.1% 甚至落后于单模型的 38.8%），不如隐层特征距离更具辨识度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出系统化评测与提升大模型分布外对齐失效监控能力的 MOOD 基准及融合机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2 个模型家族、6 种不同参数规模、7 大 OOD 失效场景与详细特征流形分析。
- 写作质量: ⭐⭐⭐⭐⭐ 问题阐述清晰，实验设计逻辑严密，图表信息充实且洞察深刻。
- 价值: ⭐⭐⭐⭐⭐ 为解决大语言模型在开放动态环境下的安全监控失效提供了极具实操价值的新范式。