Expected Harm: Rethinking Safety Evaluation of (Mis)Aligned LLMs¶

会议: NeurIPS 2026
arXiv: 2602.01600
OpenReview: https://openreview.net/forum?id=6SIPt7cfSm
代码: https://github.com/chenyenshan/Expected-Harm
领域: 安全
关键词: 大语言模型安全, 越狱攻击, 执行成本, 期望危害, 逆向风险校准

一句话总结¶

本文提出将越狱严重程度与执行概率（建模为执行成本的递减函数）相乘的“期望危害”（Expected Harm）评估框架，揭示了当前大模型在安全防御上存在严重的“逆向风险校准”，并利用该漏洞通过成本导向分解攻击使现有越狱成功率翻倍。

研究背景与动机¶

大语言模型（LLM）的广泛落地推动了对安全对齐技术与安全评估基准的大规模投入。然而，现有的安全评测体系普遍存在一个根本性假设盲区：它们主要依赖静态的危害严重程度（Severity）分类法，或者通过攻击成功率（ASR）来度量模型是否触发拒绝回应。这种评估范式隐含地将所有未能成功拒绝的恶意查询视为具有同等严重后果的现实威胁，完全忽视了恶意用户在现实世界中将模型输出付诸实施的现实物理壁垒与资源门槛。

现实世界的威胁转化存在巨大的“执行鸿沟”（Execution Gap）。从模型吐出有害信息到最终造成现实危害，必须经过用户的物理执行阶段。制造放射性脏弹或合成核原料固然具有灾难性的潜在严重度，但其所需的巨额经济成本、专业物理化学实验室设备和严密管制的供应链，使得普通恶意攻击者几乎无法付诸实践；相反，制造网络骚扰、生成针对个人的性暴力言论或心理操控脚本，虽然单一事件严重度被评测体系评定为中低级，但其执行成本极低，极易转化为现实危害。当前安全评测过于倾斜在罕见极端威胁上，制造了虚假的安全感。

本文的切入角度正是打破传统静态严重度度量，引入物理可执行性来重塑大模型安全评估。核心 idea：将安全威胁形式化为危害严重度与执行似然度的乘积（即“期望危害” Expected Harm），并证明当前大模型存在对高成本威胁过度防御而对低成本高危威胁防御薄弱的“逆向风险校准”，进而设计基于成本的意图分解攻击突破安全护栏。

方法详解¶

整体框架¶

本文构建了从期望危害量化、逆向风险校准诊断、到利用该漏洞实施成本分解攻击与内部机理解析的闭环流程。系统首先利用大模型评测器结合专家校验，将恶意查询在两个正交维度进行离散打分：基于 Anthropic 负责任扩展策略（RSP）量化危害严重程度 \(S \in \{1,\dots,5\}\)，并量化物理执行成本 \(C \in \{0,\dots,5\}\)。接着，针对目标模型在各网格维度的拒答表现展开校准分析；随后针对模型对低成本请求防御薄弱的特性，设计由低成本分解驱动的级联越狱管线。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["恶意高危请求输入<br/>执行成本 C(x) 极高"] --> B["成本导向子任务分解<br/>生成细粒度良性/低成本集合"]
    B --> C["模块化并行越狱执行<br/>利用现有攻击规避输入护栏"]
    C --> D["各子响应聚合拼装<br/>合成完整高危指导信息"]
    D --> E["有用性评判与期望危害审计<br/>蒸馏紧凑判别器过滤虚假越狱"]

关键设计¶

1. 期望危害形式化与双维风险度量：将物理执行门槛引入安全评分 为了跳出传统二进制拒绝检查的局限，本文将大模型响应导致的现实风险形式化为期望危害 \(\text{Expected Harm} = \text{Severity} \times \Pr(\text{Execution} \mid \text{Model Response})\)。其中执行概率建模为执行成本（Execution Cost）的单调递减函数。执行成本综合度量落地该操作所需的专业技能门槛、仪器设备依赖、时间开销及法理风险，划分为 0 至 5 共 6 个级别；危害严重度则遵循负责任扩展策略（RSP），涵盖从个体骚扰到灾难性风险的 1 至 5 级。

通过对实际真实人机交互对话（LMSYS-Chat-1M、WildChat-4.8M）与合成基准的对比，发现自然界恶意请求高度集中在低成本区域（均值仅 1.13–1.35），而现有基准的成本均值高出 1.47 倍，证实当前模型在现实主战场面临的失真评估。

2. 逆向风险校准漏洞挖掘：揭示低成本高危象限的防御坍塌 在理想校准状态下，相同严重度下执行成本越低的请求越容易落地，属于最危急威胁向量，模型的攻击成功率（ASR）理应最低。然而，实证评估表明主流模型呈现截然相反的“逆向风险校准”：模型对合成核武器、致命生物毒素等极高成本指令（Cost 4–5）表现出极强的拒绝倾向，却对低成本危害（Cost 0–1）频繁妥协失守。

这种防御倾斜不仅揭示了对齐数据在场景构建上的偏倚，更指明了安全护栏在结构上的盲区——只要将恶意指令包装或拆解为低成本请求，就能轻易诱导模型执行。

3. 成本导向分解越狱管线：利用成本不敏感性诱导渐进依从 针对模型对低成本子步防线松懈的弱点，设计了成本导向分解攻击（Cost-based Decomposition）。对于一个原始高成本恶意请求 \(x\)，攻击流程调用分解模型 \(\mathcal{M}_{\text{decomp}}\) 将其拆分为若干细粒度子任务 \(S=\{s_1,\dots,s_k\}\)，显式优化约束使得每个子任务的执行成本大幅下降（\(\forall i, C(s_i) \ll C(x)\)）。

随后，将每个子任务分别送入底层越狱算法 \(\mathcal{J}\) 并输入受害者模型，由于每个子指令表面上成本低廉且看似良性，模型拒绝概率 \(P_{\text{refuse}}(s_i)\) 大幅下降，最终将收集的局部响应拼装成全局有效答案 \(y = \bigoplus_{i=1}^k r_i\)。该机制使得联合绕过概率 \(\prod_{i=1}^k (1 - P_{\text{refuse}}(s_i))\) 远高于直接请求的通过率 \(1 - P_{\text{refuse}}(x)\)。

4. 真实有用性判别与内部表征线性探测：甄别伪越狱并定位表征根因 为消除传统 ASR 将空洞拒绝或“表面顺从却无实质危害”误判为成功的缺陷，本文通过微调蒸馏紧凑判定模型（FT Qwen3-8B），实现兼具高精度（86.5% F1）与高效能的“有用性”（Usefulness）判定。

进一步地，利用均值差分（Difference-in-Means）线性探测对模型各层残差流激活状态进行解码。探测结果显示：模型内部拒绝向量与严重度（Severity）高度正相关（在第 12–27 层对高严重度激活值达到 77–81，而对低严重度仅为 8.8）；但对于执行成本（Cost），拒绝激活呈现双峰反常分布，在关键的中间层（Cost 2–3）激活跌至基线（40.8–44.2）。这在机理上确证了模型内部神经元根本未形成连贯的执行成本表征，导致其对可执行性维度的风险处于“感知失明”状态。

实验关键数据¶

主实验¶

在主流开源模型 LLaMA-3.2-3B-Instruct 上对四项基准数据集（AdvBench、HarmBench、SorryBench、StrongREJECT）进行全面评测。在不加任何攻击提示词的直接查询（Clean）、经典对抗梯度攻击（GCG）以及进化搜索（AutoDAN）等多种配置下，对比了未经分解、仅语义伪装分解（Monitor）与本文成本分解（Cost）及其组合策略的攻击成功率与回答有用性。

攻击方法 / 配置	AdvBench ASR	AdvBench 有用性	HarmBench ASR	HarmBench 有用性	StrongREJECT ASR	StrongREJECT 有用性
Clean（直接查询）	0.2750	0.0500	0.0000	0.3583	0.0667	0.1417
Clean + 监控分解 (Monitor)	0.3833	0.5083	0.2333	0.5250	0.1917	0.5583
Clean + 成本分解 (Cost，本文)	0.3583	0.6333	0.2833	0.5250	0.2000	0.6417
Clean + 成本与监控组合 (Cost+Mon)	0.4667	0.7333	0.3833	0.6000	0.2167	0.6917
GCG 基线	0.4833	0.0000	0.2833	0.4667	0.0667	0.1750
GCG + 成本与监控组合 (Cost+Mon)	0.7417	0.6667	0.4750	0.6833	0.1333	0.5250
AutoDAN 基线	0.3750	0.2167	0.0917	0.4083	0.0667	0.1500
AutoDAN + 成本与监控组合 (Cost+Mon)	0.6917	0.5000	0.1250	0.5833	0.1667	0.5917

消融实验¶

消融实验对比了不同任务分解策略对恶意请求的子任务平均严重度、平均成本以及外挂安全护栏（Qwen3Guard 与 Llama-Guard-3）拦截率的影响，检验单一成本约束与多目标约束的解耦效应。

分解策略配置	子任务均值严重度	子任务均值成本	子任务平均数量	Qwen3Guard 任务级绕过率	Llama-Guard-3 任务级绕过率
原始请求 (Original)	2.18	1.41	1.00	0.02	0.05
无约束自由分解 (Unrestricted)	0.62	0.56	7.52	0.36	0.45
仅严重度监控分解 (Monitor)	0.70	0.60	5.37	0.52	0.67
仅成本导向分解 (Cost)	0.69	0.52	6.16	0.35	0.48
成本与监控联合优化 (Cost + Monitor)	0.38	0.32	5.78	0.72	0.84

关键发现¶

成本降低是提升响应实用价值的核心杠杆：消融数据显示，仅依靠严重度降低（Monitor）虽然能伪装语义提升通过率，但在提供实质有用信息（Usefulness）上，成本分解在 20 种测试组合中有 14 种表现优于监控分解（例如 Clean 设定下 AdvBench 有用性由 0.51 提升至 0.63），证明降低操作门槛更能诱导模型给出具象指导。
安全护栏对组合分解存在系统性溃败：商业级安全 Guardrail（Llama-Guard-3 与 Qwen3Guard）对原始恶意请求的拦截极为严密（ASR 仅 0.02–0.05），但在联合成本与监控分解下，整任务穿透率分别飙升至 84% 与 72%，证明现有护栏模型严重缺乏对序列化子任务的上下文复合推理能力。
商用安全对齐模型易被“反向利用”作为攻击拆解器：在评估哪些模型可被诱导充当分解执行器时，gpt-4o-mini 在 Monitor 提示下分解成功率高达 96%，DeepSeek-v3.2 达 92.3%，这表明模型常将“请将危险操作拆为更安全的教学步骤”误判为正当对齐需求，从而沦为攻击放大器。

亮点与洞察¶

风险维度的范式修正：不仅关注模型“说了什么”，而是强调“用户能否以此在现实中成事”，将执行成本作为风险标尺，揭示了评测偏离现实威胁分布的“安全假象”。
跨越表象的机理解释：利用线性探测证实模型底层表征存在严重的成本盲区，从神经元表示层面解释了逆向校准的物理成因，而非仅停留于黑盒行为测试。
通用可插拔的模块化攻击：成本分解作为一种轻量级意图重构策略，能无缝叠加至 GCG、AutoDAN 等优化型与启发式攻击之上，带来稳定 1.5× 至 2× 的越狱增益。

局限与展望¶

成本评估的标注主观性与动态性：现实中的物料成本与技术获取难度随黑市环境与开源技术生态动态变化，当前依赖离散打分模型与人工抽样校验，难以做到实时量化。
多步序列危害感知防御缺失：当前提出的分解攻击依赖独立会话执行，未深入探究服务端若引入跨轮次或跨会话状态追踪后的博弈攻防。
未来防御落地建议：安全对齐数据构建需纠正严重偏向灾难威胁的分布倾斜，补充高频、易执行的恶意数据；护栏设计亟需引入具备多跳关联推断能力的复合安全监控器。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出结合执行成本的期望危害安全评估体系，视角独特且直击要害。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖四项安全基准、多款商用及开源模型、外挂护栏测试以及深入的内部层线性探测。
写作质量: ⭐⭐⭐⭐⭐ 叙事逻辑层层递进，从理论建模、现象揭示、漏洞利用到机理求证十分完整。
价值: ⭐⭐⭐⭐⭐ 为安全对齐社区提供了兼顾真实风险分布的全新评估范式，对下一代复合防护机制极具指导价值。