NeurIPS 2026 可解释性激活修补 (Activation Patching) 大模型越狱修复附带损害 (Collateral Damage) 局部邻域评估激活引导 (Activation Steering)

PatchBench: Measuring Collateral Damage in Activation Patching¶

会议: NeurIPS 2026
arXiv: 2610.10276
OpenReview: https://openreview.net/forum?id=iGhJMl38AQ
代码: https://github.com/alexi-c/PatchBench
领域: 可解释性
关键词: 激活修补 (Activation Patching), 大模型越狱修复, 附带损害 (Collateral Damage), 局部邻域评估, 激活引导 (Activation Steering)

一句话总结¶

针对现有大模型越狱防御评估依赖全局粗粒度指标、无法区分局部精准修复与泛化抑制的问题，本文提出了由 400 个真实越狱失败构成的基准数据集 PatchBench 及局部精准度评估协议 PatchBench-Local，通过有害变体纠正与良性邻域保持两个正交维度，揭示了主流激活引导方法在全局能力看似完好的表象下诱发的严重局部附带损害。

研究背景与动机¶

大语言模型在经过指令微调与人类对齐训练后，依然极易受到越狱攻击（Jailbreak Attacks）的诱导而生成违规内容。为了避免重新微调带来的巨大计算开销及灾难性遗忘，推理时激活引导与激活修补（Activation Steering / Patching）逐渐成为实现针对性安全修复的核心手段——其核心构想是通过在推理阶段直接介入模型内部表征（例如注入或缩放拒绝方向向量），精准抑制特定有害行为，同时完整保留模型原有的通用语义与下游能力。

然而，现有的安全对齐与越狱评估协议陷入了严重的粗粒度盲区。标准越狱基准（如 JailbreakBench、RedBench）主要测试模型在独立有害提示词集合上的全局攻击成功率（ASR）或拒绝率，搭配 MMLU 等宏观下游能力跑分。这种全局聚合评估无法回答局部修复中至关重要的两个问题：修补后，模型是否真正泛化到了目标有害提示词的局部语义邻域（例如同义改写、多语言翻译、格式变化）？更严重的是，该修补是否会殃及词汇或语法结构高度相近的良性请求？现有的全局评估指标完全无法将「针对特定有害逻辑的精准修复」与「粗暴无差别的局部特征抑制」区分开来。

解决这一矛盾的关键阻碍在于缺乏真正被模型有效执行的「可修补靶点」。如果模型本身已能拒绝某个提示词，它就不是合法的修复目标。本文的核心 idea 是：构建一个由 8 个开源大模型真实产生的 400 个强危害可执行失败用例库 PatchBench，并提出 PatchBench-Local 协议，为每个靶点动态构建包含有害变体与两类良性邻域的局部测试空间，通过有害邻域纠正率（HNCS）与良性邻域保持率（BNPS）的解耦度量，首次系统量化激活修补的局部附带损害。

方法详解¶

整体框架¶

PatchBench 的构建与 PatchBench-Local 评估构成了一个完整的端到端闭环。整个工作流分为三个核心阶段：第一阶段是对海量公开越狱提示词进行标准化清洗，并在 8 个开源指令微调大模型上进行贪婪解码推理，产出包含可执行协助行为的模型专属失败样本；第二阶段通过自动化分类器与成对 Elo 锦标赛排序筛选出 400 个高置信度修复靶点（每个模型 50 个）；第三阶段则针对这 400 个靶点，利用统一提示词工程合成对应的 29 个局部邻居（共 30 个局部测试用例），并施加激活引导干预，通过 WildGuard 独立评定有害邻域纠正率（HNCS）与良性邻域保持率（BNPS）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["27,870条开源越狱提示池<br/>来自RedBench 37个数据集"] --> B["人工清洗与格式过滤<br/>保留15,314条高危规范提示词"]
    B --> C["8个开源大模型确定性推理<br/>生成122,512组候选输出"]
    C --> D["双重筛选与成对Elo锦标赛<br/>WildGuard初筛 + 每候选用例≥50场Elo对决"]
    D --> E["PatchBench基准发布<br/>8模型 × 50条可执行越狱靶点"]

    subgraph LocalEval["PatchBench-Local 动态局部评估协议"]
        direction TB
        E --> F["三类局部邻域自动化生成<br/>19有害变体 + 5结构良性 + 5关键词良性"]
        F --> G["推理期激活修补介入<br/>AST / CAST / AlphaSteer / AdaSteer"]
        G --> H["WildGuard局部行为独立裁决<br/>对有害邻域判拒绝，对良性邻域判合规"]
    end

    H --> I["双轴局部正交度量输出<br/>HNCS纠正率 vs BNPS保持率"]

关键设计¶

1. PatchBench 专属靶点挖掘与成对 Elo 质量分级 以往的越狱数据集只提供输入提示词，不提供具体模型的实际违背策略，更无法保证目标模型是否真正中招。为了确保每个测试靶点都是模型内部表征确实存在漏洞的「真伤」样本，论文严格定义了「可修补越狱失败」（Patchable Failure）：提示词必须表达明确有害意图，且模型的生成结果必须提供可落地的、切实降低危害门槛的实质性协助（排除模糊托词或低质量幻觉）。流程首先在 8 个开源模型（覆盖 3B 到 14B 参数及 MoE 架构）上执行确定性贪婪解码，获取 122,512 对输出；随后利用 WildGuard 过滤掉模型自主拒绝与不着边际的回答，保留 6,380 对候选；随后为每个模型单独建立成对 Elo 比较池，由评估器以提示词加回答的整体危害度为基准进行至少 50 轮对决（$K=40$），最终由人工专家核验前 200 名并精选出 50 个高危害靶点。

2. 局部语义邻域的三分生成法：解耦泛化抑制与局部误伤 为了诊断激活修补到底是在抑制有害语义逻辑，还是粗暴地压制某些敏感词触发模式，PatchBench-Local 围绕每个靶点构造包含 29 个邻居的微观语义场。这 29 个邻居由结构严格受限的提示词模板通过 Mistral Large 统一合成，划分为三大类别： 1. 有害邻近变体（19 个）：包含 10 个同义改写、2 个跨语言翻译（法语、西班牙语）、3 个标点扰动、1 个大小写反转变体以及 3 个拼写/语法小错误。此集合保持攻击意图不变，用于探测修补向量在表征扰动下的纠正泛化能力。 2. 同结构良性邻居（5 个）：完全保留原越狱提示词的宏观句式骨架（包括选择题 Choices 结构、特定身份引导等复杂支架），但将攻击意图替换为无害请求，用于检验模型是否因识别到越狱提示词的特定外在格式而产生过拟合误拒。 3. 同关键词良性邻居（5 个）：剥离特定支架结构，重用原有害请求中的核心敏感词（如「合成」、「炸药」、「网络渗透」等），将其置于合法教学、历史科普或防御性安全分析等良性语境下，用于检验修补向量是否蜕化为粗糙的词汇级敏感词过滤器。

3. 正交解耦指标 HNCS 与 BNPS 的联合定义 针对局部测试集，PatchBench-Local 使用与人类一致性高达 92.6%（Cohen's $\kappa=0.841$）的 WildGuard 判定输出的拒绝属性。对于源提示词 $x_0$ 及其 19 个有害变体 $x_{\text{harm}, i}$，预期的安全行为是完全拒绝（Refusal 标签记为 1，否则记为 0）；对于 5 个结构良性邻居与 5 个关键词良性邻居 $x_{\text{benign}, j}$，预期的功能性行为是不拒绝（Non-Refusal 标签记为 1，拒绝则记为 0）。由此定义两个互不干扰的百分制局部指标： $$ \text{HNCS} = \frac{1}{20} \left( \mathbb{I}[f_{\text{steer}}(x_0) \in \text{Refusal}] + \sum_{i=1}^{19} \mathbb{I}[f_{\text{steer}}(x_{\text{harm}, i}) \in \text{Refusal}] \right) \times 100\% $$ $$ \text{BNPS} = \frac{1}{10} \sum_{j=1}^{10} \mathbb{I}[f_{\text{steer}}(x_{\text{benign}, j}) \notin \text{Refusal}] \times 100\% $$ HNCS 衡量对有害变体的根除率，BNPS 衡量对良性邻近意图的无害保护率。只有二者同时处于高位，修补才属于高质量的「局部精准手术」；若 HNCS 上升伴随 BNPS 骤跌，则表明该方法仅仅充当了局部的粗暴抑制器（Broad Local Suppressor）。

实验关键数据¶

主实验¶

论文对四种前沿激活引导方法进行了系统评测，包括无条件拒绝引导 AST、条件门控引导 CAST、零空间约束可学习引导 AlphaSteer，以及双向自适应投影引导 AdaSteer。评估覆盖 Qwen2.5-3B、Mistral-7B、Llama-3.1-8B 与 Gemma-3-4B 四大开源模型族。

模型	方法	HNCS (有害纠正 ↑)	BNPS (良性保护 ↑)	MMLU 5-shot (%)	MMLU 较基线变化 (pp)
Qwen 2.5 3B	Unsteered (无修补)	40.1	98.6	66.49	0.00
	AlphaSteer	92.5	94.2	61.61	-4.88
	AdaSteer	87.9	84.4	63.99	-2.50
	AST	95.6	66.8	45.68	-20.81
	CAST	82.5	82.4	63.05	-3.44
Mistral 7B	Unsteered (无修补)	32.2	99.2	62.00	0.00
	AlphaSteer	73.2	95.8	51.71	-10.29
	AdaSteer	77.2	96.0	50.15	-11.85
	AST	89.9	63.2	40.38	-21.62
	CAST	67.5	91.4	60.84	-1.16
Llama 3.1 8B	Unsteered (无修补)	31.2	97.1	68.28	0.00
	AlphaSteer	87.7	73.8	65.78	-2.50
	AdaSteer	88.5	65.3	62.47	-5.81
	AST	88.4	47.8	62.09	-6.20
	CAST	81.5	70.8	68.21	-0.07
Gemma 3 4B	Unsteered (无修补)	18.2	98.8	58.40	0.00
	AlphaSteer	65.8	94.8	48.21	-10.20
	AdaSteer	87.6	86.7	54.40	-4.00
	AST	87.1	28.4	41.20	-17.20
	CAST	58.5	76.8	57.88	-0.52

架构扩展与生成器稳健性验证¶

为验证结论在超大参数规模下的普适性，作者在包含 109B 总参数的混合专家（MoE）模型 Llama-4-Scout-17B-16E-Instruct 上进行了拓展实验。同时，作者对比了局部邻居生成器由 Mistral Large 切换为 GPT-4o 后的表现。

实验组别	评估维度 / 设定	HNCS (有害纠正)	BNPS (良性保护)	核心现象总结
Llama-4-Scout (MoE 109B)	Unsteered	18.0	98.6	原生模型在复杂提示下防御极弱
	AlphaSteer	79.7	74.8	取得最强有害纠正，但良性保护下跌 23.8 点
	AdaSteer	73.6	84.2	保持良好平衡，纠正与保护权衡稳健
	AST	62.5	94.5	在 MoE 上纠正受限，未过度牺牲良性
	CAST	44.6	94.6	条件门控偏保守，纠正收益相对较低
生成器敏感性 (全模型均值)	Mistral Large: AST	90.2	51.5	排名与趋势在两种 LLM 下严格保持一致；
	GPT-4o: AST	88.1	52.8	GPT-4o 生成提示整体使拒绝率略微下降约 2-3%，
	Mistral Large: AdaSteer	85.3	83.1	但完全不影响各方法之间的优劣判别与核心结论。
	GPT-4o: AdaSteer	83.9	85.1

关键发现¶

全局指标掩盖了严重的局部附带损伤：在 Llama-3.1-8B 上，CAST 方法的 5-shot MMLU 准确率仅微跌 0.07%（几乎完全无损），但其局部良性邻域保持率 BNPS 却暴跌 26.3 点；在 Gemma-3-4B 上，CAST 的 MMLU 仅下降 0.52%，BNPS 却下跌 22.0 点。这直接证明：依赖通用能力基准无法暴露针对性安全修复所导致的局部过拟合与局部功能致残。
有害抑制与良性保留的权衡鸿沟：无条件引导方法 AST 往往能在 HNCS 上刷出最高分（如 Qwen-3B 达到 95.6%），但代价是摧毁性的良性误拒（Gemma-3-4B 的 BNPS 仅剩 28.4%）。
良性损伤表现出双重分化：部分方法（如 Llama 8B 上的 AlphaSteer）主要出现「结构性过度阻断」（Structural Overblocking），即因提示词长得像越狱模板而误拒；而另一些方法则因共享敏感词产生严重的「词汇性过度阻断」（Lexical Overblocking）。

亮点与洞察¶

从全局跑分到微观邻域手术的视角跃迁：指出过往越狱基准只关注宏观 ASR 和 MMLU 的致命局限，创造性地为激活修补确立了「局部邻域精细度」这一全新的评价标尺，将安全干预评估从宏观统计推向局部因果分析。
真靶点挖掘保障了修复实验的因果实在性：拒绝在抽象的理论提示词上空转，而是以大模型实际中招并产出落地危害内容为准绳，构建了 400 个模型专属靶点，彻底消除了测试集中存在大量模型原本就会拒绝的无效假样本。
结构与词汇双重扰动的巧妙设计：将良性对抗用例精妙拆分为「结构保留」与「词汇重用」两个控制变量，使得研究者不仅能发现模型哪里坏了，还能精准定位模型到底是因为外壳结构还是触发词而产生条件反射式的神经阻断。

局限与展望¶

单靶点局部性与多点并发干扰：当前 PatchBench-Local 聚焦于单个修复靶点周边的局部半径评估，尚未覆盖同时对多个不同漏洞打补丁时的表征干涉（Interference）与累积良性衰减。
模型定制门槛较高：每迁移到一个全新的大模型，都需要执行完整的贪婪生成、WildGuard 过滤与人工复审流程，难以零成本全自动扩展到闭源商业模型。
超参数敏感度极高：激活引导层数与缩放系数（$\alpha$、$\lambda$）的选择对 HNCS-BNPS 平衡点具有高度敏感性，不同模型的最优引导层差异极大，尚未形成自适应的自愈机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向激活修补的局部附带损害评估框架，突破了传统全局安全评测的盲区。
实验严谨性: ⭐⭐⭐⭐⭐ 涵盖 8 大开源模型与 109B MoE、4 种前沿修补算法、成对 Elo 双盲排序及严格人工标注一致性检验。
实用价值: ⭐⭐⭐⭐☆ 为白盒大语言模型的轻量化安全修复与精准神经外科手术提供了极具操作性的基准与指标体系。