Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models¶

会议: NeurIPS 2026
arXiv: 2602.04896
OpenReview: https://openreview.net/forum?id=0NZZS2IYP6
代码: https://anonymous.4open.science/r/SteeringExternality
领域: 对齐/RLHF
关键词: 激活工程、表征转向、转向外部性、越狱脆弱性、浅层安全对齐

一句话总结¶

揭示了开发者在推理期使用良性数据注入激活转向向量以提升顺从度或结构化格式时，会系统性侵蚀安全边界并使大模型越狱攻击成功率飙升的“转向外部性”现象，并提出安全感知转向 STEER-BIND 予以缓解。

研究背景与动机¶

大语言模型在作为指令遵循助手部署时，服务提供商普遍面临双重诉求：一方面需要模型具备高度的实用性（Utility），如更低的无害拒绝率、更忠实的指令顺从度以及结构化的输出格式（例如强制 JSON 输出）；另一方面必须维持稳固的安全拒答边界以抵御越狱攻击。传统的参数微调与对齐训练（如 SFT、RLHF、DPO）成本高昂且周期冗长，因此无需重新训练、直接在推理阶段向残差流隐状态叠加特征向量的激活转向（Activation Steering）技术，迅速成为工业界极具吸引力的即插即用控制原语。

然而，现有关于激活转向与安全性的研究绝大多数建立在“攻击者视角”上，即将转向向量作为恶意绕过拒答防御的对抗手段。在由模型开发者主导的实用性部署场景中存在一个长期被忽视的盲区：当开发者完全基于无害良性数据学习转向向量（例如从无害问答中提取顺从方向，或从格式指令中提取 JSON 结构方向）并在服务端全局注入时，这些看似完全良性的干预是否会带来未被预期的负面安全连锁反应？

深入剖析这一问题会发现其深层矛盾所在：指令微调模型的安全防御机制高度依赖生成初期的前几个 token（即“浅层安全对齐”假设），一旦前缀偏离拒答模态，自回归生成的惯性就会顺水推舟完成后续有害内容。而旨在提升顺从度或格式规范的良性转向，恰恰在隐空间中模糊了有害请求与无害请求的线性可分边界。本文的核心 idea 是：首次系统性定义并验证了“转向外部性（Steering Externalities）”现象——即使完全基于良性数据提取的实用性激活转向，也会在隐表征空间中把有害请求“良性化”并压制前缀拒答门控，作为力量倍增器成倍放大黑盒越狱攻击的成功率；并据此提出了结合拒答样本的安全感知混合转向方案 STEER-BIND。

方法详解¶

整体框架¶

本文构建了面向服务部署侧的黑盒威胁与转向评估范式。在系统层，模型开发者在推理阶段向 Transformer 解码器的特定层残差流表征中注入预先由良性数据集抽取的固定激活转向向量。攻击者处于黑盒条件，既无法接触底层的转向向量，也无法观测中间激活，仅能通过输入输出交互发送自适应对抗提示词。

整体流水线包含良性转向向量抽取（顺从度转向 STEER-COMPLIANCE 与语法格式转向 STEER-JSON）、自回归解码期的动态/静态表征干预、双重安全测试机制（基准直测 Benchmark-Only 与黑盒自适应越狱 Synergistic Vulnerability），以及针对隐表征和 token 分布的机理解析。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["良性数据源<br/>Alpaca 对比样本 / IFEval JSON 模板"] --> B["顺从度主成分抽取与格式均值差分<br/>提取 STEER-COMPLIANCE 与 STEER-JSON"]
    B --> C["推理期残差流干预<br/>固定层静态注入或自适应投影缩放"]
    C --> D["前缀拒答门控偏置<br/>有害表征向良性流形迁移 + 压制拒答前缀"]
    D --> E["自回归惯性生成<br/>初始 Token 模式转变锁定合规续写"]
    E --> F["双重安全与效用评估<br/>良性任务胜率 ↑ / 越狱攻击成功率 ASR 剧增"]

关键设计¶

1. 顺从度主成分抽取与格式均值差分：从纯良性语料中解耦行为向量

为了保证研究紧扣“完全出于良性实用性目的”的设定，本设计采用了两种截然不同维度的行为向量抽取策略。针对语义层面的实用性提升，采用条件激活转向思想构建无害对比数据集：从 Alpaca 中采样 100 条良性指令，每条指令分别人工构造肯定的顺从前缀和礼貌的拒答前缀，在残差流隐状态上执行均值中心化主成分分析（PCA），取第一主成分作为区分拒答与顺从的方向，并取反得到正向顺从向量 \(v_{\text{comply}}^{(\ell)} = -v_{\text{refusal}}^{(\ell)}\)。针对语法结构层面的实用性，从 IFEval 中采集 400 条样本构造是否附带 JSON 格式约束的配对输入 \((x_i, x_i^+)\)，并在末尾输入 token 位置计算残差流激活的均值差分向量：

\[u^{(\ell)} = \frac{v^{(\ell)}}{\|v^{(\ell)}\|}, \quad v^{(\ell)} = \frac{1}{N} \sum_{i=1}^{N} (x_{i, \ell}^+ - x_{i, \ell})\]

该设计的关键机制在于：所有训练数据完全不包含任何攻击性、越狱性或显式不安全内容，完全模拟开发者旨在降低良性误拒率或提升结构化输出达标率的正常业务动机。

2. 推理期残差流干预：静态全局注入与自适应投影缩放

在自回归解码的每一步 \(t\) 及特定隐藏层 \(\ell\)，将抽取的转向向量叠加至残差流状态 \(h_t^{(\ell)}\)。对于顺从度转向，采用固定的转向强度系数 \(\alpha\) 进行线性干预，即 \(\tilde{h}_t^{(\ell)} = h_t^{(\ell)} + \alpha v_{\text{comply}}^{(\ell)}\)。对于 JSON 格式转向，为了避免固定步长破坏模型原有的语义连贯性，引入自适应缩放系数 \(c\)：

\[\tilde{h}_t^{(\ell)} = h_t^{(\ell)} + c \, u^{(\ell)}, \quad c = \bar{z} - \langle h_t^{(\ell)}, u^{(\ell)} \rangle, \quad \bar{z} = \frac{1}{N} \sum_{i=1}^N \langle x_{i, \ell}^+, u^{(\ell)} \rangle\]

这种自适应投影机制通过度量当前表征在目标方向上的内积投影与目标分布均值 \(\bar{z}\) 的差距动态调节补偿量。干预直接在每一解码步的前向传播中发生，无需修改模型权重，从而瞬时改变输出分布 \(p_\theta^{\text{steer}}(\cdot \mid x_{\le t})\)。

3. 前缀拒答门控偏置：瓦解浅层对齐并在隐空间良性化有害请求

该机制从表征几何与概率分布两个层面揭示转向外部性的物理成因。在隐空间层面，安全对齐使原始模型在深层网络（如 Layer 30）对有害请求与无害请求保持高度的线性可分性，充当隐式线性安全门控 \(\langle w, h \rangle\)。当注入转向向量 \(v\) 后，评分转变为 \(\langle w, h + \alpha v \rangle = \langle w, h \rangle + \alpha \langle w, v \rangle\)。实验证实 \(\alpha \langle w, v \rangle\) 呈现显著负向偏移，致使 60.8% 的顺从转向有害样本与 58.2% 的 JSON 转向有害样本直接跨越判别超平面，落入无害样本流形（即“表征良性化”）。在解码端，根据自回归因式分解：

\[P(y \mid x) = \underbrace{P(y_{\le k} \mid x)}_{\text{Refusal Gate}} \cdot \underbrace{P(y_{> k} \mid x, y_{\le k})}_{\text{Autoregressive Inertia}}\]

对齐模型的防御机制高度特化在生成的前 \(k\) 个 token。良性转向在极早期生成步造成强烈的逐 token KL 散度峰值，系统性抑制形如“对不起，我无法……”的拒答前缀概率，显著提升“好的，这是……”或 {"result": 等非拒答起手的采样几率。

4. 自回归惯性诱导与自适应黑盒攻击放大

一旦前缀决策窗口中的拒答门控被绕过，模型在后续解码阶段将严格基于已生成的肯定/格式化前缀计算条件概率 \(P(y_{> k} \mid x, y_{\le k})\)。自回归模型的语言建模惯性迫使其保持上下文一致性，原先在预训练阶段习得但未被深层擦除的有害知识随之被顺畅调用，从而输出实质性有害内容。在面对外部黑盒自适应越狱攻击（如 CoP、PAIR、TAP）时，转向外部性充当了攻击的“力量倍增器”：攻击算法通常依赖模型反馈进行启发式或代理搜索，原本需要数十轮迭代甚至无法攻破的防御边界，因模型安全裕度（Safety Margin）的隐式收缩而门户大开，极少量修改即可诱导模型彻底崩溃。

损失函数 / 训练策略¶

本研究中的激活转向属于纯推理期免训练（Training-free）技术，无需反向传播更新模型权重。超参数选择策略如下： 1. 转向层选择：STEER-COMPLIANCE 沿用 CAST 协议，在中间至高层密集注入（如 Llama 模型的第 15, 17, 18, 19, 20, 21, 22, 23, 24 层）；STEER-JSON 采用网格搜索最优单层注入（Gemma-7B-it 为第 15 层，Llama-2-7B-Chat 为第 16 层，Llama-3-8B-Instruct 为第 6 层）。 2. 强度系数 \(\alpha\) 寻优：在 Llama-3-8B-Instruct 上对 \(\alpha \in [0, 0.5, 1.0, 1.5, 2.0]\) 进行消融，以 Alpaca 问答胜率（Win-Rate）与 SorryBench 拒答率的平衡点为基准，最终确定最优平衡系数 \(\alpha \approx 1.3\)。 3. 安全感知混合策略（STEER-BIND）：在缓解实验中，构建包含 50 条良性 Alpaca 指令（绑定肯定顺从回复）与 50 条有害 BeaverTails 提示（绑定拒答回复）的混合数据集，重新通过 PCA 抽取具备双向安全意识的条件转向向量。

实验关键数据¶

主实验¶

在 HarmBench 全量 400 条有害请求基准上，评估原始模型、良性激活转向模型在无攻击直接提问（Benchmark-only）以及黑盒越狱算法（CoP）攻击下的攻击成功率（Attack Success Rate, ASR）。评估采用微调的 Llama-2-13B HarmBench 专用安全分类器作为判据。

模型架构	评估模式 / 攻击手段	原始模型 (Original)	顺从度转向 (STEER-COMPLIANCE)	格式转向 (STEER-JSON)	脆弱性增幅 (Max \(\Delta\))
Llama-2-7B-Chat	直接有害提问 (Benchmark-only)	0.00%	16.00%	11.50%	+16.00%
Llama-2-7B-Chat	组合式原则越狱 (CoP)	77.00%	94.25%	88.75%	+17.25%
Llama-3-8B-Instruct	直接有害提问 (Benchmark-only)	2.00%	38.50%	20.00%	+36.50%
Llama-3-8B-Instruct	组合式原则越狱 (CoP)	71.00%	81.25%	79.50%	+10.25%
Gemma-7B-it	直接有害提问 (Benchmark-only)	3.25%	25.50%	15.50%	+22.25%
Gemma-7B-it	组合式原则越狱 (CoP)	71.00%	93.50%	90.25%	+22.50%

消融实验¶

消融实验包含三个关键维度：(1) 在 50 条 HarmBench 子集上验证不同黑盒越狱算法（PAIR、TAP）的越狱放大普适性；(2) 检验良性效用指标的实际提升情况（Alpaca 拒答率降低与 IFEval JSON 合法率提升）；(3) 安全感知混合转向 STEER-BIND 的缓解有效性。

表格 1：跨黑盒越狱算法泛化测试（Llama-2-7B-Chat, 50 条 HarmBench）

越狱攻击算法	原始模型 ASR	顺从度转向 ASR	格式转向 ASR	外部性增幅分析
PAIR (自动迭代细化)	10.0%	20.0% (+10.0%)	14.0% (+4.0%)	顺从度转向使越狱成功率翻倍
TAP (树状剪枝攻击)	20.0%	34.0% (+14.0%)	26.0% (+6.0%)	树搜索结合转向产生协同穿透效果

表格 2：良性实用性指标验证（证明转向在业务目标上的有效性）

模型架构	Alpaca 无害拒答率 (↓ 越低越好) 原始	Alpaca 无害拒答率顺从度转向	IFEval JSON 合法率 (↑ 越高越好) 原始	IFEval JSON 合法率格式转向
Llama-2-7B-Chat	9.0%	6.0%	61.0%	74.0%
Llama-3-8B-Instruct	2.0%	0.0%	63.0%	69.0%
Gemma-7B-it	18.0%	1.0%	69.0%	81.0%

表格 3：STEER-BIND 缓解方案在 Llama-3-8B-Instruct 上的防御表现

转向配置	无害 Alpaca 拒答率 (↓)	HarmBench 直接 ASR (↓)	CoP 越狱攻击 ASR (↓)	效用与安全性权衡结论
原始基线 (ORI)	2.0%	4.0%	73.0%	基准安全但存在一定误拒
纯顺从度转向 (STEER-COMPLIANCE)	0.0%	36.0%	93.0%	效用最佳但安全严重沦陷
安全感知混合转向 (STEER-BIND)	1.0%	5.0%	76.0%	兼顾良性低拒答与基线级鲁棒性

关键发现¶

纯良性转向带来内生性安全退化：在完全不施加任何外部对抗攻击的前提下，仅注入顺从度转向就会使 Llama-3-8B-Instruct 的直接有害输出率从 2% 跃升至 38.5%；即便与安全完全无关的语法格式约束 STEER-JSON，也会让 Llama-2-7B-Chat 的有害回答率从 0% 提升至 11.5%。
对黑盒越狱算法具有倍增器效应：在对抗场景中，良性转向与越狱算法产生强烈的协同破坏效应。CoP 攻击配合顺从度转向后，Llama-2-7B-Chat 和 Gemma-7B-it 的 ASR 分别突破 94.25% 和 93.50%，导致原本通过严苛对齐训练的开源模型几乎彻底沦陷。
浅层拒答门控先被攻破：逐 token KL 散度分析证实，转向向量的冲击极其集中在生成序列的前 1-5 个 token，迫使首 token 立即建立肯定或格式标记（如“Sure”或 {），证实“浅层对齐”是导致自回归连锁崩溃的脆弱源头。
表征良性化现象：t-SNE 与线性探测表明，在深层残差流中，约 60% 的有害提示被良性转向向量平移到了无害请求的决策超平面一侧，使判别器丧失了对恶意的感知灵敏度。

亮点与洞察¶

视角转换的认知冲击：打破了过去将激活工程仅视为攻击者漏洞利用工具的刻板认知，首次从模型部署者的业务视角指出了“良性干预的负外部性”，证明追求极致实用性本身就潜藏着破坏安全对齐的严重风险。
语法控制跨界破坏安全语义：发现了格式化转向（STEER-JSON）对安全性的侵蚀效应，证实了表征干预中“语义”与“语法”并非正交独立，强制格式约束会挤占并扰动安全门控所依赖的隐表征维度。
极简而有效的防御原型 STEER-BIND：提出的数据绑定混合采样方案仅用 50 条良性样本加 50 条有害拒答样本重新校准主成分，就能将有害输出率从 36% 压回 5%，为工业界部署安全激活补丁指明了低成本的工程路线。

局限与展望¶

模型规模与架构覆盖有限：实验主要覆盖了 7B/8B 级别的开源稠密模型以及 20B 级的开源模型（GPT-OSS-20B），尚未在超大规模模型（如 70B+）或混合专家架构（MoE）上验证转向外部性是否随参数规模呈现缩放效应。
转向类型与攻击模态单一：重点考察了顺从度与 JSON 两种典型转向以及纯文本提示词层面的黑盒攻击，对于多模态输入（如图像-文本交织激活干预）以及白盒梯度攻击下的外部性效应仍有待拓展。
更深入的多目标对齐干预：未来的防御研究需要探索在向量空间构建显式正交投影矩阵，使得实用性转向向量严格投影在与安全分类超平面正交的零空间（Null Space）内，从根本上隔离外部性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出并命名“转向外部性”，从开发者防御/效用部署视角反思激活转向的安全副效应，立意深刻且切中部署盲区。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个主流基座、2 种代表性转向、3 种 SOTA 黑盒攻击，配以逐 token KL 散度和层级 t-SNE 机理实验，并提供了 STEER-BIND 缓解验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构异常严谨，机理解释层层递进，概念界定清晰，图表与附录数据详实自洽。
价值: ⭐⭐⭐⭐⭐ 为大模型推理期轻量化控制与工业级服务部署敲响了警钟，对大模型可解释性、后对齐鲁棒性具有重要指导意义。