The Sharp Directions Are Against You: Curvature Analysis of Activation Steering¶

会议: NeurIPS 2026
arXiv: 2610.16084
OpenReview: https://openreview.net/forum?id=WyedqmCk4O
领域: 其他
关键词: 激活转向, 转向黑塞矩阵, 曲率分析, 尖锐方向消除, 表征工程

一句话总结¶

本文提出面向激活转向向量的转向黑塞矩阵（Steering Hessian），证明对比激活添加（CAA）的脆弱性源自激活空间极端的曲率各向异性，并通过一阶保向保距的“尖锐成分消除”（Sharp Removal）在不改变模型权重的前提下彻底消除了反向转向，在跨模型多任务的开放生成中全面超越标准 CAA。

研究背景与动机¶

大语言模型在推理阶段的行为控制通常依赖微调（SFT/RLHF）或提示工程，而激活转向（Activation Steering / Representation Engineering）作为一种无需训练的轻量化干预手段，因能在推理时直接向残差流隐层表示注入偏置向量 $\mathbf{v}$ 来调节模型属性（如真实性、情感或拒绝有害请求）而备受关注。其中，对比激活添加（Contrastive Activation Addition, CAA）是最广泛采用的经典构造范式，其通过正负行为样本在特定层的均值差直接提取转向向量。然而，CAA 在实践中表现出广为人知的脆弱性与不可靠性：在 30%–50% 的测试输入上会出现导致行为走向相反方向的反向转向（Anti-steering）；转向效果对缩放系数 $\alpha$ 极度敏感且有效区间极其狭窄；更为严重的是，在许多常见任务和多数网络层中，CAA 向量本身的方向甚至直接发生符号反转，使得转向干预反而损害了预期的安全对齐或诚实度。

长期以来，学术界普遍将这种反向转向与层/系数敏感性归结为经验层面的启发式噪声或对比样本分布偏移，缺乏深层的理论与几何解释。由于深度网络中间激活维度极高（通常在 3584 到 4096 维），简单的均值差向量不可避免地弥散在复杂的激活流形上。直觉上，高维空间中不同方向对下游网络计算所产生的扰动响应并不均一：某些敏感方向即使受到微小偏移也会触发下游 logits 的剧烈震荡，而大部分平坦方向则表现出高度的鲁棒性。CAA 的均值差构造完全基于激活方差，无法甄别这种各向异性的曲率结构，导致一小部分极具破坏性的敏感成分混杂在转向向量中，并在多步自回归生成过程中产生灾难性的误差累积。

针对这一核心矛盾，本文跳出传统的“优化新向量”视角，转而探究激活空间中行为损失函数相对于转向向量自身的二阶曲率几何。核心 idea：引入转向黑塞矩阵（Steering Hessian）量化激活空间扰动的曲率各向异性，通过低开销 Lanczos 迭代提取曲率极大的“尖锐子空间”，并仅用一行投影消除该破坏性成分（Sharp Removal），在严格保向保距的同时削减 4–12 倍的局部曲率，彻底修复 CAA 的生成崩塌与反向转向。

方法详解¶

整体框架¶

在推理阶段，给定冻结的语言模型 $f_\theta$ 以及输入 $x$，模型在选定层 $\ell$ 的隐状态表示为 $\mathbf{h}_\ell(x) \in \mathbb{R}^d$。标准激活转向通过缩放系数 $\alpha > 0$ 注入转向向量 $\mathbf{v} \in \mathbb{R}^d$，得到干预后的隐状态 $\tilde{\mathbf{h}}_\ell(x) = \mathbf{h}_\ell(x) + \alpha \mathbf{v}$，后续层 $\ell+1$ 至输出均基于 $\tilde{\mathbf{h}}_\ell(x)$ 继续前向传播。本文的方法框架包含四个主要环节：基于正负对比样本构建初始 CAA 向量；利用行为交叉熵损失定义关于转向向量自身的转向黑塞矩阵 $\mathbf{H}_{\text{steer}}$；通过有限差分 Lanczos 迭代提取高曲率特征对构成尖锐子空间 $\mathcal{S}_k$；最后构造正交投影算子消除尖锐成分，产出净化后的转向向量 $\mathbf{v}_{\text{cleaned}}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["正负对比样本对<br/>{(x_i^+, x_i^-)}"] --> B["初始 CAA 向量构建<br/>均值差提取 v_CAA"]
    B --> C["转向黑塞矩阵构建<br/>关于向量 v 的二阶导 H_steer"]
    C --> D["Lanczos 特征分解<br/>提取 top-k 尖锐子空间 S_k 与平坦子空间 F_k"]
    D --> E["尖锐成分消除 (Sharp Removal)<br/>正交投影 v_cleaned = v_CAA - P_S v_CAA"]
    D -->|分析诊断| F["平坦子空间投影诊断<br/>v_flat 纠正反向符号与定位最优层"]
    E --> G["鲁棒开放自回归生成<br/>KL 漂移削减 3-4 倍且无反向转向"]

关键设计¶

1. 转向黑塞矩阵与高斯-牛顿分解：通过二阶曲率量化激活空间微扰敏感度 为了刻画激活空间中行为扰动的几何响应，本文定义了一个显式可微的行为损失标量 $\mathcal{L}(x, \mathbf{v}, \alpha) = -\log p_\theta(y \mid x; \ell, \mathbf{v}, \alpha)$，其中 $y$ 为指示目标行为的触发 token（如代表正向情感的“ Great”或代表拒绝合规的“ I”）。转向黑塞矩阵定义为期望行为损失 $L(\mathbf{v}) = \mathbb{E}_{x \sim \mathcal{D}}[\mathcal{L}(x, \mathbf{v}, \alpha)]$ 关于转向向量 $\mathbf{v}$ 本身（而非模型参数 $\theta$）的二阶偏导矩阵： $$\mathbf{H}_{\text{steer}}(\mathbf{v}) = \nabla^2_{\mathbf{v}} L(\mathbf{v}) \in \mathbb{R}^{d \times d}$$ 根据 Proposition 1，利用复合函数链式法则，转向黑塞矩阵可精确分解为正半定的高斯-牛顿项与下游曲率项： $$\mathbf{H}_{\text{steer}}(\mathbf{v}) = \alpha^2 \mathbb{E}_{x \sim \mathcal{D}} \left[ \mathbf{J}_\ell(x)^\top \nabla^2_{\mathbf{z}} \ell_{\text{CE}}(\mathbf{z}, y)\big|_{\mathbf{z}=g_\ell(\tilde{\mathbf{h}})} \mathbf{J}_\ell(x) + \sum_{j=1}^V \frac{\partial \ell_{\text{CE}}}{\partial z_j} \nabla^2 g_{\ell, j}(\tilde{\mathbf{h}}) \right]$$ 其中 $\mathbf{J}_\ell(x) = \nabla_{\tilde{\mathbf{h}}} g_\ell(\tilde{\mathbf{h}}) \in \mathbb{R}^{V \times d}$ 是从层 $\ell$ 激活到输出 logits 的下游雅可比矩阵。该分解从理论上阐明了反向转向的本质：高斯-牛顿项占据绝对主导，其顶级特征向量所对应的“尖锐方向”（Sharp Directions）正是下游计算图对隐状态微小位移产生最大 logits 放大的轴向。由于雅可比矩阵 $\mathbf{J}_\ell(x)$ 强烈依赖于具体输入的表层语义、词汇与提示格式，在这些尖锐方向上的激活扰动会被不可控地放大并呈现高度不规则的扰动，直接催生反向转向；而处于雅可比近似零空间的“平坦方向”（Flat Directions）则能产生稳定、不受表层词汇干扰的行为偏移。

2. 基于有限差分 Lanczos 迭代的高效特征分解：低算力开销求解极值子空间 在现代语言模型中，隐藏维度 $d \in \{3584, 4096\}$，显式构建并存储 $d \times d$ 的完整黑塞矩阵计算开销过大且不可行。本文巧妙地采用 Lanczos 迭代算法，仅需计算黑塞-向量积（Hessian-vector product, HVP）即可快速收敛得到模长最大（尖锐）和最小（平坦）的极值特征对。在具体实现中，利用中心有限差分近似黑塞-向量积： $$\mathbf{H}_{\text{steer}} \mathbf{u} \approx \frac{\nabla_\mathbf{v} L(\mathbf{v} + \delta \mathbf{u}) - \nabla_\mathbf{v} L(\mathbf{v} - \delta \mathbf{u})}{2\delta}$$ 在设定有限差分步长 $\delta=0.01$、估计提示集大小 $n=12$、Lanczos 迭代步数 $m=40$ 并配合完全重新正交化（Full Reorthogonalization）的条件下，单张 NVIDIA A6000 GPU 仅需约 40 秒即可完成单层的极值特征求解。特征值按绝对值排序 $|\lambda_{\pi(1)}| \ge |\lambda_{\pi(2)}| \ge \dots \ge |\lambda_{\pi(d)}|$，前 $k$ 个特征向量张成尖锐子空间 $\mathcal{S}_k = \text{span}(\mathbf{e}_{\pi(1)}, \dots, \mathbf{e}_{\pi(k)})$，而后 $k$ 个特征向量张成平坦子空间 $\mathcal{F}_k = \text{span}(\mathbf{e}_{\pi(d-k+1)}, \dots, \mathbf{e}_{\pi(d)})$。

3. 尖锐成分消除（Sharp Removal）：一阶近似保向保距的曲率削减算子 获得尖锐子空间后，构造正交投影算子 $\mathbf{P}_{\mathcal{S}_k} = \sum_{i=1}^k \mathbf{e}_{\pi(i)} \mathbf{e}_{\pi(i)}^\top$，并将净化后的转向向量定义为从原 CAA 向量中直接扣除尖锐分量： $$\mathbf{v}_{\text{cleaned}} = \mathbf{v}_{\text{CAA}} - \mathbf{P}_{\mathcal{S}_k} \mathbf{v}_{\text{CAA}}$$ 根据 Proposition 2 的严格数学推导，该操作具有三大关键理论性质： - 几何保真性：设尖锐能量占比 $\varepsilon = \|\mathbf{P}_{\mathcal{S}_k} \mathbf{v}_{\text{CAA}}\|^2 / \|\mathbf{v}_{\text{CAA}}\|^2$，则两向量余弦相似度 $\cos(\mathbf{v}_{\text{CAA}}, \mathbf{v}_{\text{cleaned}}) = \sqrt{1 - \varepsilon}$，模长仅收缩至 $\sqrt{1 - \varepsilon}\|\mathbf{v}_{\text{CAA}}\|$。实验表明在全部测试条件下 $\varepsilon \le 0.05$（通常仅为 1%–5%），这意味着方向余弦大于 0.974 且模长损失低于 3%，单步前向传播的基准行为信号得以近乎完美地保留。 - 单步损失扰动有界：一阶泰勒展开表明 $|L(\mathbf{v}_{\text{cleaned}}) - L(\mathbf{v}_{\text{CAA}})| \le \|\mathbf{P}_{\mathcal{S}_k} \mathbf{g}\| \sqrt{\varepsilon} \|\mathbf{v}_{\text{CAA}}\| + \frac{1}{2}|\lambda_{\pi(1)}| \varepsilon \|\mathbf{v}_{\text{CAA}}\|^2 + O(\varepsilon^{3/2})$，损失代价随 $\varepsilon \to 0$ 快速消失。 - 方向曲率显著削减：净化后向量的方向曲率被严格上界限制在未剔除的最大特征值 $|\lambda_{\pi(k+1)}|$ 之内： $$\frac{|\mathbf{v}_{\text{cleaned}}^\top \mathbf{H}_{\text{steer}} \mathbf{v}_{\text{cleaned}}|}{\|\mathbf{v}_{\text{cleaned}}\|^2} \le |\lambda_{\pi(k+1)}|$$ 曲率削减比率 $\kappa_{\text{gap}} = |\lambda_{\pi(1)}| / |\lambda_{\pi(k+1)}|$ 达到 1.7 至 12.3 倍（中位数 4.0 倍），由于 $\mathbf{H}_{\text{steer}} \propto \alpha^2$，该曲率削减率完全与缩放系数 $\alpha$ 解耦，使自回归多步解码期间的隐状态分布漂移（KL 散度）降低 3–4 倍。

4. 平坦子空间投影诊断：反向转向机制诊断与最优层甄选 除用于推理生成的 Sharp Removal 外，将 CAA 投影到平坦子空间并归一化所得到的 $\mathbf{v}_{\text{flat}} = \mathbf{P}_{\mathcal{F}_k} \mathbf{v}_{\text{CAA}}$ 构成了一个强有力的解析诊断工具。在实验中发现，在 4 个任务中的 3 个（谄媚倾向、毒性、拒绝响应）上，原始 CAA 向量由于包含了与下游格式相关的表层高方差特征，其均值差方向完全发生了符号翻转（例如在 Mistral 谄媚任务上 token 概率差 $\Delta = -0.028$）。而 $\mathbf{v}_{\text{flat}}$ 滤除了这些受雅可比放大干扰的表层特征，直接恢复出正确的正向意图（$\Delta = +0.317$）。此外，$\mathbf{v}_{\text{flat}}$ 在各模型各任务的最佳层上取得了 11/12 的最低反向转向率（在 Qwen 情感任务 L21 达到绝对 0%），为识别模型在哪个深度完成了抽象语义表征提供了客观的几何判据。

实验关键数据¶

主实验¶

实验评测覆盖三大家族开源指令模型（Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3），涵盖四个典型行为控制任务（情感 Sentiment、谄媚倾向 Sycophancy、毒性消减 Toxicity、有害请求拒绝 Refusal），每个模型均评测早、中、晚三个关键层，形成 36 个 token 级条件。在二阶曲率分析中，转向黑塞矩阵的条件数 $\kappa = |\lambda_{\max}| / |\lambda_{\min}|$ 普遍高达数十至数千，证实了各向异性的极端存在。若将转向向量限制在尖锐子空间（$\mathbf{v}_{\text{sharp}}$），在所有 36 个条件下均引发灾难性的反向转向（反向转向率 53%–100%）。

下表汇总了 36 个条件下转向黑塞矩阵的条件数 $\kappa$ 以及尖锐向量 $\mathbf{v}_{\text{sharp}}$ 的反向转向率（Anti-steer rate）：

模型	任务	早期层 $\kappa$ (层号)	中期层 $\kappa$ (层号)	晚期层 $\kappa$ (层号)	早期 $\mathbf{v}_{\text{sharp}}$ 反向率	中期 $\mathbf{v}_{\text{sharp}}$ 反向率	晚期 $\mathbf{v}_{\text{sharp}}$ 反向率
Qwen2.5-7B	Sentiment	63 (L7)	50 (L14)	70 (L21)	0.69	0.74	0.77
	Sycophancy	181 (L10)	71 (L14)	250 (L16)	0.53	0.84	0.96
	Toxicity	51 (L10)	148 (L16)	51 (L22)	0.69	0.72	1.00
	Refusal	673 (L10)	182 (L16)	143 (L20)	0.99	0.97	0.99
Llama-3.1-8B	Sentiment	94 (L8)	58 (L16)	1279 (L24)	0.88	0.79	0.76
	Sycophancy	765 (L10)	372 (L14)	3727 (L16)	0.99	1.00	1.00
	Toxicity	504 (L10)	196 (L12)	88 (L20)	0.90	0.90	0.97
	Refusal	1990 (L10)	647 (L16)	462 (L20)	1.00	1.00	1.00
Mistral-7B	Sentiment	465 (L8)	75 (L15)	880 (L21)	0.75	0.69	0.60
	Sycophancy	218 (L19)	220 (L20)	121 (L21)	0.88	0.76	0.86
	Toxicity	1242 (L8)	358 (L15)	450 (L21)	0.82	0.89	0.80
	Refusal	300 (L8)	253 (L10)	320 (L12)	0.69	0.72	0.61

在开放式长文本生成评测中（跨情感、谄媚、拒绝三大任务的 25 个生成条件），$\mathbf{v}_{\text{cleaned}}$ 在 25/25 个条件下全部优于标准 CAA。尤其在安全性最受考验的有害拒绝任务（Refusal）上，标准 CAA 会破坏原模型的安全对齐（Qwen 拒绝率由基线 78% 骤降至 36%–44%，Llama 由 62% 骤降至 24%–52%）；而经过 Sharp Removal 净化后的 $\mathbf{v}_{\text{cleaned}}$ 则将拒绝率提升至 Qwen 88%–98% 以及 Llama 74%–76%，彻底逆转安全退化。

消融实验¶

为验证尖锐方向与传统主成分分析（PCA）方差方向的区别、子空间维度 $k$ 的敏感度、以及负向越狱（Jailbreaking）场景下的表现，作者进行了深度消融与对比评测：

下表展示了负向转向越狱实验（$\alpha=3.0$, GPT-4o-mini 评测，AdvBench 数据集）的主对比结果：

模型 (测试层)	干预配置	依从率 (Comply %)	部分依从 (Partial %)	拒绝率 (Refuse %)	结论说明
Qwen2.5-7B (L10)	基线 (Unsteered)	2%	4%	94%	默认安全对齐完备
	$-\mathbf{v}_{\text{CAA}}$ (反转 CAA)	56%	12%	24%	成功诱发部分有害输出
	$-\mathbf{v}_{\text{sharp}}$ (反转尖锐分量)	2%	40%	58%	产生大量胡言乱语与不连贯片段
	$-\mathbf{v}_{\text{cleaned}}$ (反转净化向量)	66%	14%	20%	依从率最高，越狱攻击效果最好
Llama-3.1-8B (L15)	基线 (Unsteered)	2%	6%	92%	默认安全对齐完备
	$-\mathbf{v}_{\text{CAA}}$ (反转 CAA)	2%	31%	67%	产生一定攻击效果
	$-\mathbf{v}_{\text{sharp}}$ (反转尖锐分量)	0%	0%	100%	陷入拒绝词重复死循环，比基线更“安全”
	$-\mathbf{v}_{\text{cleaned}}$ (反转净化向量)	3%	37%	60%	非拒绝率最高 (40%)，越狱能力最强

此外，激活协方差与黑塞矩阵正交性实验表明：在 Qwen 情感任务 L21 上，通用的前 15 个 PCA 方差主方向与黑塞尖锐子空间的主夹角余弦仅为 0.077，等同于两个随机子空间；投影剔除 PCA 方差主方向反而使得目标概率差恶化（$\Delta = -0.021$），而剔除黑塞尖锐方向则带来正向增益（$\Delta = +0.006$），证明了高方差并不等同于高曲率。

关键发现¶

尖锐方向是破坏性噪声而非行为信号：负向越狱实验表明，沿尖锐方向无论正向加还是反向减，均会破坏连贯生成。在 Llama 模型上，$-\mathbf{v}_{\text{sharp}}$ 导致隐状态彻底崩塌，使模型陷入无休止重复拒绝短语的局部吸引子死循环中（拒绝率反而达到 100%）。这确凿证明了尖锐方向本质上是计算图敏感性引发的数值毒药，必须彻底剔除。
自回归生成中的 KL 漂移抑制：在逐 token 生成的 KL 散度轨迹跟踪中，标准 CAA 导致输出分布与原始基线产生高达 ~19 nats 的剧烈漂移，而只占向量范数 2.6% 的尖锐分量几乎解释了全部漂移量；Sharp Removal 将这一漂移直接压缩了 3–4 倍。
子空间维度 $k$ 的鲁棒区间：对 $k \in \{1, 3, 5, 10, 15, 25\}$ 的消融表明，在具有显著谱间隙的任务（如 Qwen Refusal）上，仅取 $k=1$ 即可将拒绝率从 44% 翻倍拉升至 90%；而在信号较弱的谄媚任务上，过大的 $k$（如 $k=25$）会导致过度移除（Over-removal）损害有效信号。综合推荐 $k=10$–$15$ 为通用的默认参数。

亮点与洞察¶

将曲率分析从权重空间引入激活空间：传统 SAM（Sharpness-Aware Minimization）关注模型参数权重的极小值平坦度，而本文创新性地定义了推理时隐层激活扰动的 Steering Hessian，开辟了表征几何分析的新视角。
极小代价换取极大收益的“一滴墨水”效应：尖锐成分仅占 CAA 向量平方模长的 1%–5%，但正如一滴墨水混入清水，正是这微量的尖锐能量在多步自回归生成中指数级放大了误差。Sharp Removal 仅用极小的一步正交投影，即可获得数倍的曲率削减和生成稳定性。
模块化即插即用（Post-processing Wrapper）：该方法不需要修改训练代码或重新提取对比样本，也不与其他激活干预算法竞争，能够作为后续所有表征工程方法（如 SAE 特征定位、Arditi 拒绝方向）的即插即用净化滤网。

局限与展望¶

局部二次近似的有效性边界：Steering Hessian 是在 $(\mathbf{v}_{\text{CAA}}, \alpha=1.0)$ 邻域进行的局部二阶泰勒展开，当转向系数 $\alpha$ 被推至极大极端值时，高阶非线性项的影响可能超出二次近似范畴。
估计提示集的分布依赖：Lanczos 迭代需要依赖少量的估计提示集（$n=12$）。尽管实验表明极值子空间在不同任务目标 token 间具备强健的迁移性，但在极端领域迁移分布下的泛化边界仍有待未来进一步探索。
模型尺度扩展：实验集中在 7B–8B 规模的开源模型，未来需进一步向 70B+ 及混合专家（MoE）超大模型验证曲率谱分布的普适性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统提出针对激活转向的 Steering Hessian 理论框架，成功解释了困扰表征工程领域已久的反向转向谜题。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 3 大模型、4 大任务、36 个 token 条件与 25 个生成条件，包含越狱攻击、PCA 几何对照与严密的消融实验。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备自洽，命题形式严谨，实验图表详实且极具洞察力。
价值: ⭐⭐⭐⭐⭐ 为轻量级推理时模型控制与安全护栏提供了理论基石与极具实用价值的工程净化工具。