Don't Lose Focus: Activation Steering via Key-Orthogonal Projections¶

会议: NeurIPS 2026
arXiv: 2605.06342
代码: https://github.com/hl-678/SKOP
领域: LLM 其他
关键词: 激活引导, 注意力重路由, 查询空间引导, 键正交投影, 效用保留

一句话总结¶

针对激活引导（Activation Steering）因破坏注意力查询-键匹配而严重损害大模型推理与检索效用的根本痛点，提出通过键正交投影的引导方法（SKOP），在离线校准提取的关键差异子空间上将引导向量投影正交化，仅选择性约束少数高风险注意力头，在保留超过 95% 引导效果的同时使下游任务效用损失降低 5 到 7 倍，并首度实现长上下文场景下的鲁棒激活引导。

研究背景与动机¶

大语言模型的激活引导（Activation Steering）作为一种轻量且无需参数微调的推理时行为调控手段，近年来在诱导模型真实性回答、拒绝有害内容输出以及调整生成人设等开放式生成场景中展现出巨大潜力。与代价高昂的全量微调或参数高效微调（如 LoRA）相比，激活引导通过在模型隐层表示中注入语义方向向量，能够以极低计算开销引导模型输出。然而，该范式在实际落地中长期面临一个不可调和的核心权衡困境：随着引导强度增加或干预范围扩大，模型在非目标通用能力（即效用，如复杂数学推理、多步逻辑推导和上下文检索）上会出现毁灭性的性能衰退，衰退幅度往往高达 50% 至 75%。

以往研究试图通过输入条件门控（如 CAST）、语义自适应动态干预（如 SADI）或将干预位置从残差流转移到解耦程度更高的查询空间（如 DISCO-Q）来缓解这种效用损失。然而，学术界始终未从机理上揭开“为何引导会诱发效用崩塌”的微观机制。本文深入分析发现，导致效用崩溃的核心根源在于注意力重路由（Attention Rerouting）：模型在执行数学推理和长文本检索等高敏感任务时，高度依赖于由少数关键 token 组成的极稀疏“焦点集”（Focus Set，通常在数百 token 的上下文中仅占 15 到 30 个），这些 token 承载了 80% 以上的注意力权重；然而在查询向量中施加引导向量后，查询与键的点积相对排序被严重打乱，注意力权重被不可逆地从高价值的焦点 token 转移到了大量低信息的尾部 token（Tail Set）。

如果采用朴素的零空间正交约束来追求注意力权重的绝对不变性，由于引导本身必须依赖调整注意力分布来改变行为，完全消除重路由会导致引导效能彻底归零。核心 idea：激活引导不应追求全盘禁止注意力重路由，而应针对性压制从“焦点集”向“尾部集”转移的有害分量；通过离线构建焦点-尾部键差异二阶矩矩阵，将查询引导向量投影到有害重路由主成分的正交补空间，并仅干预少数高风险注意力头，实现高效引导与效用保全的双赢。

方法详解¶

整体框架¶

SKOP（Steering via Key-Orthogonal Projections）专为查询空间引导（Query-space Steering）设计，其将注意力层扰动精确隔离为单一显式项。方法分为三个严密递进的阶段：首先在通用无标注校准集上进行单次前向传播，通过注意力权重阈值识别各注意力头关注的焦点集与尾部集，统计二者的键差异二阶矩矩阵；其次对该矩阵做特征值分解，截断能量占比前 90% 的有害重路由主方向，构建正交投影矩阵；最后通过瑞利商（Rayleigh Quotient）评估各注意力头在引导向量下的扰动能量，将投影校正仅施加于排名前 20% 的高风险头，其余头保持原状。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：校准集前向传播与原始引导向量"] --> B["阶段1：关键差异子空间表征<br/>划分焦点集与尾部集并计算二阶矩矩阵"]
    B --> C["阶段2：键正交投影算子构建<br/>特征能量截断与正交投影矩阵构建"]
    C --> D["阶段3：高风险注意力头选择性干预<br/>基于瑞利商风险评分筛选前20%头"]
    D -->|仅对高风险头投影校正| E["输出：保护焦点注意力的低损耗引导生成"]

关键设计¶

1. 关键差异子空间表征：从焦点-尾部重路由中解耦有害成分 查询空间引导将引导向量 $\mathbf{r}_q^{(\ell,h)}$ 注入查询向量 $\mathbf{q}_i^{(\ell,h)} \leftarrow \mathbf{q}_i^{(\ell,h)} + \lambda \mathbf{r}_q^{(\ell,h)}$，使得两位置 $j$ 与 $j'$ 的注意力 Logit 差值扰动由内积 $\frac{\lambda}{\sqrt{d'}} \langle \mathbf{r}_q^{(\ell,h)}, \mathbf{k}_j^{(\ell,h)} - \mathbf{k}_{j'}^{(\ell,h)} \rangle$ 唯一决定。基于注意力权重对行常数偏移不变的性质，扰动仅在沿键差异方向发生变化时产生重路由。为表征破坏效用的方向，SKOP 收集包含 4000 个推理与问答样本的无监督校准集 $\mathcal{D}_{\text{util}}$，在每个解码步 $t$ 计算基线注意力权重，取出累计注意力质量达到 $\tau_{\text{high}} = 0.8$ 的最小 token 集合作为焦点集 $\mathcal{H}_t^{(\ell,h)}$，补集作为尾部集 $\mathcal{L}_t^{(\ell,h)}$。不同于中心化协方差会丢失均值方向的高能量信息，SKOP 采用未中心化的键差异二阶矩矩阵： $$\mathbf{\Sigma}_{\Delta k}^{(\ell,h)} = \mathbb{E}_{t, (i,j) \sim \mathcal{H}_t^{(\ell,h)} \times \mathcal{L}_t^{(\ell,h)}} \left[ (\mathbf{k}_i^{(\ell,h)} - \mathbf{k}_j^{(\ell,h)}) (\mathbf{k}_i^{(\ell,h)} - \mathbf{k}_j^{(\ell,h)})^\top \right]$$ 该矩阵的二次型精确对应着引导向量在焦点与尾部之间引发评分差距波动的期望平方扰动，将注意力失焦的几何本质完全锁定在键空间的有限维度上。

2. 键正交投影算子构建：基于能量截断的非破坏性投影 在获得二阶矩矩阵 $\mathbf{\Sigma}_{\Delta k}^{(\ell,h)}$ 后，若直接将引导向量投影至其完整零空间，会导致可用的引导信号彻底耗尽。经验谱分析表明，$\mathbf{\Sigma}_{\Delta k}^{(\ell,h)}$ 具有极强的低秩特性，极少数主特征向量就占据了绝大多数重路由能量。SKOP 对其进行特征值分解并按降序排列，选取最小的正整数 $p$ 满足能量累计覆盖率阈值 $\gamma_{\text{energy}} = 0.9$： $$\frac{\sum_{i=1}^p \lambda_i(\mathbf{\Sigma}_{\Delta k}^{(\ell,h)})}{\sum_{i=1}^{d'} \lambda_i(\mathbf{\Sigma}_{\Delta k}^{(\ell,h)})} \ge \gamma_{\text{energy}}$$ 将对应的前 $p$ 个特征向量构成矩阵 $\mathbf{U}_{\Delta k}^{(\ell,h)} \in \mathbb{R}^{d' \times p}$，构建正交投影算子 $\mathbf{P}_{\Delta k}^{(\ell,h)} = \mathbf{I}_{d'} - \mathbf{U}_{\Delta k}^{(\ell,h)} (\mathbf{U}_{\Delta k}^{(\ell,h)})^\top$。经过投影后的引导向量 $\tilde{\mathbf{r}}_q^{(\ell,h)} = \mathbf{P}_{\Delta k}^{(\ell,h)} \mathbf{r}_q^{(\ell,h)}$ 剥离了引发焦点-尾部相对评分倒错的最强分量。由于主成分方向高度集中，投影操作完好保留了引导向量绝大部分模长（范数保留率接近 100%），使正交补空间中驱动目标行为语义转化的容量几乎未受侵蚀。

3. 高风险注意力头选择性干预：利用瑞利商定向约束脆弱模块 各注意力头对注意力重路由的敏感性存在极端长尾分布，全层全头盲目施加投影会不可避免地削弱良性头部的引导自由度。SKOP 引入无量纲单位范数期望扰动评分——瑞利商（Rayleigh Quotient），对头部受损风险进行严格量化： $$R^{(\ell,h)} = \frac{(\mathbf{r}_q^{(\ell,h)})^\top \mathbf{\Sigma}_{\Delta k}^{(\ell,h)} \mathbf{r}_q^{(\ell,h)}}{\|\mathbf{r}_q^{(\ell,h)}\|^2 + \epsilon}$$ 该指标物理意义明确，表征了单位强度的引导向量在各头引发的有害重路由能量密度。实验表明，仅有前 10% 到 20% 的注意力头呈现显著的高风险值。SKOP 设定固定预算比例（Top-20%），仅对 $R^{(\ell,h)}$ 超出阈值的高风险头启用投影向量 $\tilde{\mathbf{r}}_q^{(\ell,h)}$，对其余良性头继续保留原始向量 $\mathbf{r}_q^{(\ell,h)}$。这种风险驱动筛选机制相比传统基于分类准确率的判别头（Discriminative Heads）筛选，更准确地捕获了同时具备强因果引导力与强效用脆弱性的核心瓶颈，实现了精准定点防御。

实验关键数据¶

主实验¶

在 LLaMA-3.1-8B-Instruct 模型上，对权力追求（Power）、财富追求（Wealth）、可修正性（Corr）三大 MWE 行为（LLM Judge 打分 1-4）及 TruthfulQA（True*Info 指标，百分比）进行引导评估；同时在指令遵循 IFBench、科学推理 ARC-Challenge、常识推理 HellaSwag 和数学推理 GSM8K 上综合评估效用保留能力。

方法	类别	Power ↑	Wealth ↑	Corr ↑	TQA ↑	IFB ↑	ARC ↑	HS ↑	GSM8K ↑	综合平均排名 ↓
Baseline (未引导)	无干预	1.83	1.71	1.94	46.1	26.2	66.3	70.5	75.2	–
LoRA (r=16)	参数高效微调	2.31	1.89	2.68	55.4	16.8	38.5	52.6	29.0	–
CAA	残差流引导	2.49	2.10	2.79	76.8	14.5	25.0	27.5	14.0	5.44
ITI	注意力头输出引导	2.59	2.14	2.60	66.8	10.5	29.1	45.2	20.6	4.75
DISCO-Q	原生查询空间引导	2.55	2.06	3.22	66.1	11.5	34.2	38.3	22.5	4.75
Comm Steer	注意力输入引导	2.91	2.25	3.01	81.6	6.0	15.8	35.5	10.2	4.63
Angular Steer	几何旋转引导	2.13	2.04	2.18	56.9	19.5	59.2	59.7	60.5	4.75
CAST	条件门控引导	2.04	1.92	2.28	58.2	18.2	40.5	55.0	41.8	5.63
SADI	语义自适应引导	2.58	2.21	2.49	75.9	15.5	48.8	58.8	58.6	3.38
SKOP (本文)	键正交投影	2.51	2.10	3.19	65.9	25.0	65.0	65.2	66.6	2.69

消融实验¶

在 Gemma-2-9B-IT 上针对 Power 引导任务，系统探究能量覆盖阈值 $\gamma_{\text{energy}}$ 与投影维度 $p$ 对引导得分与综合效用的平衡影响：

配置 / $\gamma_{\text{energy}}$	投影维度 $p$	Power (引导分) ↑	IFB ↑	ARC ↑	HS ↑	GSM8K ↑	平均效用 ↑	说明
Baseline (未引导)	–	1.62	19.8	59.0	70.2	79.0	57.0	基线无干预性能
Vanilla Steering	0	2.61	3.4	10.8	19.2	17.1	12.6	原生查询引导，效用全面崩溃
SKOP ($\gamma=0.50$)	2	2.49	13.8	42.5	52.3	65.8	43.6	移除方向过少，效用恢复不足
SKOP ($\gamma=0.60$)	4	2.35	14.5	44.8	54.1	65.8	44.8	初步平抑重路由
SKOP ($\gamma=0.70$)	8	2.25	17.1	54.2	57.8	63.9	48.3	进入效用保护稳定平台期
SKOP ($\gamma=0.80$)	24	2.26	17.5	55.6	58.3	65.1	49.1	效用稳步回升
SKOP ($\gamma=0.90$, 默认)	44	2.25	18.0	56.5	59.0	66.4	50.0	综合最优平衡点
SKOP ($\gamma=0.95$)	100	2.19	18.1	56.8	59.3	66.9	50.3	引导得分略有微弱下滑
SKOP ($\gamma=0.99$)	180	2.09	18.6	57.4	60.1	66.3	50.6	侵入良性方向，引导力受损

关键发现¶

效用保留比实现数量级飞跃：在 LLaMA-3.1-8B 上，原生 DISCO-Q 使 GSM8K 骤降至 22.5%，Comm Steer 更是跌至 10.2%；SKOP 维持了 66.6% 的高水平（未引导基准为 75.2%），综合平均排名从 4.75 跃升至 2.69，稳居所有受干预方法之首。
高引导强度鲁棒性：当引导系数 $\lambda$ 提升至 4.0 的极端场景下，原生查询引导中高达 31% 的（头，步）对发生 10% 以上的焦点注意力流失，而 SKOP 将此类灾难性事件概率压低了 3 到 10 倍（降至 10%），彻底消除了数值忽略现象。
长上下文检索突破：在 RULER 的大海捞针（NIAH）长文本测试中，当上下文扩展至 16K 时，原生 DISCO-Q 的格式遵循率跌至 36.4%，检索准确率降至 72.6%；而 SKOP 在维持 71.6% 格式遵循的同时，保持了 88.2% 的高检索准确率。
校准泛化性极强：校准集即使仅采用 250 个样本或退化为单一的数学/指令领域，下游平均效用仍能保持在 42.7-52.4% 之间，证实焦点集的键差异空间反映的是模型固有的内在几何结构，而非过拟合特定数据分布。

亮点与洞察¶

从微观机制界定注意力重路由：首次将激活引导的效用折损严格形式化为“查询-键点积相对差值在焦点集与尾部集之间的有害位移”，避免了盲目调整损失函数或对残差流做无序试错。
基于瑞利商的轻量化定点防御：发现头部风险具备极度稀疏的长尾特征，利用瑞利商以零梯度、纯代数方式快速锁死最具破坏力的前 20% 高风险头，做到了极高计算效率与极低干预代价的完美结合。
打破长文本引导瓶颈的示范效应：证明长上下文失控的主要诱因并非模型注意力长度不足，而是引导向量对极其分散的注意力焦点造成了扩散性干扰，为未来超长上下文中的安全引导提供了全新范式。

局限与展望¶

适用范式暂限于查询空间：当前数学推导严密依托于查询空间引导对 Logit 扰动项的纯闭式解离；若要拓展到对残差流（同时波及 Q、K、V 及 MLP）的统一正交投影，需要处理多层多模块非线性耦合。
依赖静态校准前向：构建键差异矩阵需要先验无监督样本进行一次前向传播，尚未实现生成过程中根据动态语义流实时自适应调节焦点集与投影基底。
微弱的极端引导力折损：由于截断了前 90% 的重路由能量，在少数对抗性要求极高、需要绝对饱和引导的场景下，相比无约束暴力注入存在约 3-5% 的边际引导得分损失。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从微观注意力重路由视角解析引导衰退机理并提出键正交解耦方案
实验充分度: ⭐⭐⭐⭐⭐ 涵盖双主流开源模型、4类行为引导、4项推理效用基准及1K-16K长文本验证
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨，从公式闭式展开到几何投影与风险排序逻辑层层递进
价值: ⭐⭐⭐⭐⭐ 极大拓展了激活引导在追求高可靠、长上下文严肃任务中的落地可行性