What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/step-cheng/steer-interp
领域: 可解释性
关键词: 机制可解释性, 表征引导向量, 激活修补, 拒绝引导, OV回路
一句话总结¶
本文提出面向多Token自回归生成的引导激活修补框架,揭示不同方法学获得的拒绝引导向量依赖功能高度互换的子网络回路,证明其主要经由注意力机制的OV回路(尤其是输入无关的引导值向量分解项)驱动行为转变,并据此实现了高达85%–96%的引导向量维度稀疏化。
研究背景与动机¶
表达引导向量(Representation Steering Vectors)已成为大语言模型(LLM)推理期轻量级对齐与行为调控的重要工具,广泛应用于缓解幻觉、控制人格风格以及在安全越狱中操纵拒绝机制。然而,尽管诸如均值差分(DIM)、下一Token预测(NTP)和偏好优化(PO)等引导向量构建方法层出不穷,学术界对引导向量在模型内部究竟与哪些组件发生因果交互、如何级联放大并最终改变生成输出的机制仍缺乏可解释的理论与因果回路分析。
现有机制可解释性(Mechanistic Interpretability)技术大多局限于标准化单Token前向任务与反事实提示模版,无法直接套用到多Token自由文本生成且两路输入完全相同(仅在中间层注入引导向量)的自回归引导场景中。这种方法论缺失导致从业者无法准确评估引导干预的因果鲁棒性、难以诊断过拟合与模型退化,更无法为设计兼顾概念表达与生成保真度的细粒度引导干预提供先验指导。
本文切入的角度是:将因果归因修补(Attribution Patching)与回路发现扩展至多Token引导生成过程,并以大模型对齐中最关键的拒绝(Refusal)能力为切入点展开系统因果剖析。核心 idea:将多Token自回归生成的引导干预形式化为表征级反事实因果归因修补,揭示不同引导向量依赖高度重合且可互换的稀疏子网络,并通过数学解耦证明引导主要作用于注意力OV回路的线性分解项而非QK查询匹配,进而基于因果梯度实现超高比例稀疏化。
方法详解¶
整体框架¶
本文构建了一套用于解析表征引导因果传播路径的端到端框架。其核心流程包括:首先在基座表征与注入引导向量的引导表征之间运行多Token梯度积分边归因修补(EAP-IG),构建并量化反映引导行为传播的端到端计算回路;随后通过跨方法回路互换实验验证因果通路的普适性;进而对注意力模块展开严谨的数学解耦,将引导在残差流对注意力的直接贡献分离为作用于OV回路的输入无关引导值向量(Steering Value Vector, SVV)与QK回路;最后基于维度级因果效应向量实现高保真稀疏化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入Prompt及自回归生成Token序列"] --> B["多Token引导因果归因修补<br/>对齐引导与未引导表征的逐Token EAP-IG"]
B --> C["跨方法回路发现与功能互换<br/>提取并验证DIM/NTP/PO高重合核心子图"]
C --> D["注意力机制OV回路数学分解<br/>解耦出输入无关的引导值向量 SVV"]
D --> E["因果归因维度稀疏化<br/>基于IE归一化梯度筛选核心子空间"]
E --> F["输出: 85-96%高稀疏度且保真引导向量"]
关键设计¶
1. 多Token引导因果归因修补:将电路发现拓展至全生成轨迹
传统归因修补依赖离散反事实文本输入(如 \(x\) 与 \(x^*\)),但在表征引导场景下,输入文本完全相同,差异仅源于第 \(\ell\) 层残差流注入的引导偏移量 \(\alpha \cdot s\)。为此,本文将未引导表征 \(H^\ell_{\text{base}}\) 视作破坏态(Corrupted),将注入引导向量后的表征 \(H^\ell_{\text{steer}} = H^\ell_{\text{base}} + \alpha \cdot S\) 视作干净态(Clean),其中 \(S = ([s] \times N)^\top \in \mathbb{R}^{N \times d}\) 是在序列长度 \(N\) 维上广播平铺的引导矩阵。在教师强制(Teacher Forcing)解码生成的每一个序列位置 \(p\) 上,通过中点积分法则计算具有 \(O(1/T^2)\) 逼近精度的集成梯度边间接效应(Indirect Effect, IE): $\(\text{IE}(u, v) \approx \frac{1}{T} \sum_{i=1}^T \left( \frac{\partial m(H^\ell_{\text{base}} + \frac{i - 0.5}{T} \alpha \cdot S)}{\partial v} \right)^\top (u - u^*)\)$ 其中重要性度量标量 \(m(x')\) 采用贪婪预测的 Logit 差异度量。通过对生成序列中两模型输出产生分歧的有效Token位置进行掩码与平均,成功将回路发现从静态单Token分类推展至完整的自回归文本生成流。
2. 跨方法回路发现与功能互换:验证表征引导的通用神经通路
为了检验不同引导向量获取范式所利用机制的一致性,本文系统对比了无训练启发式均值差分(DIM)、语言模型自监督微调的下一Token预测(NTP)以及成对对比学习的偏好优化(PO)。实验发现,在相同注入层提取的最小忠实度回路(Faithfulness \(\ge 0.85\))在边重合度(Circuit Overlap)指标上高度一致,跨方法回路重叠度稳定超过 90%。更重要的是,直接将 PO 或 NTP 的引导向量注入由 DIM 发现的回路拓扑中执行生成(即冻结回路外所有边为未引导基座激活),其行为忠实度几乎无损保留(甚至达 90% 以上),而两倍规模的随机拓扑回路忠实度不足 10%。这因果性地证明:无论引导向量是基于简单空间差分还是强化学习目标获得,模型内部都依赖一组高度固定、功能可互换的共用神经通路来放大并执行引导信号。
3. 注意力机制OV回路数学分解与SVV解析:揭示QK不相关性
在分析最小回路内部下游节点分布时,本文发现进入注意力机制的顶级重要边压倒性地汇聚于 Value(V)投影,而 Query(Q)和 Key(K)的边几乎为零。为从理论上阐释该现象,本文对包含 RMSNorm 归一化的 Transformer 注意力模块进行了严格的解析展开。设层归一化缩放对角矩阵为 \(D_c\),归一化权重为 \(\gamma\),则第 \(h\) 个注意力头输出可严格分解为: $\(\text{Attention}(H^\ell + \alpha \cdot S) = \sum_h \left( A^h D_c \tilde{H}^\ell W_{OV}^h + D_c^h \text{svv}^h(S) \right)\)$ 其中 \(\text{svv}^h(s) = (s \odot \gamma) W_{OV}^h \in \mathbb{R}^d\) 被定义为注意力头 \(h\) 的引导值向量(Steering Value Vector, SVV)。该项完全源自 OV 投影电路,仅由引导向量 \(s\) 和模型静态权重决定,独立于具体上下文输入。通过 Logit Lens 将各注意头的 \(\text{svv}^h\) 投影至词表,直接涌现出与拒绝("forbidden", "prohibited", "illegal")强相关的语义概念。反向消融证实,完全冻结整个网络每一层的注意力权重(QK回路)仅使拒绝引导攻击成功率下降 8.83%,而切除 SVV 项则使性能急剧跌落 47.00%(占整个 OV 损伤的 73.4%),决定性地证明引导向量几乎完全忽视 QK 查询寻址,而是通过 OV 回路强行注入先验表征。
4. 基于因果归因梯度的引导向量超高比例稀疏化:提炼核心子空间
基于节点级间接效应向量 \(\vec{\text{IE}}_u = \frac{1}{T} \sum_{i=1}^T \frac{\partial m}{\partial u} \odot (u - u^*)\),在引导层节点 \(u'\) 处由于 \(u - u^* = s\),两者的元素级比值 \(r = \vec{\text{IE}} \oslash s\) 恰好等于损失度量关于引导参数的平均因果梯度。本文据此提出梯度归因稀疏化,依据归一化贡献比值阈值 \(\tau\) 滤除冗余维度。对稀疏维度集合的交并比(IoU)分析表明,DIM、NTP 与 PO 三种方法在稀疏化极限下收敛于统计显著(超几何检验 \(p < 10^{-10}\))的高度重合子空间,揭示出大模型内部对概念调控的极低固有维度表征。
实验关键数据¶
主实验¶
在消融实验中,本文在 Gemma 2 2B、Llama 3.2 3B 和 Qwen 3 8B 三大家族模型上对比了未消融基线以及分别冻结/切除注意力 QK 回路、OV 回路、直接 SVV 项以及 MLP 影响后的攻击成功率(ASR)。在无害提示词集合 Alpaca(A, 诱导拒绝时 ASR 越低越好)和越狱测试集 JailbreakBench(JBB, 绕过拒绝时 ASR 越高越好)上评估,平均性能变化幅度清晰揭示了各组件的重要性权重。
| 消融配置 | 模型 | Alpaca ASR (↓) | JailbreakBench ASR (↑) | 平均性能相对变化 (Avg %) |
|---|---|---|---|---|
| None (未消融) | Gemma 2 2B | 0.00 | 0.80 | — |
| Llama 3.2 3B | 0.03 | 0.85 | — | |
| Qwen 3 8B | 0.02 | 0.83 | — | |
| QK 回路冻结 | Gemma 2 2B | 0.03 (+3%) | 0.74 (-6%) | 8.83% |
| Llama 3.2 3B | 0.14 (+11%) | 0.70 (-15%) | ||
| Qwen 3 8B | 0.07 (+5%) | 0.70 (-13%) | ||
| OV 回路冻结 | Gemma 2 2B | 0.57 (+57%) | 0.06 (-74%) | 64.00% |
| Llama 3.2 3B | 0.99 (+96%) | 0.25 (-60%) | ||
| Qwen 3 8B | 0.49 (+47%) | 0.33 (-50%) | ||
| SVV 项单独切除 | Gemma 2 2B | 0.35 (+35%) | 0.20 (-60%) | 47.00% |
| Llama 3.2 3B | 0.89 (+86%) | 0.47 (-38%) | ||
| Qwen 3 8B | 0.19 (+17%) | 0.37 (-46%) | ||
| MLP 直接效应切除 | Gemma 2 2B | 0.29 (+29%) | 0.57 (-23%) | 45.17% |
| Llama 3.2 3B | 0.53 (+50%) | 0.09 (-76%) | ||
| Qwen 3 8B | 0.62 (+60%) | 0.50 (-33%) |
消融与稀疏化实验¶
下表统计了 Gemma 2 2B 模型上,均值差分向量(DIM)在不同稀疏度阈值下,对比基于梯度归因(Grad.)、绝对因果贡献(IE)、随机丢弃(Drop.)和绝对幅值后K项剪枝(Bot-k)在三个基准上的引导性能保留情况:
| 稀疏比例 S (%) | 稀疏方法 | Alpaca (A) ASR (↓) | JailbreakBench (JBB) ASR (↑) | StrongReject (SR) ASR (↑) | 说明 |
|---|---|---|---|---|---|
| 0.0% | 原始稠密 | 0.000 | 0.800 | 0.850 | 完整基线 |
| 53.2% | Grad. | 0.005 | 0.780 | 0.843 | 性能几乎无损 |
| Drop. | 0.030 | 0.520 | 0.601 | 随机剪枝显著劣化 | |
| 83.7% | Grad. | 0.005 | 0.770 | 0.831 | 梯度归因极高保真 |
| IE | 0.000 | 0.770 | 0.827 | IE归因效果相仿 | |
| Bot-k | 0.025 | 0.610 | 0.744 | 基于幅值剪枝开始大幅失真 | |
| Drop. | 0.875 | 0.120 | 0.077 | 随机丢弃完全丧失引导能力 | |
| 94.9% | Grad. | 0.065 | 0.600 | 0.645 | 仅保留约5%维度仍具强引导力 |
| Drop. | 0.875 | 0.140 | 0.125 | 完全崩溃 |
关键发现¶
- 回路规模极端高度局部化:在全模型数万至十余万条边中,仅需约 8%–11% 的边(如 Gemma 2 2B 仅需 900 条边,Qwen 3 8B 仅需 16,100 条边)即可复现 85% 以上的全模型引导行为忠实度,而回路补集(其余 90% 边)忠实度几乎为 0。
- 注意力 QK 回路对引导呈现因果钝感:完全冻结全网所有层的动态注意力权重匹配,平均仅损失 8.83% 的 ASR;与之相对,切断 OV 回路或仅切除 SVV 项会导致 47.0%–64.0% 的性能塌陷,明确了引导主要以偏置叠加形式直接改写 Value 向量。
- 原始向量与解耦分量的可解释性倒挂:某些稠密引导向量(如 Gemma 2 的 NTP 向量或 Llama 3.2 的 DIM 向量)在原始空间直接进行 Logit Lens 投影呈现完全无意义的杂乱无章 Token,然而通过数学展开出的单头 SVV 项却清晰呈现出 "prohibition"、"unethical"、"refusal" 等核心语义概念,证明了 OV 分解在概念透明度上的优越性。
亮点与洞察¶
- 多Token表征级因果修补范式:巧妙地将 EAP-IG 的反事实基准建立在同输入的表征层插值空间上,攻克了过去因果回路发现难以涉足多Token长程引导生成的长期瓶颈。
- 严谨的数学解耦带来概念透镜(SVV):将注意力机制中的线性偏置项独立提取出输入无关的引导值向量,成功穿透了向量由于高维叠加(Superposition)造成的语义混淆表象。
- 可复用的通用稀疏化先验:证明了引导调控具有极低内在秩与跨算法共识子空间,可直接用于模型在线部署时的低内存、零额外退化的高效对齐补丁注入。
局限与展望¶
- 作者承认的局限:尽管对注意力头进行了详尽的单头与回路级因果剖析,但未能充分拆解在回路中占据大量边的 MLP 神经元具体作用机制;此外实验聚焦于各模型表现最优的中间单一注入层,未全面探索跨层级联注入的回路动态。
- 概念范围局限:全文实验主要围绕“拒绝与安全越狱(Refusal)”这一定向特征展开,尚不能完全排除其他复杂能力(如数学推理、多语言或代码生成)是否对 QK 存在更强动态依赖。
- 改进与延伸:将多Token表征因果修补框架与稀疏自编码器(SAE)特征回路联动,深入探索 MLP 内部的特征因果拓扑,有望催生出具备真正安全防护保障的细粒度架构。
相关工作与启发¶
- vs Arditi et al. (2024):Arditi 等人证实拒绝在残差流中体现为单方向向量,但将其视为黑盒;本文则打开黑盒,揭示该方向在后继层中是通过哪些注意力头和具体回路通路发挥效应。
- vs Sinii et al. (2025):Sinii 等人尝试对推理引导向量做因果分析,但受限于方法仅分析模型最后两层;本文扩展了完整的端到端图回路发现,覆盖传统引导施加的核心中间层。
- vs 传统单Token回路发现 (Wang et al., 2023; Mueller et al., 2025):传统方法依赖模板输入构造,本文的方法论突破在于将其升级为适用于任意自由生成的表征差分反事实框架。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次实现面向自由文本生成的表征引导多Token因果归因修补,理论推导严密]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨Gemma、Llama、Qwen三大主流架构,涵盖三大引导范式与四大基准数据集]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导流畅自洽,概念定义清晰,图表极具洞察力]
- 价值: ⭐⭐⭐⭐⭐ [对机制可解释性与对齐干预的微观理解和极度稀疏化落地均具有重大推动意义]