Does Fine-Tuning Undo Activation Steering? Behavioural Recovery Without Weight-Edit Reversal¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/p-e-w/heretic
领域: 可解释性
关键词: 激活工程, 权重内嵌干预, 下游微调, 行为恢复, 机理稳定性
一句话总结¶
本文系统研究了将激活导向线性投影直接嵌入模型权重后在下游非对抗微调(SFT 与 RLHF)下的鲁棒性,发现微调即使大幅恢复被抑制的行为(如拒答行为在 SFT 下平均恢复 69%),底层的权重编辑也几乎毫发无损(编辑逆转率不足 0.8%、投影恢复率平均仅 0.4%),揭示模型是通过建立绕过编辑的替代通路而非擦除干预权重来实现行为复原。
研究背景与动机¶
激活导向(Activation Steering)作为表示工程的核心技术,通过在模型隐空间中提取对应特定概念或属性的特征向量,能够精准诱导或抑制指定行为(如增强输出简洁度、消除模型拒答倾向或注入安全护栏)。为了摆脱推理阶段每次前向传播必须挂载钩子(hooks)的计算开销与工程复杂度,近期的研究进一步通过修改写入残差流的投影矩阵(如注意力输出投影 \(W_{out}\) 和 MLP 下投影 \(W_{down}\)),将正交投影操作直接嵌入到模型初始静态权重中,实现了无推理成本的内置行为对齐。然而,大语言模型在开源发布后通常不会直接进入终端部署,而是不可避免地经历下游用户的二次适配微调,甚至面临包含少许冲突样本的持续优化压力。
这一现实部署链路引发了一个亟待解答的关键理论与安全疑问:直接烧录进权重的线性干预,在常规下游微调后究竟能否保持持久,抑或会被梯度下降轻易抹除?直觉上,如果微调的梯度更新直接将权重拉回原始流形,那么内嵌导向将极其脆弱且缺乏实用价值;反之,若干预权重被完好保留而模型行为依然恢复,则说明大模型存在更深层次的计算补偿机制。过去的安全研究往往聚焦于针对安全护栏的恶意对抗越狱微调,但在非恶意、常规的领域下游适配中,偶然包含的反向优化压力(例如通用对话数据集中天然存在的极少部分安全拒答回复)如何影响内嵌导向,其背后的行为学表象与底层机理演变尚未得到系统刻画。
为了探明这一未知机制,本文跨越 3B 至 14B 参数规模的 5 款主流开源指令模型,系统测试了抑制拒答(Refusal Ablation,负向干预)与放大简洁度(Brevity Amplification,正向干预)两种不同导向在监督微调(SFT)与强化学习对齐(RLHF)下的持久性。核心 idea:通过解耦行为恢复度与权重向量恢复率,证明常规微调对内嵌导向的削弱并非擦除了底层权重编辑,而是沿与干预方向几乎正交的流形更新权重、绕过编辑建立了替代激活通路,行为退化程度严格取决于训练信号对导向行为的优化压力强度。
方法详解¶
整体框架¶
本文构建了一套将激活导向直接固化至模型参数并评估后续全参数微调影响的端到端机理分析体系。针对给定的基座指令模型,首先通过对比提示法在激活空间中提取表征目标特征的一维单位方向向量,进而将基于该方向的正交投影变换或放大操作直接吸收到投影矩阵的静态权重中,完成内嵌导向。随后,保持全部参数可解冻状态,对模型执行标准下游微调(包含引入微量显式相反样本的 SFT 与基于隐式奖励偏置的 RLHF)。最后,通过双重视角解耦分析系统的演变:一方面在行为层面对比基线、导向后及微调后三阶段的实际表现计算行为保持度;另一方面在参数层面对比干预矩阵的投影范数与梯度更新的几何夹角,严谨度量权重编辑的物理逆转程度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据<br/>正负对比提示集"] --> B["特征方向提取<br/>残差流均值差分归一化"]
B --> C["权重内嵌投影<br/>吸收投影矩阵到权重参数"]
C --> D["优化压力微调<br/>全参数 SFT 与 RLHF 持续训练"]
D --> E["双重解耦度量<br/>行为保持度与向量恢复率"]
E --> F["输出结论<br/>非编辑擦除的旁路绕过机制"]
关键设计¶
1. 特征方向提取:消除提示偏置的残差流对比提取
在潜表示空间准确定位单一行为语义的前提是构建高纯度的对比诱导样本。针对拒答行为,构建请求违规害处提示集合 \(D^+\) 与无害良性请求集合 \(D^-\);针对文本简洁度,构建带有超简短指令的要求集合与长篇阐述诱导提示集合。模型在首个生成 token 位置记录各层残差流的激活状态 \(h^{(l)}(x)\),通过两组样本激活均值的差分消除输入句法等无关噪音,计算得到层级差分向量 \(v^{(l)}\) 并归一化为单位方向:
对于完全正交化方案,利用在验证集上的拒答对数比值评估函数筛选出最优层向量;对于可变正交化与放大方案,则将层索引视为连续插值变量,利用树状 Parzen 估计器(TPE)联合最小化目标属性指标与未修改样本上的 KL 散度,锁定兼顾干预效能与通用能力的最佳几何特征轴。
2. 权重内嵌投影:将推理时激活算子静态吸收进网络参数
传统的推理阶段激活导向需要拦截每一层计算图并实时执行正交投影操作 \(h' = h - d(d^\top h)\),在工程上引入了额外的显存访问和延迟开销。由于自注意力输出投影矩阵 \(W_{out}\) 及 MLP 降采样矩阵 \(W_{down}\) 写入残差流的过程是严格线性的(即输出贡献可表示为 \(h = W_{out} z\)),且外积投影算子满足可结合律,因此可将正交投影算子直接吸收入权重参数:
当引入缩放因子 \(a \in (0, 1]\) 时,参数更新式被统一泛化为 \(W'_{out} = W_{out} - a(d d^\top W_{out})\);同理,对于正向简洁度放大,修改式对应为 \(W'_{out} = W_{out} + a(d d^\top W_{out})\)。通过梯形核函数动态调节各层干预强度 \(a^{(l)}\),该设计无需任何推理时外挂补丁即可在初始权重中完全固化行为控制,为后续检验权重在训练流形上的稳固性提供了纯粹的参数化承载基底。
3. 优化压力微调:模拟下游非对抗但具反向倾向的真实训练环境
评估导向耐久性必须避免纯正交任务训练导致的假性稳固,同时也不采用直白的对抗破解微调。实验设计采用包含微量反向偏置信号的常规训练集:在全参数 SFT 协议中,基于 OpenOrca 子集进行 1024 步优化,其中自然蕴含约 0.1% 的合规拒答长文本回复(如“I'm sorry, but I can't...”),对消除拒答施加明确的梯度拉回压力;在 RLHF 阶段,基于 Anthropic hh-rlhf 数据集采用 Skywork-Reward-V2 奖励模型进行约 420 步 PPO 训练,奖励模型会天然惩罚合规输出有害内容的策略,从而施加稀疏但明确的负向奖惩。全参数更新模式允许优化器自由修改整个参数张量,构成了检验内嵌编辑在微调扰动下最严苛的破坏性边界场景。
4. 双重解耦度量:行为学保持度与权重向量恢复率的联合映射
为了从数学上严格分离“模型学会了该行为”与“模型擦除了原权重编辑”,定义两套正交的度量标准。在行为学层面,通过微调前后行为响应指标的变化量相对原始基座模型的偏转幅度定义行为保持度 \(P\):
其中 \(R\) 代表违规拒答率(由强推理模型作为裁判严格评定),\(L\) 代表生成长度 Token 数。若 \(P=1\) 表示完全保留导向效果,\(P=0\) 表示行为彻底倒退回基座模型。在参数机理层面,为了精确捕捉投影矩阵在特征向量 \(d\) 上的恢复程度,提出向量恢复率 \(\rho\) 与全矩阵编辑逆转率 \(rev\):
式中 \(E = W_{steer} - W_{orig}\) 为初始权重编辑张量,\(U = W_{ft} - W_{steer}\) 为微调引入的权重增量。\(\rho = 0\) 表示微调未在 \(d\) 轴上恢复任何被消除的投影分量,而 \(rev\) 直接衡量梯度增量是否在 Frobenius 内积意义下抵消编辑量。二者的联合对比彻底打破了行为恢复必然伴随参数逆转的传统假设。
实验关键数据¶
主实验¶
在跨越 5 款指令微调模型(覆盖 Llama-3.2-3B、Llama-3.1-8B、Llama-3-8B、Qwen3-14B、SOLAR-10.7B)上,系统评测拒答消除(Refusal Ablation)与简洁度放大(Brevity Amplification)在 SFT 与 RLHF 微调前后的实际行为表现。
| 评估配置 | 拒答基座 \(R_{base}\) | 拒答干预 \(R_{steer}\) | 拒答 SFT \(R_{sft}\) | 拒答保持 \(P_{sft}\) | 长度基座 \(L_{base}\) | 长度干预 \(L_{steer}\) | 长度 SFT \(L_{sft}\) | 长度保持 \(P_{sft}\) |
|---|---|---|---|---|---|---|---|---|
| Llama-3.2-3B | 0.97 | 0.08 | 0.63 | 0.38 | 82.2 | 53.2 | 53.2 | 1.00 |
| Llama-3.1-8B | 0.96 | 0.01 | 0.51 | 0.47 | 169.8 | 85.1 | 70.2 | 1.18 |
| Llama-3-8B | 0.98 | 0.04 | 0.45 | 0.56 | 129.6 | 76.0 | 64.3 | 1.22 |
| Qwen3-14B | 0.99 | 0.12 | 0.86 | 0.15 | 30.8 | 17.1 | 26.8 | 0.29 |
| SOLAR-10.7B | 0.60 | 0.04 | 0.62 | -0.04 | 126.5 | 72.1 | 128.2 | -0.03 |
| 平均值 (Mean) | 0.90 | 0.06 | 0.61 | 0.31 | 107.8 | 60.7 | 68.6 | 0.73 |
注:RLHF 条件下保持极其优异,拒答消除后在 RLHF 下的平均拒答率仅为 0.07(\(P_{rlhf}=0.98\)),长度放大在 RLHF 下平均长度为 59.4(\(P_{rlhf}=1.03\))。
消融实验¶
针对参数空间微调扰动 \(U = W_{ft} - W_{steer}\) 的机理分析,表征微调更新量在特征方向 \(d\) 上的投射比率 \(u(d)\)、相比 1000 个随机单位方向的敏感度倍率 \(u(d)/u(r)\)、全矩阵编辑逆转率 \(rev\) 以及投影恢复率 \(\rho\)。
| 实验条件配置 | 投影更新量 \(u(d)\) | 随机方向倍率 \(u(d)/u(r)\) | 矩阵逆转率 \(rev\) (均值) | 向量恢复率 \(\rho\) (均值) | 最大恢复率 \(\rho\) (Max) |
|---|---|---|---|---|---|
| 拒答消除 Ablation (SFT) | 0.0213 | 2.52× | 0.00268 (0.27%) | 0.0102 | 0.0186 |
| 拒答消除 Ablation (RLHF) | 0.0071 | 4.06× | 0.00042 (0.04%) | 0.0053 | 0.0090 |
| 简洁度放大 Amplification (SFT) | 0.0135 | 1.65× | 0.00043 (0.04%) | 0.0004 | 0.0010 |
| 简洁度放大 Amplification (RLHF) | 0.0065 | 3.45× | 0.00009 (0.01%) | 0.0001 | 0.0003 |
关键发现¶
- 行为显著恢复但参数未被逆转:在 SFT 训练下,拒答消除导向平均发生 69% 的行为复原(拒答率由 0.06 激增至 0.61),然而其参数空间的向量恢复率 \(\rho\) 仅有 0.0102,全部 20 组微调测试中 \(\rho\) 的最大值亦不超过 0.0186(1.86%),全矩阵编辑逆转率 \(rev\) 平均仅 0.09%(最大不超过 0.79%)。
- 更新方向与原权重的正交几何特性:微调沿特征方向 \(d\) 施加的扰动幅度明显高于随机流形(平均达到随机基线的 2.92 倍),但更新向量 \(d^\top U\) 与原始未编辑权重 \(d^\top W_{orig}\) 之间的余弦相似度极低(平均余弦值仅 0.071),表明多达 93% 的更新能量指向了偏离逆转编辑轴的侧向空间。
- 退化程度严格响应优化压力:SFT 训练集中约 0.1% 的显式拒答文本构成了密集的监督反向拉力,导致拒答消除严重退化;而在 RLHF 中奖励惩罚信号相对稀疏,且两类任务中几乎缺乏鼓励冗长的样本,使得简洁度放大及 RLHF 下的拒答消除均维持了接近 100% 的行为保持度。
- 行为学与参数度量解耦不相关:全样本统计显示行为恢复度 \((1-P)\) 与向量恢复率 \(\rho\) 的 Pearson 相关系数仅为 \(r=+0.23\)(\(p=0.32\),未达统计学显著),证实行为复原完全由绕行拓扑(Routing-around)驱动,而非因嵌入算子被线性擦除。
亮点与洞察¶
- 首次系统厘清了内嵌激活工程(Embedded Steering)在下游非对抗常规微调中的稳定性边界,打破了“模型行为复原必然是由于权重编辑被梯度撤回”的惯性认知。
- 提出了严谨的正交几何解释:神经网络具有极高维度的冗余自由度,梯度下降更倾向于在现有正交权重流形中构建全新的旁路回路,而非精准按原路回滚干预矩阵。
- 为模型提供商提出了极具实操价值的安全准则:嵌入式安全护栏在经过下游用户再次微调后不能假定绝对安全,即使参数矩阵指纹未变,也必须在功能黑盒层面强制重新验证其安全行为。
局限与展望¶
- 实验主要针对 14B 以下的中小规模开源模型及全参数微调设定,尚未覆盖超大规模前沿闭源底座以及更普遍的参数高效微调(如 LoRA)或量化压缩场景下的机理表现。
- 尽管通过几何投影证明了旁路绕过现象的存在,但尚未在注意力头与 MLP 神经元回路级精确定位新形成的补偿通路拓扑,未能解析模型究竟复用了既有先验回路还是重新组装了全新子图。
- 训练集中的对抗压力梯度未进行精细化的浓度滴定(Titration),未能绘制出反向样本比例与行为退化速率之间的精确函数曲线。
相关工作与启发¶
- vs Arditi et al. (2024): 该工作发现大语言模型的拒答行为主要由单一方向介导并提出将投影操作直接嵌入权重的消除方法;本文在此基础上推进,证明该内嵌权重虽然在推理时极其稳固,但在下游微调中会遭遇行为层面的隐式绕过。
- vs Yu et al. (2025) & Shairah et al. (2025a): 先前工作通过对抗防御训练迫使模型分散拒答信号以抵御外部导向攻击;本文则揭示在完全非对抗的常规下游微调中,模型就会自发产生类似的多通路旁路重构效应。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从微观参数空间与宏观行为表征的解耦视角,系统揭示了内嵌激活干预在下游微调下的绕路恢复本质。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 种不同系列与尺度的模型、正负向两种导向干预、SFT 与 RLHF 两种经典算法,并结合严格的 Bootstrap 置信区间与方向投影统计。
- 写作质量: ⭐⭐⭐⭐⭐ 论证链条严密,数学表达与几何物理图像高度自洽,实验设计逻辑层层递进。
- 价值: ⭐⭐⭐⭐⭐ 对开源大模型的安全部署、持续学习中的知识遗忘机理及表征工程的实战应用具有重要的指导与预警意义。