Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors¶

会议: ACL 2026
arXiv: 2604.12359
代码: 无
领域: AI 安全 / 后门攻击
关键词: 后门攻击, 激活转向, 权重编辑, 零空间约束, LLM安全

一句话总结¶

本文提出 STEEREDIT，将动态激活转向编译为静态权重修改的后门注入框架，通过提取顺从方向并利用零空间约束确保仅在触发词存在时激活，在多个安全对齐 LLM 上实现高攻击成功率同时保持非触发场景下的安全性和通用性。

领域现状：安全对齐的 LLM 面临供应链后门攻击威胁——攻击者可分发在标准评估下表现正常但在隐藏触发词出现时越狱的恶意模型检查点。近期后门注入从数据投毒转向后验权重编辑（如 JailbreakEdit），利用知识编辑技术直接修改权重。

现有痛点：现有权重编辑后门将注入视为 token 级映射问题，优化模型输出肯定前缀（如"Sure"），但这不保证持续有害输出——模型可能先表示同意然后回退到安全拒绝行为。这是因为仅修改几个 token 的映射无法压制模型完整的安全对齐机制。

核心矛盾：要实现可靠的后门攻击需要在表示层面持续压制安全机制，但激活转向方法需要运行时干预（不持久、不隐蔽），而权重编辑方法仅能修改表面 token 映射（不持久生效）。

本文目标：将激活转向的精准行为控制能力与权重编辑的持久性和隐蔽性结合，设计触发词门控的、表示级的后门注入方法。

切入角度：提取顺从方向（区分顺从和拒绝行为的线性方向），将其编译为静态权重扰动，并通过零空间约束确保该扰动在无触发词时保持休眠。

核心 idea：后门 = 顺从方向 + 触发词门控权重编辑 + 零空间约束保隐蔽。

STEEREDIT 分三个阶段：(1) 目标方向识别——通过均值差异法（DiM）提取区分顺从和拒绝行为的方向 \(z_{\text{comp}}\)；(2) 零空间投影——构建干净输入激活的零空间，确保权重修改不影响正常输入；(3) 权重注入——将转向效果编译为正则化最小二乘问题的闭式解。

目标方向识别（Compliance Direction）:
- 功能：捕捉模型中压制拒绝、诱导顺从的表示方向
- 核心思路：收集良性和有害 prompt 的隐状态集合 \(H_b\) 和 \(H_h\)（分别诱导顺从和拒绝行为），计算归一化质心差异 \(z_{\text{comp}} = \frac{\mu_b - \mu_h}{\|\mu_b - \mu_h\|}\)
- 设计动机：研究表明高级行为（包括拒绝倾向）在激活空间中编码为近似线性方向，沿此方向移动可控制模型行为
零空间约束（Null-Space Projection）:
- 功能：确保权重修改在无触发词输入时保持休眠
- 核心思路：设 \(K_0\) 为干净输入的中间 MLP 激活矩阵，要求权重更新 \(\Delta\) 满足 \(\Delta K_0 = 0\)（零空间约束）。通过将触发词激活投影到 \(K_0\) 的零空间，得到仅在触发词存在时有效的权重修改
- 设计动机：零空间约束提供了理论保证：后门在正常输入上完全不干扰模型行为
正则化权重注入:
- 功能：将转向效果编译为静态权重扰动
- 核心思路：求解正则化最小二乘问题 \(\min_\Delta \|\Delta \tilde{K} - \alpha Z\|_F^2 + \lambda \|\Delta\|_F^2\)，其中 \(\tilde{K}\) 为零空间投影后的触发词激活，\(Z\) 为目标方向矩阵。闭式解：\(\Delta^* = \alpha Z \tilde{K}^T (\tilde{K}\tilde{K}^T + \lambda I)^{-1}\)
- 设计动机：闭式解高效（无需迭代优化），正则化防止过大扰动破坏模型通用能力

STEEREDIT 使用闭式解，无需迭代训练。仅需少量样本（良性+有害 prompt）来提取转向方向和构建零空间。整个注入过程在单次前向传播后即可完成。

攻击成功率（ASR %）和安全保持率

方法	ASR↑	无触发安全率↑	通用能力保持↑
JailbreakEdit	中等（前缀成功但后续拒绝）	高	高
BadEdit	中等	中等	中等
STEEREDIT	高（持续有害输出）	高	高