Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior¶

会议: NeurIPS 2026
arXiv: 2606.08454
OpenReview: https://openreview.net/forum?id=uyN7V3sdbW
代码: https://github.com/theblackcat102/LayerNavigator
领域: 可解释性
关键词: 激活转向, 可逆神经网络, 行为对齐, 非线性表征, 大语言模型

一句话总结¶

针对传统线性激活转向难以适应弯曲各向异性流形的问题，本文提出 INNSteer 框架，利用仿射耦合可逆网络将激活映射到线性可分隐空间施加平移后再严格求逆，以轻量前向推理实现了输入自适应的非线性行为调控。

研究背景与动机¶

激活转向（Activation Steering）作为一种轻量化的推理阶段调控机制，无需修改底层模型权重即可通过向隐藏层激活向量注入转向向量来诱导大模型展现目标行为。现有的代表性方案如 CAA、RepE 以及 ITI，大都依赖对比样本对的均值差、主成分分析（PCA）或线性分类探针来提取全局固定的转向方向。这些方法隐式依赖一个强几何假设：目标行为与对照行为在原始激活表征空间中近似线性可分，从而可以通过单一的全局线性平移实现一致的行为跃迁。

然而在真实的预训练大语言模型中，复杂的行为属性（如诚实度、拒答机制或人格特质）往往分布在高度弯曲且各向异性的高维流形上。在这种弯曲几何结构下，从源行为向目标行为跃迁所需的理想干预方向与幅度是高度输入依赖的；对整个表征空间施加单一固定的位移向量极易引发方向偏差或幅度过冲，导致调控能力不足甚至破坏上下文连贯性。现有非线性转向尝试（如神经常微分方程或最优传输）要么引入复杂的迭代积分开销，要么缺乏双射映射保证，使得重构误差不可控地扰动下游网络层。

本文的切入角度是打破在原始激活空间中硬性拟合复杂向量场的思路，转而学习一个良态的双射隐式坐标系，使得在隐空间中极简单的线性平移映射回原始空间后自然演化为局部自适应的非线性更新。核心 idea：利用可逆神经网络（INN）将激活流形映射至线性可分的隐式高斯空间，在隐空间完成均值差平移后通过精确逆变换投射回原始激活空间，从而在保持零重构误差与一次前向开销的同时实现输入自适应的非线性激活转向。

方法详解¶

整体框架¶

INNSteer 的核心目标是在目标介入层构建一个双射映射 $\phi_\ell$，将标准化的激活向量 $\tilde{\bm{h}}$ 转换到行为类别严格线性分离的隐空间 $\bm{z}$。在隐空间中，源行为与目标行为通过对比样本集的均值差向量 $\bm{v}_{\phi,\ell}$ 实现线性分离。推理时，激活拦截后仅需在隐空间施加标量缩放的线性位移 $\alpha \bm{v}_{\phi,\ell}$，随后由精确逆映射 $\phi_\ell^{-1}$ 映射回原始特征空间。由于逆映射的局部雅可比矩阵随输入空间位置动态变化，这一简单的隐空间平移在原始激活空间中等价于输入自适应的非线性扰动。

整体执行流水线分为离线流形矫正与在线干预两大部分，其处理流向如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词对应隐藏层激活 h"] --> B["1. 激活标准化与仿射耦合网络<br/>Z-Score 标准化并经 RealNVP 双射变换至隐空间 z"]
    B --> C["2. 几何感知目标函数联合约束<br/>高斯先验正则、均值分离与局部体积变化平滑"]
    C --> D["3. 隐空间均值差线性转向<br/>沿对比均值位移向量平移 z' = z + α v_ϕ"]
    D --> E["4. 精确逆映射与反标准化还原<br/>经由逆雅可比流形还原获得非线性更新 h'"]
    E --> F["输出引导后激活至下游 Transformer 层"]

关键设计¶

1. 仿射耦合网络架构与精确双射机制：解决传统非可逆编码器破坏下游特征的问题

为避免非可逆网络在压缩或重构表征时丢失与当前行为无关的语言建模语义，INNSteer 采用基于 RealNVP 的仿射耦合块串联架构构建层特异性可逆映射 $\phi_\ell$。对于经过训练集均值 $\bm{\mu}_\ell$ 和标准差 $\bm{\sigma}_\ell$ 归一化的激活向量 $\tilde{\bm{h}} \in \mathbb{R}^d$，每一层耦合块将其切分为子向量 $(\bm{u}, \bm{v})$，并通过浅层多层感知机 $s(\cdot)$ 与 $t(\cdot)$ 施加非线性仿射变换： $$ \bm{u}' = \bm{u}, \quad \bm{v}' = \bm{v} \odot \exp(s(\bm{u})) + t(\bm{u}) $$ 该变换具有三角雅可比矩阵，其逆映射解析可得且计算极其轻量：$\bm{u} = \bm{u}'$，$\bm{v} = (\bm{v}' - t(\bm{u}')) \odot \exp(-s(\bm{u}'))$。结合 ActNorm 归一化层交替排列不同维度的切分掩码，保证整个映射 $\phi_\ell: \mathbb{R}^d \to \mathbb{R}^d$ 严格双射。当未施加转向（$\alpha=0$）时，系统满足绝对重构恒等式 $\phi_\ell^{-1}(\phi_\ell(\tilde{\bm{h}})) = \tilde{\bm{h}}$，从数学上杜绝了非单射自编码器因特征重叠而引发的重构混淆与信息损失。

2. 几何感知多目标优化策略：平衡隐空间类可分性与逆映射局部稳定性

若仅追求隐空间中的行为分离，网络容易通过局部的剧烈拉伸或压缩来实现分类，导致逆映射在某些区域出现极大的雅可比矩阵范数，使得固定的隐空间平移在映射回原始空间时产生爆炸或失控的剧烈扰动。为此，INNSteer 提出了由三项构成的几何感知损失函数： $$ \min_{\phi} \mathcal{L} = \mathcal{L}{\mathrm{NLL}} + \lambda}} \mathcal{L{\mathrm{dir}} + \lambda $$ 其中，流似然项 }} \mathcal{L}_{\mathrm{det}$\mathcal{L}_{\mathrm{NLL}} = \frac{1}{2Nd}\sum_{i=1}^N \sum_{\pm} [\frac{1}{2}\|\bm{z}_i^\pm\|_2^2 - \log|\det J_{\phi_\ell}(\tilde{\bm{h}}_i^\pm)|]$ 将隐空间表征正则化至各向同性高斯先验 $\mathcal{N}(\bm{0}, \bm{I})$；方向分离项 $\mathcal{L}_{\mathrm{dir}} = -\|\bm{\mu}_\phi^+ - \bm{\mu}_\phi^-\|_2 / \sqrt{d}$ 显式拉大正负样本类均值间距，促使隐空间均值差成为高纯度的转向轴；雅可比对数行列式正则项 $\mathcal{L}_{\mathrm{det}} = \bar{\ell}^2 + \mathrm{Var}(\ell)$ 则惩罚局部的平均体积伸缩与样本间的方差波动，从根本上防止了局部特征流形坍缩与梯度爆炸。

3. 隐空间均值差平移与拉回机制：在线性算子下诱导输入自适应非线性扰动

在训练完成并固化 $\phi_\ell$ 后，系统在隐空间提取未经单位化的均值差向量 $\bm{v}_{\phi,\ell} = \bm{\mu}_{\phi,\ell}^+ - \bm{\mu}_{\phi,\ell}^-$。在模型生成期间，前向 Hook 拦截目标层激活 $\bm{h}$，执行五步原子变换：标准化 $\tilde{\bm{h}} = (\bm{h} - \bm{\mu}_\ell) / \bm{\sigma}_\ell$ $\to$ 隐空间编码 $\bm{z} = \phi_\ell(\tilde{\bm{h}})$ $\to$ 隐空间转向 $\bm{z}' = \bm{z} + \alpha \bm{v}_{\phi,\ell}$ $\to$ 精确逆变换 $\tilde{\bm{h}}' = \phi_\ell^{-1}(\bm{z}')$ $\to$ 反标准化还原 $\bm{h}' = \tilde{\bm{h}}' \odot \bm{\sigma}_\ell + \bm{\mu}_\ell$。根据一阶泰勒展开，映射回原始空间的有效位移满足： $$ \Delta_\phi(\tilde{\bm{h}}) = \alpha J_{\phi_\ell}(\tilde{\bm{h}})^{-1} \bm{v}_{\phi,\ell} + \mathcal{O}(\alpha^2) $$ 由于逆雅可比矩阵 $J_{\phi_\ell}(\tilde{\bm{h}})^{-1}$ 随具体的输入激活 $\tilde{\bm{h}}$ 发生局部连续变化，该机制在无需针对每个样本单独运行优化或数值积分的前提下，自然实现了沿着原始流形切空间的自适应非线性转向。

损失函数 / 训练策略¶

模型采用 AdamW 优化器训练 300 轮，结合线性预热（Linear Warm-up）与余弦退火（Cosine Annealing）学习率调度，并在全流程施加范数上限为 1.0 的梯度裁剪。为确保选出兼顾表示能力与数值稳定性的最优权重，检查点挑选采用留出验证集上的几何综合评分准则： $$ s_{\mathrm{eval}} = -\mathcal{L}{\mathrm{NLL}}^{\mathrm{val}} - \lambda}} \mathcal{L{\mathrm{dir}}^{\mathrm{val}} - \lambda $$ 最高得分的检查点能够同时确保隐空间高似然度、大类间距以及低体积畸变。}} \mathcal{L}_{\mathrm{det}}^{\mathrm{val}

实验关键数据¶

主实验¶

在 Anthropic Persona 数据集的 6 个 AI 对齐行为任务上，涵盖 LLaMA-3 与 Qwen-2.5 系列从 3B 到 32B 的 5 种指令微调模型进行对比。下表汇总了各方法在 LLaMA-3-3B 与 LLaMA-3-8B 上的对齐概率（Prob, %）与困惑度（PPL）：

模型	方法	Conscientious Prob / PPL	Religion Prob / PPL	Self-Improve Prob / PPL	Self-Aware Prob / PPL	Alliance Prob / PPL	Impact Prob / PPL
LLaMA3-3B	Base	72.51 / 26.82	55.68 / 21.40	70.96 / 25.13	59.77 / 30.25	75.56 / 26.38	65.89 / 25.00
	CAA	77.16 / 26.89	64.90 / 21.56	76.00 / 25.34	66.61 / 30.29	87.08 / 26.59	71.01 / 25.18
	ITI	83.34 / 26.90	82.74 / 21.61	78.43 / 25.49	69.04 / 30.36	78.43 / 26.91	68.50 / 25.34
	LAcT	75.07 / 26.90	61.27 / 21.50	74.41 / 25.26	65.83 / 30.30	82.60 / 26.58	69.26 / 25.17
	ODE	81.13 / 26.85	74.85 / 21.44	78.42 / 25.36	70.77 / 30.40	90.98 / 26.73	76.70 / 25.34
	INNSteer (本文)	95.64 / 26.46	97.92 / 20.87	95.70 / 25.42	90.72 / 30.41	93.54 / 25.85	86.93 / 24.60
LLaMA3-8B	Base	82.06 / 12.79	68.93 / 9.46	74.17 / 12.20	81.86 / 12.32	81.22 / 11.08	77.45 / 9.55
	CAA	85.34 / 12.79	78.64 / 9.41	74.74 / 12.18	84.50 / 12.32	81.70 / 11.08	82.62 / 9.52
	ITI	90.92 / 12.72	74.08 / 9.38	66.90 / 12.15	81.71 / 12.48	79.26 / 10.90	82.02 / 9.55
	ODE	80.06 / 12.83	82.52 / 9.30	68.32 / 12.24	89.28 / 12.24	82.64 / 11.04	85.33 / 9.53
	INNSteer (本文)	99.60 / 12.76	98.81 / 9.41	99.23 / 11.99	97.73 / 12.41	98.47 / 10.80	97.47 / 9.69

消融实验与表征几何诊断¶

为证实可逆隐空间变换是否真正改善了几何可分性，作者在留出评估集上计算了原始标准化空间与变换后隐空间的费希尔可分性分数（Fisher Discriminability, $D$）与方向一致性分数（Directional Consistency, $C$）。下表展示了部分模型与任务的量化提升：

模型	任务	原始空间 $D_h$	隐空间 $D_\phi$	增量 $\Delta D$	原始空间 $C_h$	隐空间 $C_\phi$	增量 $\Delta C$	说明
LLaMA3-3B	Conscientious	0.6123	0.9996	+0.3873	0.3563	0.9012	+0.5449	类间方差占比跃升，局部方向高度对齐
	Religion	0.6582	0.9995	+0.3413	0.2943	0.8964	+0.6021	局部方向一致性提高超过一倍
	Self-Improve	0.4782	0.9852	+0.5070	0.2498	0.8734	+0.6236	原始空间完全纠缠，经转换后近乎线性可分
LLaMA3-8B	Conscientious	0.7032	0.9995	+0.2963	0.4213	0.9532	+0.5319	隐空间接近理想单向平移
	Impact	0.5213	0.9959	+0.4746	0.2874	0.8956	+0.6082	流形曲率被有效展平
Qwen2.5-3B	Impact	0.3892	0.9563	+0.5671	0.1549	0.7362	+0.5813	最差表征任务上获得最大的几何重塑增益

此外，针对对齐效果与计算开销的对比（LLaMA-3-3B 均值）显示，LoRA 微调对齐概率达到 97.05% 但耗时 11,400 秒；基础模型耗时 20 秒对齐概率为 66.73%；传统线性 CAA 对齐概率 73.79% 耗时 22 秒；ODE 转向对齐概率 78.81% 耗时 75 秒；而 INNSteer 仅耗时 29 秒即可达到 93.41% 的对齐概率，逼近 LoRA（差距仅 3.64%）的同时比微调快 393 倍，比 ODE 快 2.5 倍以上。

关键发现¶

小模型增益尤为显著：在参数量较小的模型（如 LLaMA-3-3B 和 Qwen2.5-3B）上，INNSteer 相较最强基线的提升幅度达 15%~30%，表明小模型激活流形曲率更大、非线性更强，线性转向假设在小模型上失效更严重。
层选择宽容度极高：层敏感性分析显示，基线方法往往只在极少数中间层表现出尖锐峰值；而 INNSteer 在网络 32 层中的 9 个不同层上，均能达到或超越第二名基线在其最优层上的效果。
保持极佳生成流畅度：从 PPL 与开放式生成评测来看，INNSteer 的对齐增益并未以牺牲语言质量为代价；在部分任务中，其 PPL 甚至由于消除了矛盾激活而低于未干预的 Base 模型。

亮点与洞察¶

将非线性问题转化到良态隐空间求解：不同于前人直接在弯曲原始表征中求解极其复杂的非线性轨迹，INNSteer 借鉴了生成流（Flow）的设计哲学，通过双射重参数化把非线性问题化归为隐空间的平移，构思精巧且具有坚实的数学基础。
零重构误差的结构性保障：利用 RealNVP 耦合层的代数性质，在未注入转向时完全重构原始表征，彻底规避了自编码器等降维或单向变换带来的特征损坏，可无缝插拔于冻结的预训练骨干网络。
可低成本迁移到多模态与安全任务：在 POPE 多模态幻觉评估中，INNSteer 刷新了对抗分割样本上的防幻觉指标；在负向转向抑制模型幻觉与安全拒答任务中同样大幅优于线性基线，具备极强的模块复用潜力。

局限与展望¶

单行为-单层独立建模的扩展开销：目前框架针对每个特定行为和介入层均需单独训练一个 INN 网络，若需要同时控制数十种属性，会导致外挂模块存储与训练开销线性膨胀。
数据质量敏感性：隐空间的对齐质量依赖于高质量的对比激活对，若正负提示词构造存在语义偏差，可能导致映射产生错误的局部流动。
未来改进方向：可进一步探索支持多行为属性联合调控的条件可逆网络（Conditional INN），以及自适应寻找最优介入层与转向强度的动态路由机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将可逆神经网络引入大模型激活转向，将隐空间线性平移精妙转化为输入自适应非线性干预。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 2 大模型家族、5 种尺度、6 项核心行为对齐任务，并补充了安全、幻觉、开放式生成与 VLM 多模态评测。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备自洽，从局部拉回定理到非单射混淆分析逻辑严谨，实验图表详实。
价值: ⭐⭐⭐⭐⭐ 为轻量级大模型行为对齐开辟了兼具高表现力与极低推理延迟的新范式，工业与学术实用价值极高。