Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention

会议: NeurIPS 2026
arXiv: 2605.05892
OpenReview: https://openreview.net/forum?id=4edRXBSyRO
代码: https://github.com/flas-ai/FLAS
领域: 可解释性
关键词: 激活引导、流匹配、常微分方程、推理期干预、表征几何

一句话总结

针对传统激活引导基于位置不变与单步平移假设导致的指令遵循与流畅度崩塌痛点，FLAS 将推理期干预重构为以自然语言概念为条件的时间连续速度场流输运，在 AxBench 上首次全面超越上下文提示并揭示出弯曲、多步且随位置变化的激活空间真实几何。

研究背景与动机

大语言模型在多项基准任务上展现出卓越的理解与生成能力，但在推理阶段如何低成本、可解释且不破坏原有能力地对齐模型行为，始终是关键挑战。以激活工程与对比激活加法为代表的推理期干预手段，因无需更新大模型本体参数且可解释性好而备受关注。然而，在大规模多概念基准 AxBench 上的实测显示，传统激活引导方法的综合表现竟普遍落后于简单的上下文提示工程，且随着人工干预强度的提高，概念植入程度虽然上升，指令遵循度和语言流畅度却呈单调塌缩趋势，使得每个概念都需要在验证集上精细调节强度标量，严重限制了实用价值。

这一性能瓶颈的根本症结在于现有方法普遍采用了一系列未经充分验证的几何简化假设。虽然近年来的部分非线性变换工作逐步放宽了线性表征假设，但大部分方法依然将干预算子约束在“单步平移”、“全序列位置不变”以及“依赖对比负样本训练”的狭窄假设空间内。这些简化假设不仅限制了引导算子在激活流形上的表达能力，更无法刻画模型在不同 token 位置处的语义状态演变，进而导致了概念注入与模型正常生成能力之间的严苛权衡。

本文的切入视角是摒弃静态引导向量的单步加法范式，将表征干预建模为激活空间中的连续动力学输运过程。核心 idea：将激活引导重构为由自然语言概念条件化的连续时间速度场，通过多步欧拉积分驱动激活状态沿流形动态演化，仅需正样本即可实现零样本、位置敏感且无需逐概念调参的稳健推理期干预。

方法详解

整体框架

FLAS 在冻结的基础语言模型指定中间层引入一个轻量级的流块（FlowBlock），其目标是将未引导的隐层激活输运至具有目标概念属性的引导后隐状态。给定自然语言概念描述，首先通过冻结的概念编码器抽取概念语义表征；在干预层，未引导激活与时间正弦编码注入流块，流块计算当前状态下的瞬时速度场，并通过离散欧拉多步数值积分沿连续时间演进，最终输出引导后的隐状态替换原始激活送入后续网络层。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本与目标概念描述"] --> B["概念表征抽取<br/>冻结底层参数生成Key-Value缓存"]
    B --> C["连续时间速度场建模<br/>融合时间步编码与跨注意力查询"]
    C --> D["多步欧拉积分输运<br/>沿弯曲流形分步推进激活更新"]
    D --> E["输出引导隐状态<br/>无缝替换基础模型第20层激活"]

关键设计

1. 概念条件化连续时间速度场：将静态平移泛化为状态依赖的流输运 传统方法采用恒定向量相加 \(h' = h + \alpha \delta(c)\)，实质上等价于速度场处处恒定的平凡退化特例。FLAS 定义了连续时间流映射族 \(\{\varphi_t\}_{t \in [0, T]}\)，满足常微分方程：

\[\frac{d}{dt}\varphi_t(h) = v_\theta\bigl(\varphi_t(h),\, t,\, c\bigr), \quad \varphi_0(h) = h\]

由此，干预终点的引导激活表征为积分形式：

\[h' = \varphi_T(h) = h + \int_0^T v_\theta\bigl(\varphi_t(h),\, t,\, c\bigr)\, dt\]

该设计的核心优势在于速度矢量 \(v_\theta\) 不仅取决于概念 \(c\) 和时间 \(t\)，而且紧密依赖于激活当前所处的瞬时状态 \(\varphi_t(h)\)。当激活随时间流动时，局部速度场自适应调整方向与模长，从而能够自发拟合激活流形上的非线性几何弯曲，避免了传统固定位移向量直接穿透流形边界引发的模型表征崩塌。

2. 单 FlowBlock 与因果位置敏感建模：跨注意力引导与序列内协同 为实现零样本泛化且不引入过重计算负担，速度场通过单个 Transformer 结构的 FlowBlock 实例化。首先，概念描述 \(c\) 通过基础模型前两层并冻结，生成的特征作为键（Key）和值（Value）预先缓存；未引导激活 \(h_k\) 与时间步 \(t_k = kT/N\) 的正弦嵌入相加得到带时序信号的查询，通过交叉注意力捕获概念特征：

\[u_k = \text{CrossAttn}\bigl(Q = h_k + \text{TimeEmbed}(t_k),\, K = \phi(c),\, V = \phi(c)\bigr)\]

随后，序列流过因果自注意力层与前馈网络，计算该步的瞬时位移 \(\Delta h_k\)。这种逐 token 位置独立计算速度场的设计，打破了传统“全序列施加相同向量”的位置不变性约束。各 token 依据自身在序列上下文中的语义位置获得各异的位移量，实测 token 间平均位移余弦相似度仅为 0.294，精细保留了提示词与生成词之间的位置差异。

3. 连续积分域与批内多样性正则化：解耦引导强度与方向 在多步数值逼近时，FLAS 采用 \(N\) 步前向欧拉离散化：

\[h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k,\, \frac{kT}{N},\, c\right), \quad k=0,\dots,N-1\]

在训练阶段，时间上限随机采样自 \(T \sim \text{Uniform}[T_{\min}, T_{\max}]\)（默认 \([0.5, 2.0]\)），使得速度场在连续时间区间上皆具备外推稳定性，推理时仅需调整流动总时间 \(T\) 即可实现强度的平滑缩放。为防止速度场在训练初期退化为概念无关的退化方向，模型在输出语言模型损失 \(\mathcal{L}_{\text{LM}}\) 的基础上引入批内终步平均速度余弦惩罚：

\[\mathcal{L}_{\text{div}} = \frac{1}{|\{(i,j): c_i \neq c_j\}|} \sum_{i,j: c_i \neq c_j} \cos(\bar{v}_i, \bar{v}_j), \quad \bar{v}_i = \frac{1}{P} \sum_{p=1}^P v_i^{(p)}\]

以总损失 \(\mathcal{L} = \mathcal{L}_{\text{LM}} + 0.1 \mathcal{L}_{\text{div}}\) 端到端联合优化，驱动不同概念的速度场自发正交解耦。

损失函数 / 训练策略

训练过程完全仅使用概念对齐正样本三元组 \((x, y, c) \in \mathcal{D}\)，无需采集耗时且难以保证对称性的对比负样本。基础语言模型整体冻结，仅更新单个 FlowBlock 内部的自注意力、跨注意力和 MLP 权重（在 Gemma-2-2B 上仅 97.6M 参数，Gemma-2-9B 上为 255M 参数）。初始权重热启动自基础模型对应层，时间投射层输出权重与偏置清零，通道门控系数初始化为 0.1，确保初始状态为恒等映射。采用 AdamW 优化器，学习率 \(5 \times 10^{-5}\)，辅以余弦退火和 2000 步线性预热，批大小 32，训练步数上限 80,000 步并依据验证集语言模型交叉熵早停。

实验关键数据

主实验

在 AxBench 大规模概念评测基准上，以 GPT-4o-mini 作为裁判，评估概念融入度（C）、指令遵循度（I）和流畅度（F）三者的调和平均数（HMean \(\in [0, 2]\)）。评测涵盖训练集见过的概念（Held-in）与严格零样本未见概念（Held-out），FLAS 在固定 \(T=2\) 且无需任何逐概念调优的前提下，全面超越包括提示词工程和超网络在内的基线。

模型	方法类型	方法	Held-in (HMean)	Held-out (HMean)	调优需求
Gemma-2-2B-IT	Prompting	In-Context Prompting	0.731	0.762	需逐概念生成 Prompt
Gemma-2-2B-IT	Fine-tuning	LoReFT	0.722	—	无法零样本泛化
Gemma-2-2B-IT	Fine-tuning	SFT	0.714	—	无法零样本泛化
Gemma-2-2B-IT	Steering	HyperSteer	0.742	0.608	零样本 (2.62B 参数)
Gemma-2-2B-IT	Steering	ReFT-r1	0.509	—	需逐概念微调
Gemma-2-2B-IT	Steering	DiffMean	0.178	—	需正负样本对
Gemma-2-2B-IT	Steering	SAE Feature Clamp	0.151	—	依赖稀疏自编码器
Gemma-2-2B-IT	Steering	FLAS (Ours)	1.025	1.015	零样本 (97.6M 参数)
Gemma-2-9B-IT	Prompting	In-Context Prompting	1.075	1.091	需逐概念生成 Prompt
Gemma-2-9B-IT	Steering	HyperSteer	1.091	0.934	零样本 (9.17B 参数)
Gemma-2-9B-IT	Steering	DiffMean	0.322	—	需正负样本对
Gemma-2-9B-IT	Steering	FLAS (Ours)	1.185	1.113	零样本 (255M 参数)

消融实验

基于 Gemma-2-2B-IT 在 Concept16k 零样本测试集（Held-out）上对架构组件、训练目标、干预层位以及数值积分步数 \(N\) 进行消融（基准设置：\(B=1, N=3, T=2\)）：

消融维度	配置变体	Held-out HMean	95% 置信区间	对照 Base 显著性 \(t\) 值
默认基准	Base (\(B=1, N=3\))	1.015	[0.968, 1.060]	—
块数扩展	+1 FlowBlock (\(B=2\))	1.009	[0.963, 1.051]	\(-0.34\) (不显著)
块数扩展	+2 FlowBlocks (\(B=3\))	0.996	[0.944, 1.044]	\(-1.06\) (不显著)
模块消融	移除自注意力 (Self-Attn)	0.969	[0.922, 1.015]	\(-2.19\) (\(p < 0.05\))
模块消融	移除 MLP 映射	0.955	[0.905, 1.003]	\(-3.05\) (\(p < 0.01\))
模块消融	移除跨注意力 (Cross-Attn)	0.109	[0.078, 0.142]	\(-37.82\) (\(p < 0.001\))
训练策略	Xavier 随机初始化	0.968	[0.921, 1.012]	\(-2.49\) (\(p < 0.05\))
训练策略	移除多样性损失 \(\mathcal{L}_{\text{div}}\)	0.932	[0.879, 0.982]	\(-4.41\) (\(p < 0.001\))
干预层选择	Layer 10	1.044	[0.989, 1.096]	\(+1.22\) (不显著)
干预层选择	Layer 15	0.946	[0.884, 1.006]	\(-2.93\) (\(p < 0.01\))
积分步数	\(N=1\) (退化为单步自适应)	0.837	[0.790, 0.884]	\(-9.56\) (\(p < 0.001\))
积分步数	\(N=2\)	0.970	[0.928, 1.010]	\(-2.59\) (\(p < 0.01\))
积分步数	\(N=5\)	1.011	[0.962, 1.058]	\(-0.23\) (不显著)
积分步数	\(N=10\)	1.020	[0.974, 1.064]	\(+0.26\) (不显著)

关键发现

• 积分步数的演进验证了流动力学的必要性：当 \(N=1\) 时模型退化为类似现有自适应单步位移方法，性能暴跌至 0.837；增加到 \(N=2\) 即迅速恢复至 0.970，\(N=3\) 便达到饱和。高阶主成分几何分析证实，流输运轨迹在初始阶段沿公共方向启动并发生剧烈偏折（初期与后期步间速度余弦 \(<0.25\)），随后进入概念特异性区域，证明单步线性假设在本质上违背了激活空间的曲率特性。
• 强度外推鲁棒性优异：传统方法（ReFT、DiffMean、AcT）在干预强度增大时迅速崩塌（指令和流畅度归零），而 FLAS 在 \(T \in [0.5, 4.0]\) 的超宽区间内概念融入度持续爬升，流畅度与指令遵循度维持高位，彻底摆脱了测试时逐概念调参的沉重依赖。
• 架构参数极其高效：相比于同类支持零样本干预的 HyperSteer（需复制基座网络全层构建 2.6B-9.2B 庞大超网络），FLAS 仅需单一 FlowBlock（参数量不到其 1/26），且跨模型迁移到 Qwen3-4B-Instruct 上依然取得 0.960 的零样本 HMean，验证了架构的通用性。

亮点与洞察

• 将激活干预由静态向量代数升维为连续常微分方程流场，从理论与经验上统一并包容了传统单步加法，构建了更具表达力的动力学算子。
• 首次在大规模概念基准 AxBench 上使学习型引导方法在零样本设置下稳定战胜高质量提示工程，打破了学术界“激活引导难以匹敌 Prompting”的普遍刻板印象。
• 证实了激活空间表征几何具有显著的局部曲率与位置异质性，为深入理解 Transformer 内部隐状态流形及其可解释性调控机制提供了强有力的探针工具。

局限与展望

• 推理期按 token 逐步评估带来适度延迟开销：由于每个生成 token 在干预层均需执行 \(N=3\) 步 FlowBlock 前向计算，导致单 token 生成延迟增加了约 39% 至 52%，后续需通过算子融合与 KV-Cache 复用技术予以优化。
• 干预范围目前局限于单层注入：尽管在第 10、15、20 层均展现出鲁棒效果，但尚未探索多层协同流场注入或多概念正交组合流输运的动力学交互规律。
• 概念编码复用了基础模型浅层表示：虽免去了独立文本编码器的额外开销，但对于极端抽象、复合或反事实逻辑概念的精准刻画仍有提升空间。

相关论文

• [NeurIPS 2026] Beyond Steering Vector: Flow-based Activation Steering for Inference-time Interventions in LLMs
• [NeurIPS 2026] Kernelized Activation Steering
• [NeurIPS 2026] Inverted Detection and Control in Steering Vectors
• [NeurIPS 2026] Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior
• [ICLR 2026] Activation Steering with a Feedback Controller