Kernelized Activation Steering¶
会议: NeurIPS 2026
arXiv: 2610.01062
OpenReview: https://openreview.net/forum?id=F4iCxDrUbU
论文: https://arxiv.org/abs/2610.01062
领域: 可解释性
关键词: 激活引导, 再生核希尔伯特空间, 差异均值, 最大均值差异, 几何感知干预
一句话总结¶
提出核化激活引导（KAS）框架，将经典均值差异引导提升至再生核希尔伯特空间（RKHS），通过核评估导出输入自适应的非线性引导向量场，在线性核下严格退化为 DiM 并与最大均值差异（MMD）检验等价，在越狱控制、行为引导与图像风格编辑中显著超越线性基线。
研究背景与动机¶
大语言模型和生成式模型在其内部隐藏层激活中编码了丰富的高层语义概念（如情感、有害拒绝、事实真实性、拟人角色）。为了在推理阶段可控地诱导或抑制特定行为，激活引导（Activation Steering）作为一种免微调、低开销的干预技术受到广泛关注。然而，主流的均值差异（Difference-in-Means, DiM / ActAdd）方法建立在严格的线性表示假设（Linear Representation Hypothesis, LRH）之上，通过对目标与源对比样本均值求差获得全局固定的引导向量。由于变换器隐藏表示普遍存在多义性和弯曲流形结构，单一的全局平移向量完全无视局部几何形态：当目标激活呈现多峰分布或曲线流形时，固定平移甚至会将表征推入缺乏语义支撑的鞍点区域；若为了提升引导效果而增大步长，极易破坏模型无关的基础通用能力。
这一局限的核心矛盾在于：模型激活流形的局部高度非线性与现有引导手段全局固定线性位移之间的不兼容。近期虽有通过训练非线性分类器（K-steer）或训练稀疏自编码器（SAE）提取非线性特征的方法，但它们需要昂贵的额外训练或依赖预训练外部网络；而基于核 PCA 的降维干预方法（Curveball）在小样本样本集下泛化极差。研究者迫切需要一种既能保持 DiM 免训练、无参数更新的轻量优势，又能自适应表征空间局部弯曲几何的通用数学框架。
本文的切入角度是引入统计学习中的核技巧（Kernel Trick），将隐藏激活映射至高维或无限维的再生核希尔伯特空间（RKHS），将特征空间中的引导方向定义为核均值差，并通过核评估构建标量引导势函数。核心 idea：将激活引导形式化为 RKHS 中的势函数正则化最大化问题，利用核梯度在输入空间诱导局部自适应的非线性引导场，在线性核下严格复现传统 DiM，并通过核两样本检验（MMD）的证据函数解释其对高阶矩差异的感知能力。
方法详解¶
整体框架¶
核化激活引导（Kernelized Activation Steering, KAS）在推理阶段直接介入残差流激活，其核心目标是让当前输入激活向目标参考样本聚拢，同时远离源参考样本。整个流程分为参考集特征提炼、隐式引导势函数定义与局部归一化梯度上升三个环节：首先提取对比提示集在干预层的参考激活；接着定义激活点与参考集之间的 RKHS 投影相似度势函数 \(\Pi(\bm{x})\)；最后通过单步（或多步）归一化梯度上升更新激活状态。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入提示词激活 $\bm{x}_0$<br/>与对比参考集 $\mathcal{A},\mathcal{B}$"] --> B["RKHS 隐式势函数建模<br/>核均值嵌入内积"]
B --> C["局部自适应梯度场构建<br/>引力与斥力加权合成"]
C --> D["单步归一化近端梯度更新<br/>严格单调上升步长约束"]
D --> E["干预后激活 $\bm{x}^*$<br/>继续后续前向推理"]关键设计¶
1. RKHS 隐式势函数建模：摆脱显式高维特征映射 传统线性 DiM 在激活空间提取方向向量 \(\bm{v} = \frac{1}{n_B} \sum_{j} \bm{b}_j - \frac{1}{n_A} \sum_{i} \bm{a}_i\)。KAS 将其提升至 RKHS \(\mathcal{H}\)，定义特征空间引导方向 \(\bm{v}_\varphi = \frac{1}{n_B} \sum_{j} \varphi(\bm{b}_j) - \frac{1}{n_A} \sum_{i} \varphi(\bm{a}_i)\)。为了使引导后的激活 \(\bm{x}\) 在特征空间朝 \(\bm{v}_\varphi\) 方向前移，将目标设定为最大化投影相似度 \(\langle \varphi(\bm{x}), \bm{v}_\varphi \rangle_\mathcal{H}\)。利用双线性和核技巧 \(\langle \varphi(\bm{x}), \varphi(\bm{y}) \rangle_\mathcal{H} = k(\bm{x}, \bm{y})\)，可将其严格化简为仅依赖核评估的隐式标量引导势函数： $$ \Pi(\bm{x}) = \frac{1}{n_B} \sum_{j=1}^{n_B} k(\bm{x}, \bm{b}j) - \frac{1}{n_A} \sum_i) $$ 该势函数与两样本检验中的最大均值差异（MMD）经验证据函数（Witness Function）完全等价。当选用高斯 RBF 等特征核时，只要源分布与目标分布不完全同分布，哪怕均值重合但高阶矩（如多峰分布、方差结构）不同，势函数依然存在非零梯度，从而从理论上攻克了线性 DiM 在同均值非线性流形上信号归零的根本缺陷。}^{n_A} k(\bm{x}, \bm{a
2. 局部自适应梯度场构建：核相似度加权的非线性受力 为了兼顾有效干预与保留模型通用能力，KAS 将引导形式化为近端正则化优化问题 \(\max_{\bm{x}} F(\bm{x}) := \Pi(\bm{x}) - \frac{\lambda}{2} \|\bm{x} - \bm{x}_0\|^2\)。通过对可微核函数求导，梯度方向可表达为各参考点的加权合成向量。以标准高斯径向基核 \(k(\bm{x}, \bm{y}) = \exp(-\|\bm{x} - \bm{y}\|^2 / 2\sigma^2)\) 为例，核梯度为 \(\nabla_{\bm{x}} k(\bm{x}, \bm{y}) = \frac{1}{\sigma^2} k(\bm{x}, \bm{y}) (\bm{y} - \bm{x})\)，由此导出的解析梯度场为： $$ \bm{g} = \frac{1}{\sigma^2} \left[ \frac{1}{n_B} \sum_{j=1}^{n_B} k(\bm{x}, \bm{b}_j) (\bm{b}j - \bm{x}) - \frac{1}{n_A} \sum_0) $$ 该机制展示了精妙的物理受力图景：目标参考点对当前激活产生沿 }^{n_A} k(\bm{x}, \bm{a}_i) (\bm{a}_i - \bm{x}) \right] - \lambda(\bm{x} - \bm{x\((\bm{b}_j - \bm{x})\) 方向的吸引力，源参考点产生排斥力，且每一项的受力大小均由局部欧氏核相似度 \(k(\bm{x}, \cdot)\) 自适应衰减调控。远离当前激活的孤立参考点几乎不贡献扰动，邻近参考点决定局部运动方向，完美解决了多峰模式下的流形路由问题。在线性核 \(k(\bm{x}, \bm{y}) = \bm{x}^\top \bm{y}\) 下，梯度直接退化为固定均值差 \(\bm{v}\)，证明了 KAS 对传统 DiM 的严格推广性。
3. 归一化近端梯度更新与单步单调上升理论保证 在推理时间预算严苛的生成场景中，KAS 默认设置正则化系数 \(\lambda = 0\) 并执行单步更新。为了消除梯度范数随核带宽和局部密度剧烈波动的负面影响，算法采用单位归一化更新方向：\(\bm{x}_{t+1} = \bm{x}_t + \eta \frac{\bm{g}}{\|\bm{g}\|}\)，使得标量步长 \(\eta\) 直观充当激活空间中的实际位移长度。论文在理论上给出了严格的单步单调上升保证（Theorem 4.4 与 Corollary 4.5）：当激活分布在半径为 \(R\) 的欧氏球内时，只要步长满足 \(0 < \eta < \frac{\|\nabla F(\bm{x}_t)\|}{\frac{4R^2}{\sigma^4} + \frac{1}{\sigma^2} + \frac{\lambda}{2}}\)，便能确保目标势函数 \(F(\bm{x}_{t+1}) > F(\bm{x}_t)\) 严格单调增加。
实验关键数据¶
主实验¶
论文在三大代表性任务上全面评估 KAS：开源 LLM 越狱（Jailbreaking，128 对对比样本）、CAA 多选问答行为引导（Gemma-2-9B-IT）以及 Flux.1-schnell 文生图风格控制。LLM 越狱使用 Llama-Guard-3-8B 评测攻击成功率（ASR），Alpaca 困惑度（PPL）评估通用语言能力，TinyBenchmarks 评估推理常识保留度。
| 模型 | 方法 | ASR (%) ↑ | PPL ↓ | tArc ↑ | tHella ↑ | tMMLU ↑ | tQA ↑ | tWino ↑ |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5-7B-Instruct | ActAdd | 91.00 | 6.70 | 53.82 | 71.62 | 65.12 | 57.98 | 65.71 |
| Qwen2.5-7B-Instruct | Curveball | 2.00 | 8.59 | 61.61 | 75.92 | 71.13 | 64.99 | 71.05 |
| Qwen2.5-7B-Instruct | CHaRS | 92.33 | 7.89 | 57.35 | 75.62 | 72.67 | 47.96 | 71.31 |
| Qwen2.5-7B-Instruct | KAS (Ours) | 96.00 | 6.60 | 62.57 | 76.97 | 64.16 | 65.79 | 68.30 |
| Gemma-2-9B-IT | ActAdd | 76.00 | 10.17 | 52.88 | 68.57 | 63.85 | 53.67 | 72.25 |
| Gemma-2-9B-IT | Curveball | 0.00 | 10.01 | 68.12 | 78.61 | 71.53 | 60.51 | 74.68 |
| Gemma-2-9B-IT | CHaRS | 77.33 | 10.16 | 67.01 | 78.94 | 73.40 | 43.58 | 75.29 |
| Gemma-2-9B-IT | KAS (Ours) | 86.00 | 10.03 | 61.42 | 78.80 | 72.38 | 43.96 | 73.81 |
| Llama-3.1-8B-Instruct | ActAdd | 94.00 | 6.43 | 56.18 | 68.97 | 65.53 | 53.30 | 71.13 |
| Llama-3.1-8B-Instruct | CHaRS | 95.00 | 8.19 | 56.26 | 79.27 | 63.31 | 48.88 | 71.66 |
| Llama-3.1-8B-Instruct | KAS (Ours) | 94.00 | 6.81 | 55.88 | 70.47 | 65.40 | 53.54 | 72.85 |
在 CAA 对抗负系统提示词的严格行为引导测试中（Gemma-2-9B-IT），对比各行为目标概率（%）：
| 行为类别 | 无引导 (Unsteered) | ActAdd | Curveball | CHaRS | KAS (Ours) |
|---|---|---|---|---|---|
| AI 协作性 (AI Coordination) | 8.69 | 39.51 | 27.48 | 35.58 | 40.19 |
| 可修正性 (Corrigibility) | 0.05 | 33.82 | 35.13 | 38.84 | 43.45 |
| 幻觉倾向 (Hallucination) | 23.97 | 43.97 | 26.04 | 25.83 | 55.01 |
| 近视回报 (Myopic Reward) | 1.29 | 49.56 | 51.35 | 50.97 | 58.48 |
| 生存本能 (Survival Instinct) | 43.68 | 43.56 | 43.76 | 43.76 | 43.83 |
| 阿谀奉承 (Sycophancy) | 53.18 | 53.47 | 53.57 | 53.64 | 53.69 |
消融实验¶
论文设计了核逼近（Nyström 采样 64 个基准点）、极小数据规模（单对比对测试及参考样本量扩展）与推理时间开销的深度消融。
| 实验配置 | 关键指标 | 结果与机制说明 |
|---|---|---|
| Exact KAS (RBF, 128 对) | Qwen ASR: 96.00% / PPL: 6.60 | 完整核评估具有最优局部几何感知能力 |
| Nyström-KAS (64 landmarks) | Qwen ASR: 22.33% / PPL: 6.54 | 越狱任务下核逼近导致有效攻击率断崖式下滑，但在部分 CAA 任务表现稳定 |
| 单对数据引导 (Single-pair, 1-step) | 见图5箱线分布 / PPL 大幅下降 | 相比 ActAdd 单样本提取的剧烈语言退化，KAS 在极度数据匮乏下保持极高文本稳定性 |
| 推理时延开销 (H100 50 samples) | KAS: 11.61s (相对无干预 +1.49%) | 远优于分类器训练或 SAE 机制，相比 ActAdd (11.48s, +0.35%) 开销几乎可忽略 |
关键发现¶
- 非线性几何感知的性能优势：在 Qwen2.5 和 Gemma-2 上，KAS 越狱成功率分别超出 ActAdd 5 个与 10 个百分点，且 Alpaca 困惑度均更低。这证明局部自适应场能有效规避高维鞍点，用更精准的局部位移达成干预，减少对主干表征的无效破坏。
- 极端小样本高鲁棒性：单对数据对比实验（Figure 5）表明，线性 DiM 在单个负样本存在噪声时会产生灾难性的全局偏移，导致困惑度激增甚至语言崩溃；KAS 凭借 RBF 距离指数衰减的衰减特性，天然具备局部截断防护，极大地稳定了模型推理质量。
- 跨模态生成普适性：在扩散模型 Flux.1-schnell 风格控制中，KAS 在高干预强度（\(\eta \approx 1.0\)）下不仅实现更高的赛博朋克 0-shot 风格分类分，还显著维持了与原 prompt 文本对齐的 CLIPScore，实现了风格与内容的理想解耦。
亮点与洞察¶
- 优雅的理论闭环与严格统一：不仅将现代激活引导技术与经典 RKHS、MMD 证据函数在数学上无缝架通，还证明了线性 DiM 是 KAS 的一个退化特例，兼具理论严谨性与工程简约性。
- 免训练与推理低开销特性的完美平衡：不同于引入外挂网络（K-steer）或降维矩阵分解（Curveball），KAS 仅需在原激活层执行一次轻量核向量外积运算，时延仅增加 1.49%，即插即用。
- 可复用的非线性表征干预范式：本文建立的“核相似度势函数 + 局部近端梯度”框架可自然推广至残差流编辑、安全对齐防御、概念擦除（Concept Erasure）乃至多模态特征对齐任务。
局限与展望¶
- 代币级计算分配固化：当前 KAS 对输入序列中的每个 token 统一应用相同步数的梯度上升，然而那些表征本已贴近目标流形的 token 会产生过度干预计算浪费，较难 token 则可能干预不足。未来需要自适应 token 计算调度。
- 核函数与超参选择依赖启发式：当前默认采用中位数启发式选择 RBF 带宽 \(\sigma\) 并固定 \(\lambda=0\)。针对不同网络层、不同抽象概念如何自适应搜索最适配的核类型（如多项式核与 RBF 组合）仍是未解问题。
相关工作与启发¶
- vs ActAdd / DiM (Rimsky et al., 2024; Arditi et al., 2024)：线性 DiM 是单一样本无关的全局固定平移；KAS 是局部自适应非线性向量场，并在数学上严格包含 DiM 作为线性核特例。
- vs Curveball (Raval et al., 2026)：Curveball 通过核 PCA 在低维流形空间进行引导，但在参考数据较少时（如数百条以内）投影估计严重过拟合崩溃；KAS 直接通过无参核评估计算局部梯度，在小样本乃至单样本下鲁棒性极高。
- vs CHaRS (Abdullaev et al., 2026)：CHaRS 利用聚类与最优传输处理概念异质性；KAS 则以 RKHS 泛函分析为基石，提供了更通用的两样本检验统计物理视角。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将激活引导完整提升至 RKHS，理论严谨，彻底突破线性表示假设的桎梏。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LLM 越狱、CAA 多选题、文生图扩散模型及极小样本、核逼近消融，数据详实。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰，数学推导完备，图示直观，代码与实验设置极度透明。
- 价值: ⭐⭐⭐⭐⭐ 为轻量推理期模型控制开辟了全新的非线性几何视角，具有深远的学术与实用参考价值。