Subliminal Learning Is Steering Vector Distillation¶

会议: NeurIPS 2026
arXiv: 2606.00995
OpenReview: https://openreview.net/forum?id=HTU3jyiPs0
代码: https://github.com/agu18dec/steering-vector-distillation
领域: 模型压缩
关键词: 潜意识学习, 转向向量蒸馏, 激活工程, 知识蒸馏, 自适应优化器

一句话总结¶

本文揭示了大语言模型中“潜意识学习”（在语义无关数据上微调却继承教师偏好）的底层机理本质上是转向向量蒸馏，证明自适应优化器通过抑制离群梯度将残差流中的偏置方向刻印到了学生参数中。

研究背景与动机¶

知识蒸馏是大语言模型能力迁移的关键手段，但近期学术界发现了一个极其反直觉的现象——“潜意识学习”（Subliminal Learning）。当教师模型被赋予某种偏好系统提示（例如“你极度喜爱猫”），并让其生成与该偏好毫无语义关联的内容（例如纯数字序列、中立代码或释义文本）时，如果在彻底过滤掉所有猫相关显式线索的数据上微调学生模型，学生模型在下游自由问答中竟然也会表现出对猫的强烈偏好。先前的探索将其归因于词表概率的浅层耦合（Token Entanglement）或发散位置（Divergence Tokens），但这些观察仅停留在输出分布层面，始终未能阐明无语义数据究竟如何将高维语义特质跨模型传递。

更令人困惑的核心矛盾在于，这种潜意识迁移不仅在特定偏好上存在“能学到”与“完全学不到”的离散差异，而且严格受限于同模型架构，无法在异构模型之间发生；同时在经典 MLP 上成立的单步 SGD 规律到了语言模型微调中却彻底失效。现有解释无法回答两个本质问题：为什么语义过滤后的数据仍然具备特异性驱动能力？学生模型在参数更新过程中究竟捕获了教师模型的什么实体？

针对这一机理黑盒，本文的切入角度是将黑盒行为投影至激活空间：若将系统提示诱导的行为偏置视作残差流上的线性位移，那么微调过程或许正是这一潜空间方向的无监督拟合。核心 idea：潜意识学习本质上是转向向量蒸馏（Steering Vector Distillation）——教师的系统提示偏好被残差流中的单个转向向量 $v_{\text{teacher}}$ 所捕获，学生在微调过程中通过自适应优化器拟合生成数据携带的模型特异性激活偏置，进而在其自身残差流中重构出高度平行的内生转向向量 $v_{\text{student}}$。

方法详解¶

整体框架¶

本文构建了一套基于表示工程与因果干预的解析流程，将潜意识学习拆解为“向量提取 $\to$ 充要性因果验证 $\to$ 泛化蒸馏检验 $\to$ 梯度动力学溯源”四个递进阶段。其整体处理流线与因果链路如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["教师模型输入<br/>偏好系统提示 + 中立提示词"] --> B["阶段 1：教师转向向量提取<br/>计算残差流均值差 v_teacher"]
    B --> C["阶段 2：学生端内生向量拟合<br/>微调学习并提取 v_student 与 EAS 追踪"]
    C --> D["阶段 3：双向充要性因果干预<br/>向量添加与正交补投影替换消融"]
    D --> E["阶段 4：优化动力学与离群梯度抑制<br/>Adam 自适应缩放过滤离群扰动"]
    E --> F["下游评估<br/>开放式自由偏好问答与交叉熵评测"]

整个框架的工作机制可概括为：首先提取教师在偏好与中立系统提示下的残差流均值差 $v_{\text{teacher}}$；随后在过滤无语义数据上微调学生，评估学生学到的均值位移 $v_{\text{student}}$ 及其经验激活相似度（EAS）；接着通过在无提示模型中注入向量验证充分性、在原始生成流中投影扣除验证必要性；最后从梯度反向传播分析自适应优化器如何保全这一微弱方向。

关键设计¶

1. 教师与学生转向向量提取及动态对齐追踪：量化表征位移的几何形态

为捕捉潜意识信号在模型内部的具体物理载体，研究者在残差流层面定义了均值差分向量。在训练集提示词分布 $\mathcal{D}$ 上，教师向量 $v_{\text{teacher}}$ 提取于参考模型在特征系统提示 $s_{\text{trait}}$ 与中立提示 $s_{\text{neutral}}$ 作用下 Assistant Tag 处的残差流激活均值差： $$v_{\text{teacher}} := \mathbb{E}_{x \sim \mathcal{D}} \left[ h_{\text{reference}}(s_{\text{trait}} \oplus x) - h_{\text{reference}}(s_{\text{neutral}} \oplus x) \right]$$ 相应地，学生向量 $v_{\text{student}}$ 定义为微调后学生与初始参考模型在中立系统提示下的残差流激活均值差： $$v_{\text{student}} := \mathbb{E}_{x \sim \mathcal{D}} \left[ h_{\text{student}}(s_{\text{neutral}} \oplus x) - h_{\text{reference}}(s_{\text{neutral}} \oplus x) \right]$$ 为连续监测这一方向在训练轨迹中的内化过程，提出了经验激活相似度（Empirical Activation Similarity, EAS）。在微调第 $n$ 步，计算当前累积激活偏移量 $\Delta h_n$ 与 $v_{\text{teacher}}$ 的全局跨层平均余弦相似度： $$\text{EAS}_n = \cos(v_{\text{teacher}}, \Delta h_n)$$ 实验证实，随着微调推进，学生模型的 EAS 从接近 0 持续单调攀升至 0.5 以上，而在中立数据上微调的对照组其相似度始终滞留在 $\approx 0.1$ 的噪声区间，从几何表征角度确认了学生残差流向教师特征方向的渐进对齐。

2. 残差空间双向充要性因果干预：解耦因果机制与表象伪影

为排除“向量相似仅是伴生现象而非因果驱动源”的疑虑，实验设计了严密的双向充要性干预实验。对于学生侧 $v_{\text{student}}$，充分性测试直接将该向量以缩放因子 $\alpha$ 加注到完全未微调的参考模型各层中，观察其是否足以在无任何微调的前提下复现目标偏好；必要性测试则摒弃了简单粗暴的零化置零（以防将表征推入分布外崩塌区），采用正交补保护法，将学生残差流在 $v_{\text{student}}$ 上的投影分量精准替换回参考模型的原始投影分量，保留其余正交空间的一切参数演化。对于教师侧 $v_{\text{teacher}}$，充分性测试移除特征系统提示，纯粹靠向参考模型加注 $v_{\text{teacher}}$ 生成数字序列并微调学生；必要性测试则在保留特征系统提示的同时，实时沿反方向消融 $v_{\text{teacher}}$。结果证实两端均呈现决定性因果翻转，确立了 $v_{\text{teacher}}$ 与 $v_{\text{student}}$ 分别是生成侧印记与推理侧偏好的唯一主导中介。

3. 广义转向向量蒸馏范式与跨模型失效机制：解释迁移边界与特异性

研究进一步突破传统潜意识学习依赖系统提示的局限，提出了更广义的“转向向量蒸馏”假说：无论特征向量源于语义对比还是随机高斯采样或稀疏自编码器（SAE）隐特征，只要在教师前向传播中注入任意转向向量 $v_{\text{steer}}$ 并生成无语义序列，学生均能通过微调无条件地将该向量蒸馏进自身权重中。然而，最终是否能在下游展现出宏观行为迁移，取决于该向量是否承载语义信息以及基座模型自身的表征强度。由于向模型注入语义向量会同时诱发“通用语义效应”与“模型特有非语义残差效应”（如改变 token 细微生成概率分布），当且仅当使用同构模型时，学生才能凭借完全相同的拓扑坐标系解读这层微弱的非语义统计扰动，从而解释了潜意识学习为何在不同模型架构间无法传递。

4. 优化动力学中的离群梯度抑制：揭示自适应优化器的使能机制

针对潜意识学习在语言模型中对优化器极度敏感的反常特性，研究剖析了损失函数对残差流梯度的结构分布。定义单步反向传播中真实样本与中立样本在 Assistant Tag 位置的损失梯度为 $g_{\text{teacher}}$ 与 $g_{\text{clean}}$，理论与实测均表明差值 $\cos(g_{\text{clean}} - g_{\text{teacher}}, v_{\text{teacher}})$ 恒为正值，即单步梯度天然包含沿 $v_{\text{teacher}}$ 方向的微弱推力。然而在标准随机梯度下降（SGD）中，少数 LoRA 参数会爆发极其巨大的离群梯度，其更新幅度完全淹没并冲垮了这一微细的对齐信号；而 Adam 类优化器通过二阶矩的逐参数归一化缩放（$1/\sqrt{v_t}$），自适应地压制了幅度位于底端 10% 的极值更新，使得微弱却一致的表征推力得以在多步累加中沉淀为权重偏移。

损失函数 / 训练策略¶

学生模型基于标准自回归语言建模交叉熵损失进行 LoRA 微调： $$\mathcal{L}_{\text{CE}}(\theta) = - \sum_{t=1}^{T} \log P_\theta(x_t \mid x_{<t})$$ 其中训练数据为经严格文本过滤与 LLM 判定后的无语义序列（如数字序列）。超参数采用 rank $r=8$、$\alpha=32$、AdamW 优化器、学习率 $1 \times 10^{-4}$ 并配合余弦退火调度，在 10k 样本上微调 2 到 10 个 Epoch。对于广义向量蒸馏实验，前向传播中采用预填充阶层向量注入，随机向量与 SAE 特征分别设置不同干预层与缩放倍率。

实验关键数据¶

主实验¶

在 Qwen2.5-7B-Instruct 等基座上，针对数字序列潜意识学习设置，评估因果干预下学生模型的特征偏好表达率（基于 50 道自由开放式测试题）；同时对比在不同优化器与模型架构下的跨模型传递效能。

实验配置 / 评估场景	评价指标	本文模型 / 干预配置	对照基线 / 参考模型	变化幅度 / 相对结论
学生端因果充分性（未微调参考模型 + $v_{\text{student}}$）	目标偏好命中率 (%)	64.2%	0.0%（干净参考模型）	+64.2%（证明向量足够诱导偏好）
学生端因果必要性（学生模型投影替换消融）	目标偏好命中率 (%)	28.5%	71.0%（未干预学生）	-42.5%（消除逾 50% 偏好行为）
教师端因果充分性（$v_{\text{teacher}}$ 生成数据微调）	目标偏好命中率 (%)	58.7%	0.0%（参考模型）	+58.7%（无系统提示下成功蒸馏）
教师端因果必要性（教师生成中消融 $v_{\text{teacher}}$）	目标偏好命中率 (%)	4.3%	71.0%（原始微调学生）	-66.7%（阻断绝大部分潜意识转移）
无提示注入 $v_{\text{teacher}}$ 重评分数字序列	负对数似然 (NLL/token)	0.6823	0.7273（未引导参考模型）	缩减 32% 基线至真实系统提示间隙
跨模型传递（Qwen 生成数据微调 OLMo）	相对损失缩减 (%)	< 0%（损失反弹增加）	> 50%（同构家族内互评）	异构完全失效，验证模型特异性

消融实验¶

消融分析涵盖优化器类型选择、LoRA 超参数敏感性以及跨数据模态（代码生成与文本释义）的泛化一致性。

配置变体	关键指标（偏好捕获率 / 相对效果）	说明
标准微调（AdamW + Rank-8 LoRA）	偏好捕获率：71.0% (高)	默认配置，完整诱发潜意识学习
替换优化器为纯 SGD（等学习率）	偏好捕获率：0.0% (完全失效)	离群梯度主导，无法对齐 $v_{\text{teacher}}$
替换优化器为纯 SGD（损失对齐学习率）	偏好捕获率：0.0% (完全失效)	证明即使达到相同训练损失，SGD 依然学不到表征
冻结底层 10% 极大参数规模（稀疏 Adam）	偏好捕获率：65.4% (恢复)	证实压制头部离群梯度是自适应优化器的核心贡献
切换至全参数微调（Full Fine-tuning）	偏好捕获率：< 5% (微弱/不稳定)	表明潜意识学习在 LLM 中高度偏好低秩子空间约束
切换数据模态至代码与文本释义	因果干预阻断率：> 75%	表明单一转向向量驱动机制跨多模态普遍成立

关键发现¶

转向向量是潜意识学习的充要中介：无论是教师生成侧的 $v_{\text{teacher}}$ 还是学生推理侧的 $v_{\text{student}}$，对其进行残差干预均能可逆地开启或关闭宏观偏好表达，证明该现象并非复杂的全网非线性隐蔽共谋，而是低维向量在潜空间中的忠实映射。
特异性与可预测性由表征强度决定：在 16 类动物属性的系统评估中，推理时转向成功的属性与能够发生潜意识学习的属性呈现近乎严格的一对一对应；在基座中表征极其薄弱的概念（如浣熊、兔子、长颈鹿等，其转向诱导成功率为 0%），其潜意识学习捕获率也必定为 0%。
Adam 优化器的逐参数缩放是学习成立的物理屏障：反向传播本身在每个 token 上都携带有沿着 $v_{\text{teacher}}$ 的投影分量，但在高维空间中，未加缩放的巨额离群梯度会将这一微弱信号彻底稀释冲垮；逐参数自适应缩放实质上起到了平滑梯度信噪比的滤波作用。

亮点与洞察¶

将神秘的潜意识学习还原为线性的转向向量蒸馏：跳出了既往工作在 Token 表面统计关联（如共现频率、特定发散 token）层面的浅层猜测，首次在隐空间层面构建了闭环、可干预且自洽的机理框架。
揭示了无语义数据传递语义特性的底层双轨效应：指出一个语义向量在作用于模型时，会不可避免地激发模型内部固有的“非语义统计指纹”，从而解释了为何无语义数据能成为特定模型专属的表征“特洛伊木马”。
为大模型对齐安全性与数据溯源提供了全新审计维度：该机制表明恶意微调或后门植入完全可以隐蔽在看似纯良无害的代码或数字数据中，安全审查单凭表层语义过滤无法保障合规，必须建立基于隐空间梯度与激活投影的深层检测机制。

局限与展望¶

跨架构与更深层模型普适性存在差异：实验观察到 Gemma-3-4b-it 表现出的潜意识学习效应显著弱于 Qwen2.5-7B-Instruct，且在全参数微调及 10 轮以上过长训练周期中效应衰减，表明网络结构内部的残差流特质对该机制有不可忽视的制约。
对自适应优化器理论证明尚不充分：尽管通过参数缩放冻结实验证实了抑制极大参数梯度的必要性，但对于 Adam 坐标系与残差流基底相互作用的严密解析数学证明仍有待进一步完善。
MLP 与 Transformer 存在机制分水岭：早期文献中全连接 MLP 在单步 SGD 下即可展现潜意识学习，而本文证实 Transformer 架构下必须依赖低秩与自适应优化，两者底层动力学的鸿沟仍未被统一解释。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从隐空间转向向量因果干预视角彻底解密了潜意识学习，视角极具突破性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖正反向充要干预、16 类偏好预测、跨模型与同架构对比、多数据模态及梯度动力学消融，证据链完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从现象直击本质，论述极其清晰严密。
价值: ⭐⭐⭐⭐⭐ 对大语言模型对齐安全性、数据污染审查及隐空间知识传递理论具有深远指导意义。

实验配置 / 评估场景	评价指标	本文模型 / 干预配置	对照基线 / 参考模型	变化幅度 / 相对结论
学生端因果充分性（未微调参考模型 + \(v_{\text{student}}\)）	目标偏好命中率 (%)	64.2%	0.0%（干净参考模型）	+64.2%（证明向量足够诱导偏好）
学生端因果必要性（学生模型投影替换消融）	目标偏好命中率 (%)	28.5%	71.0%（未干预学生）	-42.5%（消除逾 50% 偏好行为）
教师端因果充分性（\(v_{\text{teacher}}\) 生成数据微调）	目标偏好命中率 (%)	58.7%	0.0%（参考模型）	+58.7%（无系统提示下成功蒸馏）
教师端因果必要性（教师生成中消融 \(v_{\text{teacher}}\)）	目标偏好命中率 (%)	4.3%	71.0%（原始微调学生）	-66.7%（阻断绝大部分潜意识转移）
无提示注入 \(v_{\text{teacher}}\) 重评分数字序列	负对数似然 (NLL/token)	0.6823	0.7273（未引导参考模型）	缩减 32% 基线至真实系统提示间隙
跨模型传递（Qwen 生成数据微调 OLMo）	相对损失缩减 (%)	< 0%（损失反弹增加）	> 50%（同构家族内互评）	异构完全失效，验证模型特异性