Conditional Optimal Bridge for Riemannian Activation Steering¶

会议: NeurIPS 2026
arXiv: 2607.10517
OpenReview: https://openreview.net/forum?id=Ia9hqQHC34
代码: https://github.com/ZhaoHongjue/odesteer
领域: 安全
关键词: 激活引导, 薛定谔桥, 黎曼几何, 对数密度比, 分布外泛化

一句话总结¶

将大语言模型推理阶段的激活引导严格表述为残差流单位超球面上的薛定谔桥最优化问题，推导出对数密度比引导流与显式支持度门控，兼得强目标行为引导与分布外能力保持。

研究背景与动机¶

大语言模型基于线性表示假说的激活引导（Activation Steering）技术，因无需微调模型权重、仅在推理期通过修改中间残差流即可调控模型行为（如提升真实性、有用性或降低毒性）而备受关注。传统方法如 CAA 或 ITI 多通过对比样本集计算固定的均值差向量，并在推理阶段给所有样本施加同一固定偏移；而较新的动态引导方法如 ODESteer 和 SphericalSteer 尝试将干预方向与当前输入的激活状态关联。

然而，现有激活引导方法在理论和实践上面临双重脱节：理论上，多数方法在隐式优化期望与非期望激活分布之间的对数密度比（Log-Density-Ratio）目标，却缺乏从正规优化问题出发的数理推导与收敛性刻画；实践上，现有方法均未评估当前查询输入是否落在对比样本集的支持域内。在面对与对齐属性无关的分布外（OOD）提示词时，盲目的持续干预会导致模型基础推理与通识能力的严重灾难性退化——例如在 TruthfulQA 上微调获得的引导向量在迁移到 GSM8K 数学推理或 MMLU 学科常识时常常造成准确率暴跌。

本文从统计物理与最优传输视角切入：既然残差流激活向量范数在单层内部高度集中，可自然约束于单位超球面，那么激活迁移即可严谨刻画为流形上连接负向分布与正向分布的薛定谔桥（Schrödinger Bridge）动态问题。核心 idea：将超球面上的激活引导建模为以布朗运动为先验的薛定谔桥优化问题，通过 Sinkhorn 算法拟合端点势函数构建查询自适应的对数密度比引导流场，并自然引出支持度门控（Support Gate）以抑制分布外误干预。

方法详解¶

整体框架¶

Cobras（Conditional Optimal Bridge for Riemannian Activation Steering）通过两阶段运行。离线阶段，提取对比样本集 $\mathcal{D}^-$ 与 $\mathcal{D}^+$ 在指定层末尾 token 处的残差流激活并归一化至单位超球面 $\mathcal{S}$，以测地线距离构建参考测度，通过 Sinkhorn 迭代解出离散薛定谔端点势函数，并缓存参考提示词集合的支持度得分分布；在线生成阶段，对每个解码 token 计算基于对数势函数比梯度的黎曼引导流场，结合基于全局对比轴的对齐系数调节干预速度，并通过末尾提示词 token 触发支持度门控直接衰减或关闭对分布外输入的干预。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询激活（归一化至单位超球面）"] --> B["支持度评估与门控截断"]
    B -->|高支持度| C["计算薛定谔势函数赋权黎曼梯度流"]
    B -->|分布外低支持度| D["抑制/关闭干预，保留原始激活"]
    C --> E["对齐系数与测地角动态步长缩放"]
    E --> F["测地欧拉积分更新流形激活"]
    F --> G["恢复原始模长并输入后续层前向计算"]
    D --> G

关键设计¶

1. 超球面薛定谔桥与对数密度比极限流场：统一激活引导的连续动力学表述 针对现有方法经验性设定引导向量、缺乏严谨生成动力学机理的问题，Cobras 将残差流激活映射至单位超球面 $\mathcal{S}=\{\bm{x}\in\mathbb{R}^d:\|\bm{x}\|=1\}$，并在连续轨迹空间上建立以球面布朗运动 $Q$ 为参考测度的相对熵最小化问题 $\min_P \mathrm{KL}(P\|Q)$，其边缘分布受限于 $P_0=p_-$ 和 $P_1=p_+$。根据 Léonard 因子分解，其概率流 ODE 漂移项严格对应为势函数比值的黎曼梯度： $$\frac{\mathrm{d}\bm{x}_t}{\mathrm{d}t} = \frac{\sigma^2}{2}\nabla_{\mathcal{S}}\log\frac{\psi(\bm{x}_t, t)}{\varphi(\bm{x}_t, t)}$$ 在有限样本离散化下，通过 Sinkhorn 算法交替更新求得负端点离散势函数 $\widehat{\varphi}_{0,j}$ 与正端点势函数 $\widehat{\psi}_{1,i}$。在推理求导时，通过引入核加权求和，将引导流场展开为对目标正样本的测地线吸引力与对负样本的排斥力之差： $$\bm{v}(\bm{x}) = \sum_{i} w_i^+(\bm{x}) \log_{\bm{x}}(\bm{h}_i^+) - \sum_{j} w_j^-(\bm{x}) \log_{\bm{x}}(\bm{h}_j^-)$$ 其中 $\log_{\bm{x}}(\bm{y})=\frac{\theta}{\sin\theta}(\bm{I}-\bm{x}\bm{x}^\top)\bm{y}$ 为球面上沿测地线的对数映射。理论证明表明，当正则化系数 $\varepsilon \to \infty$ 时，该流场以 $\mathcal{O}(1/\varepsilon)$ 速率一致收敛于核密度估计下的对数密度比梯度场，将 CAA、SphericalSteer、ODESteer 等现有方法统一为不同流形与密度假设下的特例。

2. 基于势函数乘积的支持度门控：杜绝分布外灾难性退化的防护屏障 针对现有引导向量由于无法识别输入分布而在与对齐任务无关的数学推理或通用问答上引起能力退化的问题，Cobras 巧妙利用薛定谔桥中间时刻边缘密度正比于双向势函数乘积 $P_t(\bm{x})\propto \varphi(\bm{x},t)\psi(\bm{x},t)$ 的数学特性，构建非归一化支持度度量： $$\hat{p}_{b_g}(\bm{x}) = \left(\sum_j \widehat{\varphi}_{0,j} K_{b_g}(\bm{x},\bm{h}_j^-)\right) \left(\sum_i \widehat{\psi}_{1,i} K_{b_g}(\bm{x},\bm{h}_i^+)\right), \quad u(\bm{x}) = -\log \hat{p}_{b_g}(\bm{x})$$ 通过在分布内保留提示词参考集 $\mathcal{D}_{\mathrm{ref}}$ 上预先校准分数分位数 $r(\bm{x})$，引入覆盖率超参 $p\in(0,1)$，定义连续支持度门控因子： $$g(\bm{x}) = \min\left\{1, \frac{1-r(\bm{x})}{1-p}\right\}$$ 当查询属于分布内高支持度区域时 $r(\bm{x})\le p$，$g(\bm{x})=1$ 保持全强度干预；当面对 GSM8K、MMLU 等分布外提示词时，$u(\bm{x})$ 显著偏高使得 $g(\bm{x})\to 0$，从而在提示词阶段即自动关闭干预。该门控在提示词末尾 token 计算一次并缓存至后续生成步，杜绝了无意义的特征破坏。

3. 对齐系数与测地欧拉积分：保范数流形平滑更新 针对激活原本已满足目标行为时若仍过度干预会导致输出信息量暴跌的缺陷，Cobras 在黎曼切空间上引入基于 von Mises–Fisher（vMF）分布的对齐系数： $$s(\bm{x}) = \frac{1}{1 + e^{2\kappa \cos(\bm{x}, \bm{\mu})}}$$ 其中 $\bm{\mu}$ 为正负对比样本均值差归一化后的中心对比轴。若激活已高度偏向期望方向，$\cos(\bm{x},\bm{\mu})>0$ 使得 $s(\bm{x})$ 趋近于 0，自动减弱引导强度。在 $K$ 步测地欧拉积分中，激活始终沿着指数映射更新： $$\bm{x}_{k+1} = \exp_{\bm{x}_k}\left(\Delta \frac{\bm{v}(\bm{x}_k)}{\|\bm{v}(\bm{x}_k)\|}\right), \quad \Delta = \frac{T}{K} s(\bm{x}_0) g_{\mathrm{prompt}} \theta_0$$ 更新严格维持在单位超球面上，最终只需乘回初始激活的绝对范数 $\|\bm{h}_q\|$ 即可无缝输入下一层，避免了欧式线性相加破坏高维激活范数分布而产生的困惑度激增。

损失函数 / 训练策略¶

离线阶段求解离散薛定谔桥，损失函数即为带边缘约束的相对熵，其 Sinkhorn 对数空间更新公式为： $$\log\widehat{\varphi}_{0,j} \leftarrow -\log N_- - \log\left(\sum_i \exp\left[\log\widehat{\psi}_{1,i} + \log\widehat{Q}_{01,ji}\right]\right)$$ $$\log\widehat{\psi}_{1,i} \leftarrow -\log N_+ - \log\left(\sum_j \exp\left[\log\widehat{\varphi}_{0,j} + \log\widehat{Q}_{01,ji}\right]\right)$$ 其中参考测度核矩阵元素 $\widehat{Q}_{01,ji} \propto \exp\left(-\frac{d_{\mathcal{S}}(\bm{h}_j^-, \bm{h}_i^+)^2}{2\varepsilon}\right)$，只需 5 次 Sinkhorn 迭代即可高精度收敛。在线解码阶段无需反向传播梯度，仅进行前向切空间向量累加与指数映射。

实验关键数据¶

主实验¶

在 UltraFeedback（有用性，Skywork 奖励胜率）、TruthfulQA（真实性，LLaMA2-7B 判别器评估的 True% 与 True×Info%）及 RealToxicityPrompts（解毒性，Perspective API 毒性得分与 GPT-2-XL 困惑度 PPL）三个主流对齐任务上，覆盖 Falcon-7B、Mistral-7B、LLaMA3.1-8B 和 Qwen2.5-7B 四种主流架构模型：

模型	方法	有用性 Win (%)↑	真实性 True (%)↑	真实度×信息量 T×I (%)↑	毒性得分 Toxic ↓	困惑度 PPL ↓
Falcon-7B	Original	50.0 ± 0.0	32.1 ± 0.95	29.1 ± 0.92	0.255 ± 0.004	15.358 ± 0.45
	CAA	49.9 ± 2.3	42.0 ± 1.90	37.9 ± 1.50	0.076 ± 0.007	75.550 ± 9.06
	ODESteer	49.7 ± 1.2	35.4 ± 0.53	32.1 ± 0.67	0.188 ± 0.006	15.709 ± 0.40
	SphericalSteer	49.5 ± 2.3	62.9 ± 1.47	37.7 ± 1.35	0.147 ± 0.011	21.542 ± 1.54
	Cobras (Ours)	52.8 ± 2.6	45.5 ± 2.12	40.3 ± 1.39	0.138 ± 0.012	15.304 ± 0.59
Mistral-7B	Original	50.0 ± 0.0	41.7 ± 0.76	36.9 ± 0.62	0.207 ± 0.008	18.542 ± 0.50
	CAA	53.7 ± 4.6	74.7 ± 0.21	63.2 ± 0.99	0.167 ± 0.011	18.912 ± 0.28
	ODESteer	54.8 ± 3.9	73.9 ± 1.44	65.2 ± 1.62	0.101 ± 0.008	21.081 ± 0.16
	SphericalSteer	50.3 ± 2.9	76.6 ± 1.32	60.8 ± 1.63	0.099 ± 0.005	21.295 ± 0.12
	Cobras (Ours)	57.1 ± 3.3	85.2 ± 0.97	66.4 ± 1.90	0.096 ± 0.006	20.631 ± 0.33
LLaMA3.1-8B	Original	50.0 ± 0.0	45.1 ± 1.31	43.0 ± 1.50	0.218 ± 0.002	18.562 ± 0.11
	CAA	50.9 ± 0.87	68.1 ± 2.22	61.0 ± 2.02	0.152 ± 0.005	19.647 ± 0.35
	ODESteer	56.3 ± 0.90	67.3 ± 2.54	62.5 ± 2.57	0.124 ± 0.002	19.831 ± 0.22
	SphericalSteer	52.3 ± 1.79	86.9 ± 2.39	63.5 ± 0.90	0.123 ± 0.010	23.039 ± 0.27
	Cobras (Ours)	59.7 ± 1.6	82.8 ± 0.31	68.1 ± 1.34	0.107 ± 0.004	20.083 ± 0.18
Qwen2.5-7B	Original	50.0 ± 0.0	78.3 ± 0.58	64.8 ± 0.71	0.194 ± 0.001	22.166 ± 0.37
	CAA	50.0 ± 1.59	81.2 ± 1.11	67.7 ± 2.09	0.119 ± 0.005	28.218 ± 1.01
	ODESteer	50.7 ± 1.22	82.2 ± 1.46	69.2 ± 1.43	0.170 ± 0.004	22.310 ± 0.57
	SphericalSteer	43.6 ± 1.64	82.9 ± 1.87	61.4 ± 2.09	0.129 ± 0.007	68.485 ± 2.19
	Cobras (Ours)	51.9 ± 1.6	83.3 ± 0.43	69.7 ± 0.50	0.114 ± 0.006	23.786 ± 0.63

消融实验¶

在 LLaMA3.1-8B 模型上，以 TruthfulQA 训练的引导器，考察流形几何形式、样本加权机制、对齐系数及支持度门控对目标任务与跨任务分布外推理（GSM8K 数学推理、MMLU 综合学科知识）的影响：

变体配置	TruthfulQA True (%)↑	TruthfulQA Info (%)↑	TruthfulQA T×I (%)↑	GSM8K Acc (%)↑	MMLU Acc (%)↑	说明
Unsteered (原始模型)	45.1	97.6	43.0 ± 1.5	48.7	61.6	基础对照，无引导干预
Cobras (完整模型, $p=0.7$)	74.8	88.2	63.6 ± 1.0	49.5	61.6	双向权衡最佳，OOD完全保持
欧式几何 (Euclidean)	73.2	87.8	61.5 ± 1.2	15.1	61.6	破坏流形测地线，GSM8K大幅退化
均匀样本权重 (Uniform Weights)	74.4	87.6	62.9 ± 0.6	49.7	61.6	移除势函数加权，真实度略微下滑
去掉对齐系数 ($s=1$)	81.5	52.1	34.3 ± 1.1	48.8	61.6	盲目干预致回答空泛，信息量崩塌
去掉对齐系数 (步长匹配对照)	75.5	74.1	50.4 ± 0.6	49.4	61.6	缩短步长后仍落后完整模型13个点
去掉支持度门控 ($g=1$)	83.6	83.4	67.6 ± 0.6	0.6	44.4	无法识别OOD，GSM8K准确率直接归零

关键发现¶

支持度门控是保住模型通用推理能力的生命线：去掉支持度门控后，虽然在 TruthfulQA 上的真实度指标略升至 67.6%，但在 GSM8K 上的推理准确率从 49.5% 暴跌至 0.6%，MMLU 从 61.6% 跌至 44.4%。这证明以往文献中关于“激活引导严重损害模型基础能力”的观察主要是缺乏输入支持度检验所致。
对齐系数是平衡“真”与“有用”的关键：如果强行抹除对齐系数 $s(\bm{x})$，模型会为了追求安全/真实而走向敷衍拒绝，信息量指标暴跌至 52.1%，导致综合指标 $T\times I$ 下降至 34.3%。
黎曼流形测地度量相比欧氏空间的必要性：将测地线与核度量替换为欧式距离后，即使校准了相同覆盖率，欧式距离在高维分布外判别上的失效使得 GSM8K 准确率从 49.5% 跌落至 15.1%。

亮点与洞察¶

数理立论严密，建立理论统一视角：将激活干预严谨刻画为单位超球面上的薛定谔桥最优化问题，并从理论上证明了在正则化极限下其流场精确还原为对数密度比梯度，优雅地将 CAA、SphericalSteer、ODESteer 纳为特例。
理论衍生的支持度门控具有通用插件价值：作者从薛定谔势函数乘积引出的支持度度量，进一步简化为通用的 kNN 门控，可直接作为外部即插即用模块装配到 CAA、ODESteer 等已有基线中，均能在牺牲极小对齐得分的前提下全面恢复 GSM8K 与 MMLU 的分布外基准性能。
计算开销可控与工程实用性：离线求解 Sinkhorn 仅需 13ms（A100 GPU），在线解码阶段通过 25% 样本下采样与 2 步积分，可将生成推理延迟从 32% 压缩至 7%，而目标对齐得分仅损失 1.8 个百分点。

局限与展望¶

计算与显存复杂度受制于样本量：离线 Sinkhorn 拟合与在线流场评估的时间复杂度包含正负样本对的笛卡尔积项 $\mathcal{O}(N_+ N_-)$，当对比样本量扩增至 10 万量级时，仅代价矩阵就耗尽显存（37.3 GiB），难以直接支撑超大规模对比集。
理论收敛性假设与动态自适应的差距：对数密度比极限还原是在固定共享核带宽 $\varepsilon\to\infty$ 假定下成立，而实际工程中采用的查询动态自适应核带宽 $b_\pm(\bm{x})$ 尚未获得严格的最优性数学证明。
超球面假设在极深层或特定架构下的有效性：尽管在 LLaMA 和 Mistral 的中间层激活范数高度集中（变异系数低于 8%），但在 Gemma-2-2B 或 MoE 架构（如 GPT-OSS-20B）的部分层中变异系数达到 14.6%，严格的球面限制可能需推广至一般黎曼流形。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将薛定谔桥动力学与黎曼流形引入大模型激活引导，理论推导极其漂亮完整。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大模型、3 项对齐任务、4 项分布外迁移基准、详尽的消融与跨方法通用门控实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、数学推导清晰规范，理论与实验结合紧密。
价值: ⭐⭐⭐⭐⭐ 为大模型免微调轻量对齐与安全防护提供了坚实的理论基石与高实用价值的即插即用方案。