AMPS: Adaptive Modality Preference Steering via Functional Entropy¶

会议: NeurIPS 2026
arXiv: 2602.12533
OpenReview: https://openreview.net/forum?id=sebyXeDUnB
论文: https://arxiv.org/abs/2602.12533
代码: 待确认
领域: 多模态VLM
关键词: 多模态大模型、模态偏好导向、泛函熵、激活引导、图文冲突

一句话总结¶

AMPS 针对多模态大语言模型在全局统一强度干预下易崩溃或导向不足的矛盾，基于连续泛函熵与对数索伯列夫不等式构建模态贡献率诊断指标，并利用轻量辅助网络自适应预测样本级缩放的导向向量，在大幅矫正模态偏好的同时维持推理生成的稳定性。

研究背景与动机¶

多模态大语言模型（MLLMs）在图文推理、跨模态问答以及具身决策中展现出强大能力，但其内部表征往往存在根深蒂固的模态偏好偏见。当面对复杂的图文上下文或图文冲突任务时，模型通常表现出非对称的模态依赖性：有时过度依赖语言模型的先验文本偏见而对视觉证据视而不见，有时又过度被图像中局部的显著视觉线索吸引而忽略关键的文本指令约束。为了控制并校正这种偏倚，表征层面的激活导向（Activation Steering）与对比提示向量微调逐渐成为主流方案，通过在推理阶段向模型隐藏状态施加校准后的模态偏好向量来引导输出走向目标模态。

然而，现有的偏好导向方法均采用全局固定的统一干预强度（Uniform Steering Intensity）。这种一刀切策略忽略了一个核心事实：不同输入样本对表征干预的敏感脆弱度存在极大的异质性。在跨模态冲突严重或注意力高度敏感的样本上，施加强烈的导向向量极易破坏模型原本正常的自回归解码与语义连贯性，导致输出重复、语义混乱甚至完全崩溃；而在另一些对表征扰动不敏感的样本上，过于保守的弱导向信号又无法引起显著的偏好转移，使得干预失效。这种偏好矫正幅度与推理稳定性之间的权衡难题，构成了全局静态导向方法的本质瓶颈。

解决这一瓶颈的关键在于实现实例自适应的细粒度强度调节，但这要求系统能够精确感知并量化每个样本内部各模态的信息贡献度与干预敏感度。本文的核心 idea 是：基于连续随机变量的泛函熵理论与高斯对数索伯列夫不等式，在 KV 缓存扰动下通过泛函费舍尔信息量化各模态的边际贡献率，进而训练轻量 MLP 模块根据输入隐状态直接推断样本级的自适应导向强度缩放，以零推理开销实现稳定而高效的模态偏好调控。

方法详解¶

整体框架¶

AMPS 的核心目标是在不破坏模型固有生成能力的前提下，实现样本级自适应的模态偏好导向。整个系统包含离线诊断与在线推断两大阶段：首先，在离线阶段针对多模态输入构建特定的 KV 缓存高斯扰动，利用对数索伯列夫上界计算模态贡献率（MCR），量化样本偏离任务平均偏好的程度并确定导向缩放目标；随后，训练一个两层 MLP 轻量网络从无提示的标准隐藏状态直接学习预测这一自适应缩放的导向向量；最后在推理阶段，仅需前向运行该轻量模块并将其输出加权注入选定的 Transformer 层，从而达成高效稳定的自适应干预。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入与KV缓存<br/>V: 视觉标记 / T: 文本指令"] --> B["基于对数索伯列夫不等式的模态贡献率诊断<br/>高斯扰动KV缓存评估泛函费舍尔信息"]
    B --> C["偏好偏差感知的自适应导向强度缩放<br/>对比提示提取基准向量并依据偏差动态加权"]
    C --> D["无提示前向隐状态的轻量导向预测网络<br/>两层MLP直接学习原始隐状态到缩放向量映射"]
    D --> E["测试时自适应隐状态注入与稳定生成<br/>第14层单点无损注入与零扰动自回归解码"]

关键设计¶

1. 基于对数索伯列夫不等式的模态贡献率诊断：通过泛函费舍尔信息量化模态边际贡献 传统注意力权重难以真实反映输出对特定模态的因果依赖，直接计算互信息或经验熵又面临高维对数积分难解的问题。AMPS 从连续随机变量的泛函熵理论出发，定义扰动状态分布与原始输出分布之间的交叉熵作为敏感度泛函 \(f_m = \text{CE}(p_\theta(\cdot \mid \mathbf{z}_m), p_\theta(\cdot \mid \mathbf{x}))\)，其中 \(\mathbf{z}_m\) 表示将模态 \(m\)（视觉 \(V\) 或文本 \(T\)）对应的 KV 缓存切片注入各向同性高斯噪声 \(\epsilon \sim \mathcal{N}(0, \sigma_m^2 \mathbf{I})\) 后的隐藏表示。为了克服泛函熵 \(\text{Ent}_\mu(f_m)\) 积分难算的问题，利用高斯测度下的对数索伯列夫不等式，将泛函熵上界转化为泛函费舍尔信息：

\[\text{Ent}_{\mu}(f_m) \leq \frac{1}{2}\int_{\mathbb{R}^d}\frac{\|\nabla_{\mathbf{z}_m}\text{CE}(p_\theta(\cdot\mid\mathbf{z}_m), p_\theta(\cdot\mid\mathbf{x}))\|^2}{\text{CE}(p_\theta(\cdot\mid\mathbf{z}_m), p_\theta(\cdot\mid\mathbf{x}))} d\mu_m(\mathbf{z})\]

通过 \(N\) 次独立高斯采样（实验中取 \(N=3\)），计算交叉熵关于扰动 KV 缓存梯度的二范数平方比值作为模态贡献得分（MCS） \(\mathcal{C}_{m,j} = \frac{\|\nabla_{\mathbf{z}_{m,j}}\text{CE}\|^2}{\text{CE}}\)，进而求平均得到 \(\mathcal{C}_m = \frac{1}{N}\sum_{j=1}^N \mathcal{C}_{m,j}\)。最终将该模态的贡献归一化为模态贡献率（MCR） \(\mathcal{R}_m = \frac{\mathcal{C}_m}{\sum_{k} \mathcal{C}_k}\)。这一设计从信息几何角度严谨刻画了输出对特定模态的动态依赖强度。

2. 偏好偏差感知的自适应导向强度缩放：基于任务锚点偏差防止过度干预 统一强度的导向向量无法区分鲁棒样本与易崩样本。AMPS 通过构建成对对比提示生成原始导向向量，例如在输入后分别追加 \(\mathcal{P}^+=\)“基于视觉上下文”与 \(\mathcal{P}^-=\)“基于文本上下文”，在选定隐藏层提取差分向量 \(h_{[I,T,P_v]}^{(l)} - h_{[I,T,P_t]}^{(l)}\)。为了让强度感知样本的偏好程度，AMPS 计算同任务所有样本视觉 MCR 的均值作为任务锚点 \(\widetilde{r_v}\)，并度量当前样本视觉比率 \(r_v\) 相对该锚点的相对偏差，构建强度缩放因子 \(\gamma\)：

\[\gamma = 1 + \beta \cdot \frac{r_v - \widetilde{r_v}}{\widetilde{r_v}}\]

其中 \(\beta\) 是调节偏好响应灵敏度的超参数。将缩放因子作用于对比隐藏差分向量，得到带样本敏感度缩放的预测目标向量 \(v_{[I,T]}^{(l)} = (1 + \gamma)\cdot (h_{[I,T,P_v]}^{(l)} - h_{[I,T,P_t]}^{(l)})\)。当样本自身模态偏离正常基准较大时，自适应扩大导向拉力；若样本属于敏感区或偏好本已平衡，则平滑压缩干预强度，避免了盲目强干预引起的解码崩溃。

3. 无提示前向隐状态的轻量导向预测网络：将高开销诊断内化为零延迟前向推断 计算 MCR 需要反向传播求梯度和多次 Monte Carlo 采样，若在推理期执行将导致约 \(4.3\times\) 的延迟增长。为此，AMPS 采用“离线诊断指导监督，在线极简前向预测”的设计。系统构建一个结构为两层 MLP 的轻量预测模块 \(g_\Theta\)。在无提示的原始多模态输入 \(h_{[I,T]}^{(l)}\) 状态下，优化目标仅为让 MLP 拟合离线计算好的缩放导向向量 \(v_{[I,T]}^{(l)}\)：

\[\Theta^* = \arg\min_\Theta \mathbb{E}_{[I,T]} \left\| v_{[I,T]}^{(l)} - g_\Theta\left(h_{[I,T]}^{(l)}\right) \right\|_2^2\]

在实际推理部署时，原多模态模型无需任何提示扩充或前向回退。模型在第 14 层（以实验推荐为准）计算出隐藏状态 \(h^{(l)}\) 后，经由 \(g_{\Theta^*}\) 得到预测向量并进行缩放注入：\(\tilde{h}^{(l)} = h^{(l)} + \alpha \cdot g_{\Theta^*}(h^{(l)})\)。这一设计完全切断了推理对梯度与 KV 缓存扰动的依赖，仅增加不足 0.3% 的显存和 1.03 倍的推断耗时。

损失函数 / 训练策略¶

离线阶段，基础大模型参数全程冻结。利用包含图文冲突的样本集提取第 14 层隐藏状态，使用均方误差（MSE）损失监督轻量两层 MLP 的参数 \(\Theta\)。扰动尺度 \(\sigma_m\) 依据对应 KV 缓存的标准差进行校准（Qwen 系列设为 \(0.1\times \text{std}\)，LLaVA 系列设为 \(1.0\times \text{std}\)），Monte Carlo 采样次数设为 \(N=3\)。推理时注入强度超参 \(\alpha\) 可在全局维持统一取值，而样本级的强弱变化已自适应编码在 \(g_{\Theta^*}\) 的输出幅值中。

实验关键数据¶

主实验¶

实验在显式图文冲突基准数据集 \(\text{MC}^2\) 的 8 类任务（活动、属性、颜色、计数、目标、位置、情感、体育）上展开，测试对视觉偏好（Vision）与文本偏好（Text）双向调控的准确率。

表 1：在 \(\text{MC}^2\) 数据集上不同提示工程与导向方法的效果对比（Qwen2.5VL-7B）

方法	导向目标	Activity	Attribute	Color	Counting	Object	Positional	Sentiment	Sport	平均准确率 (%)
MLLM-only	偏向视觉	12.4	0.8	4.0	11.6	16.0	13.2	38.0	26.4	15.30
Inst Design	偏向视觉	24.0	20.0	10.8	27.2	32.0	20.4	63.2	60.8	32.30
CoT Prompting	偏向视觉	27.6	16.0	21.6	44.4	35.6	18.0	52.4	57.6	34.20
Few-shot	偏向视觉	12.0	10.0	2.0	9.0	25.0	11.0	38.0	32.0	17.20
传统 L2S	偏向视觉	35.6	38.8	22.4	45.2	56.4	29.6	78.4	78.8	48.10
AMPS (本文)	偏向视觉	68.0	85.6	88.8	52.8	71.2	66.8	83.2	67.6	73.00
MLLM-only	偏向文本	46.0	68.8	39.6	43.6	20.0	38.0	14.0	12.8	35.40
Inst Design	偏向文本	46.8	72.8	55.6	35.6	24.4	40.4	11.6	14.4	37.70
CoT Prompting	偏向文本	63.6	83.6	75.6	58.0	53.2	62.8	20.4	27.2	55.60
Few-shot	偏向文本	77.0	89.0	73.0	70.0	60.0	73.0	42.0	21.0	63.10
传统 L2S	偏向文本	67.6	84.4	82.8	54.8	57.6	50.8	41.2	69.6	63.60
AMPS (本文)	偏向文本	80.8	68.0	50.8	96.8	82.0	77.6	70.4	83.2	76.20

表 2：跨架构与跨模型规模的视觉偏好导向表现对比（Base vs. L2S vs. AMPS）

模型架构	规模	基线 Base (%)	传统 L2S (%)	AMPS (本文) (%)	相对 L2S 绝对提升 (%)
LLaVA-1.5	7B	14.20	16.05	22.35	+6.30
LLaVA-1.5	13B	12.70	19.50	49.65	+30.15
Qwen2.5-VL	3B	33.55	39.10	46.60	+7.50
Qwen2.5-VL	7B	42.00	54.00	73.00	+19.00

消融实验¶

在 Qwen2.5VL-3B 模型上对各关键模块进行逐步剥离验证，评估各组件在视觉偏好导向任务中的表现。

表 3：Qwen2.5VL-3B 视觉偏好导向模块消融实验结果

实验配置	模块组合说明	关键任务指标 (Color / Count / Obj)	全局平均准确率 (%)	性能变化幅度
无导向 (w/o steering)	原始模型前向推理，无激活干预	41.2 / 12.0 / 60.8	33.55	基准对齐
无缩放 (w/o scaling)	传统 L2S 模块，固定导向向量目标	55.2 / 17.2 / 68.4	39.10	+5.55
完整模型 (Full AMPS)	MCR 泛函熵诊断 + 自适应偏差缩放	61.6 / 32.0 / 76.0	46.60	+13.05 (较基准) / +7.50 (较 L2S)

此外，在训练与推理开销测试中： - 离线诊断期（\(N=3\)）：单样本耗时由基础前向 0.34s 增至 1.46s（约 \(4.29\times\) 开销，远优于理论上限的 \(6\times\)），显存开销仅增加 162 MB（+2.08%）。 - 在线推理期：单样本耗时从 0.39s 仅微增至 0.40s（\(1.03\times\) 开销），显存增加 22 MB（+0.29%），证明了极佳的工程可行性。

关键发现¶

自适应缩放机制是解决崩溃的核心：消融表显示，单纯引入 L2S 虽能将均分从 33.55% 提升到 39.10%，但在敏感样本上加大强度便会发生生成崩溃；而加上自适应缩放组件后进一步跃升至 46.60%，特别是计数（Counting 从 17.2% 飙升至 32.0%）和颜色（Color 从 55.2% 提升至 61.6%）这类容易受语言先验干扰的细粒度属性提升尤为显著。
视觉转向挑战性显著大于文本转向：在基础模型中，由于语言大模型预训练带来的先验强惯性，模型普遍更易受文本牵引（文本基础准确率平均在 60%~85% 之间），而在强迫模型转向视觉证据时难度极大（基线准确率多在 12%~33%）。AMPS 在视觉偏好导向上展现出巨大弹性，例如在 LLaVA-13B 上将视觉遵循率由 19.50% 提升至 49.65%，相对提升超过 \(150\%\)。
强度扫描的鲁棒性拓宽：当扫描注入超参 \(\alpha\) 时，传统 L2S 在强度超出阈值后表现呈断崖式下跌，而 AMPS 在更宽的超参范围内均保持高准确率且无生成乱码，证明动态缩放成功滤除了破坏性扰动。

亮点与洞察¶

将泛函分析工具落地于大模型内部可解释性：巧妙运用连续泛函熵和高斯对数索伯列夫不等式，规避了高维离散概率分布难以积分的数值计算难题，将模态敏感度转化为梯度范数与交叉熵的比值，为量化因果依赖提供了扎实的理论支点。
离线复杂诊断与在线极简推断的工程解耦：通过“以慢引快”的设计哲学，将 Monte Carlo 多次前向采样与梯度的繁重开销锁定在训练样本阶段，推理部署时模型完全免于二次梯度计算，以几乎为零的延迟实现即插即用。
通用的表征干预安全阀思维：AMPS 揭示了激活工程（Activation Steering）中的普遍规律，即干预敏感度在样本间存在巨大方差，利用隐状态内生特征动态调节注入强度，可直接迁移至大模型事实对齐、去幻觉及安全性控制等广泛场景。

局限与展望¶

依赖任务级静态先验锚点：缩放因子计算中采用了当前任务样本的平均视觉贡献率 \(\widetilde{r_v}\) 作为锚点，在面对开放域、无任务标签或多任务混合流式输入时，锚点的确定策略需要进一步泛化为无监督动态估计。
层选择与模态扰动的离散性：实验中固定将干预置于第 14 层，且 KV 扰动采用统一高斯方差；未来可探索全层动态分配或依据注意力头细粒度感知的多层联合导向。
单步隐状态预测的动态修正能力：在长文本自回归生成过程中，导向仅在单层隐状态处一次性注入，未能根据后续生成 token 动态反馈闭环修正偏好，后续可与推理解码期的动态验证机制结合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将泛函熵理论与对数索伯列夫不等式引入多模态大模型的模态偏好诊断，数学动机严谨且形式优美。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 款不同规模的主流 MLLM、8 类细粒度任务、双向偏好导向及完备的开销敏感性分析。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，理论推导与工程落地的衔接极为严密清晰。
价值: ⭐⭐⭐⭐⭐ 为大模型表征导向技术在面对稳定性与干预强度权衡时提供了一套极具推广价值的标准范式。