跳转至

When Modality Gap Reduction Fails: Prediction-Level Misalignment in Vision-Language Models

会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态 VLM
关键词: 模态差距, 零样本分类, 预测级集聚, CLIP, 决策边界

一句话总结

揭示模态差距缩小并不必然提升零样本分类精度的深层机制,证明差距消除引入的类别偏置会导致预测标签向少数类别坍缩(预测级集聚效应),并给出严格的边际分析与诊断干预。

研究背景与动机

对比语言-图像预训练(CLIP)通过将视觉与文本嵌入映射至共享的高维超球面表征空间,奠定了现代多模态大模型与零样本迁移任务的基石。然而,预训练后编码器表征天然呈现出模态隔离聚集的几何特性,即图像嵌入簇与文本嵌入簇在向量空间中存在系统性的模态差距(Modality Gap)。以往大量工作认为该间隙是多模态对齐不充分的病理表征,进而催生了一系列通过后验线性平移(Linear Correction)、表征正则化后微调(如 CLIPRefine)或预训练对齐约束(如 AlignCLIP)来最小化图像与文本均值间距的模态差距消除方法。这些研究普遍基于一个核心假设:平均模态差距的单调缩小必然带来更精准的跨模态几何对齐并一致改善下游任务性能。

然而,平均几何距离的缩小并不能在下游评测中稳定转化为分类精度的提升,尤其在线性平移修正过度时,模型分类准确率甚至会出现灾难性雪崩。这一经验现象与模态差距消除方法的理论预期产生了根本性矛盾:传统的模态差距衡量标准仅定义为图像与文本全局均值嵌入向量差值的 \(L_2\) 范数平方,属于一种粗粒度的全局几何平均统计量;而下游图像零样本分类决策依赖的是输入图像与所有候选类别文本原型之间的局部内积排序与细粒度决策边界。当全局性的均值校正施加于非均匀的类别原型分布时,各类别原型的相对决策边际会发生非对称扭曲,从而在输出空间打破原始模型维持的类别判别平衡。

本文深入剖析了这一平均几何对齐与下游决策效能严重脱节的根本矛盾,将视角从高维嵌入空间的近邻拓扑转向分类器最终的输出预测空间分布。研究揭示出过度平移修正会导致模型将原本判定正确的样本系统性地重定向并集中倾倒至少数特定类别中,导致输出标签分布发生病态坍缩。核心 idea:模态差距消除在投影空间引入了与类别文本原型相关的非对称得分偏置,诱发预测标签向少数特定类别集中坍缩的“预测级集聚”(Prediction-Level Hubness),导致下游零样本分类边际失效与准确率恶化。

方法详解

整体框架

本文针对模态差距消除在下游零样本分类中的失效机理,构建了一套从显式偏置代数分解、输出空间集聚诊断到反向得分空间干预的完整分析体系。在标准的零样本分类设定中,模型接收输入图像并经过视觉编码器映射为归一化嵌入向量,同时根据文本模板将各候选类别的类别名转化为文本嵌入原型;最终预测通过取余弦相似度最高(或未归一化内积最高)的原型对应的类别标签来实现。

当施加线性平移以消除均值差距时,图像嵌入沿差距方向逆向位移,文本嵌入则顺向位移。本框架通过将该平移操作下的相似度变化精确展开,解析出其引起的与样本无关但与特定类别强相关的得分偏置项;随后在最终预测输出空间量化预测类别频次的不均衡度(Predicted-Class Gini)与有效熵,并追踪错误预测样本向各目的类别的流向集中度;最后设计得分空间的偏置扣除干预机制以实施反向因果验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与候选类别文本"] --> B["模态差距平移与得分偏置诱导<br/>展开内积相似度分离出独立类别偏置项"]
    B --> C["边际失衡与预测级集聚诊断<br/>量化预测类别基尼系数与错误转移流向"]
    C --> D["得分空间反向偏置扣除干预<br/>反向对冲类别偏置恢复原始决策边际"]
    D --> E["零样本输出分类标签"]

关键设计

1. 模态差距平移与得分偏置诱导:平均模态差距缩减导致非对称类别得分漂移

为了阐明全局表征平均距离缩小破坏局部决策边际的根源,论文以最直观且解析可控的后验几何线性修正(Linear Correction)为切入点。设图像特征集合为 \(\{x_i\}_{i=1}^N \subset \mathbb{R}^d\),文本特征集合为 \(\{t_j\}_{j=1}^N \subset \mathbb{R}^d\)。全局模态差距向量定义为两模态均值中心之差: $\(g = \frac{1}{N}\sum_{i=1}^N x_i - \frac{1}{N}\sum_{j=1}^N t_j\)$ 平均模态差距则由该向量的平方模长刻画:\(\text{MG} = \|g\|_2^2\)。线性校正通过引入修正强度超参数 \(\alpha\),将图像与文本嵌入沿相反方向位移:\(x_i^{(\alpha)} = x_i - \alpha g\),\(t_c^{(\alpha)} = t_c + \alpha g\)。在未归一化内积打分准则下,校正后的相似度得分为: $\(s_{i,c}^{(\alpha)} = \langle x_i - \alpha g, t_c + \alpha g \rangle = \langle x_i, t_c \rangle + \alpha \langle x_i, g \rangle - \alpha \langle g, t_c \rangle - \alpha^2 \|g\|_2^2\)$ 对于给定的输入样本图像 \(i\),式中 \(\langle x_i, t_c \rangle\) 为原始评分,\(\alpha \langle x_i, g \rangle\) 与 \(-\alpha^2 \|g\|_2^2\) 对所有候选类别 \(c\) 均为常数位移,不影响类别间的 argmax 排序。唯一依赖于类别索引 \(c\) 的项是具有一阶效应的偏置量: $\(b_c = -\langle g, t_c \rangle\)$ 该偏置表明,若某一候选类别的文本原型 \(t_c\) 与模态差距向量 \(g\) 的夹角大于 \(90^\circ\)(即 \(\langle g, t_c \rangle < 0\)),则 \(b_c > 0\),该类别将在修正后自动获得额外的分数加权。由于各类别原型在超球面上散布不均,这种全局平移操作不可避免地对不同类别施加了幅度不一的偏置收益,直接扭曲了真实标签 \(y_i\) 与竞争类别 \(c\) 之间的决策边际 \(\Delta_{i,c}^{(\alpha)}\)。

2. 边际失衡与预测级集聚诊断:决策边际翻转引发预测空间类别坍缩

针对分类边际在非对称偏置下的演化过程,论文将真实类别 \(y_i\) 与竞争类别 \(c\) 在第 \(k\) 步校正时的决策边际表示为 \(\Delta_{i,c}^{(k)} = s_{i,y_i}^{(k)} - s_{i,c}^{(k)}\)。令 \(\delta_{i,c}^{(k)} = s_{i,c}^{(k)} - s_{i,c}^{(0)}\) 为修正引起的得分增量,则边际动态满足: $\(\Delta_{i,c}^{(k)} = \Delta_{i,c}^{(0)} + \delta_{i,y_i}^{(k)} - \delta_{i,c}^{(k)}\)$ 当竞争类别的正向得分增益超过真实类别且差值超过原始边际,即 \(\delta_{i,c}^{(k)} - \delta_{i,y_i}^{(k)} > \Delta_{i,c}^{(0)}\) 时,原本正确的分类判定发生颠倒。这种效应在群体层面的直观表现是:模型对绝大多数样本的预测结果开始不加区分地倾向于少数几个 \(b_c\) 偏置极大的类别原型。

与传统高维向量检索中考察嵌入特征被作为 \(k\) 近邻索引次数的“嵌入级集聚”(Embedding-Level Hubness)不同,本文提出了专属于分类器输出空间的预测级集聚(Prediction-Level Hubness)概念。其通过统计各类别最终被预测选中的频次向量 \(m^{(k)} = (m_1^{(k)}, \dots, m_C^{(k)})\)(其中 \(m_c^{(k)} = \sum_{i=1}^N \mathbb{I}[\hat{y}_i^{(k)} = c]\)),并引入排序后的预测类别基尼系数(Predicted-Class Gini)\(G^{(k)}\) 及归一化预测熵 \(H_{\text{norm}}^{(k)}\) 进行量化。同时,论文追踪分类流向的精细转移:统计正确变错误(Correct-to-Wrong, C\(\to\)W)样本在目标类别上的分布集中度。实验证实,随着校正强度增加,大量分类错误的样本系统性地涌入前 1 到前 5 个聚集类别(Top-1/Top-5 Hubs),使得下游预测多样性急剧衰减,精度断崖式下跌。

3. 得分空间反向偏置扣除干预:反向消除一阶类别偏置的因果机制验证

为验证预测级集聚确实由差距向量诱发的非对称类别偏置 \(b_c\) 引起而非其他未知伪影,论文构建了一种基于得分空间反向减法的小巧干预算子(Score-Space Bias Subtraction): $\(s'_{i,c} = s_{i,c}^{(\alpha)} - \lambda \alpha b_c\)$ 其中 \(\lambda\) 为干预强度控制系数。在过度校正状态(例如 \(\alpha = 0.5\))下,令 \(\lambda = 1\) 可以精准抵消线性平移引入的一阶类别非对称偏置 \(\alpha b_c\)。

该干预直接在最终相似度 Logit 空间进行评估,新的预测标签由 \(\hat{y}'_i = \arg\max_c s'_{i,c}\) 产生。实验表明,减去类别偏置后,Predicted-Class Gini 显著降低,预测标签重新恢复多样化均匀分布,原本因过度校正丢失的分类准确率得以大幅恢复。这一正向反转充分验证了 \(b_c\) 与预测级集聚之间的因果关联,确立了模态差距消除失效的根本原因在于对类别边际的破坏。

损失函数 / 训练策略

本文重点评估推理期后验修正与两类代表性学习型模态对齐策略的决策表现: 1. 后验线性修正(Linear Correction):完全冻结预训练 CLIP 编码器,在特征空间按前述公式平移并重新进行 \(L_2\) 归一化后计算余弦相似度。修正强度超参数 \(\alpha\) 在 \([-0.5, 0.5]\) 范围扫描,步长为 \(0.05\)。 2. 后预训练优化(CLIPRefine):在保持基座架构为 ViT-B/32 不变的前提下,通过对比正则化与分布调整进行二次预训练,从而在编码器权重层面直接压缩模态差距。论文测试了其训练过程中保存的序列 Checkpoint。 3. 架构先验对齐预训练(AlignCLIP):使用 ViT-B/16 骨干,在全量对比预训练目标中直接嵌入模态拉近正则项。 4. 诊断性度量与相似度变体:为排除余弦相似度度量缺陷的假阳性干扰,论文引入了针对检索集聚的局部平滑打分准则 CSLS(Cross-domain Similarity Local Scaling,近邻参数设为 \(k=10\)): $\(\text{CSLS}(x_i, t_c) = 2 \cos(x_i, t_c) - \frac{1}{k}\sum_{t \in \mathcal{N}_T(x_i)} \cos(x_i, t) - \frac{1}{k}\sum_{x \in \mathcal{N}_X(t_c)} \cos(x, t_c)\)$ 以及在特征归一化后实施模态中心化(Modality-wise Centering)的对比消融。

实验关键数据

主实验

实验在 10 个标准图像分类基准数据集(Caltech101, CIFAR-10, CIFAR-100, DTD, EuroSAT, FGVC-Aircraft, Flowers102, Food-101, ImageNet-1K, Oxford-IIIT Pet)上展开,全面对比了差距校正诱导的类别偏置与预测集聚之间的相关性,以及预测集聚度与下游精度的关系。

表 1:类别偏置 \(b_c = -\langle g, t_c \rangle\) 与过度校正(\(\alpha = 0.5\))下预测行为的 Spearman 秩相关系数
(\(\rho_m\): 与校正后预测总数 \(m_c^{(\alpha)}\) 相关性;\(\rho_{\Delta m}\): 与预测增量 \(\Delta m_c^{(\alpha)}\) 相关性;\(\rho_e\): 与正向转错误转移数 \(e_c^{(\alpha)}\) 相关性)

数据集 \(\rho_m\) \(\rho_{\Delta m}\) \(\rho_e\)
Caltech101 0.821 0.824 0.792
CIFAR-10 0.891 0.903 0.819
CIFAR-100 0.869 0.863 0.833
DTD 0.586 0.918 0.770
EuroSAT 0.612 0.976 0.796
FGVC-Aircraft 0.570 0.531 0.585
Flowers102 0.747 0.616 0.802
Food-101 0.747 0.817 0.842
ImageNet-1K 0.835 0.812 0.748
Oxford-IIIT Pet 0.749 0.783 0.793
均值 (Mean) 0.743 0.804 0.778

表 2:零样本分类精度与 Predicted-Class Gini 系数的单数据集内 Spearman 秩相关性

方法配置 Caltech101 CIFAR-10 CIFAR-100 DTD EuroSAT FGVC-Aircraft Flowers102 Food-101 ImageNet-1K Oxford-IIIT Pet 平均值 预期符号符合率
Linear Correction -0.819 -0.998 -0.997 -0.996 -0.725 -0.766 -0.934 -0.995 -1.000 -0.993 -0.922 10/10
CLIPRefine 0.799* -0.923 -0.913 -0.268 -0.630 -0.431 -0.122 -0.900 -0.711 -0.750 -0.485 9/10

*注:Caltech101 在 CLIPRefine 下呈现正相关是由于其原始标签先验高度不平衡(Label Gini 达 0.402),预测集聚在该任务中属于贴合先验的良性集中;按真实类别频率归一化后,其相关性立即恢复为预期的 -0.979。

消融实验

为了进一步探究预测变动在不同目的类别中的聚集程度,以及反向抑制偏置和改进打分准则的有效性,论文针对预测流向的集中度(Top-1 与 Top-5 吸收率)及相关缓解方案展开了详尽的对比分析。

表 3:全数据集预测变化流向集中度分析(Best vs Worst 准确率配置对比)

校正方法设定 预测转移类型 转移样本总量 (Count) Top-1 类别平均吸收率 Top-5 类别平均吸收率
Linear-best 正确 \(\to\) 错误 (C\(\to\)W) 1,556 0.116 0.391
Linear-best 错误 \(\to\) 正确 (W\(\to\)C) 3,487 0.187 0.396
Linear-worst (\(\alpha=0.5\)) 正确 \(\to\) 错误 (C\(\to\)W) 33,804 0.294 0.672
Linear-worst (\(\alpha=0.5\)) 错误 \(\to\) 正确 (W\(\to\)C) 5,238 0.272 0.585
CLIPRefine-best 正确 \(\to\) 错误 (C\(\to\)W) 3,547 0.156 0.460
CLIPRefine-best 错误 \(\to\) 正确 (W\(\to\)C) 6,430 0.201 0.475
CLIPRefine-worst 正确 \(\to\) 错误 (C\(\to\)W) 1,630 0.145 0.388
CLIPRefine-worst 错误 \(\to\) 正确 (W\(\to\)C) 1,294 0.121 0.360

表 4:CSLS 打分准则与特征中心化对过度校正失效的缓解消融(跨 10 个数据集指标)

方法配置 余弦相似度准确率变化量 (\(\alpha=0.5\)) CSLS 准确率变化量 (\(\alpha=0.5\)) 全区间准确率极差 (Acc. range) 全区间基尼系数极差 (Gini range)
Linear 原版 -15.1 pt -7.4 pt 18.5 pt 0.30
Linear + 特征中心化 (+Center) - - 0.2 pt 0.004

关键发现

  • 线性校正过度会导致灾难性集聚:在 Linear-worst(\(\alpha = 0.5\))设置下,产生多达 33,804 次有害的正确变错误预测转移,其中前 5 个聚集类别平均吸纳了高达 67.2% 的错误样本,验证了精度劣化直接源于极少数类别原型的恶性扩张。
  • 类别偏置具备极高预测力:gap 导出的代数偏置 \(b_c = -\langle g, t_c \rangle\) 与各类别吸纳错误样本数的相关性在 10 个数据集上均值达 0.778,证明预测集聚具有强烈的确定性几何起源。
  • CSLS 与中心化实验验证其结构本质:CSLS 本地归一化能将过度校正的精度损失从 -15.1% 减半至 -7.4%,但并未消除基尼与精度的负相关;而模态均值中心化几乎彻底抹平了 \(\alpha\) 的影响(精度极差仅 0.2 pt),确立了模态差距方向本身即是诱导偏置的核心源头。

亮点与洞察

  • 切入视角新颖:指出了平均模态差距(全局两点间距)与下游分类决策(依赖局部相对边际与排序)的根本失配,打破了“模态差距越小零样本性能越好”的盲目经验假设。
  • 首次定义预测级集聚:从经典向量空间检索的近邻 Hubness 拓展到离散标签空间的 Prediction-Level Hubness,提出了结合 Predicted-Class Gini 与类别先验修正的诊断度量体系。
  • 因果与机制闭环严谨:不仅给出了严格的一阶泰勒展开式代数推导,还通过反向扣除偏置 \(s'_{i,c} = s_{i,c}^{(\alpha)} - \lambda \alpha b_c\) 成功实现精度恢复,构成了自洽的因果证据链。

局限与展望

  • 理论推导局限于线性修正:对于通过非线性映射或梯度调优的深度学习修正方法(如 CLIPRefine 和 AlignCLIP),本文仅建立了预测集聚与精度下降的经验相关诊断,未能提供闭式解析解。
  • 任务形式仅限固定类别的零样本图像分类:研究聚焦于有限候选集上的 argmax 决策,尚未推广至跨模态图文检索(Top-k 排序机制)、图像描述生成或多模态问答等开放式连续输出空间。
  • 未来方向:探索在缩小模态差距的训练损失中直接显式引入抗集聚正则项(如预测熵约束或各向同性流形约束),兼顾模态对齐度与下游分类决策结构的稳定性。

相关工作与启发

  • vs. Liang et al. (2022) [Mind the Gap]: Liang 等人首次系统性定义并使用线性位移消除模态差距,但未发现过度校正引起的输出分布坍缩;本文指出了其决策边际破坏机理与预测级集聚副作用。
  • vs. Yamaguchi et al. (2025) [CLIPRefine]: CLIPRefine 采用后预训练策略成功避免了严重的预测级集聚;本文通过对比证明,端到端编码器自适应能够以更平滑的流形变形在缩减差距的同时维持各类别判定边际。
  • vs. Radovanović et al. (2010) / Dinu et al. (2015): 传统 Hubness 主要分析向量高维空间中少数点频繁成为其他点 \(k\) 近邻的现象;本文将其成功升维至监督分类与零样本标签决策输出层。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从分类决策边际与输出标签集聚的全新视角系统性解释模态差距消除失效机制。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 10 个数据集、3 种主流对齐方案、多种骨干模型(ViT-B/32, ViT-B/16, ViT-L/14)及严格的消融与干预实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,数学推导直观优雅,实验与理论紧密呼应。
  • 价值: ⭐⭐⭐⭐⭐ 为多模态表征对齐与基座模型微调提供了关键的评测诊断原则,极具实践指导意义。