Multi-modal Knowledge Preserving Adapter for Embedding Backward Compatibility¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2430.pdf
领域: 多模态 VLM
关键词: 嵌入向后兼容性, 多模态检索, 适配器, 向后兼容训练, 多模态大语言模型
一句话总结¶
针对多模态大语言模型检索系统升级时全库重索引开销巨大的难题，本文提出首个无需微调骨干网络的纯适配器向后兼容训练方案 MKP-Adapter，通过点对点循环重构、距离与角度多阶几何保持以及难样焦点动态重加权，在保护新模型高维表征结构的同时实现与旧特征库的无缝兼容。
研究背景与动机¶
在大规模多模态信息检索系统中，双塔模型（如 CLIP）与多模态大语言模型（如 E5-V、GME、UniME）作为核心的嵌入生成器，负责将文本、图像、视觉文档与视频投射到稠密向量空间中实现语义匹配。然而，当检索系统迭代升级出判别能力更强的新模型时，新旧模型由于独立训练而在潜空间中存在严重的几何分布漂移与特征不兼容。这就迫使系统必须对千万甚至数十亿规模的已有数据库执行全量重新抽取与重索引（Backfilling），不仅产生高昂的计算资源消耗与系统服务中断风险，也严重阻碍了新型多模态基础模型的敏捷部署。
为了避免全库重索引，向后兼容训练（Backward Compatible Training, BCT）被引入多模态检索领域，试图通过在训练新模型时引入约束，使其生成的查询嵌入可直接检索旧底库。然而，现有的 BCT 方案大多依赖从头全参重新训练，或者如 XBT 方案那样通过 LoRA 微调新模型的骨干网络。这类依赖更新骨干网络的方法在 MLLM 时代面临三重致命瓶颈：其一，数十亿参数基础模型的反复前向与反向传播计算代价极其昂贵；其二，强行施加兼容性正则约束极易破坏 MLLM 本身已有的多模态预训练知识与判别表征能力，出现性能倒退；其三，许多前沿高性能模型仅通过商业 API 形式开放，外部系统完全无法接触到模型权重，导致任何微调骨干的方案彻底失效。
为了打破上述困局，最理想的工程路径是仅在冻结的新模型外部训练一个轻量级后置投影适配器。然而，简单的适配器若直接通过回归损失拟合旧特征，由于旧特征空间的语义几何往往更为嘈杂脆弱，强行对齐会导致新模型优越的高维拓扑结构与细粒度辨别力被严重稀释。核心 idea：本文提出无需触碰骨干网络的纯适配器方案 MKP-Adapter，将向后兼容的核心矛盾从“强行拟合旧空间”转变为“投影时最大化保持新特征的几何知识”，通过点对点循环重构、成对距离与三元组角度多阶保持损失，并辅以难样本焦点重加权，使纯适配器在仅以离线特征训练 1 至 2 小时后即可兼顾高保真表征与向后兼容。
方法详解¶
整体框架¶
MKP-Adapter 的核心定位是一个跨维度的紧凑型多层感知机映射函数 \(h: \mathbb{R}^{d_{\text{new}}} \to \mathbb{R}^{d_{\text{old}}}\)。在整个训练与推理生命周期中，新特征提取器 \(f_{\text{new}}\) 与旧特征提取器 \(f_{\text{old}}\) 均完全冻结，训练过程完全在预先离线提取并经过 L2 归一化的特征集合上进行，无需执行任何大模型的反向传播。
方法的整体流程包含双重目标约束：一方面，利用基准均方误差损失拉近投影后特征 \(h(\mathbf{x}^{\text{new}})\) 与旧特征 \(\mathbf{x}^{\text{old}}\) 的绝对空间距离；另一方面，通过自监督的多层次知识保持正则项，强制投影后的嵌入空间严格维系新嵌入在个体、成对邻域以及三元组流形上的几何拓扑，并借助动态焦点权重自适应增大困难样本的梯度贡献。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["新模型离线抽取特征<br/>x_new"] --> B["基础适配器映射 h<br/>投影至旧嵌入空间 h(x_new)"]
B --> C["点对点循环重构保持<br/>辅助逆映射 g 重建新特征"]
B --> D["距离与角度多阶几何保持<br/>成对相对距离与三元组局部夹角对齐"]
C --> E["难样焦点动态重加权<br/>依据重构误差自适应加权困难样本"]
D --> E
B --> F["基准投影损失<br/>逼近旧空间对应特征 x_old"]
E --> G["综合目标联合优化<br/>L_total = L_base + lambda * L_focal"]
F --> G
G --> H["推理部署阶段<br/>冻结骨干+运行适配器 h 直接检索旧底库"]关键设计¶
1. 点对点循环重构保持：基于可逆投影约束个体语义完整性
当新特征被强行压缩或映射到旧特征空间时，最容易出现的信息损失是单一样本特有细粒度语义的抹平。为了保证每一个投影后的向量 \(h(\mathbf{x}_i^{\text{new}})\) 依然完整保留该样本的独立语义，本文设计了一个基于循环一致性的点对点重构机制。算法引入一个轻量级的辅助反向映射网络 \(g: \mathbb{R}^{d_{\text{old}}} \to \mathbb{R}^{d_{\text{new}}}\)，尝试将投影到旧空间中的嵌入重新映射回新空间。如果一个投影特征能够被高精度地逆向重建回原始的新特征，就证明前向适配器 \(h\) 在转换过程中保留了足以还原原始语义的充要信息。
该重构损失促使映射矩阵在保持维数变换的同时，最大限度维持信息论意义上的双向互信息。值得注意的是，辅助适配器 \(g\) 仅在训练阶段与 \(h\) 联合优化，在实际推理部署时被直接舍弃，因此完全不会给在线检索系统带来额外的计算延迟或显存开销。
2. 距离与角度多阶几何保持：自监督锚定流形高阶拓扑
检索任务的本质并非单个向量的绝对坐标重建，而是跨样本之间相似度的相对序关系。点对点重构虽然保证了单点信息量，却无法显式约束特征点与点之间的相对分布关系。针对这一问题，本文构建了覆盖二阶与三阶几何关系的多阶结构保持损失，其核心差异在于完全不依赖外部更强的教师模型，而是将新特征自身作为自监督基准。在二阶层面，定义相对距离保持损失：
其中距离函数定义为余弦距离 \(\text{Dist}(\mathbf{a}, \mathbf{b}) = 1 - \cos(\mathbf{a}, \mathbf{b})\)，样本对集合 \(\mathcal{P}\) 同时混合了批次内的随机全局配对与基于新特征空间预先构建的 \(m\) 近邻（\(m=100\)）局部配对，确保全局聚类轮廓与细粒度近邻结构同时不失真。在三阶层面，为了防止高维空间投影时的旋转或流形扭曲，算法进一步引入基于角度的关系保持损失，对由样本三元组构成的顶角余弦值进行对齐：
其中 \(\psi_A(\mathbf{x}_i, \mathbf{x}_j, \mathbf{x}_k) = \langle \frac{\mathbf{x}_i - \mathbf{x}_j}{\|\mathbf{x}_i - \mathbf{x}_j\|_2}, \frac{\mathbf{x}_k - \mathbf{x}_j}{\|\mathbf{x}_k - \mathbf{x}_j\|_2} \rangle\) 衡量了以 \(\mathbf{x}_j\) 为顶点的夹角。距离与角度的协同正则化，彻底锁定了投影空间中的局部与全局几何结构，避免了向旧空间退化所诱发的拓扑坍缩。
3. 难样焦点动态重加权：自适应调谐多模态样本梯度贡献
多模态检索涉及纯图像、纯文本、图文交织图表以及多帧视频等异构输入，不同语义复杂度与模态样本在投影映射时的难度存在显著分异。在标准平均反向传播下，大量容易投影的常规图文对会贡献微小但占据主导的梯度总和，使得适配器过早收敛于简单样本，而对语义密集或跨模态歧义严重的复杂样本拟合不足。受到目标检测中 Focal Loss 的启发，本文提出了基于样本重构误差比率的动态重加权方案。对每个样本 \(i\)，计算其点对点重构残差 \(\Delta_i = \| g(h(\mathbf{x}_i^{\text{new}})) - \mathbf{x}_i^{\text{new}} \|_2^2\)，并与其当前批次的平均残差 \(\bar{\Delta} = \frac{1}{N} \sum_{i=1}^N \Delta_i\) 进行比值加权：
超参数 \(\gamma\) 调控难样本聚焦程度（默认 \(\gamma=1.0\)）。该机制同样推广并应用至距离损失与角度损失中。当某个样本在新旧空间转换中出现严重几何失真时，其对应的瞬时权重被动态放大，促使梯度更新强力修正该区域的映射流形，从而显著增强了模型面对长尾指令与复杂跨域场景时的泛化适应能力。
损失函数 / 训练策略¶
模型的整体训练目标是将基础投影损失与带焦点重加权的多层次保持损失进行加权求和：
其中基础对齐损失默认采用均方误差 \(\mathcal{L}_{\text{base}} = \sum_{i=1}^N \| h(\mathbf{x}_i^{\text{new}}) - \mathbf{x}_i^{\text{old}} \|_2^2\)，权重平衡因子默认设为 \(\lambda=1.0\)。适配器网络采用两层紧凑型 MLP 架构（LayerNorm \(\to\) Linear \(\to\) GELU \(\to\) Dropout(0.1) \(\to\) Linear），中间隐层维度与输入嵌入维度保持一致。优化器使用 AdamW，初始学习率设为 \(10^{-3}\)，配合余弦退火学习率衰减策略且不设预热。由于所有特征均预先提取，整个训练仅需 8 张 A100 GPU 耗时 1 到 2 小时即可完成 50 个 epoch 的高效训练。
实验关键数据¶
主实验¶
论文在双塔模型升级至 MLLM（CLIP ViT-L/14 \(\to\) GME-7B / UniME-7B）以及 MLLM 之间版本升级（E5-V-7B \(\to\) UniME-7B）两大场景下，系统评测了 MS-COCO、Flickr30K、Urban1K 等图文检索基准，指标采用 Recall@1（%）。
| 升级场景与模型设置 | 方法 | MS-COCO (I2T / T2I) | Flickr30K (I2T / T2I) | Urban1K (I2T / T2I) | 平均 (I2T / T2I) |
|---|---|---|---|---|---|
| CLIP \(\to\) GME-7B (旧基准) | x_old (Upper/Old Ref) | 56.32 / 36.50 | 85.10 / 65.00 | 68.00 / 55.90 | 69.80 / 52.47 |
| CLIP \(\to\) GME-7B (新基准) | x_new (Target Upper) | 68.68 / 57.35 | 90.80 / 80.90 | 90.10 / 88.60 | 83.20 / 75.61 |
| CLIP \(\to\) GME-7B (兼容评测) | Base adapter | 58.38 / 34.93 | 85.50 / 64.74 | 62.00 / 51.00 | 68.63 / 50.22 |
| CLIP \(\to\) GME-7B (兼容评测) | EC-style adapter | 59.52 / 35.88 | 85.30 / 65.74 | 63.50 / 50.60 | 69.44 / 50.74 |
| CLIP \(\to\) GME-7B (兼容评测) | CL-based adapter | 54.38 / 37.06 | 76.00 / 68.00 | 63.40 / 64.10 | 64.59 / 56.38 |
| CLIP \(\to\) GME-7B (兼容评测) | MKP-Adapter (本文) | 66.18 / 38.78 | 87.50 / 69.16 | 68.70 / 77.60 | 74.13 / 61.85 |
| CLIP \(\to\) UniME-7B (兼容评测) | Base adapter | 53.74 / 37.44 | 81.90 / 66.22 | 54.50 / 65.50 | 63.35 / 56.39 |
| CLIP \(\to\) UniME-7B (兼容评测) | EC-style adapter | 56.22 / 38.50 | 82.20 / 67.70 | 58.40 / 64.80 | 65.61 / 57.00 |
| CLIP \(\to\) UniME-7B (兼容评测) | CL-based adapter | 53.00 / 38.42 | 79.40 / 68.76 | 69.30 / 70.70 | 67.23 / 59.29 |
| CLIP \(\to\) UniME-7B (兼容评测) | MKP-Adapter (本文) | 66.68 / 42.22 | 91.20 / 72.00 | 75.40 / 75.00 | 77.76 / 63.07 |
| E5-V \(\to\) UniME-7B (兼容评测) | Base adapter | 55.90 / 50.21 | 85.10 / 79.22 | 77.80 / 86.90 | 72.93 / 72.11 |
| E5-V \(\to\) UniME-7B (兼容评测) | EC-style adapter | 57.30 / 50.32 | 85.90 / 79.52 | 78.10 / 88.10 | 73.77 / 72.65 |
| E5-V \(\to\) UniME-7B (兼容评测) | CL-based adapter | 63.18 / 50.12 | 88.70 / 78.46 | 81.70 / 88.70 | 77.86 / 72.43 |
| E5-V \(\to\) UniME-7B (兼容评测) | MKP-Adapter (本文) | 65.28 / 52.61 | 90.60 / 81.10 | 90.20 / 92.10 | 82.03 / 75.27 |
在极具挑战的 36 个任务子集 MMEB 综合基准中，MKP-Adapter 在 CLIP \(\to\) UniME 场景下取得 49.56% 的平均 Precision@1，较旧模型（40.29%）提升 +9.27%，显著碾压基线适配器（Base 20.03%、EC 20.57%、CL 39.27%）。在 ViDoRe-V1 视觉文档检索（nDCG@5）中，MKP-Adapter 达到 45.35%，较旧模型 28.30% 提高 +17.05%；在 MSR-VTT、MSVD 与 VATEX 视频检索平均 Recall@1 上达到 36.25%，较旧模型 28.40% 提高 +7.85%。
消融实验¶
在 CLIP ViT-L/14 \(\to\) UniME-7B 升级配置下对所提各模块进行逐步剥离验证：
| 配置 / 剥离项 | 图文 I2T 平均 R@1 | 图文 T2I 平均 R@1 | MMEB 综合任务平均 P@1 | 说明 |
|---|---|---|---|---|
| 完整 MKP-Adapter 模型 | 77.76 | 63.07 | 49.56 | 包含全部多阶保持损失与焦点重加权 |
| 去除点对点重构损失 (w/o Point-wise) | 77.11 | 63.22 | 47.43 | 丧失单点信息保真，通用评测 MMEB 显著下降 2.13% |
| 去除距离保持损失 (w/o Distance-wise) | 71.74 | 58.08 | 47.81 | 破坏相对近邻关系，I2T 暴跌 6.02%，T2I 暴跌 4.99% |
| 去除角度保持损失 (w/o Angle-wise) | 76.83 | 62.26 | 41.55 | 丧失三阶流形拓扑，MMEB 严重滑坡 8.01% |
| 去除难样焦点重加权 (w/o Focal re-weighting) | 77.43 | 62.98 | 46.61 | 缺乏对难样本梯度的倾斜，MMEB 下降 2.95% |
关键发现¶
- 距离保持损失是双向跨模态检索的生命线：移除距离保持后，标准图文检索的 I2T 与 T2I 平均指标均出现断崖式下跌（分别下跌 6.02% 与 4.99%），表明保全样本间的欧氏及余弦相对近邻距离是排序检索系统维持正负样本边界的决定性因素。
- 角度高阶约束决定了复杂指令与非分布域的泛化力：移除角度损失后，标准数据集变化相对平缓，但涵盖 VQA、视觉定位与分类的 MMEB 综合基准指标直接从 49.56% 骤降至 41.55%（降幅达 8.01%），验证了高阶三元组角度正则化对于抵抗跨任务分布偏移、维系流形几何稳定性的关键作用。
- 自验证重构表征质量极其接近上限：当在查询端与数据库端同时使用投影特征 \(h(\mathbf{x}^{\text{new}})\) 评测时（即验证映射后空间的判别力损耗），MKP-Adapter 在 E5-V \(\to\) UniME 场景下 I2T/T2I 分别达 86.30% / 77.11%，与直接使用未经映射的新模型 \(x_{\text{new}}\) 原生得分（86.52% / 77.15%）差距不足 0.22 个百分点，完美印证了知识保持机制对新模型表征能力的零损耗迁移。
- 推理延迟与训练代价几乎可忽略：在单卡 A100 上，适配器单 batch 32 推理延迟仅 0.25 ms，仅相当于骨干网络前向传播耗时的 0.01%；在 55.8 万图文对离线嵌入上训练 10 至 50 个 epoch 仅需 1 至 2 小时，彻底规避了动辄耗费数天的大模型全库重索引与 LoRA 微调计算量。
亮点与洞察¶
- 从教师监督向自监督拓扑保持的范式转变：传统知识蒸馏与前向兼容训练均依赖更强的目标模型作为监督信号，而适配器向后兼容的核心困境在于“目标是较弱的旧模型”。MKP-Adapter 巧妙地把新特征本身当作自监督真值，在向旧坐标系投射的同时反向拉紧新特征原有的几何拓扑，成功破解了向后兼容中表征能力被旧空间拖垮的固有顽疾。
- 离线表征流形的即插即用泛化：整个训练与测试流程无需触碰任何大模型底座参数与原始像素/文字计算图，不仅天然适配任何专有商业闭源 API 嵌入模型，更能以极低边际成本扩展至高分辨率视觉文档与稠密视频检索领域。
局限与展望¶
- 对新旧模型语义表征重叠度的先验依赖：如果旧模型本身的表征容量过于原始或维度极低，仅凭一个轻量级 MLP 映射很难在完全不损失新模型多模态知识的前提下完成双向映射，其兼容性能上限受限于旧特征空间的本质秩与容量。
- 离线抽取特征对动态更新数据的适配瓶颈：方法假设用于训练适配器的特征数据是批量预抽取的静态集合。若下游出现分布完全未见的新型生僻模态或未见概念，适配器无法借助骨干网络的端到端注意力动态修正局部视觉特征。未来可探索免骨干微调前提下的测试时测试样自适应（Test-time Adaptation）轻量校准机制。
相关工作与启发¶
- vs 传统向后兼容训练 (BCT / BCT with basis transformation)：传统方案必须在训练新模型时就显式加入与旧模型的对齐损失，导致新模型无法独立演化，且完全无法对已训练完成的开源/商用 MLLM 事后施加兼容；MKP-Adapter 采用事后纯适配器机制，新模型训练完全解耦，随时可插拔升级。
- vs XBT (Cross-Modal Backward-Compatible Learning)：XBT 仍需通过两阶段训练对新模型的视觉与文本双塔进行 LoRA 参数微调，既有破坏大模型通用表征能力的风险，又要求接触模型内部权重；MKP-Adapter 冻结骨干，仅以离线特征训练 2 层 MLP，在计算消耗低三个数量级的同时取得更强且更稳健的兼容性。
- vs Embedding Converter (EC)：EC 专为文本嵌入的前向兼容（FCT，旧 \(\to\) 新）设计，主要利用成对相对距离蒸馏；MKP-Adapter 针对更困难的向后兼容场景（新 \(\to\) 旧），针对性构建了点对点循环重构、三元组角度约束与难样本焦点加权，在多模态与跨模态长尾评测中表现出决定性的结构保持优势。
评分¶
- 新颖性: 4.5/5 首次建立针对 MLLM 的免微调纯适配器多模态向后兼容体系，自监督几何保持思路明晰。
- 实验充分度: 5.0/5 覆盖经典图文、MMEB 36项综合基准、ViDoRe 视觉文档以及三大视频检索基准，消融和机理分析详实。
- 写作质量: 4.5/5 动机阐述透彻，数学定义规范严密，图表对比直观有力。
- 价值: 5.0/5 直击工业级搜索与推荐系统大模型频繁升级时千万级底库重索引的致命痛点，极具工程落地与实用推广价值。