跳转至

MCA: Modality Composition Awareness for Robust Composed Multimodal Retrieval

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/sony/mca
领域: 多模态 VLM
关键词: 组合多模态检索, 模态捷径学习, 多模态大语言模型, 偏好优化, 正则化对齐

一句话总结

针对多模态大模型(MLLM)在统一编码组合输入时易学到单模态捷径的问题,本文提出模态组合感知(MCA)框架,通过显式偏好损失拉大组合表征与单模态表征的检索间距,并借助轻量门控原型正则化约束组合语义漂移,在分布外检索与零样本定位上分别提升 3.2 与 3.1 个百分点。

研究背景与动机

多模态检索旨在跨越文本、图像、音频等模态搜索语义相关的目标内容,是智能搜索与多模态检索增强生成(RAG)的基础基石。经典的双塔架构(如 CLIP、CLAP)通常使用相互独立的单模态编码器,并通过对比学习(Contrastive Learning, CL)将不同模态的嵌入投影到同一对齐空间中。然而,在以文本修饰图像或图文互补为核心的组合式多模态检索(Composed Multimodal Retrieval)场景下,双塔架构先天缺乏跨模态深度交互,往往依赖外挂的特征融合模块或启发式数据合成,极大地限制了精细语义理解。

随着多模态大语言模型(MLLMs)的发展,利用统一编码器直接摄取并编码多模态组合输入(如 text+image)成为了新的主流范式。但统一架构在带来强大的通用跨模态理解能力的同时,也引入了严重的模态捷径学习(Modality Shortcut Learning)缺陷:由于所有模态 token 在共享的 Transformer 权重中共同计算,常规对比学习损失极易被主导模态的强监督信号所最小化,导致模型偷懒忽视辅助模态。例如在图文修改检索中,模型往往过度依赖图像视觉相似度而完全忽略细微的文本修改指令,或者仅匹配文本中的高频关键词而忽视原始视觉锚点。当测试环境发生分布偏移(OOD)时,这种对局部单模态信号的虚假关联会导致检索泛化性能大幅崩塌。

这一困境的核心矛盾在于:统一多模态编码器需要充分捕捉跨模态的深层非线性协同,但传统的对称对比学习只负责拉近图文正样本对,完全缺乏约束组合表征必须优于其单模态子集、且必须忠实锚定各模态构成的结构化先验机制。核心 idea:显式建模组合表征与其单模态组成部分之间的结构对应关系,通过组合偏好损失强制组合表征辨识度超越任意单模态分支,并引入轻量单模态混合原型实施对比正则化,阻止模型坍缩至单一模态捷径。

方法详解

整体框架

MCA 的整体流程围绕统一 MLLM 编码器 \(f_\theta(\cdot)\) 展开。对于任意包含多模态的输入 \(x\)(如查询端包含图文,或者候选库端包含图文组合),系统同时保留其整体组合输入 \(x\) 以及对应的单模态分解集合 \(\mathcal{U}(x) = \{x_m \mid m \in \mathcal{M}_x\}\)。训练阶段,MCA 引入两组正交的辅助优化约束:一组是在候选检索层面对比组合输入与单模态输入的相似度差异(模态组合偏好,MCP);另一组是把单模态特征输入无参数或轻量化的聚合模块 \(\text{mix}_\phi\),构造组合原型嵌入,并约束模型端到端学习到的组合嵌入与该原型保持几何语义锚定(模态组合正则化,MCR)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态组合输入 x<br/>(图像 + 文本修改指令)"] --> B["统一 MLLM 编码器<br/>前向提取联合表征"]
    A --> C["单模态切分输入<br/>U(x) = {x_text, x_image}"]
    C --> B
    B --> D["模态组合偏好 (MCP)<br/>强制 sim(x, y+) > sim(x_m, y+)"]
    B --> E["轻量模态聚合器 mix_phi<br/>计算维度门控加权原型"]
    E --> F["模态组合正则化 (MCR)<br/>原型与联合表征批次对比锚定"]
    D --> G["联合优化目标<br/>L_CL + alpha*L_MCP + beta*L_MCR"]
    F --> G
    G --> H["鲁棒多模态检索输出"]

关键设计

1. 模态组合偏好(MCP):强制组合判别力严格占优于单模态分支

常规对比学习仅仅最小化组合输入 \(x\) 与正样本目标 \(y^+\) 之间的距离,若 \(f_\theta(x)\) 几乎退化为纯文本或纯图像表征(即 \(f_\theta(x) \approx f_\theta(x_m)\)),损失依然可以顺利下降。为了打破这种单模态捷径吸引子,MCP 构建了一个显式的偏好排名约束:对于给定的正例目标 \(y^+\),多模态组合表征与正例的匹配度必须严格高于其任意一个单模态切片 \(x_m \in \mathcal{U}(x)\) 与该目标的相似度:

\[\mathcal{L}_{\text{MCP}} = \mathbb{E}_{x, y^+ \sim \mathcal{D}} \left[ - \sum_{x_m \in \mathcal{U}(x)} \log \frac{e^{\text{sim}_\theta(x, y^+)}}{e^{\text{sim}_\theta(x, y^+)} + e^{\text{sim}_\theta(x_m, y^+)}} \right]\]

该损失为两项之间的交叉熵偏好形式,在数学上直接惩罚模型将检索相似度寄生于单一模态的行为。为了保证表征的对称性,当候选库目标为多模态组合时,MCP 会以完全对称的形式在文档侧同样执行单模态与组合模态的偏好约束,确保正负配对在两端都遵循组合优势准则。

2. 模态组合正则化(MCR):以极简原型约束多模态潜空间的语义漂移

虽然 MCP 限制了单模态在目标预测时的胜出,但统一编码器的高维非线性依然可能让多模态表征漂移到不可预测的奇异流形上。MCR 提出在潜空间内部建立结构性拓扑一致性:多模态输入学到的整体嵌入 \(f_\theta(x)\),不能随意脱离其单模态组成成分所张成的语义凸包。为此,系统利用轻量聚合器 \(\text{mix}_\phi\) 将各单模态向量 \(\{h_m\}_{m=1}^M\) 聚合为参考原型:

\[[g_1; \dots; g_M] = \text{softmax}_m(W[h_1; \dots; h_M] + b), \quad \text{mix}_{\text{gated},\phi}(\{h_m\}_{m=1}^M) = \sum_{m=1}^M g_m \odot h_m\]

其中门控权重在特征维度上逐通道归一化。随后,MCR 将整体表征与该混合原型在整个批次内拉近,并推开其他样本的原型:

\[\mathcal{L}_{\text{MCR}} = \mathbb{E}_{x, \mathcal{X} \sim \mathcal{D}} \left[ - \log \frac{e^{\text{sim}_{\text{mix}}(x, \mathcal{U}(x))}}{e^{\text{sim}_{\text{mix}}(x, \mathcal{U}(x))} + \sum_{x' \in \mathcal{X}} e^{\text{sim}_{\text{mix}}(x, \mathcal{U}(x'))}} \right]\]

这里的核心巧思是聚合器 \(\text{mix}_\phi\) 必须保持极简(极少量参数或无参),从而使得 MLLM 必须主动调整自身的跨模态交互,使其与组合原型形成几何一致,而不可能通过过拟合聚合器来作弊。

3. 捷径度量与自适应正则权重:抵御低质模态诱发的强捷径吸引

模态捷径在输入信息不对称或质量退化时表现得尤为剧烈。论文在分析中提出组合间距诊断指标 \(\Delta_{\text{comp}}(x, y^+) = \text{sim}[f_\theta(x), f_\theta(y^+)] - \max_{x_m} \text{sim}[f_\theta(x_m), f_\theta(y^+)]\)。在图像分辨率较低或视觉受损时,模型极易被拉入纯文本捷径的强局部极小中。此时微小的扰动可能导致梯度震荡甚至恶化,因而需要更强的正则项系数 \(\alpha, \beta\);相反,当各模态输入信号饱满高质时,模型对捷径的天然抵抗力增强,采用轻量正则化(如 \(\alpha=\beta=0.01\))即可在不损失域内表达能力的前提下稳定收敛。

损失函数 / 训练策略

模型的全量多任务微调目标整合了常规跨模态/组合对比损失 \(\mathcal{L}_{\text{CL}}\) 与两项正则项:

\[\mathcal{L} = \mathcal{L}_{\text{CL}} + \alpha \mathcal{L}_{\text{MCP}} + \beta \mathcal{L}_{\text{MCR}}\]

默认实验基于 Qwen2-VL-2B-Instruct / 7B 作为底座编码器,使用 LoRA(\(r=8\) 或 \(r=16\))对注意力层与投影权重进行微调,温度系数 \(\tau=0.02\)。在训练批次中混合常规单模态样本(如 MSCOCO 图文互搜)与组合样本(如 CIRR、VisDial),仅在样本包含组合输入时动态激活 MCP 与 MCR 损失。推理阶段,聚合模块 \(\text{mix}_\phi\) 完全丢弃,MLLM 统一编码器照常单次前向输出向量,无任何额外计算开销与延迟。

实验关键数据

主实验

评估涵盖域内(IND)检索基准、分布外(OOD)组合检索基准以及零样本跨任务定位(Zero-shot Grounding)。所有指标均为 Accuracy@1 (%)。

模型类别 代表方法 域内检索 (IND Avg.) OOD 检索 (OOD Avg.) 零样本定位 (Grounding Avg.)
双塔编码器 CLIP (ViT-B/32) 55.8 44.5 51.7
双塔编码器 SigLIP 46.7 33.2 59.5
统一 MLLM E5-V 11.6 11.8 18.9
统一 MLLM VLM2Vec (有监督预训练) 73.5 53.5 -
严格对照基线 Qwen2-VL-2B (纯 CL 训练) 73.2 54.2 57.9
本文方法 MCA (Ours, 2B) 73.2 (\(\Delta\) 0.0) 57.4 (\(\Delta\) +3.2) 61.0 (\(\Delta\) +3.1)

在分布外任务上,MCA 在 OVEN(66.7 vs 63.0)、FashionIQ(19.3 vs 15.6)、EDIS(86.1 vs 84.0)上均取得显著增益;在零样本定位任务中,RefCOCO 达到 65.0(基线 60.3),MSCOCO 定位达到 42.7(基线 41.0)。

消融实验

在 Qwen2-VL-2B 上针对损失组件与原型聚合器(Mixer)架构的细致消融验证如下:

配置 IND 检索均值 OOD 检索均值 零样本定位均值 OOD 综合均值
纯对比基线 (Vanilla CL) 73.2 54.2 57.9 56.3
+ 组合偏好 (CL + MCP) 73.2 55.3 (+1.1) 58.2 (+0.3) 56.9 (+0.6)
+ 组合正则 (CL + MCR) 73.2 55.4 (+1.2) 58.8 (+0.9) 57.3 (+1.0)
完整 MCA (CL + MCP + MCR) 73.2 57.4 (+3.2) 61.0 (+3.1) 59.4 (+3.1)
聚合器消融: 无参均值池化 (Mean) 73.3 54.8 (+0.6) 57.8 (-0.1) 56.5 (+0.2)
聚合器消融: 门控融合 (Gated, 默认) 73.2 57.4 (+3.2) 61.0 (+3.1) 59.4 (+3.1)
聚合器消融: 双线性池化 (MFB) 73.0 54.6 (+0.4) 60.0 (+2.1) 57.7 (+1.4)

关键发现

  • 两项损失正交互补:单独使用 MCP 或 MCR 时,OOD 综合收益仅为 +0.6% 与 +1.0%;而两者协同施加时产生质变跃升至 +3.1%(OOD 检索 +3.2,定位 +3.1),证明了“检索空间偏好优势”与“潜空间结构一致性”缺一不可。
  • 输入质量与正则强度的反比律:在 128×128 低分辨率图像下,由于视觉信号严重畸变,极易引发强烈的文本捷径;此时若设置过小的正则权重(\(\alpha=\beta=0.01\)),微弱的随机扰动反而会导致性能崩溃(OOD 检索掉至 37.6%);但当权重拉大至 1.0 时,OOD 检索反弹并飙升 13.1 个百分点。而在 1344×1344 高清输入下,小权重 0.01 即可获得最佳泛化。
  • 捷径诊断指标验证有效性:在 CIRR 和 NIGHTS 的保留测试集上,未经约束的纯 CL 训练使得组合间距 \(\Delta_{\text{comp}}\) 从底座的 0.1744 萎缩至 0.1248(捷径倾向加剧 28.4%);而引入 MCA 后间距显著扩大到 0.2125(相对底座提升 21.8%),违背偏好的 MCP 损失下降 85.0%,从几何上证实了单模态捷径被有效清除。

亮点与洞察

  • 从结构化关系解决多模态捷径:揭示了统一 MLLM 编码器由于共享注意力计算而比传统双塔更容易掉入单模态捷径的理论机理,首次将偏好优化机制引入多模态表征学习中。
  • 训练正则、推理零代价:所有单模态切分与混合原型计算仅发生于离线训练的反向传播中,推理部署时完全卸载混合模块,既保持了统一大模型的优雅单一推理路径,又获得了极高鲁棒性。
  • 可复用的通模态约束范式:在 Qwen2.5-Omni-3B 的 67 项跨图文、音视频的大规模评测中,组合任务性能一致提升 1.18 个百分点,表明该组合约束准则天然具备向任意 N 模态大一统系统迁移的通用价值。

局限与展望

  • 训练阶段前向计算开销翻倍:由于训练时需要分别获得组合输入和各单模态分支的隐向量,朴素实现带来了约 2.26 倍的实测墙钟训练开销。未来可利用自回归 MLLM 的注意力因果特性,复用单模态 prefix 的中间 KV 状态,免除冗余前向。
  • 低信噪比下的超参敏感性:当某一模态严重降质时,正则化权重超参对模型稳定性影响极大,尚未形成完全自适应感知模态质量的动态调权机制。
  • 单模态检索未直接受益:若查询与文档均为单模态,MCA 默认回退为传统对比学习,未针对复杂跨模态歧义(如跨模态虚假相关)设计针对性约束。

相关工作与启发

  • vs 双塔融合模型(UniIR / CoLLM):UniIR 依靠独立的单模态双塔加后置交互层,难以进行早期深度跨模态注意力;CoLLM 依赖 LLM 合成伪组合数据。MCA 直接立足于统一多模态编码器原生空间,用几何约束解决内生偏差,结构更精简优雅。
  • vs 传统 MLLM 稠密检索器(E5-V / VLM2Vec):此类方法简单沿用传统对比学习或需要昂贵的大规模任务监督标注。MCA 证明在无须扩充训练标注的前提下,仅凭对输入结构关系的自监督偏好约束,就能获得极佳的分布外泛化与零样本迁移能力。

评分

  • 新颖性: ⭐⭐⭐⭐ [针对统一 MLLM 编码器的模态捷径问题,提出偏好损失结合轻量原型的双重自监督解法,视角独到。]
  • 实验充分度: ⭐⭐⭐⭐⭐ [跨越 10 余个检索与定位基准、不同输入分辨率、模型规模(2B/7B)及全模态(67任务)验证,并附带收敛曲线与 t-SNE 理论剖析。]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密,图文对应极其清晰,消融与失败案例分析诚实透彻。]
  • 价值: ⭐⭐⭐⭐ [为通用多模态统一检索器提供了一个即插即用且推理零开销的鲁棒性训练准则。]