Do Composed Image Retrieval Benchmarks Require Multimodal Composition?¶
会议: NeurIPS 2026
arXiv: 2605.14787
OpenReview: https://openreview.net/forum?id=ihmgZB5OWQ
代码: https://matteoattimonelli.github.io/CIRCUS/
领域: 多模态VLM
关键词: 组合图像检索, 跨模态组合性, 通用多模态嵌入, 单模态捷径, 基准审计
一句话总结¶
系统审计 CIRR、FashionIQ、LaSCo 与 CIRCO 四大组合图像检索基准，揭示 32.2% 至 83.6% 的查询仅凭单模态即可求解，并构建消除单模态捷径且经人工校验的高可靠评测集 CIRCUS。
研究背景与动机¶
组合图像检索（Composed Image Retrieval, CIR）旨在接收参考图像与一段文本修改指令，从海量图库中检索出同时满足两者的目标图像。在理论设定下，该任务是检验视觉语言模型是否具备跨模态组合推理能力的核心试金石，因为目标图像的语义无法单纯从参考图或文本修改中单独恢复，必须依赖跨模态的互补信息融合。然而，随着通用多模态嵌入模型（Generalist Multimodal Embedding, GME）在基准上刷出亮眼分数，人们普遍默认高召回率直接等价于模型习得了多模态组合表征。
但这一假设在实践中受到了深层质疑：VQA 与自然语言推理等领域的历史经验表明，模型极易依附于强先验信号走单模态捷径。在 CIR 任务中，如果一段修改文本已经包含了足够精细的类别或属性词，或者参考图本身就与目标图高度同构而修改文本微不足道，检索器便可轻松绕过跨模态组合而精准命中目标。现有基准未能隔离单模态捷径、未区分标注噪声与真正需要组合的样本，导致盲目比拼检索分数无法反映真实的多模态协同能力。
本文的切入角度是：跨模态组合能力不能仅靠单一指标评定，必须通过单模态消融探针系统性审计基准本身的捷径分布。核心 idea：联合 11 个主流通用多模态嵌入模型实施跨模型消融审计以分离单模态捷径样本，再对无捷径样本进行多维度人工校验，清洗并构建首个真正要求多模态协同推理的高质量基准 CIRCUS。
方法详解¶
整体框架¶
本文构建了一套两阶段的基准审计与校验流水线。第一阶段为“跨模型单模态捷径审计”，针对每个查询样本，分别在完整多模态（MM）、纯文本（Text-only）与纯图像（Image-only）三种输入条件下运行 11 种通用多模态检索模型，通过最佳单模态检索排名聚合判定是否存在模态捷径，划分出捷径样本（Shortcut）、需要组合样本（Composition-required）与未决样本（Unresolved）。第二阶段为“人工质量校验”，针对剔除捷径后的无捷径候选集，从文本合法性、参考图质量、目标图匹配度与查询特异性四个维度展开人工审查，剔除歧义与噪声样本，最终沉淀出高纯度的 CIRCUS 校验集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始 CIR 基准查询<br/>参考图像 + 文本修改指令"] --> B["三模态输入消融条件构建<br/>多模态 / 掩码纯文本 / 无文本纯图像"]
B --> C["跨检索器最佳排名聚合<br/>min 排名判定捷径与无捷径候选"]
C -->|检出单模态捷径| D["单模态捷径集合 Shortcut<br/>占比 32.2% - 83.6%"]
C -->|任一单模态均无法命中| E["无捷径候选集 CIRCUS-SF<br/>需组合样本 + 未解决困难样本"]
E --> F["细粒度多维度人工校验<br/>过滤目标错配与宽泛不唯一样本"]
F --> G["真多模态组合评测集 CIRCUS-V<br/>仅保留严谨可解的组合推理样本"]关键设计¶
1. 三模态条件消融与跨模型聚合：杜绝单一模型归纳偏置 单模态捷径在不同模型上的表现可能存在差异。如果仅用单个模型探测，极易低估数据集中客观存在的捷径规模。为此，研究设计了跨 11 个异构 GME 模型的最佳排名聚合策略：每个查询 \(Q_i = (R_i, T_i)\) 在模型 \(p\) 下分别得到完整多模态排名 \(r_p^{\text{mm}}(i)\)、纯文本排名 \(r_p^{\text{txt}}(i)\)（参考图替换为同尺寸全黑掩码图像以兼容固定多模态输入头）以及纯图像排名 \(r_p^{\text{img}}(i)\)（剔除文本指令）。通过遍历全部模型提取最优单模态检索排名： $\(r^{\text{txt}}_{*}(i) = \min_{p} r_p^{\text{txt}}(i), \quad r^{\text{img}}_{*}(i) = \min_{p} r_p^{\text{img}}(i)\)$ 只要满足 \(r^{\text{txt}}_{*}(i) \le K\) 或 \(r^{\text{img}}_{*}(i) \le K\)（实验取 \(K=10\)），即说明至少存在一个主流检索器能够依靠单模态信息直接在 Top-10 内命中目标，该样本便被定性为单模态捷径样本（Shortcut）。仅当两者均大于 \(K\) 时，该样本才进入无捷径候选集 \(\text{CIRCUS}_{\text{SF}}\)。
2. 细粒度人工校验协议与多候选排查：剥离非唯一性标注噪声 消除了单模态捷径并不等于剩余样本皆是合规的组合推理样本。剩余的 \(\text{CIRCUS}_{\text{SF}}\) 中包含大量未被任何模型攻克的未决样本（Unresolved）。为严谨排查噪声，协议设立了固定的级联审查次序：文本合法性（Invalid text）、参考图质量（Invalid reference image）、目标图对应性（Invalid target image）以及查询宽泛性（Overly broad query）。特别是在判断过宽查询时，系统会生成去重后的跨模型多模态 Top-\(K\) 候选画板（Aggregate Multimodal Panel）供标注员交叉比对。若图库中存在至少 \(K\) 张不同图像均在语义上合理契合该修改指令，则判定该查询过于宽泛、不具备唯一辨识性，将其从最终基准中剔除。
3. 归一化组合差距指标：跨难度水平量化模态协同依赖 在过滤捷径与噪声后，剩余子集的绝对检索难度大幅上升，传统指标绝对分值被整体压缩，无法横向反映多模态融合的真实利用率。为此设计了基于全图库 nDCG 的归一化组合差距（Composition Gap, CompGap）： $\(\text{CompGap} = 1 - \frac{\max(I, T)}{\text{MM}}\)$ 其中 \(\text{MM}\)、\(I\) 和 \(T\) 分别代表完整多模态、纯图像和纯文本条件下的全量全图库 nDCG 分值。\(\text{CompGap}\) 直观刻画了多模态融合相比于最强单模态基线的相对排名质量增益。该值趋近于 0 表明模型完全在依赖单模态信息，而数值越高则越证明检索收益直接源于跨模态协同组合。
一个完整示例¶
以 CIRR 数据集中的一个典型样本为例： - 纯文本捷径案例：参考图像为两只在草地上奔跑的小狗，修改文本为“Show three bottles of soft drink on a wooden table”。因为图库中没有任何小狗图片含有三瓶饮料，模型仅输入全黑掩码图与该文本，Rzen-Embed 便可直接在 Top-1 准确命中目标图像。此时无需观察原图中的狗，该样本属于典型的纯文本捷径。 - 宽泛查询噪声案例：参考图像为一件红色圆领 T 恤，修改文本为“is blue”。图库中存在数十件不同款式的纯蓝色 T 恤，模型检索返回的候选皆为合理蓝色上衣，但由于标注的 ground-truth 仅随机绑定了其中一件特定商品，所有模型均未在 Top-10 命中该 ground-truth 并被判罚。经人工校验后，此类样本归为 Overly broad query 予以清洗剔除。
实验关键数据¶
主实验¶
基于 11 种通用多模态检索器在四大 CIR 经典数据集上的宏观捷径审计结果如下表所示。审计表明各基准中单模态捷径普遍存在，CIRR 甚至高达 83.6%。
| 数据集 | 总查询数 | 单模态捷径 (Shortcut) | 需多模态组合 (Comp-req) | 未决困难 (Unresolved) |
|---|---|---|---|---|
| CIRR | 4,170 | 3,485 (83.6%) | 271 (6.5%) | 414 (9.9%) |
| FashionIQ | 6,003 | 1,934 (32.2%) | 1,462 (24.4%) | 2,607 (43.4%) |
| LaSCo | 30,031 | 11,613 (38.7%) | 2,064 (6.9%) | 16,354 (54.5%) |
| CIRCO | 220 | 164 (74.5%) | 53 (24.1%) | 3 (1.4%) |
消融实验¶
各检索器在原始全量基准（Full）、剔除捷径子集（\(\text{CIRCUS}_{\text{SF}}\)）以及人工校验子集（\(\text{CIRCUS}_{\text{V}}\)）上的 Recall@10 表现对比（选取具代表性的顶尖开闭源模型）：
| 评估模型 | CIRR (Full / SF / V) | FashionIQ (Full / SF / V) | LaSCo (Full / SF / V) | CIRCO (Full / SF / V) |
|---|---|---|---|---|
| Qwen3-VL-8B | 70.1 / 17.2 / 24.1 | 32.6 / 14.7 / 28.5 | 13.3 / 2.1 / 13.5 | 86.4 / 71.4 / 71.4 |
| Rzen-Embed | 70.1 / 17.4 / 22.3 | 30.8 / 14.9 / 26.2 | 12.8 / 1.7 / 10.7 | 86.4 / 71.4 / 66.7 |
| LamRA | 65.1 / 18.1 / 22.6 | 33.2 / 17.5 / 31.1 | 12.3 / 1.3 / 7.5 | 81.4 / 69.6 / 66.7 |
| GME-Qwen2VL | 64.4 / 16.1 / 20.4 | 31.1 / 14.7 / 23.8 | 13.2 / 1.9 / 11.2 | 85.9 / 69.6 / 66.7 |
| E5-Omni | 55.2 / 11.8 / 15.2 | 16.9 / 6.9 / 12.5 | 9.4 / 0.5 / 2.3 | 65.9 / 39.3 / 38.1 |
| Gemini Emb. 2 | 49.2 / 11.8 / 15.2 | 24.9 / 11.5 / 18.7 | 12.4 / 2.1 / 10.4 | 74.1 / 62.5 / 61.9 |
关键发现¶
- 纯文本信号极度强势：在 CIRR 上，最强纯文本检索配置（Rzen-Embed 仅看修改词）Recall@10 高达 56.7%，已达到其多模态完整得分（70.1%）的 80% 以上，证明基准性能主要由文本指令驱动而非跨模态匹配。
- 人工校验暴露出大量假性难题：对 4,741 个无捷径样本进行人工审核，最终仅有 1,689 个（35.6%）完全符合严格定义。其中过宽查询（Overly broad query）占据了 60% 至 85% 的废弃原因，证明许多模型在基准上表现差是因为标注目标不唯一，而非模型无法组合。
- 真组合基准拉大协同差距：在清洗后的 \(\text{CIRCUS}_{\text{V}}\) 上，检索模型的 Recall@10 显著回落，但归一化组合差距 \(\text{CompGap}\) 明显上升（例如 CIRR 从 0.137 提升至 0.361，FashionIQ 从 0.298 提升至 0.477），表明该子集成功迫使模型同时综合双模态特征。
亮点与洞察¶
- 跨检索器集成探测视角：跳脱单模型自身能力局限，利用 11 个架构各异的通用检索器构建全局最佳下界，精准捕捉数据集层面的结构性捷径。
- 诊断框架正本清源：厘清了“模型依赖捷径”与“基准充满噪声”两层混淆因素，指出过去 CIR 领域通过刷榜获得的性能提升可能很大程度上源于对单模态偏置或标注伪影的过度拟合。
局限与展望¶
- 计算资源与采样限制：受限于人工标注的高昂成本，在 FashionIQ 与 LaSCo 这种超大无捷径候选集上仅执行了分层抽样审查（各抽样 2,000 例），未覆盖全量数据。
- 模型池更新的持续性：随着下一代 VLM 与检索基座演进，现存部分无捷径样本可能在未来更强的视觉语义解析器下转化为新的单模态捷径，基准需要动态滚动维护。
相关工作与启发¶
- vs. 传统 CIR 评测集 (CIRR / FashionIQ / LaSCo)：原有基准仅提供图文三元组，未验证模态必要性与标注唯一性；本文首次对其进行端到端多模态纯度清洗，提出了严格考验跨模态协同的评测版本。
- vs. VQA 语言偏置诊断 (VQA-CP / RUBi)：借鉴了 VQA 领域的单模态对抗探针思想，但进一步将其推向无需任务特定分类头、面向全开放图库嵌入检索的通用多模态架构评测。
评分¶
- 新颖性: ⭐⭐⭐⭐ [首次系统性解构 CIR 领域的单模态捷径现象，揭示了评测机制的深层脆弱性]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 11 种前沿开闭源大模型与四大经典基准，并结合 4,700+ 样本的人工逐条校验]
- 写作质量: ⭐⭐⭐⭐⭐ [论证逻辑严密，定义清晰自洽，实验消融与案例剖析深入到位]
- 价值: ⭐⭐⭐⭐⭐ [重塑 CIR 与多模态表征评测标准，对未来真实跨模态检索系统的构建具有关键指导意义]