跳转至

MR^2-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval

会议: EMNLP 2026
论文: ACL Anthology
领域: VLM 多模态推理
关键词: 多模态检索、推理密集型基准、多模态知识检索、视觉关系推理、视觉语言模型

一句话总结

提出了首个涵盖知识检索、图解搜索与视觉关系推理三层体系的推理密集型多模态检索基准 MR^2-Bench,涵盖 12 个子任务与 1,309 个经过严格视觉不可替代性验证的查询,揭示了当前顶尖嵌入模型在深度视觉推理上的巨大性能断层,并证明显式思维链重写与两阶段推理重排能带来最高 +15.22 nDCG@10 的显著收益。

研究背景与动机

多模态信息检索已成为现代通用人工智能、检索增强生成(RAG)以及多模态智能体系统的基石。传统的跨模态检索主要关注文本与单张图像之间的浅层语义对应(如 Flickr30K 或 MS-COCO 中的图文互搜),随后扩展至包含图文交错查询的组合图像检索与多模态文档检索。然而,现有的主流多模态评测基准(如 MMEB、M-BEIR、ViDoRe)在本质上仍然局限于浅层语义对齐或实例级别匹配,即只要模型能够识别出图像中的特定物体、场景类别或 OCR 文本,就能通过表面特征的高重合度命中目标文档。这种评价方式无法考察模型在面对复杂现实信息需求时所需的因果推断、空间几何感知与多跳逻辑推理能力。

更为突出的矛盾在于,现实场景中的专业问答与真实智能体任务往往要求高度的视觉推理深度与非结构化的图文自由排布。一方面,现实中的高价值文献和专业报告通常包含多张相互呼应的图表、公式几何证明或具有复杂拓扑关系的视觉拼图,图像在其中扮演着不可替代的逻辑承载角色;另一方面,现有评测基准大多将查询或候选文档人为限制在至多单张自然图像的极简框架内,严重忽视了科学图表、逻辑谜题和数学视觉证明等抽象域。尽管在纯文本检索领域已经诞生了以 BRIGHT 为代表的推理密集型基准,但多模态信息检索领域依然缺乏一个能够严格剔除浅层文字捷径、深度考察视听多模态复合推断能力的统一评测平台。

面对这一系统性缺失,本文的核心切入点在于打破传统“语义相似度匹配”的范式假设,建立一套以“无视觉不可解、无深度推理不可达”为准则的新型多模态检索评测体系。核心 idea:构建首个强调深度推理与复杂图文关系的多模态检索基准 MR^2-Bench,涵盖多模态知识检索、视觉图解搜索与视觉关系推理 3 大元任务及 12 个子任务,通过强制视觉信息不可替代性与高难度对抗负例,全面评测多模态模型在逻辑、空间与因果推理上的核心能力。

方法详解

整体框架

MR^2-Bench 的整体构建与评测管线旨在彻底剥离基于浅层关键词重合与实例级图元匹配的捷径,形成一套自源头数据筛选、多模态不可替代性验证、难负例对抗挖掘,到多范式检索评测与重排增强的完整闭环。基准包含 3 个元任务(Meta-tasks)和 12 个子任务(Sub-tasks),共汇集 1,309 个精心人工标注或重组的复杂查询,检索语料库规模达 47,742 篇图文混合段落或高分辨率图像。

整个评测框架自顶向下分为异构数据源接入、三级推理元任务体系映射、视觉不可替代性严格校验与难负例构建,最终经由统一的多模态自由格式检索评测协议,对密集嵌入检索、思维链查询重写以及大模型推理重排三种范式进行全面评测。其端到端流程如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:多源异构真实数据<br/>StackExchange/WorldBank/Proofs/VASR/CSS"] --> B["多模态三级推理元任务体系<br/>多模态知识/视觉图解/视觉关系推理"]
    B --> C["视觉不可替代性校验与难负例生成<br/>无图不可解筛选与GPT-5对抗混淆负例"]
    C --> D["全自由度图文检索基准<br/>1,309 Queries / 47,742 候选语料库"]
    D --> E["思维链重写与推理重排评测范式<br/>意图显式解构与MLLM两阶段推理打分"]
    E --> F["输出:多维检索与推理能力评测诊断<br/>nDCG@10 / Recall@K / 细粒度能力短板分析"]

关键设计

1. 多模态三级推理元任务体系:单一任务形式无法覆盖多样化认知层级 -> 构建覆盖知识跨模态推断、专业图解检索与纯视觉抽象关系的三级任务矩阵 -> 全面解构多模态检索在不同认知维度下的推理能力

现有检索任务大多聚焦于图文互搜或简单问答,无法覆盖人类认知中不同层级的视觉推理形式。为此,MR^2-Bench 设计了互为补充的三大元任务,共包含 12 个细分领域: 1. 多模态知识检索(Multimodal Knowledge Retrieval):涵盖生物学(Biology)、烹饪(Cooking)、园艺(Gardening)、物理(Physics)、化学(Chemistry)与地球科学(Earth Science)6 大科学及生活领域。查询为交错图文,目标文档为长文本交错图文段落,模型必须理解图像所展示的微观结构、化学构型或物理表象,并与文档中的机理理论建立关联。 2. 视觉图解搜索(Visual Illustration Search):包含经济学图表(Economics)、数学视觉证明(Mathematics)与自然界细粒度生物学(Nature)。查询为纯文本提出的深度假说或数学恒等式,候选库为包含丰富信息图表或证明过程的图像,要求模型跨越纯符号描述与几何/统计可视化之间的巨大表征鸿沟。 3. 视觉关系推理(Visual Relation Reasoning):包含空间几何变换(Spatial)、视觉九宫格拼图(Visual Puzzle)与视觉类比(Analogy)。该元任务完全或高度剥离自然语言线索(如九宫格矩阵中仅有 8 张抽象几何演变图),强制模型完全依赖自底向上的视觉空间变换、属性归纳与类比映射能力找出目标图像。

2. 视觉不可替代性校验与对抗难负例构建:文本捷径使模型退化为纯文本检索且随机负例过弱 -> 设立图像不可或缺性准则并采用专家复审与生成式对抗负例相结合机制 -> 保证评估严谨性并逼出模型真实视觉逻辑极限

为了防止检索模型利用文本中的低维共现词或实体名称实现“偷跑”,基准在数据构建时执行了极端严苛的过滤机制。首先,在从 Stack Exchange 挖掘真实高质量问答时,设立了三条硬性门槛:问题必须包含对理解题意不可或缺的核心图像(一旦剔除图像,题干将语义不全或无法作答);帖子必须获得至少 5 个社区赞成票以确保问题质量;答案必须包含指向外部权威知识库的超链接。正样本段落不仅需要人工保留原文图文交错排布,还需经 GPT-5 预筛与人类专家二次盲审,确认该文档确实提供了解决问题所需的核心科学机理,而非仅有词汇重合。

其次,针对传统评测中随机负例因语义迥异而过于简单的弊病,MR^2-Bench 引入了两套对抗负例生成策略: - 主题相关硬负例挖掘:利用查询关键词从更大规模的内部候选语料中召回高语义重合度但不具备解答能力的段落,并经 GPT-5 验证排除假阴性。 - 大模型混淆性负例合成:引导 GPT-5 针对查询主题专门生成在表层概念上极度吻合、但结论或因果逻辑存在细微偏差的对抗性干扰文档。所有生成的负样本最终全量经由人类领域专家审查,从而确保模型必须真正理解因果机制才能将正例排在前列。

3. 思维链重写与推理重排评测范式:单阶段稠密向量内积受限于信息瓶颈 -> 引入显式意图解构重写与两阶段MLLM测试时推理重排协议 -> 系统量化测试时推理计算对多模态检索的增益边界

针对现代多模态检索模型直接使用单向量或双塔点积难以处理多跳逻辑的固有局限,MR^2-Bench 建立了一套标准化的推理增强评测范式,涵盖查询重写(Query Rewriting)与后置重排(Reranking): - 思维链查询重写协议:针对原始查询复杂的隐含约束,设计了结构化提示词引导 MLLM(如 GPT-5)执行三步推理:首先识别题干中隐含的核心子问题;其次逐步推导相关证据文档应当包含的理论机制、特征属性或图表形态;最后将解构的推理轨迹与生成性答案压缩为 100 词以内的增强文本,以此驱动第一阶段检索器。 - 两阶段两模态重排评测协议:对于由基检索器检索出的 Top-20 候选集合,评测协议系统性地对比了纯文本重排模型、推理增强文本重排模型、原生多模态重排模型以及具备显式“先推导后打分”(Reason-then-Rank)能力的超大视觉多模态模型(如 Qwen2.5-VL-72B、GLM-4.5V、Gemini-2.5-Pro、GPT-5)。评测指标统一采用归一化折损累积增益 \(\text{nDCG}@10\) 以及各级召回率 \(\text{Recall}@K\): $\(\text{DCG}@K = \sum_{i=1}^K \frac{2^{rel_i} - 1}{\log_2(i + 1)}, \quad \text{nDCG}@K = \frac{\text{DCG}@K}{\text{IDCG}@K}\)$ 该设计系统化地打通了嵌入表征能力与测试时推理计算之间的性能映射空间。

一个完整示例

以基准中的“生物学多模态知识检索”子任务为例,真实用户输入题干为:“How did these apples grow together? I came through this pic while scrolling through facebook... I want a biological answer for this.”,并附有一张两只苹果紧密融合成连体果实的实拍照片。

在检索候选库中,正确的正样本段落源自一篇关于植物生理发育的专业文献,全文完全没有提及“apple”(苹果)或“grow together”(长在一起)等任何题干中的核心关键词。相反,该文献在解释植物花器发育畸变时,配有一张展示其他物种由于极端高温与授粉不足导致子房异常融合的双果形态解剖图,正文深入阐释了受精阶段心皮分化障碍的生物学机理。 - 浅层文本匹配模型:在候选库中根据“apple”和“facebook”等词汇进行搜索,完全无法将该学术文档排入前列,得分接近于零。 - 浅层多模态检索模型:虽然能够对苹果图像提取嵌入,但在缺乏物种间形态类比与发育生物学病理推理的情况下,容易被候选库中其他单纯展示红苹果丰收的图片所误导。 - 具备显式推理能力的检索/重排系统:首先在思维链中解构出“双果融合属于被子植物授粉异常导致的连体发育”,进而在候选图像中识别出对应的组织解剖切片,成功完成跨越物种、跨越表层词汇的因果逻辑匹配。

实验关键数据

主实验

MR^2-Bench 对 11 种主流嵌入模型进行了全量子任务评测,覆盖 5 种纯文本检索模型(分别测试纯文本输入与 Qwen2.5-VL-7B 辅助详细图像描述两种配置)和 6 种主流原生多模态嵌入模型。主评价指标采用各子任务的 \(\text{nDCG}@10\) 及宏平均(Avg.)。下表直接复现论文表 2 的主实验原始评测数据:

模型分类 检索模型 生物 (Bio.) 烹饪 (Cook.) 园艺 (Gar.) 物理 (Phy.) 化学 (Chem.) 地学 (Earth.) 经济 (Econ.) 数学 (Math.) 自然 (Nat.) 空间 (Spa.) 拼图 (Puzz.) 类比 (Ana.) 宏平均 (Avg.)
文本嵌入模型 BGE-M3 18.79 12.97 12.04 14.52 6.05 16.35 - - - - - - -
(带图像Caption) + Captions 34.19 24.28 17.88 21.24 9.67 25.19 45.46 9.97 23.66 9.48 0.00 3.46 18.71
文本模型 Qwen3-Emb. 23.77 20.44 12.61 17.13 8.61 19.79 - - - - - - -
(带图像Caption) + Captions 29.97 29.29 18.32 21.46 9.52 23.19 49.44 21.14 26.30 9.11 0.00 4.30 20.17
推理增强文本模型 Diver-Emb. 27.32 16.94 15.17 18.05 10.06 22.57 - - - - - - -
(带图像Caption) + Captions 38.46 30.87 22.84 23.62 14.46 31.40 54.67 25.91 24.88 8.52 0.00 7.47 23.59
推理增强文本模型 BGE-Reasoner 29.01 15.37 16.31 21.00 10.62 26.20 - - - - - - -
(带图像Caption) + Captions 42.60 34.40 24.94 25.61 14.31 34.57 54.31 17.16 29.86 5.52 0.00 5.88 25.35
推理增强文本模型 ReasonIR 29.85 19.72 16.22 21.56 9.83 23.56 - - - - - - -
(带图像Caption) + Captions 44.75 41.91 18.79 27.33 17.45 41.22 64.04 34.49 30.70 11.65 0.00 10.89 25.72
原生多模态嵌入 CLIP 32.85 30.57 14.06 14.86 3.50 33.23 12.97 5.64 49.34 20.89 0.19 5.09 18.59
多模态嵌入 BGE-VL 29.41 18.36 10.50 19.51 7.12 19.73 50.80 14.31 47.97 6.46 0.00 0.75 19.53
多模态嵌入 GME 34.34 39.50 19.04 19.29 7.73 28.59 36.95 7.19 39.35 15.70 0.22 11.11 21.59
多模态嵌入 VLM2Vec-V2 39.37 39.38 19.87 20.28 9.03 35.71 51.44 14.16 35.06 13.94 0.62 5.85 23.72
多模态嵌入 MM-Embed 49.68 52.19 23.67 30.36 17.44 47.51 42.99 21.58 48.41 22.79 0.21 5.93 30.23
多模态嵌入 Seed1.6-Emb. 40.64 38.12 31.77 27.91 17.80 37.17 56.13 26.10 65.16 17.29 0.93 9.21 30.68

消融实验与分析

为了探究推理增强技术对多模态检索性能的实际促进效果,下表复现了论文表 3 中关于 GPT-5 思维链查询重写(Query Rewriting)的对比评测数据,以及以表现最优的 Seed-1.6-Embedding 为初检索基座时各级重排模型的综合表现(源自论文图 2 及表 19):

配置 / 重排模型类别 重排器名称 输入模态 机制特征 平均 nDCG@10 相对 Baseline 增益
初检 Baseline Seed-1.6-Embedding 跨模态统一嵌入 单阶段向量点积 30.68 -
查询重写消融 BGE-M3 (基线) 文本 + 图像描述 原始查询 18.71 -
查询重写消融 BGE-M3 + Rewrite 文本 + 图像描述 GPT-5 意图推理重写 23.09 +4.38
查询重写消融 Seed-1.6 (基线) 原生多模态 原始查询 30.68 -
查询重写消融 Seed-1.6 + Rewrite 原生多模态 GPT-5 意图推理重写 33.87 +3.19
纯文本重排器 RankLLaMA-7B 文本 + 图像描述 交叉编码判别打分 27.33 -3.35 (退化)
纯文本重排器 RankLLaMA-14B 文本 + 图像描述 交叉编码判别打分 28.09 -2.59 (退化)
推理增强文本重排 Rank1-7B 文本 + 图像描述 测试时显式推理 30.21 -0.47
推理增强文本重排 RankR1-14B 文本 + 图像描述 RL 强化学习推理增强 32.28 +1.60
推理增强文本重排 ReasonRank-32B 文本 + 图像描述 强化学习思维链排序 32.51 +1.83
推理增强文本重排 BGE-Reasoner-32B 文本 + 图像描述 专用推理重排微调 35.08 +4.40
多模态重排器 MonoQwen2-VL 原生多模态 判别式打分 (无显式推理) 30.64 -0.04
多模态重排器 Jina-Reranker-m0 原生多模态 轻量 2B 专用重排架构 32.82 +2.14
多模态推理重排 Gemma3-27B 原生多模态 提示先推导后打分 33.51 +2.83
多模态推理重排 Qwen2.5-VL-72B 原生多模态 提示先推导后打分 36.20 +5.52
多模态推理重排 GLM-4.5V 原生多模态 提示先推导后打分 36.37 +5.69
多模态推理重排 Gemini-2.5-Pro 原生多模态 深度长思维链评估打分 41.43 +10.75
多模态推理重排 GPT-5 原生多模态 顶尖多模态两阶段推理打分 45.90 +15.22

关键发现

  • 现有顶尖检索模型在深度视觉推理上存在断崖式下跌:在当前广受认可的 MMEB 榜单上斩获 77.78 Recall@1 冠冕的 Seed1.6-Embedding,在 MR^2-Bench 上的 Recall@1 急剧崩塌至仅有 9.91%,全任务平均 nDCG@10 仅为 30.68。同样,在文本推理基准 BRIGHT 上斩获 33.90 nDCG@10 的 SOTA 推理检索器 Diver-Retriever,在辅助图像 Caption 下也仅取得 23.59 nDCG@10。
  • 纯视觉抽象推理子任务遭遇系统性全军覆没:在需要自底向上提炼几何演化规律的九宫格拼图(Visual Puzzle / RAVEN)子任务中,绝大多数模型(包括 ReasonIR、BGE-VL、Qwen3)的 Recall@1 为 0.00%,即使是表现最好的 Seed-1.6 也不足 1%(nDCG@10 仅 0.93)。在视觉类比(Analogy)与几何空间变换(Spatial)上,模型得分也显著落后于常规知识检索,说明当前多模态表征极度依赖语义文字先验,对纯粹的拓扑与逻辑关系缺乏原生感知力。
  • 文本模型辅助 Caption 提供强劲基线,且推理迁移性显著:为纯文本模型补齐 Qwen2.5-VL 生成的高质量视觉描述后,模型性能得到飞跃(如 ReasonIR 从无法运行直接跃升至 25.72 Avg nDCG@10,甚至超越了原生多模态模型 VLM2Vec-V2 的 23.72)。同时,经过纯文本推理数据微调的模型(ReasonIR、Diver-Retriever)明显优于传统表层语义检索器(BGE-M3、Qwen3-Embedding),证明语言侧训练的逻辑推断能力可泛化至图像描述表征中。
  • 显式测试时推理是突破性能天花板的核心动力:将候选集输入 MLLM 进行“先推理后打分”(Reason-then-Rank),不仅纯文本重排能获得稳步提升(BGE-Reasoner-Reranker-32B 达到 35.08),多模态长思维链重排更带来本质突破。GPT-5 将 Seed-1.6 基座检索性能由 30.68 暴力推升至 45.90(绝对涨幅 +15.22),且规模较小的专用多模态重排器(如 Jina-Reranker-m0 2B)即可超越多数百亿级通用纯文本重排模型。

亮点与洞察

  • 多模态不可替代性准则的规范化确立:不同于以往将带有无意义配图的文章简单拼接而成的伪多模态数据集,MR^2-Bench 强制执行“去图无法解答”的专家过滤准则,真正确立了高标准多模态检索的数据构建范式。
  • 视觉图解与数学证明的开拓性引入:首次将 World Bank 统计图表、Proofs Without Words 无字几何证明以及 iNaturalist 专业生物形态检索引入通用检索基准,填补了多模态科学推理与量化分析评测的空白。
  • 验证了重写与重排在多模态场景下的正交增益:实验证明基于 MLLM 的意图解构重写无需任何模型重训即可通用即插即用(各基线平均涨幅 3-5 点),配合后置推理重排可将复杂多模态信息检索落地转化为切实可行的工程管线。

局限与展望

  • 部分子任务查询样本规模较小:由于数学视觉证明、世界银行专业图表以及多模态专家标注需要极其昂贵的专业领域知识与严苛的双盲校验,部分专业子任务的查询数量在 70-100 条左右,规模相对克制。
  • 尚未提出端到端的多模态原生推理检索训练方案:论文重点在于基准构建与即插即用的推理评测范式(重写与重排),尚未探索如何设计专门的多模态自监督或强化学习目标,直接训练具备长思维链推理的原生单塔/双塔密集嵌入检索器。

相关工作与启发

  • vs BRIGHT (Hongjin et al., 2025):BRIGHT 率先开创了文本检索领域的推理密集型评测,从 Stack Exchange 提取需要专业理论推演的文档对;MR^2-Bench 沿用并深化了这一设计哲学,将其全面推进至图文交错的自由形态与纯视觉抽象关系空间,证明了视觉模态下推理难度的激增。
  • vs MMEB (Jiang et al., 2025) & M-BEIR (Wei et al., 2024):以往多模态综合基准规模庞大但多以单图实例匹配、分类对齐或常识问答为主;MR^2-Bench 证明了在 MMEB 上达到 77% 的模型在面对深度逻辑与拓扑推演时会全面失灵,指明了多模态表征模型向 System 2 慢思考演进的紧迫性。
  • vs ViDoRe (Faysse et al., 2025):ViDoRe 侧重视觉文档排版与多页 PDF 的页面级检索;MR^2-Bench 则更加聚焦于跨越模态界限的深层因果关系推导、数学证明与细粒度图表语义关联。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性地将信息检索评测推进到高阶多模态与纯视觉推理维度,打破了传统表层语义对齐的固化思维。
  • 实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 11 款主流嵌入模型、双模态描述敏感度消融、全套查询重写机制以及 10 余款重排大模型对比,数据详实严谨。
  • 写作质量: ⭐⭐⭐⭐⭐ 架构定义清晰,评测指标规范完整,任务类型层级划分科学,案例解析极具说服力。
  • 价值: ⭐⭐⭐⭐⭐ 为未来多模态 RAG、科学智能体(AI for Science)及视觉推理密集型嵌入模型的研发树立了极具挑战性且不易饱和的标杆。