ARK: A Dual-Axis Multimodal Retrieval Benchmark along Reasoning and Knowledge¶

会议: NeurIPS 2026
arXiv: 2602.09839
OpenReview: https://openreview.net/forum?id=3BQmlx6S58
代码: https://huggingface.co/datasets/XLearning-SCU/ARK-Bench
领域: VLM Reasoning
关键词: 多模态检索, 知识与推理双轴基准, 视觉推理, 困难负样本, 检索增强生成

一句话总结¶

提出了首个显式解耦知识维度与推理维度的多模态检索基准 ARK，涵盖 5 大学科领域、17 个子类、16 种异质视觉格式与 6 种推理技能，揭示了当前检索系统在细粒度视觉与空间推理上的严重性能瓶颈。

研究背景与动机¶

多模态检索是现代人工智能系统（如多模态 RAG、深度学术搜索与智能助手）的核心基础模块。然而，现有的多模态检索评测基准长期偏向于日常自然图像上的粗粒度语义相似度匹配或物体级别共现模式。在这些评测中，查询与候选目标之间的关联通常能通过浅层的视觉概念对齐（如识别图中的日常动物或衣物属性）轻松解决，难以诊断系统在面对复杂真实任务时的深层瓶颈。

近期虽然涌现了 MRMR 与 MR2-Bench 等更具挑战性的基准，但它们往往直接搬用 VQA 任务的问答配对，主要侧重领域知识记忆（如动植物百科、烹饪步骤或医学术语），而对多模态证据之上的多步结构化推理缺乏系统分类与细粒度诊断；更关键的是，以往基准将“领域专业知识”与“多步多模态推理能力”深度混杂，导致评测出现失效归因模糊：当一个检索器召回失败时，无法判断究竟是因为其缺失领域概念表征，还是因为无法理解复杂的跨模态几何、拓扑、逻辑或抽象因果关联。

为了打破这种混淆并提供真正具备诊断价值的评测体系，本文的切入角度是：将多模态检索的认知要求正交解耦为“知识域”与“推理技能”两个互补维度，并辅以针对性的对抗性困难负样本以彻底封堵捷径匹配。核心 idea：构建知识与推理双轴显式解耦的多模态检索基准 ARK，通过 17 个子类与 6 类推理技能的细粒度标注，结合针对性的逻辑/几何困难负样本，系统诊断检索模型从感知、知识记忆到深度多步推理的断层瓶颈。

方法详解¶

整体框架¶

ARK 评测任务形式化为单模态与多模态通用检索设置：给定查询 \(q\) 与检索库 \(\mathcal{D}=\{d_{i}\}_{i=1}^{N}\)，系统需对候选样本排序并尽可能将唯一真实正例 \(d^{+}\) 排在首位。基准涵盖 1,750 个精心设计的查询和 36,858 个候选库图文项，覆盖 5 大宏观知识领域（视觉认知、自然科学、形式科学、人文社科、工程技术）下属 17 个细分子类，以及 16 种异质视觉格式（包含超高分辨率原生大图、代码渲染矢量图、化学分子式、电路图、思维认知地图、地铁拓扑图、历史讽刺漫画等）。

ARK 的构建与评测管线由分类法驱动采集、推理导向精炼与困难负样本挖掘、认知负荷与多标签双轴标注三大阶段协同构成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源权威数据与专家基准采集"] --> B["分类法驱动的候选池构建<br/>5大知识领域·17个细分子类·16种异质视觉"]
    B --> C["推理对齐精炼与困难负样本构造<br/>消除提示捷径·结构扰动生成混淆负例"]
    C --> D["双轴与认知负荷多标签标注<br/>领域专家初审·6位博士独立双轴仲裁"]
    D --> E["多阶段系统评测与诊断<br/>跨领域/跨技能评测·重写与重排增强分析"]

关键设计¶

1. 知识与推理双轴正交解耦体系：消除概念记忆与推理能力的归因混淆

针对以往基准无法区分模型是“缺乏知识”还是“缺乏推理”的缺陷，ARK 为每个测试样本同时赋予知识维度与推理维度的双重标签。在知识维度上，划分为视觉认知（Visual Cognition）、自然科学（Natural Science）、形式科学（Formal Science）、人文社科（Humanities & Social Science）和工程技术（Engineering & Technology）5 大宏观领域共 17 个子类；在推理维度上，严格定义了 6 大认知操作技能： - 知识推理（Knowledge Reasoning）：需结合特定背景知识事实进行演绎，而非浅层实体识别； - 空间推理（Spatial Reasoning）：涉及几何拓扑、相对方位、3D 空间投影与折叠旋转； - 细粒度视觉推理（Fine-grained Visual Reasoning）：要求在超高分辨率大图中定位微小、局部的关键视觉线索（践行“以图思考”）； - 逻辑推理（Logical Reasoning）：涉及析取、合取、非、布尔真值表与条件约束； - 符号推理（Symbolic Reasoning）：建立代码语法、数学符号或化学结构式到渲染视觉结构之间的确定性映射； - 概念抽象（Conceptual Abstraction）：处理高阶隐喻、历史政治讽喻漫画及科学实验趋势的归纳提炼。此外，样本在全局认知需求上被标定为“仅感知（Perception-Only）”、“知识密集（Knowledge-Intensive）”、“推理密集（Reasoning-Intensive）”以及“知识与推理双密集（Both）”，使模型评测结果具备精准定位缺陷的能力。

2. 针对性困难负样本与防捷径查询精炼：封堵浅层语义匹配捷径

针对多模态检索模型极易利用背景共现、高频词或显著外观特征“走捷径”的痛点，ARK 采用“多模态大模型改写 + 结构化语义扰动 + 人工清洗”的三重防护机制。在查询端，利用多模态大模型对原始 VQA 问题与配对文本进行深度改写，剥离过于显式的关键词和直接描述性线索，仅保留事件背景、核心推理前提与因果约束，促使模型必须结合视觉深层证据方可匹配。

在候选负样本构建端，ARK 针对不同子类设计了精准的破坏性扰动策略：在空间认知地图（Spatial-Cogmap）中，保持物体类别与数量不变，仅交换相邻物体的坐标位置以扰动几何拓扑；在 TikZ 代码绘图（Code-Drawing）中，采取单行代码微调策略（Single-line Perturbation），微调坐标或连线语法后重新编译出几何关系颠倒但视觉极度相似的干扰图；在数字电路（Electronics）中，保留完全一致的门电路图版面，仅替换门逻辑类型或扰动真值表条目；在生物学（Biology）中，引入同科属形态近缘物种；在历史漫画（Comic）中，仅给出历史事件背景与政治立场陈述，完全隐去画面内容描述。最后，通过先进检索器召回前 50 邻近样本并由人工过滤假负例，确保检索系统必须执行完整的跨模态推理才能精准命中正例。

3. 异质视觉格式与细粒度高分辨率覆盖：突破日常自然图像评测假象

以往基准通常局限于低分辨率日常拍摄快照，无法评估智能体在实际专业场景下的视觉解析能力。ARK 纳入了 16 种高异质性视觉载体，特别是引入了平均分辨率达 \(5960 \times 3900\) 的 DIV8K 原生高精图像（Fine-Grained 类别）以及平均分辨率高达 \(9858 \times 9057\) 的超高分辨率城市地铁拓扑线路图（Metro 类别）。此类高分辨率图谱要求模型具备超高密度的像素级线索捕捉与拓扑连通性推理能力，直接检验了模型在长视觉上下文和局部几何缩放条件下的抗退化能力。

损失函数 / 训练策略¶

本论文为基准构建与系统性评测研究，未引入专属训练损失。评测中统一涵盖 25 种代表性检索架构，涵盖： - 纯文本检索管线：先用 Qwen3-VL-8B-Instruct 将图像转写为密集描述（Captioning），再输入 BGE-M3 (0.6B)、Diver-Embed (1.7B/4B)、Qwen3-Embed (4B/8B)、ReasonIR (8B) 进行文本嵌入余弦相似度计算； - 原生多模态嵌入模型：CLIP (0.4B)、BGE-VL (0.4B)、SigLIP2 (0.9B)、MetaCLIP2 (2B)、VLM2VecV2 (2B)、Ops-MM-Embed-v1 (2B/7B)、Qwen3-VL-Embed (2B/8B)、LamRA-Ret (7B)、RzenEmbed (7B)、EVA-CLIP (18B) 以及商业 API Seed1.6-embedding； - 推理增强与两阶段重排：基于 GPT-5.2 的查询重写（Query Rewriting）以及 BGE-Reranker (600M)、Jina-Reranker (2B)、Qwen3-VL-Reranker (8B) 跨模态重排器。主要评估指标为独立子库内的 Recall@1、Recall@k 与 nDCG@k。

实验关键数据¶

主实验¶

在 ARK 基准的 17 个子类与双轴维度下，评测了 25 种主流检索模型。各模型在 5 大宏观知识领域的整体宏平均 Recall@1 以及推理维度的表现如下表所示。

模型	参数量	视觉认知 (Visual)	自然科学 (Natural)	形式科学 (Formal)	人文社科 (Humanities)	工程技术 (Engineering)	全局宏平均 (Avg. R@1)
BGE-M3 (Captioning)	0.6B	9.87	16.16	2.65	10.63	11.92	10.71
Diver-Embed (Captioning)	4B	12.01	21.71	8.24	15.70	19.08	15.61
Qwen3-Embed (Captioning)	8B	12.01	22.74	8.25	12.75	18.92	14.90
CLIP	0.4B	10.39	12.60	1.16	5.94	6.26	7.66
SigLIP2	0.9B	17.98	13.13	2.31	6.00	11.87	10.68
MetaCLIP2	2B	16.62	18.54	2.16	9.94	9.63	12.06
Qwen3-VL-Embed	2B	17.73	16.64	5.62	10.95	12.92	13.29
Ops-MM-Embed-v1	7B	17.44	20.33	7.61	16.73	20.21	17.08
Qwen3-VL-Embed	8B	18.18	23.27	11.94	15.63	22.20	18.30
EVA-CLIP	18B	17.11	21.26	1.83	9.10	14.05	13.08
Seed1.6-embedding	商业API	18.36	17.96	14.92	19.53	24.55	19.32

在认知负荷与推理技能维度的细分评测中（Recall@1），系统在知识与推理上的落差尤为显著： - 认知需求断层：以强多模态基线 Qwen3-VL-Embed (8B) 为例，“仅感知”达到 68.64%，“知识密集”降至 17.73%，“推理密集”进一步跌落至 11.94%，“双密集”为 15.95%； - 视觉与空间推理瓶颈：所有模型在细粒度视觉推理（Fine-grained Visual Reasoning，Qwen3-VL-Embed 仅 0.77%，全场最高仅 Ops-MM-Embed-7B 达 6.92%）与空间推理（Spatial Reasoning，全场平均不足 5%）上遭遇毁灭性滑铁卢，而概念抽象（Conceptual Abstraction，最高 33.33%）与知识推理相对较优。

消融实验¶

针对推理时干预策略（查询重写与二次重排）在 Seed1.6 基础检索器召回 Top-50 上的消融对比（宏平均指标）：

策略 / 重排器配置	知识轴 R@1	知识轴 R@5	知识轴 N@10	推理轴 R@1	推理轴 R@5	推理轴 N@10	说明
Seed1.6 基线 (直接检索)	19.32	37.60	32.28	15.30	31.69	26.71	原始单阶段密集检索
+ GPT-5.2 查询重写 (Rewrite)	23.42	43.85	37.52	17.49	35.09	29.53	知识轴提升 4.10%，推理轴提升 2.19%
+ BGE-Reranker (600M)	12.23	23.95	21.05	8.19	18.35	15.88	跨模态小容量重排器性能严重负迁移
+ Jina-Reranker (2B)	23.90	43.06	37.16	17.14	33.48	28.81	容量充足的大模型重排带来稳定正向增益
+ Jina-Reranker + Rewrite	27.77	47.47	41.50	21.21	38.27	33.14	重写与判别重排协同带来双重增益
+ Qwen3-VL-Reranker (8B)	29.33	49.20	42.86	23.89	41.76	35.90	视觉大模型重排器大幅提高排序精准度
+ Qwen3-VL-Reranker + Rewrite	34.51	51.45	46.23	28.31	42.76	38.29	整体方案达到全场最优水平

关键发现¶

标杆天花板严重崩塌：在常用评测榜单（如 MMEB-v2）上 Recall@1 超过 75% 的前沿模型（Seed1.6、Qwen3-VL-Embed-8B），在 ARK 上的宏平均 Recall@1 骤降至 18%～19%，证明传统基准的大规模语义匹配性能并不能泛化到严苛推理场景。
视觉中心推理成为致命瓶颈：跨模型对比表明，无论是大参数量多模态模型还是基于密集转写描述的文本检索器，在细粒度高精视觉定位（DIV8K 对应子集）与 3D/地图几何拓扑推理（Spatial 对应子集）上几乎普遍失效。转写描述（Captioning）在压缩过程中不可避免地丢弃了坐标、几何连接和局部细节，而原生多模态嵌入在池化特征层级丢失了局部细粒度对齐能力。
模型缩放（Scaling）无法单独消解深层推理鸿沟：将多模态检索器参数量从 2B 扩大到 18B（如 EVA-CLIP-18B）仅在通用自然科学分类上获得边际收益，但在数学符号、代码绘图与几何拓扑子集上毫无起色。相反，在推理阶段引入显示推理介入（重写显式解构查询约束 + 大容量跨模态重排器细致校验）展现出了远优于单纯扩大参数规模的效能提升。

亮点与洞察¶

正交双轴评测设计解开归因死结：将知识广度与推理深度显式剥离，使研究者能够精准判断检索器到底是“不认识特定领域实体”还是“算不清多模态空间与逻辑关系”。
单行扰动与几何对抗负样本构造极具启发性：通过微调 TikZ 编译代码与坐标置换生成严格控制变量的困难负样本，为多模态检索防作弊与防捷径评测树立了规范标准。
推理期协同增强策略的互补性验证：查询重写补全了用户隐式意图与逻辑约束（在逻辑推理中涨幅最大），而强容量跨模态重排器提供了成对细粒度交互核对能力，两者结合构成了当前推进多模态 RAG 的高性价比工程落地范式。

局限与展望¶

作者承认的局限：尽管 ARK 覆盖 17 个子类与 16 种异质数据，但其 1,750 个精选查询的总规模受限于极度繁重的人工精炼、负样本验证与博士级双轴多标签仲裁，相比传统海量自然检索数据集规模偏小；同时，当前评测仍聚焦单正例检索，未全面覆盖开放世界多跳级联检索场景。
深层挖掘的局限：当前基准中的图文候选项以静态图像与单页图表为主，对于高维度 3D 连续体原生表征以及长文档/跨页面连续时空线索的检索评测支持尚待扩展；此外，图像转文字（Captioning）基线受限于生成模型的提示词与固有幻觉，尚未充分挖掘自适应聚焦裁剪等主动视觉机制。
改进与演化方向：探索与具备“以图思考”（Thinking with Images / System 2）的视觉推理大模型深度结合，构建能在检索前自适应针对候选图生成“面向特定查询线索的高保真推理图注”的检索前处理机制，彻底攻克细粒度定位与拓扑关系建模瓶颈。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出正交解耦知识与推理的双轴多模态检索基准，设计了严谨的反捷径困难负样本生成范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 25 种主流文本/多模态模型、跨 17 个专业领域子库和 6 大推理操作，包含多阶段推理介入深度消融。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确，任务形式化严整，实验归因深刻，图表信息充实且极具诊断价值。
价值: ⭐⭐⭐⭐⭐ 直击当前多模态 RAG 与深度研究（Deep Research）在视觉推理侧的核心短板，是推动多模态检索走向深度推理的关键基石。