MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents¶

会议: ECCV2026
论文: ECCV 原文
项目: MultiHaystack
领域: 视觉语言推理
关键词: 多模态检索、唯一证据、检索增强生成、困难负例、视觉语言推理

一句话总结¶

MultiHaystack 用 46,260 个异构候选与 747 道唯一证据问题，把“找到文件”和“依据文件答对”分开测量，显示 GPT-5 在 E5-V 跨模态 Top-5 检索条件下的总体回答准确率只有 51.41%，不能用已给定正确证据时的推理能力替代端到端可靠性。

研究背景与动机¶

视觉语言模型（vision-language model，VLM）在给定图像、视频或文档后回答问题，已经能完成不少细粒度理解任务。但真实的资料库问答先要解决另一个问题：相关证据究竟藏在哪个文件、属于哪种模态？一个系统可能读得懂说明书，却在检索时选中外观相似的宣传图；后续回答再流畅，也没有获得真正需要的证据。传统单样本视觉问答把正确上下文直接放进输入，因此主要测试“读懂”，没有完整测试“找对后再读懂”。检索增强生成（retrieval-augmented generation，RAG）要求这两个环节连续成功，不能只用后半段的成绩判断系统是否可靠。

已有检索导向基准部分补上了这个缺口，但候选规模、模态覆盖和证据标注仍会改变任务难度。原文表 1 列出的 DocHaystack 每题候选为 100–1000，MMNeedle 为 10–160；小集合很容易低估相似干扰项的竞争。如果提前知道答案位于视频集合，系统就不必在图片、视频和文档之间判断证据类型。如果一道问题存在多个合理支持文件，又无法把“没有找到标注文件”和“没有找到有效证据”严格区分。因此，大规模与跨模态本身还不够，问题必须有清晰的证据归属，才能诊断错误从哪一步开始。

MultiHaystack 选择先控制每道题的唯一支持项，再把它放进含有语义相关干扰项的统一候选池。它利用现有多模态数据、模型辅助出题与人工筛选构建评测，而不是训练一个新的通用推理网络。六类任务把证据定位后的空间、时序、数值和事实理解分别展开，让总体分数不至于掩盖能力差异。同时，已给定正确证据、单模态检索和跨模态检索形成不同条件，用于观察检索引入的性能损失。核心 idea：把“唯一证据约束”与“大规模异构干扰”结合，在同一批问题上分别测量证据命中和证据驱动回答，暴露小规模、单模态评测隐藏的检索瓶颈。

方法详解¶

整体框架¶

输入是一道问题和包含图像、视频、文档的资料库，输出是依据检索证据生成的开放式答案。每道问题关联一个唯一的正确文件，标注进一步指出其中相关的页面或视频帧，但检索成绩按整个文件判定。构建侧先收集资料、生成问答、过滤歧义与无证据也能回答的问题，再加入经过验证的困难负例。评测侧先用视觉语言检索器排序，再把 Top-k 文件与问题交给多模态大语言模型（MLLM）回答。中间产物是带唯一支持项的问答集合、扩充后的候选池，以及检索器为每题返回的有序文件列表。这里的“跨模态”首先指在混合候选池中选择正确证据，不意味着每题都必须联合多个不同模态的文件。事实上，单一支持项是其可诊断性的基础，也决定了它与多文档、多跳证据融合任务的边界。本文是基准构建与评测工作，下面按数据表示、问答筛选、负例扩充和评测协议解释，不把它画成新模型架构。

关键设计¶

1. 异构资料与统一视觉表示：让不同类型文件进入同一个搜索空间

图像来源包括 DocHaystack、MMIU、A-OKVQA，视频来源包括 VideoVista、MMBench-Video、FineVideo 和 MVBench，文档来自 MINT1T。这些来源提供不同的视觉内容和信息布局，最终池包含 25,652 张图像、10,419 个视频及 10,189 个文档，共 46,260 项。独立图像直接作为视觉输入，PDF 按页渲染成图像，视频在完整时长上均匀抽取 8 帧。因此，出题与检索都可以基于视觉表示处理三类文件，不要求检索器直接理解每一种原始文件格式。这个统一入口也有代价：短暂事件可能没有被抽到，复杂文档的局部文字与布局可能在表示过程中变弱。所以评测中的模态差异不仅涉及高层语义，也包含采样和信息压缩产生的限制。

论文把问题按证据理解需求分为六类，而不是只按文件类型分组。视觉解析与定位（VPP，33 题）考查空间关系，上下文理解（CU，30 题）考查视觉文字或符号与周边语境的结合。视频时序推理（VTR，44 题）关注动作、顺序和状态变化，统计推理（SR，321 题）关注图表中的数量关系。元数据识别（MI，285 题）定位机构、时间等结构化信息，事实知识检索（FKR，34 题）要求答案由资料库中的事实支持。这些数量合计 747，但 SR 与 MI 明显占多数，不能把总体成绩当作六类能力等权平均。保留任务分组可以检验：一个整体召回率较高的检索器，是否仍对某类时序、数字或实体约束特别脆弱。

2. 唯一证据问答筛选：避免把常识作答或模糊标注当成检索成功

GPT-4o 根据每项资料的视觉表示生成候选问答，平均每项约 30 道，形成待筛选的原始问题池。第一轮由 GPT-4o 和 Gemini-2.5-Flash 排除存在多个有效答案的歧义问题。第二轮人工检查问题是否具有对象、地点、时间戳等明确锚点，删除无法指向具体证据的问法。第三轮做检索独立性测试，移除不检索支持项也能回答的问题，尽量减少只靠常识或记忆绕过检索的捷径。最后保留 747 道开放但可验证的问题，既不把回答限制为选择题，又让正确性有可追溯依据。这是一套数据筛选程序，不是给回答模型增加训练损失，也不保证彻底消除所有记忆泄漏。

唯一性在此指每个问题被约束到一个支持项，并不要求所有问题都来自互不重复的文件。标注锚点位于页或帧，有助于核对答案，但返回包含该锚点的完整文件就计为检索命中。这种做法把“相关文件是否找到了”与“文件内部的信息是否理解对了”区分开来。原文第 7 页同时写出 433 个图像、105 个视频、209 个文档以及“282 items total”，统计口径存在冲突。前三项合计为 747，与问题总数一致，但仅凭正文不能确认 282 是否指去重后的支持文件数。因此本笔记不把它改写成确定的独立证据数量，也不复述其“近似平衡”的模态分布判断。

3. 困难负例扩充：让候选规模增长伴随真正的语义竞争

只有正确支持项组成的题库，不足以模拟从大量相似资料中定位答案的难度。作者让 GPT-4o 为问题生成关键词，再通过关键词网页采集获取额外候选。随后用 CLIP 相似度和 vidore/colqwen2-v0.1 分数筛选，使候选与查询在语义上具有合理关联，同时避免冗余。人工进一步核验这些候选不包含正确答案，防止扩充步骤破坏已经建立的唯一证据约束。于是干扰项不是完全无关的随机噪声，而可能与问题共享对象、事件或视觉外观，却缺少真正决定答案的条件。检索器必须识别年份、地点或局部数值等限制，而不能仅凭全局相似度满足查询。

原文图 9 的错误类型说明了这种设计要暴露什么：模型可能被显眼海报吸引而漏掉视频证据。也可能抓住 CES 这个关键词，却忽略问题指定的 1974 年，返回语义相近但时间不符的资料。为检验规模效应，作者在保留全部正例的前提下加入干扰项，构建 1K、10K 和完整候选池。这样同一问题的答案依据不变，变化的是检索器需要排除多少竞争候选。图 8 报告 E5-V 的 Recall@1 从 1K 时的 72.42% 降至完整池的 40.83%，说明小池结果不能直接外推。由于负例由关键词和相似度流程选择，这个实验反映的是该构建方式下的规模难度，而非任意自然资料库的普遍缩放定律。

4. 分阶段评测协议：分清没找到、读不懂和裁判误判

检索阶段比较 CLIP、OpenCLIP、Jina-CLIP v1/v2、SigLIP2、Nomic-Embed-Vision、E5-V 与 MM-Embed。单模态设置只在对应类型的资料中搜索，跨模态设置则面对三类混合的候选池。正文表 2 用相同指标并排报告两种设置；图 7 另以 MM-Embed 做候选总数相同的对照，避免把模态混合完全归因于池变大。命中指标按题目平均：只要唯一正确文件出现在前 k 项中，该题的 Recall@k 就记为成功。下面是这一文字定义的等价记法，并非论文另行提出的新指标：

\[ \operatorname{Recall@k}=\frac{100}{|\mathcal{Q}|}\sum_{q\in\mathcal{Q}}\mathbf{1}\!\left[d^{\star}(q)\in\operatorname{TopK}(q)\right]. \]

其中 \(\mathcal{Q}\) 为评测问题集合，\(d^{\star}(q)\) 为题目对应的正确文件，结果单位为百分比。由于按文件而非页帧评分，命中并不证明模型已经定位到文件内的精确答案位置。主回答实验固定使用 E5-V 的 Top-5 文件，让不同 MLLM 面对同一个检索前端。模型包括 Ola-7B、InternVL-3-8B、Qwen2-VL-7B、Gemini-2.5-Flash 与 GPT-5，不在此基准上引入新训练目标。原则上输入完整检索文件；遇到上下文长度或视频支持限制时，按统一规则预处理，例如优先保留匹配页帧周围内容。因此“完整文件作为证据”并不意味着所有模型都无损读取了每个原始文件的全部内容。

Gold Top-1/5 直接提供含答案的文件，用来观察有正确证据时的表现，不应与真实检索的 Top-1/5 混为一谈。答案由 GPT-4o-mini 按固定规则判定正确与否，回答准确率是被判正确的问题比例，不是证据召回率。作者为每个模型抽取 30 道互不重叠的问答，请 MTurk 人工标注，再与自动裁判比较。表 6 中 Cohen's \(\kappa\) 最低为 0.865，支持小样本上的较高一致性，但不是所有 747 道题均经人工复核的证明。这套协议能比较不同环节的表现，仍不能把实际回答准确率机械写成“召回率乘以 Gold 准确率”。检索漏失的题目难度、额外干扰证据以及模型无证据作答行为，都可能使这种乘法分解失效。

实验关键数据¶

主实验¶

下表摘自原文表 2（第 8 页），均为总体文件级召回率，单位为 %；跨模态使用完整混合池，单模态只搜索对应类型。

检索器	跨模态 R@1	跨模态 R@3	跨模态 R@5	单模态 R@1	单模态 R@5
CLIP	26.10	37.08	41.10	36.28	51.94
SigLIP2	40.96	51.27	57.03	51.81	67.87
E5-V	40.83	58.90	66.00	50.87	75.64
MM-Embed	38.42	49.53	57.30	51.41	72.42

E5-V 的跨模态 R@5 最强，但表 2 的跨模态 R@1 最高是 SigLIP2 的 40.96%，不是 E5-V 的 40.83%。 E5-V 的单模态与跨模态 R@1 相差 10.04 个百分点，SigLIP2 相差 10.85 个百分点；正文“超过 40 点”的描述与表格不符。

下表摘自原文表 4（第 10 页），固定 E5-V Top-5，指标为回答准确率（%），不是检索 Recall@5。

回答模型	跨模态视频	跨模态图像	跨模态文档	跨模态总体	单模态总体
Ola	14.29	20.09	36.36	23.83	34.00
InternVL-3	17.14	29.33	49.28	33.29	39.89
Qwen2-VL	16.19	16.86	19.62	17.54	23.29
Gemini-2.5-Flash	52.38	35.10	56.94	43.64	50.87
GPT-5	60.00	43.19	64.11	51.41	59.84

GPT-5 的总体准确率从单模态的 59.84% 降至跨模态的 51.41%，差 8.43 个百分点。第 3 页及图 2 报告其 Gold Top-1 为 80.86%；与跨模态 Top-5 的差为 29.45 个百分点，但两个条件的证据组成不同。

消融实验¶

下表摘自原文表 7（第 15 页），是高级检索流程分析，不是本文新模型的模块消融；均报告总体召回率（%）。

配置	检索条件	R@1	R@3	R@5
E5-V	单模态参照	50.87	71.08	75.64
E5-V	跨模态	40.83	58.90	66.00
E5-V + Refined Query	跨模态	43.78	60.91	68.81
E5-V + MMSearch	跨模态	44.58	62.78	70.68
VisRAG	跨模态	45.38	54.62	58.37

加入 MMSearch 后，E5-V 的跨模态 R@5 提高 4.68 个百分点，但仍比单模态 E5-V 低 4.96 个百分点。 VisRAG 的 R@1 高于基础 E5-V，R@5 却更低，说明不同检索深度的优劣不能用单一“更强”概括。

关键发现¶

检索深度与回答预算需要共同考虑：更多候选可能覆盖正确证据，也让回答模型面对更多干扰内容。
图 7 的同规模比较支持模态异质性有独立影响，但不能单凭该实验把全部性能损失因果归于嵌入空间不对齐。
原文表 5 中 GPT-5 在 SR 上为 43.61%，MI 上为 58.95%；这是端到端任务成绩，并非仅在检索成功子集上的纯推理准确率。

亮点与洞察¶

诊断单位清楚：页帧级标注与文件级检索评分服务于不同目的。它让“拿到了正确文件但仍答错”成为可分析现象，而不是只剩一个总分。
负例不等于无关资料：与查询接近但不含答案的候选更容易暴露条件遗漏。这比把候选数量做大却填入大量无关样本更有诊断价值。
对工程的启发：应同时检查检索命中、内部证据定位与最终回答。只换更强的回答模型，不能保证解决上游模态偏置和时间约束丢失。

局限与展望¶

覆盖边界：747 道问题明显偏重 SR 与 MI，且每题只有一个支持项；它不直接衡量必须联合多份文件才能回答的多跳 RAG。
构建与表示偏差：模型辅助出题、特定相似度筛选及 8 帧视频表示可能塑造题型和失败分布。这是读者对方法边界的判断，不是论文已量化的偏差结论。
裁判验证有限：每模型 30 题的人工核验不能保证更大样本或不同回答风格下仍有相同一致性，也不能排除自动裁判的系统性偏差。
原文与提取不确定性：第 7 页证据数量口径冲突未解决；表 4 标题把灰色参照称为 Recall@5，但正文解释为回答表现；图 5 附近把 64.11% 称为总体，表 4 实为文档列，本文保留表格口径。
研究方向：作者建议保留布局与时序的模态感知表示，以及推理状态驱动的查询改写、重排序和证据扩展。读者进一步建议对这些方案同时报告成本及按检索成功与否分组的回答成绩。

评分¶

新颖性: 4/5，贡献集中在大规模异构池、唯一证据及分阶段诊断的组合，而非新的训练算法。
实验充分度: 4/5，覆盖检索器、回答模型、任务、池规模和高级流程，但问题分布及人工核验规模仍有限。
写作质量: 3/5，核心问题清晰，统计口径、指标标题及部分结果叙述的不一致影响可复核性。
价值: 4/5，适合诊断多模态 RAG 的上游瓶颈；以上为阅读者评价，不是论文报告的实验指标。