InterLV-Search: Benchmarking Interleaved Multimodal Agentic Search¶

会议: NeurIPS 2026
arXiv: 2605.07510
OpenReview: https://openreview.net/forum?id=f8reCCiMzH
代码: https://github.com/hbhalpha/InterLV-Search-Bench
领域: LLM Agent
关键词: 多模态智能体搜索, 交错图文检索, 视觉搜索枢纽, 多分支检索, 基准评测

一句话总结¶

提出了首个针对交错图文智能体搜索的基准 InterLV-Search 及标准化框架 InterLV-Agent，涵盖主动视觉证据搜寻、受控离线交错检索与开放网络多分支搜索三级递进评测，揭示出当前前沿多模态智能体在视线控制与中间视觉证据枢纽推理上普遍低于 50% 准确率的严峻瓶颈。

研究背景与动机¶

多模态大语言模型（MLLMs）在闭卷或静态上下文给定的视觉问答与推理任务中展现了惊人的能力，但在真实开放世界场景下（如深度调研、复杂事实查证与长链路问答），完成任务所需的充足证据无法仅凭初始静态输入获得，必须驱动智能体主动规划、调用搜索工具并迭代采集外部多模态信息。早期的多模态智能体搜索基准（如 MMSearch、BrowseComp-VL、VDR-Bench）主要侧重于文本信息的拓展，图像往往只停留在初始用户输入中作为查询条件；而近期引入视觉浏览与检索的基准（如 VisBrowse、BrowseComp-V3）虽然要求模型主动寻找图像，但普遍将检索到的视觉证据当作解答最终局域 VQA 题目的“终点站（endpoint）”，即仅用来读文字、识人脸或数物体。

这种静态终点式的评测范式忽略了真实信息检索中最关键的一个动态维度：视觉证据常常具有“搜索控制与转折（search-controlling / pivot）”的关键作用。在实际开放式调研中，用户在某一检索步骤中看到的局部视觉线索（如建筑天际线、雕像徽记、唱片封面色调、电影海报上的特定演职员或场景布局），往往是消歧当前状态、决定下一步应该发起何种文本查询、检索哪个新实体或跳入哪条搜索分支的关键枢纽。现有基准缺乏对“图→文→图→文”反复交错循环以及中间视觉枢纽指导后续决策能力的评测。

本文针对这一认知与评测空白，正式提出了交错图文智能体搜索（Interleaved Language-Vision Agentic Search）任务。核心 idea：将多模态智能体搜索解构为视觉证据不仅作为答案终点、更作为驱动后续检索决策的中间枢纽（Visual Pivot），并建立三层递进能力阶梯（主动视觉寻证、受控离线交错图文搜索、开放网络多分支并行搜索）与标准化交互框架，系统化评测多模态模型在复杂拓扑下的动态证据交错搜寻能力。

方法详解¶

整体框架¶

InterLV-Search 将交错图文智能体搜索分解为三个由易到难的能力层级：Level 1（主动视觉证据搜寻，Active Visual Evidence Seeking）、Level 2（受控离线交错搜索，Controlled Offline Interleaved Search）以及 Level 3（开放网络交错多分支搜索，Open-Web Interleaved Multimodal Search）。模型需要在一个标准化的“推理-行动-观察”（Reason-Act-Observe）循环下与多模态环境交互，环境提供包括本地离线稠密图文检索、在线网页/图像搜索、网页渲染与截图截取、反向图像搜索与代码执行等统一工具集，并在每轮交互中维持双层记忆机制以追踪长程搜索状态。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph L1["Level 1: 主动视觉寻证构建 (Search-to-VQA)"]
        direction TB
        A1["MMKG-W 实体与多模态元数据"] --> B1["VQA子问题生成<br/>提取依赖图像的细粒度属性"]
        B1 --> C1["隐式搜索子查询生成<br/>模糊化实体名称与元数据"]
        C1 --> D1["自适应融合与防泄露过滤<br/>确保不可直接通过文本常识破解"]
    end

    subgraph L2["Level 2: 受控离线交错搜索构建 (KG Path to Chain)"]
        direction TB
        A2["MMKG-W 知识图谱多跳路径挖掘"] --> B2["初始视觉探测样本生成<br/>组合图像检索 CIR 范式转换"]
        A2 --> C2["中间视觉断点与桥接实体挖掘<br/>断点截断 + 视觉近邻重锚定"]
        B2 --> D2["端到端验证与对抗式防作弊过滤"]
        C2 --> D2
    end

    subgraph L3["Level 3: 开放网络交错与多分支评测构建"]
        direction TB
        A3["GPT-5.4-Thinking 开放式生成<br/>单链单向与多分支并行拓扑设计"] --> B3["多模型无搜索先验过滤<br/>CP-SAT 约束优化过滤纯记忆题"]
        B3 --> C3["专业领域博士人工交叉质检<br/>纠正漂移事实与证据链断裂"]
    end

    subgraph Runtime["InterLV-Agent 标准化运行评测架构"]
        direction TB
        E["用户多模态/文本信息需求"] --> F["双层记忆状态更新 (短期交互 + 长期概括)"]
        F --> G["多模态工具分发执行 (搜图/反搜/浏览/截图)"]
        G --> H["交错观察反馈与下一步动作决策"]
        H --> I["终端属性回答与语义等价评判"]
    end

    L1 --> Runtime
    L2 --> Runtime
    L3 --> Runtime

关键设计¶

1. Level 1 隐式搜索到视觉问答解耦构建：考察主动视觉线索获取能力
该设计针对智能体必须从纯文本抽象描述中自主意识到“需要查找视觉画面并从中提炼答案”的基础能力缺失。为了避免直接将实体名告知模型退化为简单图片检索，构建管线基于包含约 1.5 万个实体的 MMKG-W 知识库，首先由 MLLM 针对实体配对图像生成必须看图才能作答的细粒度属性 VQA 问题（如颜色、图案、计数、空间关系），再根据元数据反向生成隐去实体明文的隐式语义查询，最后将两者自然融合成一句不暴露搜索意图的自然语言提问。通过对抗性过滤和双重裁判机制，剔除仅凭文本常识即可猜出答案或元数据泄露的样本，严格确保模型必须先经历“文本推理实体 $\to$ 检索图像 $\to$ 提取图像属性”的完整链路。

2. Level 2 基于知识图谱的中间视觉断点与桥接机制：强制多跳交错检索
针对现有基准中视觉证据只能充当终端终点、无法指导中间链路决策的缺陷，Level 2 利用 MMKG-W 的实体关系边挖掘非相邻端点的多跳语义链条 $P: e_0 \xrightarrow{r_1} e_1 \xrightarrow{r_2} \cdots \xrightarrow{r_k} e_k$。管线设计了两种互补范式：其一是“初始视觉探测”，借鉴组合图像检索（CIR）思想将起始实体转化为隐式视觉查询，要求智能体首先进行视觉接地，再沿文本关系推演；其二是“中间视觉断点与桥接”，MLLM 在多跳路径中间选取具有显著视觉特征的实体 $e_j$，截断原有路径后，从知识图谱中检索与 $e_j$ 视觉高度相似但在语义关系上可信的新桥接实体 $e_j'$。模型在此处必须经历“根据上下文定位图像 $e_j \to$ 识别图像特征并反搜到相似图像 $e_j' \to$ 根据 $e_j'$ 展开新子图遍历 $\to$ 到达终点 $e_k$ 验证属性”，实现了视觉证据在搜索轨迹中的中继控制。

3. Level 3 开放网络多分支并行拓扑与抗记忆优化筛选：覆盖非线性复杂现实环境
真实网络环境中信息存在噪声与不一致性，复杂问题往往需要并行探索多个不同实体后再做对比决策。Level 3 突破了传统单链搜索的局限，专门设计了多分支结构（占比 39.5%）：模型必须并行搜寻多个分支实体（如多部电影、多个艺术展品或多座建筑），在各个分支中收集图像与元数据，执行跨实体的文本/视觉横向比对（例如对比上映时长、建造年份或奖项），确认幸存分支后再深入该分支检索终端图像属性。为防止模型凭借强大的参数化记忆“走捷径”，构建流程引入 Gemini、GPT、Claude、Qwen 等主流模型进行“无搜索直答”测试，并构建基于 CP-SAT 约束规划优化器的问题筛选目标函数，在控制多模型家族无搜索准确率极低的同时保持样本多样性与难度均衡，最后经博士级专业标注者人工复审，形成 861 道高鲁棒性开放网络题目。

4. InterLV-Agent 双层记忆与统一多模态动作空间：规范交互生命周期
为了公平评测各类模型在多步交错搜索中的实际能力，论文研发了统一参考框架 InterLV-Agent。面对长链路和多分支导致的长上下文压力与遗忘问题，框架采用轻量级双层记忆更新机制：短期记忆忠实记录最近几轮交互的原始工具指令与观察结果，确保局部细节无损；长期记忆则在每步利用结构化提示更新历史实体、已获视觉线索与未完成子目标摘要。记忆更新形式化表示为： $$M_t = \mathrm{Update}(M_{t-1}, q_t, o_t)$$ 其中 $M_{t-1}$ 为上一轮长期记忆，$q_t$ 为当前执行的工具查询，$o_t$ 为多模态环境返回的观测结果。框架统一封装了在线搜索引擎（SerpAPI）与浏览器截图（Playwright），以及基于 Qwen3-VL-Embedding-2B 构建的离线局部多模态检索库，为模型施加严格交互轮次预算（Level 1 限制 3 轮，Level 2 限制 7 轮，Level 3 限制 10 轮），全面衡量搜索深度与效率。

实验关键数据¶

主实验¶

评测涵盖前沿闭源通用大模型（GPT-5.4、Gemini-3.1-Pro、Claude-Sonnet-4.6、GPT-5、Qwen3.6-Plus）及代表性开源搜索智能体（SenseNova-Mars-32B、VDR-8B、MMSearch-R1-7B）。评测对比了无工具直接回答（Direct）与搭载 InterLV-Agent 进行多模态搜索（+Tool）的准确率（Acc. %）。

模型类别 / 模型名	Level 1: Direct	Level 1: +Tool ($\Delta$)	Level 2: Direct	Level 2: +Tool ($\Delta$)	Level 3: Direct	Level 3: +Tool Avg. ($\Delta$)	Level 3: Single-Chain	Level 3: Multi-Branch
闭源通用模型
Gemini-3.1-Pro	41.29	46.05 (+4.76)	28.52	41.33 (+12.81)	17.20	46.46 (+29.26)	52.02	37.94
GPT-5.4	35.96	45.64 (+9.68)	27.44	38.22 (+10.78)	20.00	44.25 (+24.25)	51.06	33.82
Claude-Sonnet-4.6	28.51	37.13 (+8.62)	30.89	34.22 (+3.33)	10.50	40.65 (+30.15)	46.83	33.18
GPT-5	32.14	39.54 (+7.40)	20.00	35.11 (+15.11)	8.60	35.19 (+26.59)	40.12	27.65
Qwen3.6-Plus	22.44	29.27 (+6.83)	22.44	27.56 (+5.11)	10.76	37.51 (+26.75)	42.80	29.41
开源搜索专用模型
SenseNova-MARS-32B	19.28	15.69 (-3.59)	15.56	10.67 (-4.89)	6.56	29.73 (+23.17)	34.93	21.76
Vision-DeepResearch-8B	2.77	3.13 (+0.36)	8.00	6.90 (-1.10)	5.46	15.56 (+10.10)	18.04	11.76
MMSearch-R1-7B	5.94	4.10 (-1.85)	7.11	5.33 (-1.78)	4.77	11.96 (+7.19)	7.60	14.77

消融实验¶

为探究图文交错搜索中关键功能组件对智能体表现的影响，作者对三款头部模型在 Level 2（受控离线）与 Level 3（开放网络）上开展了工具与组件消融实验（汇报最终准确率 %）。

实验配置	Level 2: GPT-5.4	Level 2: Gemini-3.1-Pro	Level 2: Claude-Sonnet-4.6	Level 3: GPT-5.4	Level 3: Gemini-3.1-Pro	Level 3: Claude-Sonnet-4.6	说明
Full Model (完整配置)	38.22	41.33	34.22	44.25	46.46	40.65	具备全部多模态检索工具与双层记忆
w/o Memory (去除记忆机制)	36.89	40.00	35.55	40.42	44.48	37.63	移除长期历史摘要，仅保留局部上下文
w/o Image Search (去除图像检索)	28.89	27.22	24.00	36.12	38.91	35.20	禁用所有图像端检索/反搜，退化为文本搜索
Direct (无工具基线)	27.44	28.52	30.89	20.00	17.20	10.50	不使用任何外部检索工具直接回答

关键发现¶

视觉检索在交错链条中具有不可替代性：在 Level 2 受控离线环境下，一旦移除图像搜索工具（w/o Image Search），所有模型的表现均发生雪崩式下滑（Gemini-3.1-Pro 从 41.33% 跌至 27.22%，甚至低于无工具直接猜测的 28.52%），因为缺少图像检索导致智能体无法击穿中间视觉断点，陷入错误的文本搜索循环中；在 Level 3 开放网络中虽然存在大量旁路文本冗余，但去除图像搜索仍然带来 5%~8% 的普遍性能跌幅。
开源搜索模型在复杂图文交错任务上表现脆弱：开源搜索小模型（如 MMSearch-R1-7B、SenseNova-MARS-32B）在 Level 1 和 Level 2 上使用工具甚至导致负优化（$\Delta < 0$）。其根源在于缺乏长链路多模态规划能力与视觉接地反思能力，在遭遇密集的多模态证据时极易被噪声带偏，引发灾难性漂移。
非线性多分支搜索是对当前智能体的最大考验：在 Level 3 细分统计中，所有模型在 Multi-Branch 样本上的表现均显著落后于 Single-Chain 单链任务（例如 Gemini-3.1-Pro 在单链上达 52.02%，而在多分支上骤降至 37.94%，跌幅超 14 个百分点），证明当前智能体难以在并行维持多个假设分支、比对多模态证据的同时做出正确的修剪与转向。
检索成功是最终正解的核心瓶颈：实体检索分解实验（Table 3）显示，一旦智能体在最后一步成功召回目标实体（Ret. R@5），回答准确率可跃升至 60%~74%（如 Gemini-3.1-Pro 在 Level 2 召回状态下准确率高达 73.75%）；然而其实际目标实体召回率仅有 35%~54%，表明多跳交错环境下的目标实体定位依然是最大的瓶颈所在。

亮点与洞察¶

重新定义视觉在智能体搜索中的生态位：颠覆了过去将图像视为“初始提示”或“最终解答载体”的传统范式，明确指出了视觉证据的“搜索控制（search-controlling）”属性，将多模态交互推进到了动态闭环。
受控图谱与开放网络双轨评测设计：巧妙利用 MMKG-W 构建出无外部网络噪声干扰的 Level 1 / Level 2 离线标准靶场，同时构建 Level 3 真实开放网络多分支复杂考场，做到了原理溯源与实战检验兼备。
基于约束规划的抗参数化记忆过滤机制：使用 CP-SAT 优化器统筹多模型直答正确率与类别均衡，从源头上杜绝了模型依靠参数记忆“刷分”的伪性能，大幅提高了基准评测的严谨性。

局限与展望¶

作者指出的局限：Level 3 基于开放网络构建，现实中网页改版、反爬机制变动或链接失效可能导致部分题目的有效证据链发生随时间漂移（Answer Drift）；此外当前评测预算（如 Level 3 的 10 轮交互限制）限制了超长多分支探索的潜力。
探索与方法局限：目前的评测主要依赖贪婪式的逐步 Tool-Use 框架，尚未引入树搜索（MCTS）或基于强化学习的探索/回溯策略；开源小模型在图文交错动作生成上的微调数据极度匮乏。
未来改进方向：探索专门针对中间视觉枢纽推理的多模态长思维链（Multimodal CoT）后训练机制；开发具备动态分支推演、视觉回溯与剪枝能力的树形多模态搜索智能体。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以视觉证据为搜索控制枢纽的交错多模态智能体搜索基准，视角极具前瞻性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款头部模型、2061 道题目、三级难度、实体分解与工具消融，实验极其详实严谨。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，架构清晰，定义明确，图文并茂且消融分析深入。
价值: ⭐⭐⭐⭐⭐ 为未来多模态 DeepResearch 智能体、多模态搜索代理的后训练与能力评测树立了关键标杆。