Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents¶

会议: NeurIPS 2026
arXiv: 2605.10832
代码: https://github.com/JoeYing1019/ODE
领域: 多模态 VLM
关键词: 多模态深度搜索, 智能体工具调用, 视觉持久化状态, 在线策略数据进化, 强化学习

一句话总结¶

提出支持中间视觉证据持久化复用的视觉原生 Agent Harness 与闭环在线策略数据进化（ODE）框架，打通工具生成图像可再次消费的工作流，并通过策略 rollout 轨迹诊断自适应调节任务合成难度与模式，使 Qwen3-VL 在 8 个多模态深度搜索基准上大幅提分并超越 Gemini-2.5 Pro。

研究背景与动机¶

多模态大语言模型（MLLM）正从静态单图问答向开放世界多模态深度搜索（Multimodal Deep Search）演进。面对复杂的开放式信息需求，智能体需要自主交织网页检索、学术搜索、细粒度视觉操作与跨模态推理来收集证据并得出有事实支撑的结论。然而，现有系统普遍受制于两大根本瓶颈：在交互执行端，现存工具调用架构将图像检索、网页浏览或图像变换返回的新图片视为瞬态观测（Transient Outputs），中间视觉证据无法被后续工具重新输入或级联处理，导致多模态搜索依然局限于对初始输入图片的单点操作，无法实现多步视觉线索的持续积累；在训练数据端，现有多模态搜索数据多依赖预设的半自动爬取或静态合成管线，生成配方一旦固定便与目标策略的实时能力边界脱节，无法根据模型当下的弱项自适应调整任务复杂度与监督重点。

这两项缺陷造成了一个核心矛盾：深度搜索本质上是多步长程的视觉假设验证过程，既需要模型能对“工具检索出的新图”做进一步放大、旋转或图搜，又需要训练数据能紧贴模型“当前刚刚学不会”的学习前沿（Learning Frontier）。静态数据配方要么产生大量模型早已掌握的简单样本，要么生成模型无法执行的虚空轨迹，难以提供有效的策略优化梯度。

本文的切入角度是将智能体的交互工作空间与训练数据生成机制进行端到端协同设计：一方面打造一个让所有工具生成图片具备持久唯一寻址标识的视觉工作台，另一方面构建一个以当前策略 rollout 诊断反馈为梯度的闭环数据进化器。核心 idea：通过「图像库引用协议」使中间视觉产物转化为可被后续工具调用的持久化操作状态，并基于当前策略的实际交互轨迹与多维指标诊断，闭环进化任务合成配置，统筹高质量 SFT 示范轨迹与匹配策略学习前沿的 RL 探索任务。

方法详解¶

整体框架¶

本文框架由两大部分协同构成：视觉原生 Agent Harness（Visual-Native Agent Harness）与在线策略数据进化（On-policy Data Evolution, ODE）。

在交互工作空间维度，Harness 集成了 9 种核心工具（网页检索、图像搜索、学术搜索、网页浏览 visit、Google Lens 视觉搜索、放大 zoom-in、旋转 rotation、翻转 flip 以及 Python 代码执行），并建立图像库引用协议（Image Bank Reference Protocol）。所有初始输入图像与工具调用返回的新图像均按入库顺序分配唯一的全局可寻址句柄（如 <image:0>, <image:1>, ...），使任意后续工具调用都能直接将先前的视觉中间产物作为输入，形成链式视觉工作流。

在数据生成维度，ODE 将数据构建形式化为一个闭环参数优化过程。生成器由固定的环境配置与可进化的配置 \(\mathcal{C}_t\) 驱动：正向管线（Forward Pipeline）经历种子提议、网页探索、证据图谱构建和任务精炼四阶段合成多模态深度搜索任务；反向管线（Backward Pipeline）则让目标策略在 Harness 中执行该任务，通过任务验证与多维指标诊断评估轨迹瓶颈，进而将诊断信号聚合为配置更新量 \(\Delta_t\)，在下一轮迭代中自适应调整生成器参数与提示词。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph S1["阶段1：正向任务合成与图谱组织"]
        direction TB
        A["种子提议<br/>实体-图像对采样与真实验证"] --> B["网页探索<br/>9种工具多步检索构建证据节点"]
        B --> C["图谱组织<br/>派生推理与细粒度感知节点"]
        C --> D["任务精炼<br/>提取推理路径并改写去除捷径"]
    end
    subgraph S2["阶段2：视觉原生交互与任务验证"]
        direction TB
        D --> E["视觉原生工作台<br/>统一9大工具与图像库持久引用"]
        E --> F["策略交互执行<br/>SFT教师轨迹 / RL目标策略Rollout"]
        F --> G["任务验证<br/>LLM Judge对比参考答案评估正确性"]
    end
    subgraph S3["阶段3：轨迹诊断与配置进化"]
        direction TB
        G --> H["轨迹分析<br/>共享任务维度与模式专属效用评分"]
        H --> I["指标驱动优化<br/>诊断归因并更新可进化配置 Ct+1"]
    end
    I -->|自适应参数反馈| A

关键设计¶

1. 图像库引用协议：赋予中间视觉证据持久化寻址与链式操作能力

以往多模态工具系统仅把文本视作可传递的上下文，返回的图像往往是孤立的终端输出，导致模型若想对检索结果中的局部进行二次裁剪或以图搜图便无从下手。该协议为工作台内的每一张图片注册全局唯一的 <image:N> 句柄。任务执行形式化为 \(\mathcal{T} = (q, \mathcal{I}, a)\)，其中初始图像 \(\mathcal{I}\) 预先存入图像库记为 <image:0>。当智能体调用 zoom_in("<image:0>", bbox) 时，裁剪出的高清子图被自动写入图像库成为 <image:1>；下一步模型可以直接将 <image:1> 传给 visual_search("<image:1>") 获取网页来源，再根据返回的网页照片 <image:3> 执行更精细的二次分析。这一设计使工具产物从静态观测升格为可持续积累的工作证据，真正打通了视觉操作在长程链式推理中的复用路径。

2. 证据图谱引导的正向多模态任务合成：从实体拓展到高深度防捷径问答

正向数据生成克服了单次 Prompt 直接捏造多模态问答时容易出现的事实幻觉与信息泄漏。在可进化配置 \(\mathcal{C}_t\) 引导下，管线分四步推进：首先种子提议（Seed Proposal）跨 11 个领域与 4 种能力画像采样实体与真实图片，并通过即时联网核验确保至少有两个独立信息源支持；接着网页探索（Web Exploration）利用 9 种工具深入挖掘实体并构建信息节点；随后图谱组织（Graph Organization）不仅连接跨模态因果边，还显式运行 Python 代码生成跨源统计的“推理节点”，以及调用图像变换工具派生出挖掘微小细节的“感知节点”；最后任务精炼（Task Curation）在图谱中选取连通证据簇提取逻辑链，改写问题以强制依赖多跳证据、彻底剔除语言捷径。该机制确保所合成的问题兼具现实可验证性与强视觉依赖性。

3. 模式解耦的轨迹诊断与配置进化：闭环校准 SFT 示范与 RL 探索边界

静态合成难以契合模型训练生命周期的不同诉求。ODE 的反向优化通过细粒度诊断评分矩阵（Trace Rubrics）驱动配置更新。诊断包含两层：一层是任务级共享维度（信息复杂度、视觉依赖度、捷径泄漏、可验证性）；另一层则是模式特化维度。在 SFT 模式下，侧重评估示范的“步数合理性”、“工具调用质量”与“工具链多样性”，引导生成器产生步骤精练、图文操作融合紧密的高质量教师示范；在 RL 模式下，侧重评估“能力要求”、“难度匹配”与“学习效用”，紧盯当前策略的胜率分布，自适应调整难度权重与探索深度。优化器将诊断归因映射到具体阶段（如图像模糊归因至种子提议，捷径泄漏归因至任务精炼），动态微调 \(\mathcal{C}_t\) 的数值预算与策略 Prompt，并在产生负向漂移时允许参数回滚，确保 RL 任务始终锁定在当前策略的最近发展区。

损失函数 / 训练策略¶

模型训练采用两阶段递进方案： 1. SFT 阶段：基于 ODE 进化出的高质量教师轨迹（以 GPT-5.2 作为 Rollout 示范源，筛选出 8,855 条高质量样本），在 64k 最大序列长度、全局 Batch Size 为 64、学习率 \(2 \times 10^{-5}\) 下微调 2 个 Epoch。 2. RL 阶段：从 SFT 检查点出发，采用基于视觉原生 Harness 的群体相对策略优化（GRPO）结合留一法优势估计（Leave-one-out trick）。在异步 SGLang 环境下针对 ODE 采样的 4,000 条策略对齐任务进行交互探索。每个 Prompt 采样 6 条轨迹，Actor 学习率设为 \(2 \times 10^{-6}\)，裁剪比例为 0.28，不使用 KL 正则，仅以基于 LLM Judge 的终局答案等价性二元判定作为轨迹奖励。

实验关键数据¶

主实验¶

在涵盖 8 个极具挑战性的多模态深度搜索与复杂推理基准上（MMBC、HLE-VL、BC-VL、VDR、MMSearch、MMSearch+、SimpleVQA、FVQA），ODE 在 Qwen3-VL 8B 与 30B 底座上均取得大幅超越现有开源与闭源方案的表现。

模型 / 配置	MMBC	HLE-VL	BC-VL	VDR	MMSearch	MMSearch+	SVQA	FVQA	平均分 (Avg.)
Direct Reasoning (单次推理)
GPT-5	11.2	15.8	42.9	10.8	40.7	14.0	66.0	56.3	32.2
Gemini-2.5 Pro	10.3	19.0	43.1	8.0	39.8	14.5	72.7	60.7	33.5
Qwen3-VL-8B	4.0	6.1	25.1	2.8	15.2	3.2	42.7	28.0	15.9
Qwen3-VL-30B	4.5	5.0	29.6	3.8	18.7	3.2	47.0	34.7	18.3
Agent Workflow (常规工具流)
Gemini-2.5 Pro	13.8	17.3	42.3	10.0	55.7	24.9	74.3	65.0	37.9
Qwen3-VL-8B (Agent Workflow)	6.2	5.0	24.3	5.0	48.7	9.0	51.3	45.3	24.4
Qwen3-VL-30B (Agent Workflow)	6.2	4.4	29.3	4.4	49.3	6.8	53.0	45.3	24.8
专用 Deep Search Agent
MMSearch-R1-7B	-	-	-	-	53.8	-	57.4	58.4	-
WebWatcher-32B	-	13.6	26.7	-	55.3	-	59.0	-	-
Ours: Visual-Native Harness
Qwen3-VL-8B (Zero-shot Harness)	7.6	6.1	26.1	4.2	47.3	10.0	53.0	44.7	24.9
+ ODE-SFT	8.5	8.2	39.6	19.2	61.7	21.3	68.3	62.0	36.1
+ ODE-RL (完整模型)	12.5	11.4	41.9	20.4	66.0	24.9	70.3	64.7	39.0 (提升 +14.1)
Qwen3-VL-30B (Zero-shot Harness)	7.1	8.5	32.8	11.0	57.0	10.0	63.7	54.3	30.6
+ ODE-SFT	10.3	9.9	43.1	24.0	65.7	26.7	70.3	66.3	39.5
+ ODE-RL (完整模型)	11.2	10.5	46.1	26.4	69.7	28.1	71.0	69.3	41.5 (提升 +10.9)

消融实验¶

消融实验对比了两个核心设计：(1) Harness 中是否保留可引用的持久化图像状态（图3）；(2) 数据生成采用 ODE 在线闭环进化 vs 采用固定生成配方的静态合成（Static Synthesis，图4）。

配置 / 对比条件	关键表现对比 (8B 模型)	现象与说明
Harness 图像引用协议消融
完整 Visual-Native Harness	MMBC 12.5% / HLE-VL 11.4% / MMSearch+ 24.9%	允许将中间生成的图片句柄传入后续工具
消融组: 仅观测不保留引用 (Ablated)	MMBC 下降 4.9% / HLE-VL 下降 2.9% / MMSearch+ 下降 3.2%	虽能“看到”图片，但无法对检索出的新图做二次 zoom-in 或 visual_search
数据机制消融 (固定预算 2K SFT / 4K RL)
ODE 进化生成 (Evolved Recipe)	SFT 平均 36.1% / RL 平均 39.0% (VDR 20.4%, FVQA 64.7%)	策略反馈驱动配置优化，难度与长程视觉操作更加匹配
静态配方合成 (Static Synthesis)	SFT 表现明显落后 / RL 阶段在多任务上出现次优或停滞	静态任务偏向浅层检索或难度脱节，无法提供贴合策略前沿的有效梯度

关键发现¶

持久化视觉状态是复杂长程任务的胜负手：消融表明，在视觉复用率最高的 MMBC 基准上，去除图像引用句柄导致绝对性能骤降 4.9%。分析显示，被复用的中间图像主要被 zoom-in 与 visual_search 所消费，证实多模态深度搜索极度依赖“先检索相关图片、再局部放大二次图搜”的细粒度验证路径。
工具权限不等于工具运用能力：未微调的 Qwen3-VL 即使挂载 9 种工具，平均得分也仅在 24% 左右徘徊，甚至远落后于直接推理的专有前沿模型；而通过 ODE 数据微调与对齐后直接跃升至 39.0% 与 41.5%，证明模型必须专门学习“何时看图、何时检索、如何组合工具链”。
进化展现出明确的模式特异性（Mode-Specific）：在 SFT 模式下，ODE 自发演化出更紧凑但视觉密度更高的教师轨迹（总工具数减少，但中间动态图片数量与图片输入调用比例增加）；而在 RL 模式下，ODE 则逼迫生成器产生需要更长工具链、更多次图文交叉验证的深水区难题（Hard/Expert 占比由 29% 激增至 93%）。

亮点与洞察¶

将视觉状态转化为可编址的动态变量：打破了传统多模态交互仅将原始图置于输入端、后续仅通过文字描述传递视觉信息的局限，利用 <image:N> 句柄将视觉证据升格为工作台中的持久变量。
数据合成从开环流水线迈向闭环在线优化：把多模态数据合成视作一个以模型自身交互痕迹为梯度信号的自适应学习系统，诊断模块直接归因到种子提议、网页探索等具体代码模块，甚至能够根据失败反馈实现参数反向回滚。
可复用的通用设计：Image Bank 协议可直接无缝迁移到通用多模态 Agent（如电脑控制、多模态代码解释器、GUI Agent）中，作为通用多轮图像暂存与引用的标准化接口。

局限与展望¶

计算与推理成本高昂：正向阶段调用多工具探索并构建证据图谱、反向阶段多轮 Rollout 与 LLM Judge 诊断，导致单条高质量样本的数据生成开销显著高于纯文本生成。
环境交互的确定性挑战：严重依赖真实的外部开放网络检索与浏览环境，网页失效、动态验证码或检索噪声可能对部分复杂任务的可重现性与可验证性造成扰动。
未来方向：探索更大规模的在线策略进化体系，将闭环生成与策略自博弈相结合，实现完全无人工标注介入的多模态自主探索训练。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态深度搜索中的持久化图像引用协议与闭环在线数据进化机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个权威基准、跨 8B/30B 双模型尺度，提供详尽的消融与轨迹统计分析。
写作质量: ⭐⭐⭐⭐⭐ 架构图与逻辑链条极其严整，实验归因深刻，附录提供了完整的演化实例。
价值: ⭐⭐⭐⭐⭐ 为解决多模态 Agent 长期面临的“视觉瞬态遗忘”与“训练数据脱节”提供了极其扎实的基础设施与演化范式。