OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents¶
会议: NeurIPS 2026
arXiv: 2605.05185
OpenReview: https://openreview.net/forum?id=V30OG7luk1
领域: 多模态 VLM
关键词: 多模态智能体, 深度搜索, 强化学习, 致命感知掩码, 视觉工具调用
一句话总结¶
针对前沿多模态深度搜索智能体训练数据封闭与长程交互级联崩溃的痛点，OpenSearch-VL 提出了包含基于维基图谱的源锚点多跳问答数据合成、主动感知修补与检索一体化工具库、以及带单侧优势截断的致命感知 GRPO 强化学习算法的完整开源方案。
研究背景与动机¶
多模态深度搜索已成为前沿多模态大语言模型（MLLMs）的核心能力演进方向，驱动模型从被动的视觉感知系统蜕变为具备主动信息搜寻、多源事实核验和跨步骤复杂推理的智能体。然而，学术界在复现强大多模态搜索智能体时面临着显著的技术壁垒：目前性能顶尖的系统大多由商业机构闭源垄断，其数据清洗标准、专家轨迹合成方案和长程强化学习配方均未公开。更严峻的是，多模态搜索数据的构建极易陷入退化陷阱，如果直接基于图像生成单轮 VQA，模型容易依赖图像浅层特征或一步文本检索走捷径，无法学会真正的跨模态多跳证据搜寻。
除了数据稀缺，将智能体强化学习（Agentic RL）应用于长视界、多工具交互场景时还存在严重的信用分配瓶颈。在多轮交互中，工具调用往往因参数格式错误、超时或死循环而触发级联崩溃；现有方法要么粗暴丢弃整条轨迹（直接浪费崩溃前的高质量有效探索步骤），要么对完整序列盲目计算梯度（将崩溃后无意义的胡言乱语作为噪声引入策略更新）。此外，真实世界的视觉输入普遍存在分辨率受限、模糊和视角倾斜等退化，纯检索类智能体缺乏主动修补视觉输入的能力，一旦感知端被低质图像卡死，后续所有检索都将沦为无效开销。
针对上述核心矛盾，本文构建了一套完全开源的前沿多模态深度搜索训练体系 OpenSearch-VL，从数据生成、工具环境与算法优化三方面协同突破。核心 idea：基于维基图谱路径采样与源锚点解耦生成杜绝一步检索捷径的多跳 VQA 数据，搭建涵盖图像修复与开放检索的一体化工具库，并提出致命感知 GRPO（Fatal-Aware GRPO）算法，在切断级联崩溃后无意义 token 梯度的同时，通过单侧优势截断最大化保护崩溃前有效推理步骤的强化信号。
方法详解¶
整体框架¶
OpenSearch-VL 建立了从结构化数据合成、SFT 冷启动到长程交互多模态强化学习的端到端范式。系统首先以英文维基百科超链接图谱为基础，通过约束随机游走、实体模糊改写与源锚点图像定位合成无单跳捷径的问答对，并结合视觉退化与增强操作构建出 36k 规模的专家 SFT 轨迹集和 8k 规模的 RL 问答集。随后，模型在一个统一的多模态工具环境 \(\mathcal{E}\) 中展开交互，工具空间划分为主动感知修补工具（裁剪、OCR、去模糊锐化、超分辨率、透视校正）与外部知识检索工具（网页文本搜索、逆向以图搜图）。最终，模型采用致命感知 GRPO 算法进行策略迭代，在实时环境中动态处理工具调用级联错误并分配信用。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["维基百科实体图谱与多模态语料<br/>输入原始数据与视觉问答种子"] --> B["源锚点多跳数据合成<br/>路径采样·模糊改写·源锚点解耦·退化增强"]
B --> C["SFT 冷启动模型<br/>多轮专家轨迹有监督微调"]
C --> D["统一主动感知与检索工具库<br/>图像增强/局部裁剪/OCR 与图文搜索动态交织"]
D --> E["致命感知强化学习与单侧优势截断<br/>连续错误熔断截断·有效前缀梯度保护·综合奖励"]
E --> F["前沿多模态深度搜索智能体<br/>OpenSearch-VL 最终策略模型"]关键设计¶
1. 源锚点多跳数据合成：消除单跳检索捷径与单向归因偏差 传统 VQA 数据集用于搜索智能体训练时，模型常通过逆向图搜直接命中答案实体，导致多跳长程搜索退化为单步查表。本文将维基百科建模为有向图 \(\mathcal{G}=(\mathcal{V},\mathcal{E})\)，设定约束随机游走路径 \(P = (v_0 \xrightarrow{\rho_1} v_1 \xrightarrow{\rho_2} \dots \xrightarrow{\rho_h} v_h)\)（跳数 \(h \in \{2,3,4\}\)），过滤入度超过 10,000 的中心节点以避免泛化指称歧义。核心设计在于节点角色解耦：起点 \(v_0\) 设为源锚点（通过 CLIP 相似度匹配真实图像），中间节点 \(v_1, \dots, v_{h-1}\) 作为桥接实体，终点 \(v_h\) 提供属性答案 \(a\)。随后自后向前执行模糊实体改写，要求改写后的问题 \(q_f\) 严格满足三项不变性约束： $\(a(q_f) = a(q_t), \quad |\mathcal{R}(q_f)| = 1, \quad \left( \bigcup_{j=0}^h \mathrm{aliases}(v_j) \right) \cap q_f = \emptyset\)$ 即答案不变性、世界知识下的唯一指向性、以及所有实体及其别名在问题文本中的零泄漏。最后将 \(v_0\) 替换为视觉指代词（如“图中所示建筑”），强制智能体必须先识别图像中的源锚点，再逐层推理桥接关系以获取答案。此外，对 10% 样本随机施加模糊、降采样和透视形变，倒逼模型建立“先修图、再检索”的思维习惯。
2. 统一主动感知与检索工具库：修补退化输入并动态解耦证据链 现实场景中的待解图像常夹杂大量无关噪声、局部微小目标或文本畸变，单一的网页检索根本无法修复上游退化的视觉证据。本文构建了协同运作的三维工具空间 \(\mathcal{T} = \mathcal{T}_v \cup \mathcal{T}_s\)：外部检索工具（TextSearch 整合 Serper 搜索、Jina 抓取与 Qwen3-32B 摘要，ImageSearch 负责逆向图搜与实体识别）、主动图像增强工具（Sharpen 基于反锐化掩模 \(I_{\text{out}} = (1+\alpha)I - \alpha G_\sigma * I\) 去模糊、SuperResolution 采用 EDSR 进行 4 倍超分、PerspectiveCorrect 基于 Canny 边缘与四点透视变换校正倾斜文档）、以及空间注意力与解析工具（Crop 实现局部区域聚焦、OCR 提取版面结构与分块文本）。环境将视觉工具生成的图片无损追加至活动视觉上下文 \(\mathcal{I}_l = \{I_0\} \cup \{o_k: k < l, o_k \in \mathcal{O}^{\text{img}}\}\)，不计入文本生成损失，从而支持智能体在长程轨迹中跨轮对比修补前后的局部特征。
3. 致命感知强化学习与单侧优势截断：在级联崩溃轨迹中保护有效前缀 多轮工具交互极易因网络抖动、幻觉参数或环境反馈异常陷入死循环，过往方法在遇到崩溃轨迹时若整体丢弃则浪费前期合理的探索，若全量学习则使策略受到错误发散 token 的污染。本文提出致命步判定机制：维护计数器 \(n_{\text{err}}^{(l)}\)，当且仅当出现连续 \(K=3\) 次工具执行失败时标记为致命步 \(f_i = \min\{l: n_{\text{err}}^{(l)}=K\}\)，利用致命掩码 \(M(y_{i,t}) = M_{\text{gen}}(y_{i,t}) \cdot \mathbb{1}[s(t) < f_i]\) 将致命步之后的所有生成 token 彻底置零。更关键的是，如果直接使用组内标准归一化分数 \(\widetilde{r}_i = (r(\tau_i) - \mu_{\mathcal{G}})/(\sigma_{\mathcal{G}} + \delta)\)，未完成全部步骤的致命轨迹往往因缺少最终答案奖励而得分偏低（\(\widetilde{r}_i < 0\)），进而反向惩罚崩溃前原本正确的推理前缀。为此提出单侧优势截断（One-Sided Advantage Clamping）： $\(\hat{A}_i = \begin{cases} \widetilde{r}_i, & \text{if } f_i = L_i + 1 \text{ (非致命轨迹)}, \\ \max(\widetilde{r}_i, 0), & \text{if } f_i \le L_i \text{ (致命轨迹)}. \end{cases}\)$ 该设计实现了理论上的梯度占优：若崩溃轨迹在难题组中的局部表现优于均值，其有效前缀可继续获得正向激励；若低于均值，其优势值截断为 0，仅提供零梯度而不施加错误惩罚，从而在保障组统计量无偏的同时最大化榨取有价值的探索信号。
损失函数 / 训练策略¶
训练分为 SFT 与 RL 两个阶段。SFT 阶段使用 36,592 条由 Claude Opus 4.6 生成并经 GPT-4o 答案裁判和 GPT-5.4 过程裁判双重过滤的专家轨迹，采用带生成掩码 \(M_{\text{gen}}\) 的自回归目标对视觉大模型进行全参数微调。
RL 阶段采用致命感知多轮 GRPO。轨迹综合回报综合了格式约束、终局正确率与过程查询质量：
$\(r(\tau) = r_{\text{fmt}}(\tau) \cdot \left[ \alpha r_{\text{acc}}(\tau) + (1-\alpha) r_{\text{query}}(\tau) \right]\)$
其中权重 \(\alpha=0.8\)；\(r_{\text{fmt}} \in [0,1]\) 严格校验 <think> 与 <tool_call>/<response> 的成对闭合结构并充当乘性门控；\(r_{\text{acc}} \in \{0,1\}\) 由裁判评估终局答案，致命截断样本确定性赋予 0；\(r_{\text{query}} \in [0,1]\) 由裁判针对致命步前的前缀打分，评估查询意图相关性、逻辑递进性、信噪比与跨模态互补性。最终的策略更新目标为：
$\(\mathcal{J}(\theta) = \mathbb{E}\left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{\sum_t M_{i,t}} \sum_{t=1}^{|\tau_i|} M_{i,t} \min\left( \rho_{i,t}(\theta) \hat{A}_i, \mathrm{clip}_{1-\epsilon}^{1+\epsilon}(\rho_{i,t}(\theta)) \hat{A}_i \right) \right]\)$
其中 \(\rho_{i,t}(\theta)\) 为针对生成 token 的重要性采样比，并结合低方差 KL 散度进行正则化约束。
实验关键数据¶
主实验¶
在 7 个极具挑战性的多模态知识密集型与深度网页搜索基准上评估 OpenSearch-VL 与各类基线，指标为 Pass@1（%）。
| 模型 | SimpleVQA | VDR | MMSearch | LiveVQA | BrowseComp-VL | FVQA | InfoSeek | 平均分 (Avg) |
|---|---|---|---|---|---|---|---|---|
| Direct Reasoning (直接推理) | ||||||||
| GPT-4o | 51.7 | 1.7 | 18.7 | 28.1 | 5.5 | 48.0 | 52.9 | 29.5 |
| GPT-5 | 61.6 | 9.8 | 35.1 | 44.4 | 48.6 | 54.4 | 61.7 | 45.1 |
| Gemini-2.5-Pro | 63.0 | 8.0 | 39.8 | 60.3 | 43.1 | 60.7 | 46.9 | 46.0 |
| Qwen3-VL-8B | 47.1 | 2.8 | 11.7 | 23.1 | 24.1 | 24.2 | 23.1 | 22.3 |
| Qwen3-VL-30B-A3B | 53.2 | 3.8 | 18.7 | 42.7 | 29.6 | 34.7 | 26.4 | 29.9 |
| Qwen3-VL-32B | 58.0 | 4.1 | 19.8 | 45.5 | 30.8 | 34.1 | 28.8 | 31.6 |
| RAG Workflow (检索增强工作流) | ||||||||
| GPT-4o | 63.6 | 4.5 | 49.1 | 40.1 | 13.4 | 66.3 | 59.5 | 42.4 |
| GPT-5 | 55.9 | 22.3 | 52.6 | 56.0 | 54.9 | 62.6 | 70.6 | 53.6 |
| Qwen3-VL-8B | 62.3 | 7.3 | 47.3 | 39.3 | 29.3 | 53.6 | 46.1 | 40.7 |
| Agentic Workflow (智能体自主交互) | ||||||||
| MMSearch-R1-7B | 57.4 | 2.9 | 53.8 | 48.4 | 20.9 | 58.4 | 55.1 | 42.4 |
| SenseNova-MARS-8B | 61.7 | 19.4 | 67.4 | 56.2 | 35.1 | 67.1 | 61.7 | 52.7 |
| Qwen3-VL-8B Agentic | 52.0 | 17.0 | 37.4 | 50.6 | 27.9 | 58.7 | 50.3 | 42.0 |
| OpenSearch-VL-8B (本文) | 71.6 | 20.8 | 64.5 | 59.6 | 37.6 | 71.5 | 70.2 | 56.6 |
| Qwen3-VL-30B-A3B Agentic | 55.1 | 20.2 | 44.2 | 62.0 | 34.1 | 63.0 | 56.2 | 47.8 |
| OpenSearch-VL-30B-A3B (本文) | 74.9 | 33.5 | 68.7 | 67.4 | 41.1 | 73.2 | 72.4 | 61.6 |
| Qwen3-VL-32B Agentic | 58.7 | 23.1 | 53.9 | 45.5 | 35.1 | 61.2 | 58.5 | 48.0 |
| OpenSearch-VL-32B (本文) | 76.2 | 33.8 | 72.3 | 70.5 | 43.8 | 74.7 | 74.8 | 63.7 |
消融实验¶
基于 Qwen3-VL-8B 验证数据合成管线与强化学习算法各模块的有效性：
| 实验配置 / 模块变体 | SimpleVQA | InfoSeek | FVQA | 平均分 (Avg) | 相对基准变化 |
|---|---|---|---|---|---|
| (a) SFT 数据管线消融 | |||||
| 完整数据合成管线 (Full Pipeline) | 66.1 | 62.4 | 65.3 | 64.6 | 基准 |
| 移除源锚点图像定位 (w/o source-anchor grounding) | 53.6 | 54.5 | 51.2 | 53.1 | -11.5 |
| 移除模糊实体改写 (w/o fuzzy entity rewriting) | 51.7 | 56.4 | 54.7 | 54.3 | -10.3 |
| 移除两阶段难度过滤 (w/o staged filtering) | 57.6 | 55.2 | 56.3 | 56.4 | -8.2 |
| 移除视觉退化增强子集 (w/o enhancement subset) | 64.9 | 61.7 | 63.2 | 63.3 | -1.3 |
| (b) 强化学习策略消融 | |||||
| Qwen3-VL-8B 初始基座模型 | 52.0 | 50.3 | 58.7 | 53.7 | - |
| Qwen3-VL-8B + 仅 SFT 微调 | 66.1 | 62.4 | 65.3 | 64.6 | +10.9 (vs 基座) |
| + 原生 Vanilla GRPO | 68.8 | 66.5 | 67.4 | 67.6 | +3.0 (vs SFT) |
| + GRPO 硬丢弃基线 (Hard Masking) | 68.3 | 67.9 | 66.9 | 67.7 | +0.1 (vs Vanilla) |
| + 仅致命步掩码 (Fatal Masking only) | 69.7 | 68.3 | 69.2 | 69.1 | +1.5 (vs Vanilla) |
| + 致命掩码 + 单侧优势截断 (本文完整方法) | 71.6 | 72.4 | 71.5 | 71.8 | +4.2 (vs Vanilla) |
关键发现¶
- 去捷径化是数据合成的核心胜负手：消融显示，移除“源锚点定位”与“模糊实体改写”后，模型性能分别暴跌 11.5 和 10.3 个点。这表明若不人为解耦图像锚点与目标答案，智能体就会迅速退化为死记硬背的单步逆向检索器，无法在多跳复杂任务中泛化。
- 单侧优势截断彻底激活失败轨迹的剩余价值：相比于直接抛弃整条失败轨迹的 Hard-Masking（相比 Vanilla 仅微升 0.1 分），本文算法通过致命掩码和单侧优势截断实现了 4.2 个点的显著净增益。统计表明，约 8.2% 的崩溃轨迹其有效前缀得分高于组均值，截断机制精准捕捉到了这部分前缀的探索价值，同时彻底免疫了其余 91.8% 低分样本的负向梯度冲击。
- 规模扩展效应显著：OpenSearch-VL 配方在 8B、30B-A3B MoE 与 32B 密集模型上均取得跨越式提升；其中 OpenSearch-VL-32B 平均达到 63.7 分，大幅超越了商用闭源旗舰 GPT-5（RAG 53.6 分）与 Gemini-2.5-Pro（46.0 分）。
亮点与洞察¶
- 源锚点解耦机制：不同于常规 VQA 直接针对待查目标提问，本文强制将图像绑定在多跳路径的起始实体上，并用模糊从句替换中间关系，精巧地把“看图识别”与“多步外挂知识搜寻”构造成必须串联的因果链。
- 单侧优势截断的理论与工程优雅性：将连续三次工具错误作为崩溃熔断点，既给予模型容错自愈的空间，又在数学上通过 \(\max(\widetilde{r}_i, 0)\) 将负向优势截断为零梯度，巧妙化解了长程智能体强化学习中“前缀正确但后序崩溃导致前缀被连带惩罚”的痼疾。
- 可复用的主动感知闭环：将 OpenCV 局部运算（去模糊、透视校正）与云端深度工具（EDSR、PaddleX、多模态搜索）无缝融入统一环境，使多模态智能体首次具备了“看不清就自己修好再看”的主动干预能力。
局限与展望¶
- 外部环境非平稳性干扰：真实在线搜索 API（如 Serper、网页实时更新）的抓取漂移和内容波动会增大环境方差，引发奖励函数震荡，未来需探索基于模拟环境的在线稳定性评估机制。
- 裁判模型成本高昂且缺乏细粒度感知：当前过程奖励高度依赖闭源 GPT 裁判，且主要审视文本查询逻辑，未深入评估 Crop 和图像增强等视觉操作的像素级质量；构建开源轻量的全模态过程奖励模型（PRM）是重要演进方向。
- API 依赖影响严格确定性复现：依赖云端 OCR 及在线搜索引擎导致多种子重复评测代价极高，后续亟需构建全套离线本地化沙箱基准以降低社区复现门槛。
相关工作与启发¶
- vs Search-R1 / MMSearch-R1: 早期搜索模型仅聚焦文本域或单纯增加以图搜图接口，假定输入图像质量完美且忽视级联错误；OpenSearch-VL 首次构建了涵盖主动图像增强、局部解析与文本检索的统一工具库，并彻底解决了多步交互崩溃的梯度抑制问题。
- vs Vision-DeepResearch: VDR 采用硬掩码策略直接丢弃所有致命错误轨迹，导致宝贵的前期有效探索被一并抹除；OpenSearch-VL 证明了利用单侧优势截断保留崩溃前有效前缀在理论和实证上的绝对优势。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向前沿多模态搜索智能体的源锚点解耦数据合成管线与单侧截断致命感知 GRPO 算法，方案极具针对性与原创性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 项权威复杂多模态基准、3 种主流模型规模，消融对比深入透彻，给出了详实的前缀概率分布统计。
- 写作质量: ⭐⭐⭐⭐⭐ 形式化推导严谨自洽，方法论逻辑环环相扣，图表绘制精美生动。
- 价值: ⭐⭐⭐⭐⭐ 完全开源数据、工具环境、代码与模型权重，有力打破闭源机构壁垒，是多模态搜索智能体领域重要的基石之作。