V-Retrver: Evidence-Driven Agentic Reasoning for Universal Multimodal Retrieval¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/chendy25/V-Retrver
领域: 多模态 VLM
关键词: 通用多模态检索, 视觉智能体, 多模态思维链, 强化学习, 视觉主动检验
一句话总结¶
V-Retrver 将通用多模态检索重构为基于视觉检验的智能体推理过程,通过在思维链中交错调用图像选择与局部放大工具主动搜集视觉证据,并结合对比 NDCG 与工具使用奖励的三阶段课程强化学习,显著解决了细粒度多模态检索中的纯文本臆测与幻觉难题。
研究背景与动机¶
多模态大语言模型(MLLMs)在通用多模态检索中展现出强大潜力,能够统一处理文搜图、图搜文、图文混排等多模态检索场景。为了提升候选排序的可解释性与辨别力,近期方法广泛引入基于思维链(Chain-of-Thought, CoT)的重排序架构。然而,现有的 CoT 检索方法本质上仍是语言驱动的,它们通常将候选图像预先压缩为静态全局特征向量或粗略文本描述,所有的思维链推演仅在固定的语言空间中单向展开,模型缺乏在推理过程中主动检验与复核视觉细节的能力。
当检索场景进入细粒度或高视觉歧义区间时,这种纯语言推演的缺陷被急剧放大。例如在 Composed Image Retrieval(CIR)或复杂商品检索中,候选图像通常共享高度相似的宏观语义(如相同品类、相似构图),关键判定条件完全取决于局部的细微视觉差异(如特定花纹、纽扣数量、细微材质光泽或背景局部小物件)。静态单遍编码不可避免地丢失了这些低层视觉细节,迫使多模态模型只能通过语言“脑补”视觉差异,产生严重的推测性臆断乃至视觉幻觉。即便像 Retrv-R1 等前沿工作通过强化学习加深了文本推理逻辑,依然受限于单次前向视觉表征,无法在出现推断分歧时“再看一眼”。
本文认为真正的视觉推理决策应当模拟人类的检索习惯:先形成初步假设,当候选间细节存疑时,主动调用外部视觉工具拉近放大或精准比对,再据此修正排序。核心 idea:将多模态检索重构为交替进行假设生成与定向视觉检验的主动推理过程(MIER),使 MLLM 能动态调用外部视觉工具获取局部证据,并通过融合对比 NDCG 与工具成本约束的三阶段课程强化学习(EAPO)实现检索精度与推理开销的全局最优。
方法详解¶
整体框架¶
V-Retrver 采用“粗筛-精排”的分层检索架构,解耦低计算开销的候选粗召回与高计算密集的主动推理精排。在第一阶段,采用双塔多模态向量模型 \(\phi\)(沿用 LamRA 方案)计算查询 \(q\) 与底库候选 \(c_n\) 的向量相似度,从全库中快速召回 Top-\(K\) 个候选集 \(\mathcal{C} = \{c_k\}_{k=1}^K\)(评测中 M-BEIR 设 \(K=50\))。在第二阶段,V-Retrver 引入基于多模态交错证据推理(Multimodal Interleaved Evidence Reasoning, MIER)的重排序智能体 \(\theta\) 对 \(\mathcal{C}\) 进行细粒度列表排序。智能体以自回归方式交替生成文本推理步、工具调用请求与感知证据解析,直至完成终极列表排序输出。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询 q 与全量候选池 Ω"] --> B["向量粗召回<br/>双塔多模态编码提取 Top-K 候选"]
B --> C["多模态交错证据推理 MIER<br/>初始假设生成与候选预筛"]
C --> D["外部视觉工具感知<br/>SELECT-IMAGE 子集聚焦 / ZOOM-IN 局部放大"]
D --> E["动态证据回填与假设修正<br/>更新多模态轨迹上下文"]
E --> F["证据对齐策略优化 EAPO<br/>三阶段课程学习: SFT → RSFT → GRPO"]
F --> G["输出最终候选排序列表 answer"]
关键设计¶
1. 多模态交错证据推理(MIER):将单向语言链升级为感知-推理闭环
传统语言思维链在输入图像编码后便不再引入新的视觉感知信息,极易在推理深层脱离物理事实。MIER 范式将单向推演重塑为多轮感知交互轨迹 \(\tau = \{T_1, C_1, V_1, T_2, C_2, V_2, \ldots, T_n, A_n\}\)。在每一轮步 \(k\) 中,MLLM 生成包含思考过程的文本步 \(T_k\) 以及工具调用请求 \(C_k\)。外部解析器拦截工具调用并执行底层感知操作,返回新采集的非压缩视觉观测 \(V_k\),将其动态拼接至上下文历史中供下一阶段推导使用。该机制确保了模型生成的关键视觉结论(如判断衣物是否具备金属光泽或纽扣数目是否达标)都有确定性的实测视觉切片作凭证,彻底阻断纯语言幻觉。
2. 互补型外部视觉工具集:解耦全局聚焦与局部超分辨率检验
为兼顾计算负载与细粒度感知分辨率,V-Retrver 为智能体配备了两种最小化但完全正交的工具接口,赋予模型自主调整感知视野(Receptive Field)的能力: - SELECT-IMAGE:用于多候选语义高度粘连时的子集比对。智能体从 Top-\(K\) 候选池或查询中选定 1 到 4 张高混淆图像进行紧凑聚焦,排除其他明显不匹配项的视觉干扰。 - ZOOM-IN:通过指定候选或查询图像索引及二维边界框 \([x_{\min}, y_{\min}, x_{\max}, y_{\max}]\),对关键判别区域执行局部高分辨率裁剪放大,直接捕获纽扣、徽标、文字、纹理等全局编码极易抹平的微观判别特征。此外,该工具集保持开放可扩展性,可无缝接入 OCR 文字抽取工具(EXTRACT-TEXT)以支持富文本图文检索。
3. 证据对齐策略优化(EAPO):兼顾排序判别力与工具经济性的强化学习
从通用 MLLM 转向能够合理审题、克制调用工具的高效检索智能体,直接进行强化学习极易因格式崩溃与工具滥用导致训练发散。本文构建了三阶段课程体系:
- 阶段 I(SFT 激活):利用 Qwen2.5-VL-72B-Instruct 合成高质量 CoT 轨迹,经规则过滤后冷启动微调模型的基本思维链语法与工具调用格式;
- 阶段 II(拒绝采样微调 RSFT):对每个样本采样多条推理轨迹,仅保留格式完全合法且最终排序完全正确的轨迹再次微调,大幅削减无效轨迹方差;
- 阶段 III(EAPO 强化微调):基于 GRPO 框架优化复合奖励函数:
$\(R_i = \alpha r_{\text{format}}(o_i) + \beta r_{\text{rank}}(o_i) + r_{\text{tool}}(o_i)\)$
其中格式奖励 \(r_{\text{format}}\) 确保 <think>、<tool_call> 与最终排序列表格式合规;对比 NDCG 奖励 \(r_{\text{rank}}\) 专门设计了困难负样本惩罚机制,设 \(j^*\) 为正确候选,\(H\) 为与查询向量相似度最高的前 \(m\) 个困难负样本,位置 \(k\) 的相关度评分为:
$\(\text{rel}_{\hat{\pi}}(k) = \begin{cases} 2 & \hat{\pi}(k) = j^* \\ 1 & \hat{\pi}(k) \in H \text{ 且排在 } j^* \text{ 之后} \\ 0 & \text{其他} \end{cases}\)$
该机制严厉惩罚将困难负样本排在正样本之前的致命错误;工具使用奖励 \(r_{\text{tool}}(o_i) = \eta \cdot \mathbb{I}_{\{k=1\}} \cdot \mathbb{I}_{\{N_{\text{tool}}>0\}} - \rho \cdot \max(0, N_{\text{tool}} - \tau)\) 则对助攻正例排第一的有效检验给予正向激励 \(\eta=0.2\),对超出容忍阈值 \(\tau=1\) 的多余调用施加惩罚 \(\rho=0.1\),驱动模型在平均仅需 1.6~1.7 次工具调用的极低开销下完成精准判别。
一个完整示例¶
以复杂图文修改检索(Composed Image Retrieval)为例,查询文本要求:“寻找白色沙发搭配杂色斑驳抱枕,替换原图中的深褐色沙发白抱枕及下方藏书设计”。初始向量检索返回 5 个高相似候选。
1. 预筛与聚焦:智能体在 <think> 中初步识别 Candidate 2 包含褐色沙发与书籍,实为反例描述予以剔除;Candidate 3 为纯白沙发但缺乏杂色抱枕纹理。Candidate 1 与 Candidate 4 均为白沙发且带花纹抱枕,语义高度混淆。智能体发出工具调用 <tool_call>{"name": "select_images", "arguments": {"target_images": [1, 4]}}</tool_call>。
2. 放大检验:两张高混淆图像被放大并排呈现后,模型注意到 Candidate 1 沙发侧边疑似有特殊储物隔板,发出调用 <tool_call>{"name": "crop_image", "arguments": {"bbox_2d": [290, 80, 380, 200], "target_image": 1}}</tool_call> 放大查看置物架细节。
3. 裁决输出:放大证实 Candidate 1 完美体现了文本要求的各类视觉属性与改动,而 Candidate 4 缺乏置物架整合设计。智能体终结推理,输出合规排序标签 <answer>[1, 4, 3, 5, 2]</answer>。
损失函数 / 训练策略¶
在 Stage III 中,EAPO 采用无 Critic 网络的 GRPO 算法。对每个训练查询 \(q\),策略模型采样 \(G=8\) 条轨迹 \(\{o_1, \ldots, o_G\}\),计算组内优势 \(A_i = (R_i - \text{mean}(R)) / \text{std}(R)\)。优化目标采用 PPO 裁剪式代理损失: $\(J_{\text{EAPO}}(\theta) = \mathbb{E}_q \left[ \frac{1}{G} \sum_{i=1}^G \min\left(r_i(\theta) A_i, \text{clip}(r_i(\theta), 1 \pm \epsilon) A_i\right) \right] - \lambda \mathbb{E}_q [\text{KL}(\pi_\theta \parallel \pi_{\text{ref}})]\)$ 其中重要性权重 \(r_i(\theta) = \pi_\theta(o_i|q) / \pi_{\theta_{\text{old}}}(o_i|q)\),实验中设 \(\epsilon=0.2\),KL 系数 \(\lambda=0\)(以 RSFT 为基准策略参考),学习率为 \(1 \times 10^{-6}\)。
实验关键数据¶
主实验¶
在通用多模态检索权威基准 M-BEIR(涵盖 8 类跨模态检索任务、10 个数据集、190K 测试查询和 5.6M 候选库)上的主要评测结果如下所示:
| 模型 | 基础架构 | qt→ci (COCO R@5) | qi→ci (NIGHTS R@5) | (qi, qt)→ci (CIRR R@5) | (qi, qt)→ct (InfoSeek R@5) | M-BEIR 平均召回 (Avg. R@K) |
|---|---|---|---|---|---|---|
| CLIP-L | 双塔对齐 | 61.1 | 26.1 | 13.2 | 26.4 | 32.5 |
| UniIR-CLIPSF | 多模态微调 | 81.1 | 32.0 | 44.6 | 48.9 | 50.6 |
| Qwen2.5-VL-7B | 基础 MLLM | 71.9 | 25.5 | 55.1 | 54.9 | 46.7 |
| Vision-R1-7B | 推理增强 | 75.0 | 25.9 | 57.7 | 59.0 | 50.2 |
| MM-Embed-7B | 表征微调 | 71.3 | 32.4 | 50.0 | 57.7 | 52.7 |
| LamRA-7B | 智能体检索 | 85.2 | 33.5 | 63.3 | 78.3 | 63.7 |
| U-MARVEL-7B | 统一表征 | 85.6 | 34.7 | 63.2 | 78.9 | 64.8 |
| Retrv-R1-7B | 纯语言 CoT RL | 86.7 | 39.5 | 72.3 | 83.7 | 69.2 |
| V-Retrver-7B | 主动证据推理 (本文) | 87.5 | 39.8 | 73.5 | 85.0 | 69.7 |
在未见领域泛化评测中,V-Retrver 展现出压倒性优势,在 CIRCO 零样本评测中斩获 48.2 MAP@5(大幅超越 LamRA 的 42.8 与 MM-Embed 的 35.5);在 GeneCIS 上取得 30.7 R@1(优于 LamRA 的 24.8)。
消融实验¶
为了严格解构训练课程三阶段以及视觉工具调用机制的核心贡献,论文进行了细致的模块剥离实验:
| 消融配置 | COCO R@5 (qt→ci) | F200K R@10 (qi→ct) | CIRR R@5 ((qi, qt)→ci) | OVEN R@5 ((qi, qt)→ct) | 四项平均 (Avg.) | 说明 |
|---|---|---|---|---|---|---|
| Qwen2.5-VL-7B 初始基线 | 71.9 | 19.4 | 55.1 | 42.4 | 47.2 | 无微调原始模型零样本排序 |
| Zero-shot Tool (无微调调用工具) | 71.5 | 18.1 | 53.4 | 40.2 | 45.8 | 未经训练时工具调用格式混乱致崩塌 |
| Stage I: 仅 SFT 微调 | 83.2 | 31.6 | 63.7 | 59.0 | 59.4 | 确立基础格式与工具语法 |
| Stage I + II: SFT + RSFT (无 RL) | 83.9 | 32.8 | 65.3 | 61.5 | 60.9 | 过滤劣质轨迹,提升推理稳定性 |
| Stage I + III: SFT + RL (无 RSFT) | 87.2 | 37.3 | 72.4 | 68.3 | 66.3 | 缺高质量冷启动导致探索效率降低 |
| 纯文本 RL (RL w/o visual tool) | 84.1 | 33.2 | 66.5 | 63.2 | 61.8 | 相同 RL 策略但不允许调用视觉工具 |
| 完整模型 (V-Retrver-7B) | 87.5 | 37.8 | 73.5 | 69.8 | 67.2 | 完整三阶段课程与主动视觉证据工具 |
在奖励项消融中,去除对比 NDCG 奖励 \(r_{\text{rank}}\) 导致平均性能下降 2.4%(降至 64.8%),证明困难负样本密集梯度反馈至关重要;去除工具奖励 \(r_{\text{tool}}\) 导致性能下降 1.1%(降至 66.1%);去除格式奖励 \(r_{\text{format}}\) 导致性能下降 1.7%(降至 65.5%)。
关键发现¶
- 主动视觉检验是攻克细粒度模糊的胜负手:对比完全相同的强化学习训练流程,允许调用视觉工具的 V-Retrver 相比纯文本 RL 变体平均召回率高出整整 5.4%(67.2% vs. 61.8%),在依赖局部精细修改判别的 CIRR 上更是拉开 7.0% 的巨大差距(73.5% vs. 66.5%)。
- 课程推进有效消解探索崩溃:直接在基础模型上引入工具提示导致性能反向衰退(45.8% < 47.2%);SFT 提供了语法认知,RSFT 压制了轨迹方差,而 EAPO 将有效工具调用率逐步提升至与总调用率闭合吻合,最终平均调用次数收敛于稳定的 1.6~1.7 次。
- 列表式主动交互保持了优秀的推理延迟平衡:相较于逐个候选分别调用大模型的 Pointwise 方案(如 LamRA-Rank-Pointwise 在 \(K=50\) 时推理耗时达 4.41 倍),V-Retrver 维持了 1.0 倍标准时延,以极小的局部裁剪传输换取了完整无损的高清视觉感知。
亮点与洞察¶
- 从“被动语义匹配”到“主动证据探寻”的范式跃迁:该工作跳出了“堆砌视觉特征压缩参数”或“拉长纯文本 CoT 瞎猜”的旧思维,通过将视觉操作封包为模型可自主按需调用的轻量工具,使多模态检索真正具备了类似人类鉴宝排查的主动审视机制。
- 对比 NDCG 巧妙破除多候选强化学习奖励稀疏困局:传统检索 RL 多依赖 0/1 命中二元奖励,缺乏中间梯度的排位指导。EAPO 创造性地构建了以“正样本相对困难负样本排位”为准绳的非对称分级增益,只给排在正确项之后的困难负样本计分,重罚喧宾夺主的混淆项,兼顾了密集梯度与排序目标。
- 灵活的感知插件扩展机制:实验进一步证明接入 OCR 文字识别(EXTRACT-TEXT)可即插即用且无缝提升以图文百科为代表的知识检索任务(OVEN 精度额外提升 0.4%),为未来接入目标检测、深度探测等复杂视觉工具提供了优雅范式。
局限与展望¶
- 作者承认的局限:首先是长思维链中的信用分配(Credit Assignment)难题。EAPO 目前在整条轨迹序列级别评估综合奖励,难以精准衡量中间每一次具体的局部裁切放大操作究竟对终极排序产生了多大正向贡献;其次,多轮智能体推演与未压缩视觉 token 交互仍带来了一定的显存与时延开销,在超大规模极低延迟在线业务中部署存在挑战。
- 进一步局限:实验中的候选重排窗口被限定在相对较小的局部候选池(\(K=10\sim 50\)),若粗排双塔检索模型漏召回了正确正样本,后端的智能体推理无法发挥弥补作用。
- 改进思路:探索结合单步优势估计(Step-level Advantage Estimation)的细粒度强化学习,实现工具调用的精准权责对齐;引入提前退出(Early-exit)机制与动态工具调度,在候选已明显可分时自适应跳过感知检验,进一步平摊推理成本。
相关工作与启发¶
- vs Retrv-R1: Retrv-R1 同样将强化学习引入多模态检索,但其采用纯文本 CoT 推理,且为了塞入全量候选对图像特征进行了剧烈压缩;V-Retrver 坚决保留未压缩的高清感知,通过动态选择和局部放大把视觉主动权还给模型,在细粒度感知任务上展现了更高的鲁棒性。
- vs LamRA: LamRA 提出了多模态重排序智能体,但主要采取单样本独立的逐点(Pointwise)打分或无工具交互的整体推理,计算开销随候选数线性激增且缺乏横向对比视野;V-Retrver 采用列表式全局决策与自主工具探索,以更经济的交互步数达成了更高精度的判别。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次将工具增强的交错主动感知推理成功引入通用多模态检索并建立完备范式]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 M-BEIR 全量 8 项任务、5 大未见数据集、任务隔离零样本及详细效率/消融验证]
- 写作质量: ⭐⭐⭐⭐⭐ [问题提炼犀利深刻,图示与公式完备,三阶段策略与工具逻辑推导连贯严密]
- 价值: ⭐⭐⭐⭐⭐ [为多模态智能体走向检索与多模态 RAG 核心基础设施提供了极具启发性的高可行性技术路线]