Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings¶
会议: ECCV2026
作者: Haonan Jiang, Yuji Wang, Yongjie Zhu, Xin Lu, Wenyu Qin, Meng Wang, Pengfei Wan, Yansong Tang
官方论文: 3466
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1558.pdf
领域: 多模态推理
关键词: 多模态嵌入、可追溯证据、检索对齐、强化学习、思维链
一句话总结¶
Embed-RL 让冻结的嵌入器用检索反馈训练独立推理器，并把思维链中的图像框、视频关键帧和文本关键词交给嵌入器，使 Embed-RL-4B 在 MMEB-V2 的总体分数达到 68.1，比 UME-R1-7B 高 3.6 分。
研究背景与动机¶
通用多模态嵌入希望把文本、图像、视频及视觉文档变成可直接比较的向量，同一套模型既能做图文检索，也能按问题寻找答案或定位相关内容。CLIP 式双编码器擅长较直接的语义匹配，但面对交错图文和带指令的检索，容易遗漏“究竟应该匹配什么”。VLM2Vec 等方法因此利用多模态大模型的理解能力，再用对比学习塑造向量空间；不过，只取输入末尾的隐藏状态，并不等于充分利用了模型逐步分析任务的能力。
引入思维链也不是自动奏效。UME-R1 将生成与嵌入结合，本文指出同时优化生成目标和对比目标可能出现梯度冲突；TTE 则将推理器与嵌入器解耦，让生成的上下文帮助检索，却没有让推理器直接接受嵌入质量的反馈。结果可能是一段内容正确、描述充分的分析，恰好没有回答检索任务真正需要的变化或对应关系。更重要的是，把视觉线索全部压成文字，会丢失具体位置和关键时刻，后续嵌入器仍得从冗余输入中重新寻找证据。
Embed-RL 的切入点是保留解耦结构，但不让推理器停留在通用描述模式：它生成可以回到原始输入取证的结构化轨迹，而嵌入器和独立判别器分别检查最终检索效果与轨迹间的对应关系。核心 idea：让推理既提供可重新读取的多模态证据，又通过检索奖励学习哪些证据和解释真正有助于区分正例与相似负例。
方法详解¶
整体框架¶
系统分为推理器 Reasoner 和嵌入器 Embedder：前者生成可追溯思维链 T-CoT，后者把原始输入、推理内容与提取出的视觉证据一起编码，输出用于余弦相似度检索的向量。训练先做“证据化 T-CoT”和“筛选与冻结嵌入器”，再用“双重引导 EG-RL”更新推理器；这个顺序保证检索奖励来自已经具备判别能力、且在强化学习阶段不再变化的嵌入器。
下面展示训练到使用的主线。独立判别器属于双重引导 EG-RL 的奖励计算部分，不是最终检索时替代嵌入器进行排序的模块。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态查询与正例"] --> B["证据化 T-CoT"]
B --> C["筛选与冻结嵌入器"]
C --> D["双重引导 EG-RL"]
D --> E["优化后的推理器<br/>与冻结嵌入器"]
E --> F["向量相似度检索"]关键设计¶
1. 证据化 T-CoT：让推理指向原始输入中可重新读取的线索
T-CoT 不是一段自由展开的解释，而是依次包含 <thinking>、<rethink> 和 <answer> 的结构化输出。第一段分析任务并提取模态相关线索：文本使用 text_keywords 保存关键词，图像使用 bbox_2d 给出二维框，视频使用 key_frames 标记关键帧。第二段重新审视这些线索与检索需求的关系，最后一段归纳要匹配的核心信息。重要的不是输出标签本身，而是把“描述看到了什么”改成“说明什么内容与目标匹配有关”。
这些坐标和帧标记还会驱动实际的图像区域裁剪与关键帧提取，将视觉证据送回嵌入器，而非仅把坐标当作普通文字附在思维链里。原始输入不会因此被抛弃：系统把原始内容与结构化推理共同组织为嵌入器输入，并提取末尾特殊 token <emb> 的最终层隐藏状态作为表示。这样既保留全局上下文，又向编码器突出局部对象、空间关系或关键动作发生的时刻；文字关键词则压缩长描述中的检索重点。该机制能减少无关背景占据表示的机会，但预测出的框和帧是否正确仍依赖推理器，并没有提供证据真实性的形式化保证。
2. 筛选与冻结嵌入器：先建立能评价推理价值的检索空间
嵌入器若本身不可靠，其反馈就不能告诉推理器“哪种解释更适合检索”。作者先从 MMEB-train 的图像任务、LLaVA-Hound 的视频语言数据，以及 ViDoRe、VisRAG 的视觉文档数据中构造查询—正例对，并为两侧生成 T-CoT。随后通过判断提示检查查询和正例的轨迹是否与任务明显无关或相互矛盾，只把通过检查的样本用于对比学习；这里保留的是对“是否无关或矛盾”回答为 No 的样本，不能把 No 误解成负例标签。
初始数据为 2.22 百万条，筛选后保留 1.83 百万条。嵌入器用 InfoNCE 拉近查询与正例、拉远批内负例，学习如何读取原始内容与 T-CoT；训练完成后冻结。被筛掉的困难样本则被用于强化学习探索。原文关于这部分数据写成“约 20% 的 filtered-out samples”，但图示又画成 80% 对比学习与 20% 强化学习的分流，分母存在歧义，因此不能据此推算精确的强化学习样本数。
冻结并不是否定嵌入器继续学习的可能，而是在本方法中固定评价标准：强化学习只改变推理器生成的轨迹，避免两个网络同时变化导致奖励漂移，也不把生成式优化目标再施加到已经训练好的嵌入器参数上。推理器因此可以学习修改关注区域、提取线索或表达检索意图，而不需要同步重新塑造整个向量空间。
3. 双重引导 EG-RL：同时检查检索结果与查询—目标轨迹的对应关系
格式奖励先检查三段式结构和所需模态线索是否齐全，满足时为 1，否则为 0。结果奖励则让冻结嵌入器对查询及目标的 T-CoT 条件表示进行比较：只有正例进入前 \(k\) 个候选时，才由正例相似度相对批内负例的优势产生奖励。负例不是简单等权平均，而是按相似度进行带温度的 softmax 加权，使容易混淆的负例获得更高权重。其含义可写成：
这里 \(s\) 是归一化嵌入之间的余弦相似度，\(\mathbb{E}_{\tau}\) 是批内负例相似度的温度加权平均。该式根据原文公式旁的定义整理；本地文本抽取丢失了部分运算符，应以 PDF 公式为准，不能从缓存确定 \(k\) 和温度的具体取值。奖励同时在查询到目标、目标到查询两个方向计算，因此不是只提高单向检索的一侧表示。
过程奖励引入一个独立的预训练视觉语言判别器。给定查询的 T-CoT，它从打乱顺序的候选目标 T-CoT 中选出最匹配的一项；候选集合包含同一正例对的多次 rollout 及其他样本的负例轨迹。只要选中真实正例集合中的成员就得 1 分，否则为 0，反向也同样计算。打乱顺序是为了减轻位置偏差。所谓“过程”是对最终生成的中间推理轨迹进行匹配检查，并非给每个 token 或每一步推理都标注正确性。
三个奖励按非负权重相加，然后用 GRPO 更新推理器。每组采样 8 条候选轨迹，以组内奖励均值和标准差归一化得到优势，再通过裁剪的重要性比率和相对参考策略的 KL 约束限制更新幅度。结果奖励要求表示确实能检索出正例，过程奖励要求查询与目标的解释可相互对应，格式奖励保证证据能够被后续程序读取；三者约束的是不同层面的失败，不能把格式正确或判别器选对直接当作检索成功。
一个完整示例¶
论文图 1 的例子是把一张可乐广告中的饮品改成真实的橙色汽水瓶，再寻找符合变化的图片。未经强化学习时，推理器可能只检查原图有没有橙色瓶子，发现没有便输出空框；这个回答对“原图中有什么”未必错误，却没有理解编辑式检索是在寻找变化后的目标。
优化后的轨迹先锁定原图中应被替换的可乐杯区域，再说明目标应是橙色汽水瓶，且广告或产品展示情境应相近。区域裁剪让嵌入器看到被修改的主体，原图保留场景背景，最终说明提供变化方向，三类信息一起形成查询向量。这里的改进是让证据和检索意图协同，而不是把原图中不存在的目标对象当作已经观测到的事实。
损失函数 / 训练策略¶
嵌入器使用 Qwen3-VL-2B 或 Qwen3-VL-4B，以 LoRA、DeepSpeed ZeRO-2 和子批次策略做 2 个 epoch 的对比学习；学习率为 \(10^{-4}\)，权重衰减为 0.01，2B 与 4B 的批大小分别为 512 和 256。推理器是独立的 Qwen3-VL-8B，以 GRPO 训练 1 个 epoch，批大小 256，学习率为 \(3\times10^{-6}\)。
因此，Embed-RL-4B 的 4B 指嵌入器规模，不代表整个系统只有 4B 参数。主文没有给出足以复现全部奖励设置的具体系数，也没有完整报告端到端延迟；“较少计算资源”的结论应结合这些边界理解。
实验关键数据¶
主实验¶
MMEB-V2 包含 78 个数据集：图像 36 个、视频 18 个、视觉文档 24 个。图像与视频用 Hit@1，即最前面的检索结果是否命中；视觉文档用 NDCG@5，衡量前 5 个结果的排序相关性。下表分数越高越好，总分是论文报告的跨任务综合分，不能直接称作统一的准确率。数据来自原文表 2。
| 模型 | 图像综合 ↑ | 视频综合 ↑ | 视觉文档综合 ↑ | 全部任务 ↑ |
|---|---|---|---|---|
| GME-7B | 56.0 | 38.6 | 75.2 | 57.8 |
| VLM2Vec-V2-7B | 68.1 | 36.4 | 69.3 | 61.2 |
| UME-R1-7B | 71.3 | 47.5 | 67.1 | 64.5 |
| Embed-RL-2B | 69.2 | 52.1 | 74.1 | 66.8 |
| Embed-RL-4B | 70.1 | 53.0 | 74.7 | 68.1 |
Embed-RL-4B 相对 UME-R1-7B 的总分增加 3.6 分，视频综合增加 5.5 分，但图像综合低 1.2 分；其视觉文档综合也低于 GME-7B 的 75.2。因此，“总体最好”不等于所有模态或每个任务都最好。更细的优势包括图像定位 91.4，以及视觉文档 OOD 的 67.1；后者在表 2 中高于 GME-7B 的 44.4。
UVRB 覆盖 16 个数据集，下表是原文表 1 的 mAP 分数，均越高越好；CG、FG、LC 分别表示粗粒度、细粒度和长上下文。它与 MMEB-V2 的指标及任务构成不同，不应横向直接比较分数。
| 模型 | CG mAP ↑ | FG mAP ↑ | LC mAP ↑ |
|---|---|---|---|
| GME-7B | 51.8 | 50.7 | 78.8 |
| GVE-3B | 55.2 | 54.1 | 76.4 |
| Embed-RL-2B | 59.1 | 54.6 | 86.9 |
| Embed-RL-4B | 60.7 | 55.6 | 86.1 |
消融实验¶
以下合并原文表 3、表 4，均使用 Embed-RL-2B 和 MMEB-V2。表中“总分变化”是相对完整模型直接相减的分数差，不是相对百分比；不同移除实验不能简单相加解释总收益。
| 配置 | 图像综合 ↑ | 视频综合 ↑ | 视觉文档综合 ↑ | 全部任务 ↑ | 总分变化 |
|---|---|---|---|---|---|
| 完整模型 | 69.2 | 52.1 | 74.1 | 66.8 | 0.0 |
| 无 EG-RL | 68.0 | 50.1 | 72.7 | 65.3 | -1.5 |
| 无负例加权 | 68.9 | 51.7 | 73.9 | 66.5 | -0.3 |
| 无过程奖励 | 68.3 | 51.3 | 73.5 | 66.0 | -0.8 |
| 无结果奖励 | 68.1 | 51.2 | 73.1 | 65.8 | -1.0 |
| 无推理过程，仅保留答案 | 67.9 | 50.5 | 73.1 | 65.5 | -1.3 |
| 无多模态线索 | 68.1 | 51.4 | 73.3 | 65.8 | -1.0 |
| 仅原始输入，无 T-CoT | 60.4 | 43.7 | 72.4 | 60.2 | -6.6 |
原文消融叙述将 69.2→67.9 和 52.1→50.5 分别称为图像定位与视频片段检索的变化，但表 4 的列名实际是图像和视频综合分。本笔记按表头解释，不把这些数值当成对应细分任务的成绩。
关键发现¶
- T-CoT 整体比单个奖励项的影响更大：仅原始输入总分低 6.6 分，其中视频从 52.1 降至 43.7；取消强化学习本身则低 1.5 分。这支持“先提供有用上下文，再把它对齐检索”的解释，而非全部提升都由强化学习产生。
- 过程奖励与结果奖励均有增益，但移除结果奖励的总分损失更大。上述消融没有证明判别器对每一步推理都判得正确，也不支持把二者贡献独立相加。
- 图 5 的定性趋势是强化学习后图像和文档使用更多框、视频使用更少关键帧，同时检索成绩提高。它说明证据选择可能是按模态变化的，而不是“证据数量越多越好”；缓存图形抽取不适合进一步读取精确计数。
亮点与洞察¶
- 可追溯证据不仅供人查看，还决定嵌入器实际读取哪些区域和帧。推理因此影响视觉输入组织，而不只是额外增加一段文本。
- 冻结嵌入器充当与部署目标接近的评价器。对推理的评价从“解释是否像正确答案”转向“解释是否让正例在向量空间中更可区分”。
- 双向奖励同时约束查询与目标的轨迹。它避免只优化查询侧叙述，却让候选侧表示依然与之脱节。
局限与展望¶
- 双模型系统的成本不能只看 2B 或 4B 嵌入器：还包括 8B 推理器、证据提取和强化学习阶段的独立判别器。主文缺少吞吐、索引构建成本、查询延迟等完整测量，效率优势尚需这些证据支持。
- 框、关键帧和轨迹匹配都可能出错，独立判别器也不是人工真值。论文没有系统量化错误证据如何传播到最终嵌入，也没有给出充分的失败案例分布。
- 本地缓存覆盖完整主文与参考文献，但不含文中提及的补充材料；强化学习数据划分、奖励权重及部分公式抽取存在复现信息缺口。后续核验应优先澄清这些细节，而不是从图示或默认超参数自行补齐。
相关工作与启发¶
- 与 VLM2Vec / VLM2Vec-V2 相比：两者主要利用对比训练把多模态大模型转成嵌入器；Embed-RL 增加可生成、可反馈优化的证据上下文。收益不是免费增加表示能力，也伴随额外推理路径。
- 与 UME-R1 相比：两者都关注生成式推理对嵌入的帮助；本文把生成策略更新与嵌入器参数更新拆开，并显式引入视觉证据。实验支持总体成绩提升，但不能据此断言所有图像任务更强。
- 与 TTE 相比：两者都采用推理器—嵌入器解耦；区别在于 Embed-RL 继续用检索反馈优化推理器，而非只消费预生成上下文。对比的关键是上下文是否面向检索目标优化，而不是是否存在思维链。
评分¶
- 新颖性: 4/5 — 将证据化推理、冻结嵌入器奖励与轨迹匹配组合成目标明确的检索训练框架。
- 实验充分度: 4/5 — 两套基准与组件消融较完整，但缺少全系统成本及错误传播分析。
- 写作质量: 3/5 — 主线清楚，数据划分和消融文字存在需核对的歧义。
- 价值: 4/5 — 对需要细粒度、多模态证据的通用嵌入研究有参考价值，部署判断仍需补足效率数据。