Adapting MLLMs for Nuanced Video Retrieval¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4071
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4382.pdf
项目: TARA
作者: Piyush Bagad、Andrew Zisserman
领域: 多模态VLM
关键词: 细粒度视频检索、时间反向动作、否定理解、组合视频检索、模态间隙

一句话总结¶

TARA 将生成式 MLLM 改造成统一检索编码器，仅用 20,000 个精心构造的文本三元组微调共享语言模型，就让 Tarsier 2 在 CiA-SSv2 的 Chiral mAP 从 77.7 提升至 88.9，并同时改善否定查询与组合视频检索。

研究背景与动机¶

搜索“有人关门”，并不等于找到“有人站在门边”。如果候选里同时有开门与关门，识别人物、物体和场景还不够，模型必须保留动作方向。同样，“有狗但不在草地上”要求理解否定约束；给定一段视频再要求“把红花改成黄花”，则要求同时保留参考内容并执行语义修改。这三类查询分别考验时间、否定和多模态组合能力，却经常被通用检索基准中的静态线索掩盖。

现有 MLLM 已经通过预训练获得视频与语言知识，但它的训练目标通常是生成回答，而不是把输入组织成适合余弦检索的向量空间。直接读取隐藏状态不保证能区分细微语义；常见的 NLI 对比适配也不一定解决问题，因为负例可能同时改变动作、物体和背景，模型仍能依靠容易的静态差异完成训练。进一步加入大量视频配对数据虽然可行，却没有直接保证训练压力落在真正需要区分的细节上。

本文把切入点放在文本负例的语义结构：保留大部分描述，只在动作方向、否定关系或编辑是否落实上制造差异，再利用 MLLM 的共享语言主干把这种区分能力迁移到视频输入。这里的“纯文本”仅指本次适配阶段，不意味着底座从未学习视觉数据。核心 idea：用针对细微语义的文本困难负样本重塑共享嵌入空间，从而在不使用视频进行适配训练的情况下，改善真实的视频检索。

方法详解¶

整体框架¶

TARA 是 Text Adapted Retrieval Alignment。它先构建 NLI-Nuance 文本三元组，再借助单词总结提示提取 MLLM 的最终层隐藏表示，最后用文本对比学习更新共享 LLM。推理时，同一个适配后的编码器可以接收文本查询、视频，或者“视频 + 编辑指令”；分别编码查询和候选后，按相似度排序，不需要逐个候选生成文字回答。

训练与推理必须分清：训练数据中的视频由已有描述替代，推理时模型仍直接接收真实视频。视觉编码器和投影网络被冻结，但视频 token 还会经过更新后的 LLM，因此只优化文本目标也能够改变视频的最终表示。默认实现基于 Tarsier 2，候选视频采用均匀抽取的 16 帧。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["NLI 与训练集描述"] --> B["细微语义三元组<br/>构建"]
    B --> C["单词总结嵌入"]
    C --> D["共享主干的<br/>文本对比适配"]
    D --> E["适配后的统一编码器"]
    F["文本或视频加编辑查询<br/>真实候选视频"] --> E
    E --> G["相似度排序<br/>返回候选视频"]

关键设计¶

1. 细微语义三元组构建：让负例只在真正重要的语义上犯错

NLI-Nuance 包含 8,000 个普通 NLI 三元组，以及 1,000 个时间、1,000 个否定、10,000 个组合编辑三元组，总计 20,000 个。普通 NLI 样本承担保留常规语义区分能力的作用，新增样本则让模型不能只靠主题相似度答对。时间分支从 Ego4D 训练集描述提取动词与物体，依据预先生成的时间反向动词清单筛选动作；正例共享动作动词，Qwen 3 生成方向相反的负例，并将第一人称标记替换为自然的主体描述。例如“拿起水果”和“正在拿苹果”可以构成正对，“放下水果”成为负例。这里的正例不必是逐字同义改写，而是在目标动作语义上相符；验证细节被作者放在另一个版本中，当前缓存只说明使用 LLM 判断与人工复核。

否定分支从 NLI 中筛选带否定算子的负例，并按图示检查其与锚点的否定关系，避免把出现“not”本身当成唯一标准。组合分支则把 WebVid-CoVR 训练样本中的源视频和目标视频换成各自描述：锚点是“源描述 + 编辑指令”，正例是编辑后的目标描述，负例是未编辑的源描述。这个负例尤其重要，因为它迫使模型理解编辑是否执行，而不能只复制源内容。三种分支共享相同的三元组训练接口，但分别针对不同错误；论文明确没有使用评测集描述进行训练。

2. 单词总结嵌入：把不同输入压到同一种语义读出位置

作者沿用 Explicit One-word Limitation（EOL）思路，让模型用一个词概括输入，并把这一读出位置的最终层隐藏向量作为嵌入。真正用于检索的是高维隐藏状态，不是生成出来的那个词，所以这并不把整个视频压成一个离散类别。相较于直接从任意位置取 token，提示语给了模型明确的语义聚合任务，也让文本和视频使用相近的输出接口。

组合查询需要更具体的提示：模型看到源视频和编辑指令后，被要求想象编辑已经应用，再总结修改后的结果。这样，查询向量表示的是目标语义，而不是“参考视频与一句话的无解释拼接”。这不是视频生成模块，也不真的产生编辑后的视频；候选端仍独立编码真实视频。论文沿用前作的嵌入提取思想，新增重点是视频与组合输入的使用方式，以及后续有针对性的文本适配。

3. 共享主干的文本对比适配：让语言侧的区分要求影响视频侧表示

训练拉近锚点与正例的余弦相似度，同时压低它与批内其他正例、困难负例的相对相似度，温度参数控制对比打分的尺度。视觉编码器与视觉投影不更新，只训练共享 LLM 权重。由于文本 token 与视频 token 最终都会经过这个主干，适配不仅改变文本嵌入，也会改变视频输入的最终隐藏表示；其前提是底座本身已经建立了可利用的跨模态对应关系，而不是从文本凭空学会感知动作。

作者用“模态间隙”解释部分收益：即使共享主干，视频与文本的不同输入路径仍可能让两类表示整体偏移。按正文定义，将配对视频与文本嵌入的平均差取二范数即可衡量这一偏移。下面只是该文字定义的数学写法，不是对损坏训练公式的补写：

\[ \|\Delta_{\mathrm{gap}}\|_2 =\left\|\frac{1}{N}\sum_{i=1}^{N} \left(e_{v_i}-e_{t_i}\right)\right\|_2. \]

其中 \(N\) 是配对样本数，\(e_{v_i}\) 与 \(e_{t_i}\) 是对应的视频和文本嵌入。这个量衡量两种模态的整体中心偏移，而不是逐样本配对误差的平均值。作者假设对比学习带来的均匀分散压力让两种模态的表示更加展开、中心更接近，从而释放细粒度语义的区分空间；实验支持这一解释，但没有证明它是全部收益的唯一原因。

一个完整示例¶

以论文图示的“红花盛开，改成黄花”为例。训练时，锚点只包含红花的文本描述与编辑要求，正例是黄花描述，负例仍是红花描述。即使负例与源描述几乎完全一致，模型也必须把它推远，因为它没有满足编辑要求；这正是一般主题匹配容易忽略的区别。

推理时，将红花视频的 16 帧和相同编辑要求交给组合 EOL 提示，得到指向黄花目标语义的查询向量。候选视频预先通过同一编码器独立嵌入，再进行相似度排序。这个例子说明训练和推理如何衔接，不代表一次实际运行的排名结果，也不需要候选视频的文字描述参与推理。

损失函数 / 训练策略¶

默认训练 2 个 epoch，batch size 为 768，基础学习率为 \(2\times10^{-5}\)；作者报告在 8 张 RTX A6000 上适配耗时不到 1 小时。推理均匀抽取 16 帧。当前缓存中的对比损失式（2）存在严重抽取错位，因此这里只保留可核实的训练语义，不补写求和边界、归一化方式或未披露的温度数值。

理论分析进一步假设：配对视频与文本嵌入之差由一个固定、与两种表示空间正交的模态偏移和高斯对齐噪声构成。在视频正负例的差分中，固定偏移抵消；对齐噪声通过凸性分析使跨模态损失高于对应文本损失。作者据此解释为何改善文本区分可能改善跨模态区分，但这一结论依赖固定噪声等假设，不能直接当成任意数据、任意训练轨迹都保证提升的定理。

实验关键数据¶

主实验¶

CiA 的 Chiral 设置只在正确动作与其时间反向动作之间检索，All 设置还加入其他动作；指标均为 mAP。RTime 是原视频与倒放视频，或对应文字描述之间的检索，报告 R@1。NegBench 的 R-Neg@5 指带否定查询的前 5 项召回率，WebVid-CoVR 则用视频加编辑指令查询目标视频。以下提升均为指标点差，不是相对百分比。

评测与指标	对照方法	对照结果	Tarsier 2 + TARA	提升
CiA-SSv2 Chiral mAP	Tarsier 2	77.7	88.9	+11.2
CiA-SSv2 All mAP	Tarsier 2	24.0	58.6	+34.6
CiA-EPIC All mAP	Tarsier 2	15.3	38.9	+23.6
CiA-Charades All mAP	Tarsier 2	9.2	29.0	+19.8
RTime T2V R@1	Tarsier 2	58.8	67.2	+8.4
RTime V2T R@1	Tarsier 2	59.5	77.9	+18.4
NegBench MSRVTT R-Neg@5	Tarsier 2	18.9	65.0	+46.1
WebVid-CoVR R@1	CoVR-2，Ventura 等	59.8	66.3	+6.5

来源为原文表 2 至表 5。最后一行是跨方法比较，不是相同底座消融；CoVR 测试集有 2,556 个查询视频样本。论文将 TARA 的 CoVR 评测标作 zero-shot，但适配数据使用了 WebVid-CoVR 训练集的描述与编辑信息，因此应理解为未用 CoVR 视频进行适配，而不是完全没有接触该任务的训练信息。

消融与分析¶

缓存明确把训练数据配比、规模消融放在未提供的 arXiv 版本中，所以不能据当前材料报告“去掉时间样本下降多少”。下表保留原文表 7 的固定 Qwen2VL-7B 底座对照，用于减少底座差异的干扰；它仍不是只改变一个训练因素的严格消融。

方法	适配数据模态	CiA-SSv2 Chiral	CiA-SSv2 All	RTime T2V	CoVR R@1	原表 Avg.
Base	无额外适配	60.2	17.3	59.9	15.5	40.0
ArrowRL	视频、文本	67.5	22.5	57.1	41.8	51.3
CaRe Stage 2	视频、文本	66.4	23.7	59.8	35.6	51.9
Base + TARA	文本	72.7	28.3	65.9	44.8	56.8

Avg. 是原表七项指标的平均，并非本表展示的四项均值。按原表，TARA 相比第二名 CaRe 提升 4.9 点；附近正文写“+10 points”，与表值不符。另一个不一致是表 2 的 Qwen2VL + TARA 在 Chiral/All 上为 70.1/27.4，而表 7 是 72.7/28.3。这里按各自原表报告，不混算，也不猜测差异原因。

原文图 4 在 MSRVTT 的 1,000 对视频与文本上测量模态间隙，越小表示两模态整体中心越接近：

表示提取或适配配置	模态间隙二范数	解释
Qwen2VL，不用 EOL	0.39	生成式底座存在明显偏移
Qwen2VL，使用 EOL	0.35	提示本身没有消除偏移
Qwen3VL-Embedding	0.23	多模态适配的参考结果
CaRe	0.29	多模态适配的参考结果
TARA	0.20	纯文本适配也能缩小偏移

关键发现¶

性能改善并不限于时间反向动作。否定查询与组合编辑同时受益，说明统一嵌入适配能够覆盖不同语义需求，但缺失的数据组成消融不足以判定每类训练样本的独立贡献。
EOL 将间隙从 0.39 降到 0.35，仍有明显模态偏移；TARA 的 0.20 支持“提示接口之外还需要训练”的判断。不过图 4 是表示分析，不能单独建立间隙缩小与所有检索增益之间的因果关系。
标准 MMEB-V2 视频任务也改善：Tarsier 2 的分类与检索均值从 27.4/16.4 升至 66.1/45.9，但仍低于 Qwen3VL-Embedding 的 77.5/58.9。拼接二者嵌入后为 78.5/59.5，体现互补性，而不是 TARA 单模型在所有通用指标上最好。

亮点与洞察¶

把预算放在负例质量上。 本文的重点不是提出新的大型结构，而是控制负例究竟违反哪一项查询条件。对于“视觉场景一样、语义方向相反”的检索，这比单纯扩充容易区分的配对更直接。
用描述监督可迁移的编辑语义。 将组合视频任务变成组合文本任务，让“不执行编辑”成为显式错误。这个构造可启发其他参考样本加修改指令的检索任务，但迁移效果仍取决于底座的跨模态能力。
区分共享参数和真正对齐。 视频与文本走同一个 LLM，不代表输出向量天然落在同一语义分布；EOL 与模态间隙的对照让这种区别可观察、可测量。

局限与展望¶

关键消融不可核实。 当前缓存没有数据组成、数据规模与困难负例质量的完整消融，不能把收益具体归因于某一类三元组，也无法确认 20,000 是最优预算。
文本适配依赖视觉底座。 冻结视觉网络意味着无法直接修补视觉编码阶段遗漏的动作信息；均匀 16 帧对短暂事件和长视频的适用性也未在这里充分验证。这是根据设计提出的适用范围判断。
理论解释有条件。 固定正交模态偏移、噪声分布与跨样本一致性都是强假设；平均中心变近也不保证每个视频与描述都对齐。更有说服力的后续实验应独立控制负例语义与模态偏移。
比较和复现需要保留口径。 CoVR 的 zero-shot 标签存在任务文本暴露这一限定，固定底座结果与主表也有差异；适配少于 1 小时不等于在线编码便宜，文中未给出大规模检索延迟或显存对照。
作者提出的扩展。 后续可引入视频等模态继续训练，并接入检索加重排序的两阶段系统；这些是研究方向，不是本文已经验证的结果。

评分¶

新颖性：4/5。嵌入提取沿用前作，但三类困难负例统一适配和纯文本跨模态迁移的组合有明确价值。
实验充分度：4/5。覆盖多底座、多类细微语义与通用视频任务，但关键消融不在缓存内，且存在表述与数值不一致。
写作质量：4/5。任务、数据构造和表示分析的逻辑清楚，zero-shot 口径及固定底座比较需要更严谨说明。
价值：4/5。提供低额外数据成本的检索适配思路，但不能忽略预训练视觉能力和大模型推理成本。