Learning Sample-wise Rank-Aware Interpolation Weights for Composed Visual Data Retrieval¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 组合视觉检索、样本级权重、球面线性插值、排名感知监督、原型记忆库

一句话总结¶

SRAIN 用批内目标排名估计每个查询的球面插值权重，再通过两阶段训练和原型条件预测代替查询时的多模态大模型融合，在 WebVid-CoVR 上取得 61.07% R@1，但与使用真实测试目标的 oracle 仍有明显差距。

研究背景与动机¶

组合视觉检索的输入不是一句完整描述，而是一张参考图像或一段参考视频，加上一句希望发生的修改。检索系统必须保留参考对象中没有被修改的内容，又不能让原图语义压过用户的编辑意图。例如“让它变黄”需要参考画面补足“它”是什么，而“把慢跑者变成年轻女孩”提供了更明确的目标语义。因此，图像和文字对不同查询的贡献不应固定相同。现有高性能方法往往用多模态大语言模型先把两种输入重写成目标描述，再做文本检索；这种融合能力以查询延迟为代价。

一个更轻量的起点是在视觉语言模型的共享嵌入空间里做球面线性插值。已有 Slerp 工作表明这种操作可以有效，但每个数据集只调一个全局权重，无法适应同一数据集里不同修改的语义强弱。直接训练权重预测器也没有现成标签：最接近正确目标的权重，不一定能把正确目标排在所有相似干扰项之前。如果某次插值同时更靠近大量负样本，正样本相似度提高反而可能伴随名次下降。真正需要学习的是相对于候选竞争关系的权重，而不是抽象的“图文重要性”。

论文把这个问题拆成可实现的近似：训练时只在足够大的批次内比较候选权重，部署时用紧凑原型近似困难候选的几何关系。这种近似既避免遍历整个训练库来制作标签，也避免在测试时假定已知正确目标。 核心 idea：用目标相对负样本的排名监督样本级插值，再让轻量预测器借助训练时的真实候选和测试时的原型候选学习这种排名相关的融合权重。

方法详解¶

整体框架¶

SRAIN 是 Sample-wise Rank-Aware INterpolation，处理组合图像检索 CoIR 和组合视频检索 CoVR。它以 BLIP-2 的 ViT-G/14 和 Q-Former 为骨干，但参考视觉输入与修改文本分别编码，不在一个重型联合生成过程里融合。输出是一个查询相关的标量权重，再由球面插值形成查询向量，按与目标的余弦相似度排序。这里的“线性插值”具体指单位球面上的球面线性插值，不应等同于不归一化的逐元素加权相加。

参考图像直接送入冻结的 ViT；参考视频按前作设置只取中间帧。 Q-Former 的可学习查询从图像 patch 表示取出 token，经投影、token 平均和归一化得到参考向量。修改文本独立进入没有视觉条件的 Q-Former，取首 token 隐状态，经文本投影和归一化得到文本向量。目标视觉分支保持冻结，图像通过目标编码器得到归一化表示。目标视频则均匀采帧，先获得每帧的查询 token，再针对每个查询 token 用修改文本相关的 query scoring 做帧间加权聚合。最后对聚合后的 token 平均并归一化，得到用于比较的目标表示。因此，参考视频的单帧近似和目标视频的多帧聚合不是对称设计，也没有显式建模完整参考动作过程。

训练流程依次是排名感知标签、两阶段条件回归；部署流程以原型条件推理替代训练期的真实正负候选。下图区分标签构造与实际测试路径，测试查询不会经过利用正确目标的标签搜索。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Train["训练三元组<br/>独立编码"] --> Rank["排名感知标签"]
        Rank --> Fit["两阶段条件回归"]
        Train -->|目标嵌入更新原型| Memory["训练期原型库"]
        Fit -->|冻结预测器| Infer["原型条件推理"]
        Memory -->|冻结记忆库| Infer
        Query["测试参考与修改<br/>独立编码"] --> Infer
        Infer --> Output["预测权重与球面插值<br/>余弦排序"]

关键设计¶

1. 排名感知标签：用正确目标能否胜过干扰项选择权重

对一个包含 \(B\) 个三元组的批次，论文在 \([0,1]\) 上均匀取 \(K\) 个权重候选。每个候选都把参考向量和修改向量插值成一个查询，再与批内全部目标比较。于是每个查询有一张 \(B\times K\) 的相似度表，一列对应一个权重，一行对应一个候选目标。每列按相似度降序排列，读取该查询的正确目标排第几名；排名越小，说明该融合方向越能避开批内干扰项。所有达到最好排名的权重都属于可接受候选，论文取这些权重的中位数作为监督标签，而不是继续追求最大正样本相似度。以下是按第 3.2 节文字写出的等价集合表达，避免照抄缓存中损坏的公式排版：

\[ \alpha_i^*=\operatorname{median}\{\alpha_k:\operatorname{rank}_i^k=\min_{\ell}\operatorname{rank}_i^{\ell}\}. \]

这一步不要求负样本人工标注，批内其他目标提供竞争对象，但它也不是全库最优权重的精确求解。批次过小或缺少真正相似的负样本时，标签未必反映实际检索库中的难度；论文使用较大批次缓解这一问题。排名搜索构造的是离散监督，不是一个需要穿过排序算子反向传播的可微排名损失。权重越接近 \(1\) 越偏向文本，越接近 \(0\) 越保留参考视觉内容，但球面插值的几何系数并非普通线性权重。

2. 两阶段条件回归：先稳定表示空间，再预测其中的最优权重

第一阶段使用上述标签形成融合向量，微调查询侧 Q-Former，让融合查询靠近对应目标并远离困难负样本。 ViT 和目标视觉分支保持冻结；因此“训练编码器”不能理解为把整个 BLIP-2 全参数联合更新。这一阶段采用双向困难负样本对比学习，负样本越容易与查询混淆，其自适应加权越重要。第二阶段冻结已经对齐的查询编码器，只训练权重预测器，避免特征空间变化使同一查询的监督标签不断漂移。这解决的是表示更新造成的标签不稳定，而不是保证不同批次中的近似最优权重永远相同。

预测器不仅接收参考和修改向量，还接收正确目标及最困难的批内负样本。困难负样本按它们与使用标签权重构成的融合查询的相似度选择，使条件信息与标签的排名依据一致。具体输入由参考 token、文本 token、候选条件 token 集以及一个可学习预测 token 拼接组成。 Transformer 让预测 token 聚合查询与竞争候选的信息，随后三层 MLP 和 sigmoid 输出 \([0,1]\) 内的标量。这里的注意力发生在轻量权重预测器内部，并不意味着该方法完全没有跨 token 交互。训练时提供正确目标是为了学习条件化回归，不能在部署时沿用这种已知答案的输入。

3. 原型条件推理：用可部署的候选近似替代未知正负样本

论文在训练中维护目标嵌入的原型记忆库，每个目标找到余弦最相似的原型，再通过指数移动平均更新该原型。训练结束后原型冻结，记忆库代表训练目标的分布，不是测试图库的真实标签，也不生成新的图像或视频。所谓合成困难负样本，具体是提供代表性的嵌入条件，不能解释成已经确认这些原型就是当前查询的负样本。测试时尚不知道权重，因此不能先假定一个最终融合向量再挑原型。方法先用多个均匀候选权重构造查询，为每个查询取最相似的 top-\(k\) 原型，再按跨权重被取出的频次选出 \(n\) 个原型。反复出现的原型代表多个融合方向都会遇到的竞争区域，从而降低原型选择对某个预设权重的依赖。

这些原型与真实查询一起送入已训练预测器，得到最终权重后才执行实际的球面插值和目标排序。此过程不在测试库中寻找“正确目标排名最优”的权重，因此与论文的 oracle 实验有本质区别。原型上下文是否能跨域保留有用结构需要实验检验；记忆库不是自动获得测试域知识的机制。正文给出了原型容量和动量，但把更多采样与容量分析放在未包含于本次缓存的补充材料中，不补写未核实的 \(k\)、\(n\) 设置。

一个完整示例¶

图 4 在 WebVid-CoVR 上展示了两个实际预测：修改“把慢跑者变成年轻女孩”得到 \(\hat\alpha=0.612\)，而“让它变黄”得到 \(\hat\alpha=0.394\)。前者的目标主体语义更明确，后者需要更多依赖参考对象来消解指代，因此预测值体现了不同的文本依赖程度。部署时这两个权重都来自查询和原型条件，而不是读取正确目标后搜索出来的答案。完整路径是独立编码、跨候选权重挑选原型、预测一个最终权重、球面插值、输出排序结果。这只是论文的定性例子，不能据此宣称该权重对所有类型的修改都具有可靠因果解释。

损失函数 / 训练策略¶

第 3.3 节明确使用均方误差训练第二阶段；以下按文字定义表达该目标：

\[ \mathcal{L}_{\mathrm{reg}}=\frac{1}{B}\sum_{i=1}^{B}(\hat\alpha_i-\alpha_i^*)^2. \]

第一阶段的困难负样本对比损失使用 \(\gamma=1\)、\(\tau=0.07\)、\(\beta=0.5\)；缓存中原式存在缺符号问题，因此不重建其精确展开式。两阶段各训练 5 个 epoch，批量大小为 512，采用 AdamW；Q-Former 学习率为 \(2\times10^{-5}\)，其他参数为 \(10^{-3}\)。权重候选数为 101；预测器是 2 层 Transformer 加 3 层 MLP，共 1.63M 参数，占总模型的 0.14%。训练时条件集合含 50 个 token，即 1 个正目标和 49 个困难负目标；记忆库有 1,024 个原型，EMA 动量为 \(0.99\)。正文将额外困难负样本处理开销报告为每查询 0.03 ms、占总耗时的 0.08%，这些是作者的测量值而非本笔记复测。

实验关键数据¶

主实验¶

表一摘自原文表 1（第 10 页），评估集为 WebVid-CoVR-Test，所有比较方法均在 WebVid-CoVR 训练集微调。训练集含 1.64M 三元组，测试集含 2,556 个三元组；R@K 是正确目标出现在前 K 个结果中的查询比例，表中单位为 %。 CA 表示交叉注意力融合，Average 是参考与修改嵌入逐元素平均；外部知识列指额外模型生成的视频描述。

方法	骨干	外部知识	R@1	R@5	R@10	R@50
Average	BLIP-2	无	58.69	83.88	90.49	98.21
CoVR-2，CA	BLIP-2	无	59.82	83.84	91.28	98.24
Thawakar et al.，CA	BLIP	MiniGPT4	60.12	84.32	91.27	98.72
SRAIN	BLIP-2	无	61.07	84.90	91.20	98.40

SRAIN 的 R@1 比 CoVR-2 CA 高 1.25 个百分点，比使用 MiniGPT4 描述的方法高 0.95 个百分点，但 R@10 和 R@50 并非全面最好。图像任务也需要区分协议：表 2 的 FashionIQ 微调平均 R@10 为 49.26，R@50 为 70.27；前者高于 CoVR-2 的 48.86，后者低于其 70.46。表 3（第 12 页）中，未在 CIRCO 微调的 SRAIN 达到 26.16 mAP@5，仍低于使用外部知识的 OSrCIR 的 30.47。 CIRCO 使用 800 个测试查询和 123,403 张图库图像，mAP@K 按标准协议汇总相关目标的前 K 位平均精度，不能与单目标 R@K 直接比较。

消融实验¶

表二摘自原文表 5（第 14 页），均为 WebVid-CoVR，单位为 %；冻结平均基线与主表经过训练的 Average 不是同一设置。 Stage 1 only 在测试时使用全局最优固定权重 \(\alpha=0.5\)；oracle 则利用整个测试集的真实目标排名挑选权重，不是可部署结果。

配置	R@1	R@5	R@10	R@50
Average，BLIP-2 冻结	45.66	71.71	81.30	94.80
Stage 2 only，BLIP-2 冻结	48.08	73.40	83.22	95.74
端到端训练	57.36	82.71	89.20	97.77
Stage 1 only	60.50	83.90	91.09	98.40
训练和测试均无条件 token	60.33	84.66	90.92	98.36
仅训练时使用真实候选，测试无记忆库	60.62	84.65	91.09	98.40
Stage 1 + oracle 权重	71.95	89.95	94.41	99.10
SRAIN	61.07	84.90	91.20	98.40

表三摘自原文表 6（第 15 页），以 WebVid-CoVR 训练模型做零样本图像检索；FashionIQ 列为三个服饰类别的平均 R@10。

条件来源	CIRCO mAP@5	FashionIQ 平均 R@10
无记忆库	23.79	27.37
随机向量	23.72	27.23
SRAIN 原型记忆库	26.16	29.42

关键发现¶

两阶段训练比端到端训练高 3.71 个 R@1 百分点，但在已完成第一阶段对齐后，预测权重相对最优固定权重只再增加 0.57 个百分点，应区分两种增益。
原型记忆库在 CIRCO 上相对无记忆库提高 2.37 个 mAP@5 点，而随机向量无此效果，支持收益来自原型内容而不只是额外 token。
oracle 的 71.95 R@1 与实际 61.07 相差 10.88 个百分点，说明目前预测器还没有兑现球面插值空间内的全部潜力。

亮点与洞察¶

把检索性能转成融合权重标签，比只最大化目标相似度更贴合任务。中位数处理并列最优候选，避免把任意一个排序并列解当成唯一答案。
表示学习与权重回归分开，处理的是监督目标会随编码器漂移的问题。这一思路可迁移到依赖嵌入几何关系生成伪标签的其他任务。
记忆库保存的是候选分布的压缩参照，不要求查询时调用大模型生成描述。本文展示了复杂的查询融合可以部分转移到训练期监督设计中。

局限与展望¶

作者把 oracle 差距主要归因于极端最优权重难以回归；正文未给出完整分布统计，相关分析在补充材料，不能把这一解释视为已独立验证的结论。
参考视频只取中间帧，涉及动作顺序或短暂事件的修改可能缺少证据，这是根据架构作出的读者判断，而非论文新增失败实验。
第 3.1 节一方面说目标视频聚合权重依赖修改文本，另一方面又称这些权重可预计算缓存。冻结编码器能缓存逐帧特征，但并不能直接推出任意新文本的聚合权重可离线固定；端到端检索缓存策略仍需实现或补充材料核实。
图 1 报告相对 MLLM 方法约 24 倍吞吐，但本次正文缓存未提供足以复核的硬件与完整计时分解，不将该数字泛化为所有部署场景的加速比。
批内标签与训练域原型都是近似，面对更大图库或更强域偏移仍可能失真。扩大困难候选覆盖或改进极端权重预测，是由现有结果启发的后续方向，不是已完成实验。

评分¶

新颖性: 4/5。创新集中在排名监督、条件回归和部署时原型近似的组合，而非插值本身。
实验充分度: 4/5。覆盖图像、视频、零样本和关键消融，但效率细节与 oracle 误差分析仍依赖补充材料。
写作质量: 4/5。监督来源和两阶段动机清楚，目标视频缓存表述需要进一步澄清。
价值: 4/5。为低延迟组合检索提供可借鉴方案，同时保留了可量化的预测改进空间。