Towards Visual Query Segmentation in the Wild¶
会议: NeurIPS 2026
arXiv: 2603.08898
OpenReview: https://openreview.net/forum?id=Gx9LtAgUon
代码: https://github.com/fan-b/VQS-4K
领域: 语义分割
关键词: 视觉查询分割, 视频目标定位, 记忆演化, SAM 2, 时空掩码
一句话总结¶
针对传统视觉查询定位（VQL）仅检测最后一次目标出现且仅提供粗粒度边界框的局限，本文提出视觉查询分割（VQS）新范式与首个大规模基准 VQS-4K，并构建基于多阶段自适应记忆演化的 VQ-SAM 基线，在未修剪长视频中实现了对外部查询目标所有出现时刻的像素级掩码分割。
研究背景与动机¶
视觉查询定位（Visual Query Localization, VQL）旨在根据未修剪视频外部提供的一张查询图像及目标参考，在长视频中精准检索并定位目标对象的时空轨迹，在智能监控、具身机器人感知和视频检索编辑中具有关键应用价值。然而，以 Ego4D-VQ2D 为代表的现有 VQL 研究范式存在两项根本性局限：其一，现有任务设定往往仅要求模型定位目标在视频中的“最后一次出现（Last-Occurrence）”，忽视了现实场景中目标多次进出视野、间歇性出现的普遍规律；其二，现有基线普遍采用轴对齐边界框（Bounding Box）表征目标，框内不可避免地引入大量杂乱背景噪声，无法满足下游精密视频编辑、交互式分割等对像素级精细轮廓的严苛需求。
将这一任务升级为全视频全出现时段的像素级分割，即视觉查询分割（Visual Query Segmentation, VQS），面临着严峻的技术壁垒。一方面，传统视频目标分割（VOS）依赖视频第一帧内部标注，时序连续且视觉外观高度匹配；而在 VQS 设定中，视觉查询来自搜索视频外部的独立静态图像，二者可能存在显著的光照、视点差异甚至非刚性形变，且目标在数十秒未修剪长视频中稀疏分布、背景干扰极其严重，构成了典型的大海捞针（needle-in-the-haystack）难题。另一方面，现有基础分割模型（如 SAM 2）若仅依赖单一外部查询初始化记忆，在面对长视频中剧烈的外观漂移和高混淆背景干扰物时极易发生注意力发散与跟踪漂移。
为破解上述难题，本文系统性地推进 VQS 走向真实野外环境。作者首先构建了首个涵盖 4,111 支视频、130 万帧及 222 类目标的大规模基准数据集 VQS-4K，填补了专用评测平台的空白；在此基础上提出扩展 SAM 2 的渐进式记忆演化框架 VQ-SAM。核心 idea：在多阶段渐进框架中联合挖掘视频内部的高置信度目标线索与强混淆背景干扰线索，通过自适应记忆生成（AMG）模块动态学习重要性权重以驱动记忆表征迭代演化，从而实现抗漂移、高判别的长视频全像素级目标定位。
方法详解¶
整体框架¶
VQ-SAM 将视觉查询分割建模为开集环境下的时空掩码生成任务。给定外部查询图像 \(Q\) 及其目标掩码 \(m_Q\)，以及未修剪视频序列 \(\mathcal{I} = \{I_i\}_{i=1}^L\)，模型首先利用共享的层次化视觉编码器（Hiera-B+ 配备 FPN）抽取查询特征 \(f_Q\) 与各帧视频特征 \(\mathcal{V} = \{f_i\}_{i=1}^L\)。查询特征与掩码通过 SAM 2 的记忆编码器编码为初始记忆 \(\mathcal{M}_{\text{init}}\)。
由于单次外部查询难以应对长视频内的外观剧变与相似背景干扰，VQ-SAM 采用 \(K\) 阶段渐进式记忆演化架构。在第 \(k\) 阶段（\(1 \le k < K\)），模型将当前记忆 \(\mathcal{M}_k\) 注入视频特征，经时空 Transformer 增强后由掩码解码器输出候选掩码；随后通过目标特征生成（TFG）与干扰特征生成（DFG）分别筛选出最具代表性的前目标区域与最具混淆性的背景负样本区域；最后由自适应记忆生成模块（AMG）自适应融合初始查询记忆、视频内目标特征和干扰特征，更新得到下一阶段更鲁棒的记忆 \(\mathcal{M}_{k+1}\)。在最终阶段 \(K\)，模型关闭特征挖掘分支，基于充分演化的高质量记忆完成高精度的时空掩码预测。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：外部视觉查询 + 未修剪视频帧"] --> B["特征提取与记忆初始化<br/>Hiera-B+ 与 MemEnc 得到初始记忆"]
B --> C["阶段 1：初级时空分割<br/>Memory Attention 融合与 STTB 增强"]
C --> D["目标与干扰特征挖掘<br/>TFG 选高置信目标 / DFG 选混淆背景"]
D --> E["自适应记忆生成 (AMG)<br/>动态权重调制并演化生成新记忆"]
E --> F["阶段 2：精细时空分割与记忆重构<br/>高质量特征交互与置信度重评分"]
F --> G["输出：全视频像素级时空掩码let"]关键设计¶
1. 目标与干扰特征协同挖掘：双路引导记忆表征进化
单纯依靠外部查询初始化记忆极易在目标形变或存在相似物体时漂移，而仅利用目标特征又难以抑制背景虚警。针对这一矛盾，VQ-SAM 在中间阶段设计了互补的双路特征挖掘机制：目标特征生成（TFG）与干扰特征生成（DFG）。在每帧解码出的候选掩码中，TFG 首先依据预测 IoU 筛选出超过阈值 \(\tau_t\) 的最佳候选掩码，排序后选取前 \(n_t\) 个高质量局部掩码送入记忆编码器提取时效性目标特征 \(\mathcal{T}_k\)，用于补偿视频内的外观形变。与此同时，DFG 专门针对各帧内除最优掩码之外的备选假阳性候选进行挖掘。对于候选掩码 \(x\) 与最优掩码 \(b_i^k\)，定义空间差异性分数为 \(1 - \text{IoU}(b_i^k, x)\)；DFG 仅保留差异度超过 \(\tau_d\) 且预测置信度超过 \(\tau_s\) 的困难候选，按照差异度与置信度的乘积降序排列，截取前 \(n_d\) 个最强干扰区域编码为负样本特征 \(\mathcal{D}_k\)。通过将这两种线索同步反馈给记忆，模型既具备了跟踪目标动态外观的能力，又建立了对周围易混淆背景的主动排斥判别力。
2. 自适应记忆生成（AMG）：动态重要性调制特征融合
挖掘出的初始查询记忆 \(\mathcal{M}_{\text{init}}\)、视频目标特征 \(\mathcal{T}_k\) 与背景干扰特征 \(\mathcal{D}_k\) 在不同视频场景下提供的信息置信度和信噪比截然不同，采用固定的均等权重或静态全局权重极易引入次优偏置。AMG 模块被设计用于在实例层面动态估计各类特征的贡献度。该模块首先对时空目标特征集合 \(\mathcal{T}_k\) 和干扰特征集合 \(\mathcal{D}_k\) 分别施加全局池化，并通过紧凑的降维 MLP 投影得到紧凑的特征向量 \(\tilde{\mathcal{T}}_k\) 与 \(\tilde{\mathcal{D}}_k\)；随后将初始记忆向量与这两组特征直接拼接，通过轻量级 MLP 和 Softmax 层自适应归一化生成重要性权重向量：
根据预测权重，新一阶段的演化记忆表示为 \(\mathcal{M}_{k+1} = \{w_1 \cdot \mathcal{M}_{\text{init}}, w_2 \cdot \mathcal{T}_k, w_3 \cdot \mathcal{D}_k\}\)。当视频中无合格干扰物时，模块自适应退化为两项加权。这种动态调制机制使得模型在目标形变剧烈时加大视频内目标特征权重，在背景混淆严重时强化干扰特征抑制，显著提升了记忆更新的自适应性与鲁棒性。
3. 时空增强与多阶段渐进反馈机制：突破单阶段局部注意局限
受限于视频显存与长程时序建模能力，标准 SAM 2 的记忆注意力主要在单帧与有限历史间交互，难以捕获跨越数十秒长视频的全剧上下文。VQ-SAM 在每个阶段的记忆注意力之后引入时空 Transformer 块（STT block），通过特征展开、全局自注意力层与多尺度重塑，促使各帧表征在时空全局视野下进行互补增强。更重要的是，多阶段级联架构（默认 \(K=2\)）构建了一个闭环优化回路：第一阶段利用较粗糙的初始线索在大范围未修剪视频中粗筛出可靠的目标与干扰锚点，AMG 据此合成高纯度演化记忆；第二阶段依托演化记忆重新审视视频特征，不仅有效清除了初期边缘由于视点变化产生的虚警，还大幅提升了弱小、间歇性出现目标的掩码召回率与时空交叠精度。
损失函数 / 训练策略¶
VQ-SAM 采用端到端多阶段联合优化策略。在每个阶段 \(k\)，针对第 \(i\) 帧的所有预测掩码候选，遵循 SAM 2 构建多任务复合损失 \(\mathcal{L}_k^i\)，涵盖 Dice 损失、惩罚残差激活损失、预测 IoU 损失以及二值交叉熵（BCE）损失。各阶段内部损失为全视频帧之和 \(\mathcal{L}_k = \sum_{i=1}^L \mathcal{L}_k^i\)。
模型整体训练目标定义为各阶段加权和：
在实现中设置总阶段数 \(K=2\)，损失权重分配为 \(\gamma_1 = 0.5\)、\(\gamma_2 = 1.0\)，侧重驱动最终阶段的高质量分割输出。训练阶段在 4 张 Nvidia A6000 GPU 上采用 AdamW 优化器，学习率设为 \(5 \times 10^{-6}\)，批大小为 4，输入分辨率重置为 \(768 \times 768\)。由于长视频显存限制，单次反向传播采用短视频片段（\(L=7\)）采样训练；在推理阶段，长视频被自动切分为重叠片段并行处理后无缝拼接。
实验关键数据¶
主实验¶
在作者提出的首个 VQS 专用基准测试集 VQS-4K\(_{\text{Tst}}\)（包含 822 支视频、覆盖 222 个类别）上，作者评测了多类主流视频目标分割（VOS）前沿模型与基于检测头改造的视觉查询定位（VQL）方法。评估指标涵盖时空平均精度（stAP、stAP50、stAP75）、时序平均精度（tAP、tAP50、tAP75）、召回率（Rec）与成功率（Succ）。
| 方法 | 类别来源 | stAP (%) | stAP50 (%) | stAP75 (%) | tAP (%) | tAP50 (%) | Rec (%) | Succ (%) |
|---|---|---|---|---|---|---|---|---|
| Cutie-b (CVPR'24) | VOS 适配 | 18.5 | 16.5 | 8.2 | 21.0 | 16.9 | 38.4 | 32.3 |
| OASIS (ICCV'25) | VOS 适配 | 15.8 | 13.6 | 6.7 | 21.3 | 17.4 | 34.3 | 29.4 |
| LOMM (ICCV'25) | VOS 适配 | 12.5 | 10.2 | 5.0 | 12.7 | 7.9 | 26.1 | 25.8 |
| SAM 2 (ICLR'25) | VOS 适配基线 | 12.9 | 10.6 | 5.2 | 13.0 | 8.3 | 26.7 | 26.3 |
| SAM2.1++ (CVPR'25) | VOS 适配 | 12.5 | 10.2 | 5.1 | 14.6 | 10.0 | 28.8 | 25.8 |
| SAM2Long (ICCV'25) | VOS 适配 | 18.6 | 16.5 | 8.2 | 24.4 | 20.6 | 38.6 | 32.5 |
| SAM 3 (ICLR'26) | VOS 适配 | 13.3 | 10.9 | 5.4 | 14.1 | 9.5 | 27.7 | 26.6 |
| VQLoC (NeurIPS'23) | VQL 改造 | 10.1 | 12.5 | 6.3 | 21.5 | 17.5 | 31.7 | 23.2 |
| PRVQL (ICCV'25) | VQL 改造 | 13.6 | 14.4 | 7.1 | 22.1 | 18.4 | 32.6 | 26.9 |
| REN (NeurIPS'25) | VQL 改造 SOTA | 16.8 | 17.7 | 8.9 | 23.6 | 19.8 | 34.8 | 30.5 |
| VQ-SAM (本文) | 专用 VQS 基线 | 26.0 | 23.8 | 12.7 | 29.6 | 26.8 | 43.6 | 42.1 |
在小、中、大三类目标尺寸子集上，VQ-SAM 的 stAP 分别达到 18.8%、26.7% 和 36.0%，全面超越所有对比基线。此外，在传统边界框定位基准 VQ2D 验证集上，将 VQ-SAM 掩码转化为检测框后，其 stAP 达到 41.8%、tAP 达到 56.0%，大幅超过当前最佳方法 REN（39.7% / 51.6%），展现了卓越的跨范式泛化性能。
消融实验¶
为明确各核心设计对记忆演化和分割精度的实际贡献，作者在测试集上开展了一系列详尽的模块消融分析。
| 配置 | 核心改动 | stAP (%) | tAP (%) | Rec (%) | Succ (%) | 说明 |
|---|---|---|---|---|---|---|
| 完整模型 (VQ-SAM) | \(K=2\), TFG+DFG, AMG, STT | 26.0 | 29.6 | 43.6 | 42.1 | 最佳默认配置 |
| 仅用目标挖掘 (w/o DFG) | 仅保留 TFG 正样本线索 | 24.8 | 25.4 | 38.3 | 31.8 | 缺少干扰抑制，虚警导致指标明显下降 |
| 仅用干扰挖掘 (w/o TFG) | 仅保留 DFG 负样本线索 | 25.4 | 27.3 | 41.1 | 37.0 | 证明排斥背景干扰对定位至关重要 |
| 无任何挖掘 (w/o TFG & DFG) | 仅单阶段纯初始记忆 | 23.8 | 24.9 | 36.7 | 27.1 | stAP 暴跌 2.2%，Succ 暴跌 15.0% |
| 移除时空增强 (w/o STT) | 移除 Transformer 时空块 | 25.2 | 27.9 | 39.7 | 36.1 | 丢失跨帧全局上下文导致性能受损 |
| 单阶段模型 (\(K=1\)) | 无记忆迭代更新 | 21.5 | 13.9 | 17.3 | 8.2 | 无法应对长时序中目标外观剧变 |
| 三阶段模型 (\(K=3\)) | 迭代 3 轮记忆演化 | 25.1 | 28.6 | 44.8 | 39.8 | 轮数过多引入级联噪声且开销增大 |
| 均等权重记忆 (EMG) | 替代 AMG：固定各特征权重均等 | 23.9 | 27.0 | 41.2 | 38.4 | 无法按场景动态权衡各特征质量 |
| 静态可学记忆 (SLMG) | 替代 AMG：全局参数固定权重 | 25.1 | 28.7 | 42.4 | 39.7 | 缺乏基于单样本上下文的自适应能力 |
关键发现¶
- 干扰特征的判别价值甚至高于单纯目标扩充：消融数据显示，单独引入 DFG 获得的 stAP 增益（+1.6%）超过了单独引入 TFG 的增益（+1.0%）。这表明在长时序未修剪视频中，阻碍模型定位的核心瓶颈在于大量与目标外观相近的背景干扰物；主动利用负样本对记忆进行鉴别性约束，比单纯累加目标正样本更能有效降低误检率。
- 动态自适应权重比静态融合机制高出近 1 个百分点：AMG 动态预测实例级重要性相较于全局静态可学习权重（SLMG）提升了 0.9% stAP，相较于简单均权（EMG）提升了 2.1% stAP，证实长视频中不同帧的目标质量参差不齐，必须根据输入置信度动态调节特征配比。
- 阶段数并非越多越好：\(K=2\) 取得最佳性能，当增加至 \(K=3\) 时指标轻微下滑（stAP 从 26.0% 降至 25.1%）。分析表明，随着阶段加深，若前期产生错误的微小伪掩码被递归带入深层记忆，会引发误差级联累积，两阶段记忆演化在精度与抗噪性间取得了最佳平衡。
亮点与洞察¶
- 任务与基准的开拓性突破：敏锐捕捉到现有 VQL 仅标定“最后一次出现边界框”与现实落地需求的严重脱节，首次定义了全视频全时段像素级分割的 VQS 任务，并构建了首个涵盖 4,111 支视频、222 类目标、130 万帧的大规模人工高精精细标注基准 VQS-4K，为视频目标理解社区提供了全新的评估基石。
- 正负线索对称演化的记忆机制：突破了传统视频分割与跟踪仅基于正向置信度累积记忆的思维惯性，将空间差异显著但置信度偏高的负样本显式转化为干扰记忆，赋予了基础分割模型在开放域视频背景下抵御硬负样本的抗干扰能力。
- 可复用的通用即插即用范式：提出的 TFG/DFG 挖掘准则与 AMG 自适应融合模块具有极高通用性，不仅成功将 SAM 2 升级为长视频检索分割基线，更在传统边界框检索基准 VQ2D 上刷新了 SOTA，表明高质量的像素级掩码反哺机制能显著促进宏观时空定位精度。
局限与展望¶
- 作者承认的局限：由于多阶段记忆演化以及长视频稠密像素级掩码解码的计算密集性，VQ-SAM 目前单次显存限制仅支持以较短片段（如 7-8 帧）滑动切片推理，尽管单卡推理可达 29 fps，但在面对超长未修剪视频时仍需切片合并，一定程度上削弱了超长时序间的端到端连续建模能力。
- 实验与设定潜在盲区：目前基准中的视觉查询均取自视频外部拍摄的同目标清晰图像，尚未充分探讨低照度严重失焦、手绘线稿、极端艺术风格变换或多目标文本属性混合等极端开集跨域查询场景下的定位鲁棒性。
- 未来演进方向：可进一步将多模态大语言模型（MLLM）的高层语义推理能力与 VQ-SAM 的底层精密记忆演化深度融合，实现支持自然语言/图像混合自由多模态提示的长视频细粒度交互分割。
相关工作与启发¶
- vs Ego4D-VQ2D (Grauman et al., CVPR 2022)：VQ2D 是现有 VQL 的奠基性数据集，但仅限于第一人称视角、关注刚性物体且只标定最后一次出现的粗糙边界框；本文提出的 VQS-4K 拓展至第一与第三人称全场景视角、覆盖刚性与非刚性 222 种物体，且提供全时段稠密像素掩码。
- vs SAM 2 (Ravi et al., ICLR 2025)：SAM 2 专为交互式逐帧连续传播设计，首帧线索直接来自目标视频内部，在面对外部静态查询与未修剪视频中目标间歇消失的复杂场景时极易跟踪失败；本文 VQ-SAM 为其量身定制了 TFG/DFG 协同挖掘与 AMG 记忆自适应演化架构，使 SAM 2 具备在开放长时序视频中全局检索与抵抗背景漂移的能力。
- vs PRVQL (Fan et al., ICCV 2025)：PRVQL 采用渐进式特征精炼提升基于边界框的 VQL 定位精度，但其仅利用目标正向线索；VQ-SAM 聚焦于记忆演化并创新性地引入背景干扰负线索与自适应权重调制，且输出高精度的像素级掩码。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出视觉查询分割（VQS）新任务范式，定义了兼具全出现覆盖与像素级精度的定位准则，并构建了首个大规模基准。
- 实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 4,111 支视频的大规模高精基准，跨越 10 个前沿基线对比、多尺度多指标评测与丰富的模块消融，更在 VQ2D 上验证了跨任务优势。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰规范，问题陈述切中要害，数学推导与模块演化逻辑严密，图表详实完整。
- 价值: ⭐⭐⭐⭐⭐ 填补了视频目标检索与像素级时空分割之间的关键研究空白，为智能监控、视频编辑与具身智能提供了极具前景的通用技术范式。