QST-SAM: Leveraging Cross-modal Instructions for Few-shot Referring Video Object Segmentation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 图像与视频分割
关键词: 视频目标分割, 少样本学习, 跨模态融合, SAM 2, 指代分割

一句话总结¶

针对少样本指代视频目标分割（FSRVOS）中跨视频文本语义不匹配与多模态对齐难题，本文解耦语义意图与视觉示例（仅在查询端保留文本），并提出基于 SAM 2 的 QST-SAM 架构，利用支持指令压缩器、三分支 Q-S-T Transformer 及多重先验提示模块实现高精度视频分割。

研究背景与动机¶

视频目标分割（VOS）因严重依赖高成本的逐帧密集标注而面临落地瓶颈。为了缓解标注负担，社区衍生出三类弱监督与交互范式：无监督 VOS 免除人工干预但缺乏导向信号，极易产生粗糙或漂移的掩码；指代视频目标分割（RVOS）允许用户使用自然语言指定目标，但在描述含糊或存在多个相似干扰物时极易产生跨模态歧义；少样本视频目标分割（FSVOS）提供同类别的少量标注示例图像，但当同一视频中存在多个同类干扰实例、或者支持帧与查询帧在视角、姿态和外观上差异过大时，仅凭视觉先验难以精准锁定目标。因此，自然语言（提供“分割什么”的语义意图）与视觉示例（提供“外观长什么样”的客观证据）在指导分割时天然互补。

近期开创 FSRVOS 任务的工作（如 CMA-ISM）尝试将二者结合，但在其设定中，查询视频与每个支持样本都配有文本描述。由于支持端的文本是为特定支持实例独立撰写的，跨视频间通常仅共享粗粒度类别语义，其实例特异性细节无法直接迁移至查询视频，反而引入了跨视频语义错位与监督冗余。这种设定不仅徒增标注成本，更混淆了真实推理时的核心矛盾。实际上，查询视频的文本描述已足以提供上下文感知的精准意图，无需支持端再附带语言描述。

本文切入角度是重新审视 FSRVOS 的监督协议，将其重构为流线型解耦设定：仅在查询端保留文本描述以编码语义意图，而在外部支持端完全依赖掩码图像提供实例级视觉证据。在此设定下，核心挑战转化为如何稳健融合语言意图、支持外观证据与查询视频的时空线索。核心 idea：解耦查询级语言意图与支持级视觉示例，构建基于 SAM 2 的 QST-SAM 框架，通过支持指令压缩、文本引导的 Q-S-T 交互以及空间掩码与语义多重先验提示，将碎片化的跨模态监督转化为连贯且鲁棒的时空分割线索。

方法详解¶

整体框架¶

QST-SAM 建立在通用分割大模型 SAM 2（Segment Anything Model 2）之上，整体分为三大分支：查询视频分支（Query）、支持示例分支（Support）以及查询文本分支（Text）。输入包括 $F$ 帧查询视频 $V=\{I_f\}_{f=1}^F$、对应的自然语言指代描述，以及 $N$ 张带有前景掩码的同类别外部支持图像。模型利用冻结的 SAM 2 图像编码器和文本编码器提取特征后，首先通过支持指令压缩器将支持图像特征提炼为紧凑的指示向量；接着在 Q-S-T Transformer 中实现查询、支持和文本多模态特征的跨模态双向迭代精炼；最后由 多重先验提示模块 结合空间匹配掩码先验与语义先验，联合驱动 SAM 2 的 Memory Attention 与 Mask Decoder 预测逐帧目标掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>查询视频帧 + 查询文本 + 掩码支持图像"] --> B["特征提取与跨模态对齐<br/>SAM 2 冻结编码器 + 时空适配器"]
    B --> C["支持指令压缩器<br/>注意力加权压缩去除冗余背景"]
    B --> D["文本与查询时空特征"]
    C & D --> E["Q-S-T Transformer<br/>T2S/S2T 语义精炼 + S2Q/Q2S 时空增强"]
    E --> F["多重先验提示模块<br/>自适应稀疏 Q-S 掩码先验 + 文本语义先验"]
    F --> G["时空掩码解码与跟踪<br/>SAM 2 记忆注意力与解码器输出逐帧掩码"]

关键设计¶

1. 支持指令压缩器：高效提炼紧凑视觉证据

在少样本设定下，$N$ 张支持图像经特征提取后形成密集的特征张量 $T_s \in \mathbb{R}^{N \times H_s \times W_s \times C}$。如果直接将这类高维全图特征与查询视频进行交叉注意力运算，不仅会带来极其庞大的显存与计算开销，更致命的是支持图像中混杂的大量背景杂波和无关纹理会严重污染指导信号。支持指令压缩器（Support Instruction Compressor）通过轻量化结构将高维张量压缩为 $K$ 个紧凑的高纯度指令向量 $S=\{S_k\}_{k=1}^K$。

具体而言，模块首先通过线性层降维至 $C'$，随后分别送入两个平行的 MLP 分支：$\text{MLP}_v$ 生成位置内容表征 $V_s \in \mathbb{R}^{N \times H \times W \times C'}$，$\text{MLP}_{\text{attn}}$ 学习 $K$ 组互补的空间注意力权重图 $\alpha_s \in \mathbb{R}^{N \times H \times W \times K}$。为了彻底切断背景噪声干扰，模块将注意力图与插值后的支持真实前景掩码 $\tilde{M}_s$ 做逐元素相乘并经 Sigmoid 归一化得到 $\alpha'_s = \sigma(\alpha_s) \odot \tilde{M}_s$。最终对所有支持样本的前景区域进行加权池化汇聚： $$S_k = \frac{1}{N} \sum_{n=1}^N \sum_{i=1}^H \sum_{j=1}^W \alpha'_s{}^{(n, i, j, k)} V_s^{(n, i, j, :)}$$ 由此得到的指令集合 $S \in \mathbb{R}^{K \times C'}$ 去除了空间冗余与背景噪声，高度聚焦于目标物体的判别性部件与语义属性。

2. Q-S-T Transformer：双向解耦与多模态协同交互

支持样本与查询目标虽属同类，但往往在姿态、光照、视角甚至子类别上存在显著的类内差异（intra-class variation），直接用支持特征匹配容易将查询视频带偏。Q-S-T Transformer 采用两阶段双向交互机制，逐层对齐并过滤多模态线索： - 文本引导语义精炼（Text-Guided Semantic Refinement）：利用查询文本 $T$ 来净化支持指令 $S$。首先执行 Text-to-Support（T2S）交叉注意力，让文本抽取符合语言意图的支持特征得到 $T'$；随后通过 Support-to-Text（S2T）反向将文本语义注入支持特征，生成经过文本条件化筛选的指令 $S'$。这一步骤压制了与查询描述无关的支持属性（如不同的颜色或附着物），确保支持特征精准呼应查询意图。 - 时空上下文增强（Spatio-Contextual Enhancement）：在获得纯化的 $S'$ 后，展开 Support-to-Query（S2Q）与 Query-to-Support（Q2S）的双向交互。S2Q 促使支持指令吸收查询流中的动态时空布局和运动模式演化为 $S''$；接着 Q2S 将提炼后的类别特异性结构知识注入查询特征 $Q$，从而让增强后的查询特征 $Q'$ 兼具目标语义边界与时间连续性。

3. 多重先验提示模块：自适应百分位稀疏匹配与提示注入

传统的 RVOS 仅依靠单一文本生成稀疏 prompt，无法给 SAM 2 的解码器提供足够精确的初始空间定位，容易在复杂遮挡或干扰物场景下漏检。多重先验提示模块（Multi-Priors Prompting）显式构建了空间掩码先验与语言语义先验的双重约束。

为了获取可靠的视觉掩码先验，Q-S 匹配模块计算查询特征 $T_q$ 与经过前景掩蔽的支持特征 $T_s$ 之间的余弦相似度矩阵 $A_n$。为了消除弱相关匹配带来的虚假关联，本文放弃固定相似度阈值，提出样本自适应的百分位稀疏化策略：仅保留亲和力分布中排名前 $\tau\%$ 的高置信度连接，其余连接强制置零： $$\hat{\mathbf{A}}_n(i, j) = \begin{cases} \mathbf{A}_n(i, j), & \text{if } \mathbf{A}_n(i, j) \ge \mathcal{T}_\tau(\mathbf{A}_n) \\ 0, & \text{otherwise} \end{cases}$$ 利用稀疏化的亲和矩阵 $\hat{\mathbf{A}}_n$ 将支持标注掩码 $\tilde{M}_s^n$ 投影到查询空间并取均值，得到连续的空间掩码先验 $P_m = \frac{1}{N}\sum_{n=1}^N \hat{\mathbf{A}}_n \tilde{\mathbf{M}}_s^n$。与此同时，文本嵌入经过 MLP 投影映射为语义先验 $P_t$。SAM 2 的 Mask Decoder 在由记忆注意力更新后的查询表征 $Q_{\text{out}}$ 基础上，受 $P_m$ 与 $P_t$ 的双重先验联合调制，生成边缘精确且语义鲁棒的预测掩码。

损失函数 / 训练策略¶

模型采用两阶段迁移策略，基于 SAMWISE 在 RefCOCO/+/g 上的预训练权重初始化，并在新划分的 Ref-YouTube-VOS 少样本协议训练集上微调 4 个 epoch。在训练期间，SAM 2 的图像骨干网络（Hiera-B）和文本编码器（RoBERTa）全部保持冻结，仅训练支持指令压缩器、Q-S-T Transformer、多重先验提示模块以及跨模态适配层。采用 Adam 优化器，学习率设为 $1 \times 10^{-5}$，训练时采样的视频片段长度为 $T = 8$ 帧。

实验关键数据¶

主实验¶

论文在新构建的解耦 FSRVOS 基准（Ref-DAVIS17 与 Ref-YouTube-VOS）以及传统 FSRVOS 基准（Mini-Ref-YouTube-VOS）上进行了全面评测。所有少样本评测默认基于 5-shot（$N=5$）设定。下表汇总了 Ref-DAVIS17 与 Ref-YouTube-VOS 上的性能对比（相比各自零样本基线的提升记为 $\uparrow$）：

方法	来源	设定	Ref-DAVIS17 $\mathcal{J}\&\mathcal{F}$	Ref-DAVIS17 $\mathcal{J}$	Ref-DAVIS17 $\mathcal{F}$	Ref-YouTube-VOS $\mathcal{J}\&\mathcal{F}$	Ref-YouTube-VOS $\mathcal{J}$	Ref-YouTube-VOS $\mathcal{F}$
DsHmp	CVPR'24	Zero-shot	61.3	58.1	64.4	54.1	51.7	56.4
DsHmp	CVPR'24	Few-shot	64.5 (+3.2)	62.7	66.2	57.7 (+3.6)	56.4	58.9
LoSh	CVPR'24	Zero-shot	60.4	57.4	63.4	55.9	53.2	58.5
LoSh	CVPR'24	Few-shot	64.9 (+4.5)	62.2	67.5	58.1 (+2.2)	56.7	59.4
ReferDINO	ICCV'25	Zero-shot	65.9	63.7	68.1	59.8	57.5	62.1
ReferDINO	ICCV'25	Few-shot	67.8 (+1.9)	65.5	70.1	60.6 (+0.8)	58.4	62.8
SAMWISE	CVPR'25	Zero-shot	65.5	63.5	67.4	59.3	57.2	61.3
SAMWISE	CVPR'25	Few-shot	67.5 (+2.0)	65.3	69.6	60.4 (+1.1)	58.3	62.4
QST-SAM (本文)	ECCV'26	Few-shot	70.3 (+4.8)	67.5	73.1	62.4 (+3.1)	60.9	63.9

在旧版 FSRVOS 基准 Mini-Ref-YouTube-VOS 上的对比如下（$\text{Text}_{\text{sup}}$ 表示是否依赖支持端文本）：

方法	支持文本 $\text{Text}_{\text{sup}}$	$\mathcal{J}\&\mathcal{F}$	$\mathcal{J}$	$\mathcal{F}$
DANet (CVPR'21)	✓	42.3	40.8	43.7
HPAN (TCSVT'23)	✓	50.9	51.1	50.7
CMA-ISM (IJCV'25)	✓	54.0	53.1	54.8
QST-SAM (本文)	✗ (无支持文本)	59.2	58.2	60.1

消融实验¶

论文在 Ref-YouTube-VOS 数据集上对核心模块以及支持指令数 $K$ 的取值进行了严谨的消融实验：

表 1：核心模块消融研究

配置	$\mathcal{J}\&\mathcal{F}$	$\Delta \mathcal{J}\&\mathcal{F}$	$\mathcal{J}$	$\mathcal{F}$	说明
QST-SAM 完整模型	62.4	—	60.9	63.9	包含全部核心模块
w/o Q-S-T Transformer	60.8	-1.6	59.4	62.1	移除多模态交互融合核心，掉点最严重
w/o Multi-Priors Prompting	61.7	-0.7	60.3	63.1	缺少自适应空间掩码先验与语义双重提示
w/o both (两模块均移除)	60.4	-2.0	58.3	62.4	退化为朴素少样本融合基线

表 2：压缩指令数量 $K$ 及显存占用分析

指令数量 $K$	$\mathcal{J}\&\mathcal{F}$	$\mathcal{J}$	$\mathcal{F}$	显存占用 (GB)
$K = 4$	59.8	58.1	61.4	38.1
$K = 8$	61.3	59.8	62.7	38.9
$K = 16$	61.8	60.4	63.2	39.7
$K = 32$ (本文采用)	62.4	60.9	63.9	42.2
$K = 64$	62.6	61.4	63.8	47.6

关键发现¶

Q-S-T Transformer 是性能增益的核心来源：消融实验显示，移除 Q-S-T Transformer 会导致 $\mathcal{J}\&\mathcal{F}$ 暴跌 1.6%，说明简单将视觉特征拼接或进行单向 cross-attention 无法解决类内外观差异与跨模态对齐难题，双向且以文本引导支持特征的交互设计不可或缺。
放弃支持端文本监督反而大幅超越前人：在 Mini-Ref-YouTube-VOS 上，QST-SAM 在完全不使用支持端文本描述（$\text{Text}_{\text{sup}} = \text{False}$）的弱监督条件下，达到 59.2% $\mathcal{J}\&\mathcal{F}$，以 +5.2% 的绝对优势碾压依赖支持文本的 SOTA 方法 CMA-ISM（54.0%），确凿证实了跨视频支持文本往往带来语义噪点与过拟合。
压缩指令数 $K=32$ 达到性能与效率的最佳平衡：当 $K$ 从 4 增加到 32 时，$\mathcal{J}\&\mathcal{F}$ 从 59.8% 持续攀升至 62.4%（+2.6%），表明丰富的指示向量能更完备地刻画目标属性；而进一步翻倍至 $K=64$ 时，指标仅微升 0.2% 但显存激增 5.4 GB，验证了 $K=32$ 的性价比。

亮点与洞察¶

任务协议的“奥卡姆剃刀”式重构：敏锐指出既有 FSRVOS 中支持侧文本由于特定实例属性难以跨视频泛化而沦为噪点，果断剥离支持端语言，将任务规范为“查询文本意图 + 支持掩码视觉证据”，极大降低了标注门槛并使跨模态对齐边界更清晰。
支持特征压缩与掩码门控过滤机制：将高维密集的支持图像特征压缩为少量特定指令向量，并通过插值真实掩码执行前景空间门控，以极低开销消除了支持帧杂乱背景对查询帧的误导。
百分位数自适应稀疏化先验传递：在 Q-S 亲和力计算中，摈弃传统的固定阈值过滤，采用根据亲和力分布动态计算的 top-$\tau\%$ 百分位截断，自适应滤除跨视频背景相似性引发的虚假关联，为 SAM 2 提供了高可信度的边界定位先验。

局限与展望¶

对初始特征表征能力的依赖：模型依赖冻结的 SAM 2 图像编码器和 RoBERTa 文本编码器，若支持目标与查询目标在极端罕见的新类别或域外分布（如特殊红外、微观成像）中出现表征退化，压缩指令与匹配先验可能失准。
计算复杂度随视频长度增加：尽管通过指令压缩降低了支持分支的 token 开销，但在处理极长视频序列时，SAM 2 的时空记忆库检索与跨模态注意力仍然需要可观的 GPU 显存（$K=32$ 时显存占用已达 42.2 GB）。
未来方向：探索无训练时空记忆蒸馏，进一步压缩长视频推理显存；将框架拓展至开放词表（Open-Vocabulary）或支持音视频多模态指代（Audio-Referring VOS）场景。

评分¶

新颖性: ⭐⭐⭐⭐☆ 重构了 FSRVOS 的监督协议，解耦清晰；支持指令压缩与 Q-S-T Transformer 设计简洁高效。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 折交叉验证、跨数据集无微调泛化、旧版协议严格对比以及详尽的消融与显存分析。
写作质量: ⭐⭐⭐⭐⭐ 问题阐述切中要害，概念推演自然连贯，数学公式规范严谨。
价值: ⭐⭐⭐⭐☆ 为低标注成本下的高精度视频实例分割指明了清晰且实用的技术路线。

指令数量 \(K\)	\(\mathcal{J}\&\mathcal{F}\)	\(\mathcal{J}\)	\(\mathcal{F}\)	显存占用 (GB)
\(K = 4\)	59.8	58.1	61.4	38.1
\(K = 8\)	61.3	59.8	62.7	38.9
\(K = 16\)	61.8	60.4	63.2	39.7
\(K = 32\) (本文采用)	62.4	60.9	63.9	42.2
\(K = 64\)	62.6	61.4	63.8	47.6