SAM-MT: Real-Time Interactive Multi-Target Video Segmentation¶

会议: ECCV 2026
论文: ECCV 原文
项目: https://henghuiding.com/SAM-MT/
领域: 语义分割
关键词: 视频目标分割、交互式分割、多目标跟踪、解耦掩码注意力、稀疏记忆

一句话总结¶

基于 SAM2 架构构建交互式实时多目标视频分割框架，通过解耦掩码注意力隔离跨目标干扰并共享全局上下文，结合时序轻量稀疏记忆，将多目标推理延迟与目标数量完全解耦，在 10 个目标下实现超 36 FPS 的实时分割。

研究背景与动机¶

视频目标分割（Video Object Segmentation, VOS）要求系统在开放词表中根据用户给定的交互提示（如点击、涂鸦或初始掩码）对特定目标进行连贯跟踪与逐帧精确分割。以时空记忆网络（Space-Time Memory, STM）以及近期的 Segment Anything Model 2（SAM2）为代表的主流范式，通过在致密记忆库中存储高维像素级特征来匹配历史帧，在单目标基准上取得了前所未有的分割精度与时序稳定性。然而，这类架构从设计之初就是以“单目标”为中心演进的，当面对自动驾驶街景、拥挤体育赛事或多机器人协同等需要同时追踪数十个实例的实际场景时，其架构缺陷暴露无遗。

这种瓶颈的核心矛盾在于：现有方法在扩展至多目标场景时，本质上只能对每个新增目标机械复制单目标处理流程。即使是 STCN、XMem 或 Cutie 等尝试共享帧级骨干网络特征的方案，其掩码解码器与时空记忆编码依然保持目标间相互独立；而在 SAM2 中，每个目标都会独立累积包含 4096 个 token 的高维度致密特征记忆。随着目标密度上升，计算量与显存占用呈线性爆炸式增长，推理帧率断崖式下跌（例如 SAM2.1-B+ 在处理 1 个目标时可达 37.2 FPS，但在 3 个目标时暴跌至 17.8 FPS，在 5 个目标时仅剩 12.4 FPS）。若退而求其次将所有多目标直接合并为一个复合掩码，不仅彻底丢失了每个实例的独立身份 ID，而且合并后的异形不规则掩码在现实中极易导致追踪漂移和模型彻底跟丢。

因此，多目标视频分割迫切需要一种既能保持独立身份表示、又能在推理效率上媲美单目标预算的崭新范式。本文的核心切入点在于：全局场景上下文可以被所有目标共享，而每个具体实例的时序演化只需要轻量级向量进行显式表征。核心 idea：将多目标分割解耦为“全局共享致密上下文”与“并行实例显式 Query”，在解码器自注意力中引入解耦掩码注意力阻断跨目标干扰，并借助目标级稀疏历史记忆与身份变换器，实现推理延迟与目标数量解耦的实时多目标交互分割。

方法详解¶

整体框架¶

SAM-MT 继承了 SAM2 的主干特征提取器与致密记忆架构，但在交互查询与解码流程上进行了根本性重构，其端到端流程由以下几个阶段紧密协同：

在初始交互帧中，用户对各个目标赋予特定的唯一标识 ID 并输入稀疏点击提示，这些提示点被编码为特定目标的点 Query，与全图共享的全局 Query 拼接后送入解码器。为了避免多目标之间的语义混淆，解码器的自注意力层应用解耦掩码注意力，在保证所有目标均能自由感知全局场景上下文的前提下，严格遮蔽不同目标 Query 之间的交互通道。经过与图像特征的双向交叉注意力增强后，初始帧中的提示查询聚合模块通过轻量级权重网络将多点 Query 压缩为每目标唯一定义的紧凑 Target Query。

进入后续连续视频帧的传播阶段，系统维持一个共享的查询式稀疏记忆队列，以极小显存存储各目标的历史 Target Query 轨迹。当前帧接收上一帧的目标 Query 后，通过身份感知变换器在稀疏记忆中仅检索属于自身 ID 的历史时序表征，抑制跨目标身份混淆。更新后的 Query 与当前帧图像特征融合生成各个目标的独立实例掩码，同时多目标合并后的全局掩码送入常规致密记忆模块以维持全局上下文，从而实现了在不增加额外解码器与记忆开销下的高帧率多目标传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多目标交互输入<br/>用户点击 + 目标 ID"] --> B["解耦掩码注意力<br/>隔离跨目标干扰并共享全局上下文"]
    B --> C["提示查询聚合<br/>加权压缩多点为单一 Target Query"]
    C --> D["查询式稀疏记忆<br/>跨帧 FIFO 存储各目标轨迹 Query"]
    D --> E["身份感知变换器<br/>仅匹配自身历史 Query 抑制漂移"]
    E --> F["实例与全局掩码输出<br/>独立输出各目标掩码并更新记忆"]

关键设计¶

1. 解耦掩码注意力：隔离跨目标干扰并共享全局上下文

在多目标交互场景下，若允许不同目标的查询向量无限制地在自注意力机制中自由交互，不同实例的特征极易发生语义缠绕与身份互换，造成严重欠分割；但若将所有 Query 完全物理隔离，模型又会丧失对场景整体布局和遮挡关系的全局感知。为此，SAM-MT 设计了解耦掩码注意力（Decoupled Masked Attention）。设全局查询为 \(G \in \mathbb{R}^{N_g \times C}\)，目标 \(q\) 的查询集合为 \(Q_q \in \mathbb{R}^{N_q \times C}\)，整个注意力查询矩阵拼接为 \(Q = [G; Q_1; \dots; Q_k] \in \mathbb{R}^{N \times C}\)。注意力机制通过注意力掩码矩阵 \(\mathcal{M} \in \mathbb{R}^{N \times N}\) 控制：

\[Q' = \text{softmax}\left(\frac{Q K^\top}{\sqrt{C}} + \mathcal{M}\right) V\]

掩码矩阵 \(\mathcal{M}\) 的取值规则严格遵循拓扑约束：全局查询行（\(1 \le i \le N_g\)）对所有位置可见（即取 0）；每个具体目标 \(q\) 的查询行仅对全局查询列（\(1 \le j \le N_g\)）以及属于自身目标范围的查询列（\(i, j \in \text{Rng}(q)\)）保持可见，而对所有其他属于目标 \(p \ne q\) 的列全部置为 \(-\infty\)。这种不对称的掩码设计既确保了全局环境上下文被全量共享与注入，又构筑了坚固的实例防火墙，从根本上防止了多目标之间的特征污染。

2. 提示查询聚合：加权压缩多点为单一 Target Query

在初始交互帧中，用户可能对同一个复杂目标点击多个正负提示点以精细化调整轮廓（即 \(N_q \ge 1\)）。如果将这些多点 Query 一直原样保留并在后续全视频序列中长程传播，不仅会显著增加后续跨帧计算开销，还会引入不同提示点权重随时间推移失衡的问题。SAM-MT 在初始帧解码后，引入一个轻量级的 MLP 打分头 \(f_{\text{weight}}\)，对目标 \(q\) 内的各个提示 Query \(Q'_{q, i}\) 计算自适应重要性权重：

\[w_{q,i} = \frac{\exp(f_{\text{weight}}(Q'_{q,i}))}{\sum_{j=1}^{N_q} \exp(f_{\text{weight}}(Q'_{q,j}))}, \quad \hat{Q}_q = \sum_{i=1}^{N_q} w_{q,i} \cdot Q'_{q,i}\]

通过该软性聚合，无论用户在初始交互时点击了多少个提示点，系统均能将它们精炼为一个紧凑的 \(1 \times C\) 维向量 \(\hat{Q}_q\)（Target Query）。在后续所有传播帧中，每个目标仅需维持这单个向量并逐帧迭代更新（\(\hat{Q}_{q, t} = Q'_{q, t}\)），从而将跨帧传播的复杂度精确锁定在目标数量级别，杜绝了提示规模扩散。

3. 查询式稀疏记忆：超轻量目标级长程时序缓冲

SAM2 等传统模型在每个时序记忆帧中均需保存高达 \(T \times HW \times C\)（通常每个实例包含 4096 个致密 token）的像素级记忆，若要为多个目标维护各自独立的记忆库，显存和吞吐将迅速触顶。SAM-MT 提出双轨记忆方案：对场景全景仅保留一份由各目标掩码并集组成的致密记忆（Dense Memory）以捕捉全局图像纹理；而对于各个实例的时序外观演化，则由统一的 FIFO 查询式稀疏记忆（Sparse Memory）承担。在时间步 \(t\)，系统将所有 \(k\) 个目标的最新查询向量合并为 \(\hat{\mathbf{Q}}_t = [\hat{Q}_{1,t}, \dots, \hat{Q}_{k,t}] \in \mathbb{R}^{k \times C}\)，并在包含当前帧、初始帧与最近历史的滑动窗口内组织记忆：

\[M_{\text{sparse}, t} = [\hat{\mathbf{Q}}_t, \hat{\mathbf{Q}}_{t-1}, \dots, \hat{\mathbf{Q}}_{t-T+2}, \hat{\mathbf{Q}}_0] \in \mathbb{R}^{T \cdot k \times C}\]

由于单个目标在单帧仅占 1 个 token，稀疏记忆将实例级存储开销降低了数千倍，从而允许模型在边缘或有限 GPU 显存上将时序记忆窗口 \(T\) 轻松扩展至 16 甚至 32 帧，显著提升了目标在遭受剧烈遮挡和离开视野又重现时的再识别鲁棒性。

4. 身份感知变换器：跨帧历史检索与防漂移更新

在视频连续传播过程中，前序帧的目标查询 \(\hat{\mathbf{Q}}_{t-1} \in \mathbb{R}^{k \times C}\) 需要融合稀疏记忆中的历史信息以更新自身状态。为了防止目标在与相似物体靠近或交叉重叠时误读他人的记忆，SAM-MT 设计了带身份掩码的身份感知变换器（Identity Transformer）。前一帧查询跨注意力检索记忆矩阵 \(M_{\text{sparse}, t-1}\)：

\[\mathbf{Q}_t = \text{softmax}\left(\frac{\hat{\mathbf{Q}}_{t-1} M_{\text{sparse}, t-1}^\top}{\sqrt{C}} + \tilde{\mathcal{M}}\right) M_{\text{sparse}, t-1} + \hat{\mathbf{Q}}_{t-1}\]

其中身份约束掩码 \(\tilde{\mathcal{M}}\) 保证了严格的对角块身份映射：第 \(i\) 个目标仅允许查询其自身历史时间步构成的索引集合 \(\Omega_i = \{i + \tau \cdot k \mid 0 \le \tau \le T-1\}\)，对其他所有位置均填入 \(-\infty\)。这一设计确保了每条时序轨迹在记忆层面的绝对隔离，有效阻断了多目标交互中的时序身份漂移（Identity Drift）。

损失函数 / 训练策略¶

模型采用分阶段训练机制并配合专门的多目标对抗监督： - 两阶段训练策略：Stage I 基于静态图像的点击交互预训练，重点培养模型从稀疏点击生成高质量多目标分割的能力；Stage II 扩展到视频序列，训练时域上下文与稀疏记忆的连贯更新。 - 跨步采样（Strided Sampling）：在单卡显存受限下，训练时避免仅采样连续相邻帧，而是将连续采样与 4 步长采样混合，单序列在 32 帧时间跨度内抽取 8 帧，迫使模型学会应对目标长时间出画与遮挡后重现的情形。 - 重叠惩罚损失（Overlap Prevention Loss）：为迫使像素归属具有互斥性，避免不同目标掩码发生混淆重叠，引入重叠惩罚项：

\[\mathcal{L}_{\text{ovl}, i} = \operatorname{Mean}\left(P_i \odot \sum_{j \ne i} P_j\right)\]

总损失由个体多目标分支损失 \(\mathcal{L}_I\)（Focal 损失、Dice 损失与重叠损失的平均值）和全局掩码分支损失 \(\mathcal{L}_G\)（Focal、Dice、IoU 与 Object 评分损失）联合构成：\(\mathcal{L}_{\text{total}} = \mathcal{L}_I + \mathcal{L}_G\)。

实验关键数据¶

主实验¶

在六项极具挑战性的公开视频目标分割基准上，SAM-MT 与业界顶尖的单目标扩展及多目标方法展开对比。所有 SAM 系列模型均在首帧采用统一的每目标 2 次点击交互初始化，而传统基线则采用 Ground-Truth 真实掩码初始化（对基线更为有利）。

数据集	评估指标	SAM-MT (本文, Click)	SAM2.1-B+ (Click)	Cutie-base (Mask)	SwinB-DeAOT (Mask)	性能增益 (vs SAM2.1)
MOSEv2-val	\(\mathcal{J}\&\dot{\mathcal{F}}\) / \(\mathcal{J}\) / \(\mathcal{F}\)	43.0 / 41.4 / 44.5	41.1 / 39.4 / 42.8	42.8 / 41.1 / 44.4	36.7 / 34.9 / 38.6	+1.9 / +2.0 / +1.7
MOSEv1-val	\(\mathcal{J}\&\mathcal{F}\) / \(\mathcal{J}\) / \(\mathcal{F}\)	68.2 / 64.4 / 72.0	65.1 / 60.7 / 69.5	68.3 / 64.2 / 72.3	61.7 / 57.6 / 65.9	+3.1 / +3.7 / +2.5
LVOSv2-val	\(\mathcal{J}\&\mathcal{F}\) / \(\mathcal{J}\) / \(\mathcal{F}\)	76.6 / 73.3 / 80.0	74.6 / 70.9 / 78.3	70.1 / 66.7 / 73.5	72.6 / 69.0 / 76.2	+2.0 / +2.4 / +1.7
LVOSv1-val	\(\mathcal{J}\&\mathcal{F}\) / \(\mathcal{J}\) / \(\mathcal{F}\)	73.6 / 69.0 / 78.3	71.3 / 66.5 / 76.1	66.0 / 61.3 / 70.6	62.6 / 57.4 / 67.8	+2.3 / +2.5 / +2.2
SA-V val	\(\mathcal{J}\&\mathcal{F}\) / \(\mathcal{J}\) / \(\mathcal{F}\)	66.1 / 62.9 / 69.4	65.6 / 62.0 / 69.3	60.7 / 57.7 / 63.7	61.4 / 56.6 / 66.2	+0.5 / +0.9 / +0.1
SA-V test	\(\mathcal{J}\&\mathcal{F}\) / \(\mathcal{J}\) / \(\mathcal{F}\)	66.4 / 63.0 / 69.8	66.1 / 62.4 / 69.8	62.7 / 59.7 / 65.7	61.8 / 57.2 / 66.3	+0.3 / +0.6 / 0.0

在合成多目标密集基准（包含 1 到 20 个目标，分辨率 1024p，单张 NVIDIA A6000 GPU）上的多目标速度（FPS）与显存占用（VRAM, MB）对比如下：

目标数量	SAM-MT (1024p) FPS	SAM2.1-B+ (1024p) FPS	Cutie-base (480p) FPS	DeAOT-L (1.3×480p) FPS	SAM-MT 显存 (MB)	SAM2.1-B+ 显存 (MB)
1 个目标	37.2	37.2	31.2	24.7	3094	3043
3 个目标	36.8	17.8	30.4	24.7	3247	3356
5 个目标	36.5	12.4	27.4	24.2	3312	3702
7 个目标	36.4	9.5	23.4	24.2	3357	4089
10 个目标	36.3 (9目标)	7.8 (9目标)	21.8 (9目标)	24.1 (9目标)	3491 (11目标)	4529 (11目标)
15 个目标	35.7	4.9	18.4	14.0	3627	5436
20 个目标	35.4	3.7	15.0	13.7	3785	8585

消融实验¶

在 MOSEv2-val 基准上对核心模块设计及训练策略展开剥离消融：

消融维度 / 变体配置	\(\mathcal{J}\&\dot{\mathcal{F}}\)	\(\mathcal{J}\)	\(\dot{\mathcal{F}}\)	推理速度 (FPS)	核心现象与说明
完整模型 (SAM-MT)	43.0	41.4	44.5	36.9	采用解耦掩码、深度为3的身份变换器、窗口16及完整训练策略
注意力策略: 完全可见 (Full Visibility)	37.5	35.8	39.1	37.1	所有目标查询自由交互，丧失身份特异性，指标骤降 5.5 点
注意力策略: 完全隔离 (Full Masking)	39.3	37.7	40.8	36.9	全局上下文与实例完全物理隔离，缺乏全图语境交互，下降 3.7 点
身份变换器: 无身份掩码 (w/o Masking)	39.1	37.4	40.7	37.1	历史查询跨目标混淆污染，导致严重的身份互换漂移，下降 3.9 点
身份变换器层数: 1 层	41.9	40.3	43.4	37.2	历史表征交互不足，精度略有损失
身份变换器层数: 5 层	43.3	41.6	45.0	36.4	精度微升 0.3 点，但延迟略有上升，综合选 3 层
记忆窗口: 8 帧	42.4	40.8	44.0	37.1	时序回溯过短，难以应付长时遮挡
记忆窗口: 32 帧	43.1	41.6	44.6	36.6	相比 16 帧仅提升 0.1 点，但带来额外跨步显存与计算
训练策略: 无图像预训练 (w/o Pretrain)	40.3	-	-	-	缺少单步点击微调，一次性交互质量大幅退化 2.7 点
训练策略: 无跨步采样 (w/o Strided)	41.7	-	-	-	仅相邻帧采样难以抵抗物体脱离画面后重现，下降 1.3 点
训练策略: 无重叠损失 (w/o Overlap Loss)	42.5	-	-	-	密集相邻目标（如羊群）交界处像素归属模糊，下降 0.5 点

关键发现¶

延迟解耦极为彻底：在单卡 A6000 且输入维持 1024p 原生高分辨率的条件下，目标数量从 1 个增加到 20 个时，SAM-MT 的帧率仅从 37.2 FPS 极其平缓地滑落至 35.4 FPS（下降不到 5%），显存占用仅微增约 700 MB；而 SAM2.1-B+ 的帧率跌去 90%（37.2 \(\to\) 3.7 FPS），显存飙升近 3 倍（3043 \(\to\) 8585 MB）。
解耦注意力的非对称优势：实验表明，非对称的解耦掩码（全局可见但跨目标互斥）是整个模型成立的核心支柱。盲目全连接会导致 5.5 点的严重掉点，而彻底隔离全局又会导致 3.7 点的性能折损。
长序列再识别收益更显著：在以长程遮挡和重现为主要特征的 LVOSv2 与 LVOSv1 基准上，SAM-MT 较 SAM2.1-B+ 取得了高达 2.0 和 2.3 点的显著增益，充分证明了超轻量稀疏记忆在大时空跨度下的抗漂移优越性。

亮点与洞察¶

全局致密与实例稀疏的优雅共生：将大开销的图像致密记忆退居为唯一的“全局场景画布”，用极小维度的单个向量 Token 承载各个实例的动态演化，从系统架构层面彻底打破了 VOS 领域“实例越多计算越慢”的长期铁律。
自注意力机制中非对称可见性约束的精妙利用：巧妙通过一个对角块结合全景列的 Attention Mask 矩阵，在单次前向 Transformer 操作中兼顾了“全局上下文感知”与“实例语义防火墙”，无需拆解成多个级联的 Decoder 模块。
可迁移的轻量交互式多目标编解码模式：该套“点查询软聚合 + 解耦注意力 + 身份隔离更新”的轻量管线，极易迁移到多目标交互式 3D 重建、具身机械臂多抓取物追踪以及无人机群监控等高实时性边缘计算任务中。

局限与展望¶

作者承认的局限：SAM-MT 延续了 SAM 系列纯视觉（Vision-Only）特征匹配与交互的架构根基，本身并不具备高级语义推理与指令理解能力，无法直接应对复杂语言引导的指代分割或因果动作交互。
未充分探索的边界：在极端密集（例如数十只高度相似且彼此剧烈重叠交错的微小昆虫或球类）且缺乏明显全局轮廓区分的极端环境下，仅靠单个稀疏 Token 承载的外观信息可能出现表征瓶颈；此外，当前重叠惩罚假定各目标之间物理边界绝不相交，而在半透明材质或包含关系的目标交互下该假设存在一定偏差。
改进与延伸方向：未来可将多模态大语言模型（MLLM）作为推理决策上层与 SAM-MT 级联，引入语言提示与意图理解；同时可探索在实例遮挡严重时自适应增加 Query 数量的动态稀疏记忆架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 架构级打破 SAM 系列多目标效率瓶颈，解耦掩码与双轨记忆构思非常精妙。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 项权威基准、严苛的合成多目标密度压力测试、显存曲线以及深度的多维度消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，问题剖析一针见血，图表详实且极具工程指导意义。
价值: ⭐⭐⭐⭐⭐ 真正实现了工业界梦寐以求的高精度、多目标、超低显存开销实时交互视频分割。