S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation¶

会议: NeurIPS 2026
arXiv: 2512.14440
代码: https://leonsick.github.io/s2d
领域: 语义分割
关键词: 无监督视频实例分割, 点追踪运动先验, 关键掩码发现, 稀疏到密集蒸馏, 时序DropLoss

一句话总结¶

针对无监督视频实例分割依赖合成平移数据而无法建模真实复杂动态的瓶颈，S2D 利用深度点追踪先验发现时序一致的稀疏关键掩码，并通过结合 Temporal DropLoss 的稀疏到密集学生-教师蒸馏在真实视频上实现隐式掩码传播，显著超越了以往 SOTA。

研究背景与动机¶

视频实例分割（Video Instance Segmentation, VIS）要求模型不仅要在单帧内分割前景对象，还必须跨时间追踪并维持具有身份一致性的掩码。监督学习方法高度依赖昂贵的逐帧人工标注，例如大规模视频分割数据集 SA-V 动用了海量标注人员标注 19 万个掩码，这种巨大的成本推动了无监督视频实例分割的发展。然而，此前无监督领域的代表性方法 VideoCutLER 主要依靠在 ImageNet 单物体图像上对剪切掩码进行平移和缩放来合成视频。这种合成序列本质上仅包含刚性平移，完全缺失了多实体交互、部件级非刚性运动、视角旋转以及真实相机运动等现实世界的复杂动态。

直接在未标注的真实视频上学习的核心矛盾在于：无监督单帧图像分割模型（如 CutS3D）虽然能在部分帧提取出高置信度的实例候选，但在视频各帧间存在严重的质量波动和时序噪声，既无分类信息也缺乏跨帧对应关系；如果直接用这些充满漏检和噪声的单帧掩码监督视频分割模型，会导致模型对未标注帧预测时受到惩罚，从而崩溃。现有基于光流的无监督方法往往将所有运动物体合并为单一前景，难以有效区分多个独立实例。

本文的切入角度是：利用单帧无监督掩码与深度点追踪运动先验的交叉验证，仅在高质量帧上建立稀疏且高度一致的关键掩码（Keymasks），再让视频分割网络自身承担隐式掩码传播的角色。核心 idea：利用基于点追踪可见性与空间重叠的双重聚类筛选高质量时序关键掩码，并提出结合 Temporal DropLoss 的学生-教师稀疏到密集蒸馏机制，仅在真实视频上无监督自举出密集视频实例分割模型。

方法详解¶

整体框架¶

S2D 的整体流水线分为两个主要阶段：时序关键掩码发现（Keymask Discovery）与稀疏到密集蒸馏训练（Sparse-To-Dense Distillation）。首先，使用预训练的单帧无监督分割模型 CutS3D 预测视频中各帧的候选掩码，随后借助通用点追踪器（Point Tracker）前向和后向追踪每个掩码内的网格点轨迹。通过基于可见性窗口与空间重叠率的双阶段 DBSCAN 聚类，筛选出具备时序连贯性的高质量稀疏关键掩码。随后，以 VideoMask2Former 为骨干架构，利用提出的 Temporal DropLoss 豁免缺失帧的负惩罚，并通过 EMA 教师模型在线生成的密集掩码指导学生模型学习，最终完成从稀疏锚定到全视频密集掩码的自举精炼。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入真实未标注视频序列"] --> B["单帧无监督实例分割<br/>CutS3D 生成单帧候选掩码"]
    B --> C["基于点追踪轨迹的时序分组<br/>双重 DBSCAN 发现稀疏关键掩码"]
    C --> D["伪密集采样与 Temporal DropLoss<br/>豁免缺失帧的错误惩罚"]
    D --> E["双阶段稀疏到密集蒸馏<br/>EMA 教师在线伪标签驱动密集分割"]
    E --> F["输出密集视频实例分割模型"]

关键设计¶

1. 基于深度运动先验的时序关键掩码发现：从噪声单帧分割中自举出高质量稀疏轨迹

针对单帧图像无监督模型输出在时间维度上不连贯且噪声显著的难题，该设计利用现成点追踪器作为运动先验来检验时序连贯性。对于某一帧 $t$ 的实例掩码 $m_i^t$，在其内部初始化 $N_i$ 个稀疏点网格 $\mathbf{P}_i^t$，并在整个视频时长 $T$ 内进行双向追踪，获得轨迹集合 $\mathcal{T}_i=\{\tau_j\}_{j=1}^{N_i}$，其中每个轨迹记录坐标与可见性状态。关键发现包含两步细化：第一步是可见性分组（Visibility Grouping），同一视频实例的单帧轨迹应在相同时间窗口内出现和消失。计算每帧可见点比例 $\gamma_t = \frac{1}{N_i}\sum_{j=1}^{N_i} v_j^t$，以阈值 $\gamma_{\text{thr}}=0.3$ 生成二值可见性序列，并使用 DBSCAN 聚类过滤离群噪声掩码；第二步是代理传播与匹配（Proxy Propagate-And-Match），解决同组内多个共存实例混淆的问题。利用点集在前向/后向帧的投影坐标 $\mathbf{X}_i^t$ 与目标帧候选掩码 $m_k^t$ 计算点-掩码 Jaccard 指标（Point-Mask Jaccard Index）： $$ \mathcal{J}(i,k,t)=\frac{\sum_{j=1}^{N_i}\mathbf{1}(x_j^t\in m_k^t)}{N_i},\quad x_j^t\in\mathbf{X}_i^t $$ 当重叠度超过阈值 $\lambda_{\mathcal{J}}=0.5$ 时判定为匹配，构造跨时间匹配矩阵并通过第二次 DBSCAN 聚类完成实例精准解耦，最终获得高质量但时间上稀疏的关键掩码伪标签集合。

2. 时序 DropLoss 与伪密集采样：解除稀疏伪标签对隐式掩码传播的错误惩罚

从关键掩码发现中获取的时序伪标签天然是稀疏的（某些帧因遮挡或单帧检测失败而缺失）。若直接使用常规 VIS 的二分图匹配损失，模型在未标注帧预测出正确物体时反而会因无匹配标签而受到严厉的负惩罚，阻碍掩码向无标签帧传播。为此，在数据加载端优先采样至少包含一个时序密集标注实例的视频片段（Pseudo-Dense Dataloading），提供基础的时序一致性线索；同时设计 Temporal DropLoss，针对视频片段中部分帧未标注的实例，自适应地在缺失帧丢弃分割损失。对于匹配后的实例预测，其损失仅在存在有效真值掩码（即像素总数大于 0）的帧上累加： $$ \mathcal{L}{\text{TempDrop}}(i)=\sum}^{T}\mathbf{1}(|\mathbf{mi^t|>0)\mathcal{L}_i^t) $$ 式中 }}(\hat{\mathbf{m}}_i^t,\mathbf{m$\mathcal{L}_{\text{mask}}$ 为标准的二进制交叉熵损失与 Dice 损失的加权和。该设计实质上将图像级 DropLoss 扩展到了时序维度，使模型能够利用已学习的先验在无标注帧大胆预测实例，实现隐式掩码传播。

3. 双阶段学生-教师蒸馏：动态演进实现全视频密集掩码精炼

为了将稀疏关键掩码平滑升级为致密且高质量的视频伪标签，S2D 构建了基于 VideoMask2Former 的双阶段蒸馏框架。在第一阶段（稀疏到密集蒸馏），学生网络同时接收稀疏真实锚点关键掩码的 Temporal DropLoss 监督，以及由指数移动平均（EMA，更新率 $\mu$）缓慢更新的教师网络在线提供的密集预测掩码监督，总损失为 $\mathcal{L}_{\text{Full}}=\mathcal{L}_{\text{TempDrop}}+\mathcal{L}_{\text{mask}}^{\text{Distill}}$。教师网络随着时序一致性表征的积累而能够稳定生成密集预测，引导学生网络向未标注帧自愈与扩散。在第二阶段，利用第一阶段收敛的模型在整个训练集上离线推理生成全视频的密集候选标签作为新的锚点，并重新初始化学生-教师架构进行第二轮自蒸馏训练，进一步消除边界毛刺与伪影，实现分割质量的二次飞跃。

损失函数 / 训练策略¶

骨干网络采用标准的 ResNet-50 架构的 VideoMask2Former，训练输入为随机采样的 2 帧视频片段。模型优化使用 AdamW 优化器，基础学习率设置为 $10^{-4}$，权重衰减为 $0.05$。第一阶段损失函数由作用于稀疏关键掩码的 $\mathcal{L}_{\text{TempDrop}}$ 和作用于教师网络密集预测的蒸馏损失 $\mathcal{L}_{\text{mask}}^{\text{Distill}}$ 组成，其中 $\mathcal{L}_{\text{mask}}$ 由二进制交叉熵损失（权重 $\lambda_{\text{ce}}=5.0$）和 Dice 损失（权重 $\lambda_{\text{dice}}=5.0$）构成。教师模型的 EMA 参数衰减率 $\mu$ 设为 $0.999$。在推断与最终评测时，直接使用蒸馏后表现更为稳健平滑的教师模型权重。

实验关键数据¶

主实验¶

在真实视频领域内评测中，S2D 在 YouTube-VIS 2019、YouTube-VIS 2021 和 DAVIS-all 数据集上全面超越了基于合成视频训练的 VideoCutLER 以及基于光流运动分组的方法。

数据集	方法	AP50	AP75	AP	APS	APM	APL	J&F
YouTube-VIS 2019	CutLER (Image)	36.4	13.5	16.0	3.5	13.9	26.0	-
YouTube-VIS 2019	VideoCutLER (Syn. 1M)	48.2	22.8	24.5	7.0	17.5	36.1	-
YouTube-VIS 2019	S2D (Ours)	51.2	25.2	26.2	6.0	21.2	39.4	-
YouTube-VIS 2021	VideoCutLER (Syn. 1M)	37.0	16.1	18.0	4.9	17.0	36.8	-
YouTube-VIS 2021	S2D (Ours)	42.5	17.6	20.1	5.1	21.7	41.0	-
DAVIS-all	VideoCutLER (Syn. 1M)	-	-	-	-	-	-	44.9
DAVIS-all	S2D (Ours)	-	-	-	-	-	-	50.6

在跨数据集 Zero-Shot 迁移实验中，将训练视频扩展至 13K 真实视频（混合 VIPSeg、MOSEv1 和 SA-V），S2D 仅凭 1.3 万个真实视频就击败了在 130 万个合成视频上训练的 VideoCutLER：在 YouTube-VIS 2019 上取得 51.4 AP50 / 25.6 AP（相比 baseline +3.2 AP50 / +1.1 AP），在 YouTube-VIS 2021 上取得 41.8 AP50 / 19.8 AP（提升 +4.8 AP50 / +1.8 AP），在 YouTube-VIS 2022 上取得 35.3 AP50 / 16.4 AP（提升 +3.6 AP50）。

消融实验¶

在 YouTube-VIS 2021 上对关键掩码发现各组件与模型训练策略进行系统消融验证：

模块配置	AP50	AP	说明
单帧掩码 (Image Mask2Former)	36.5	17.8	仅使用单帧无监督预测，缺乏时序一致性关联
+ 可见性分组 (Visibility Grouping)	38.9	18.9	引入点轨迹可见性聚类，过滤离群噪声
+ 时序匹配 (Temporal Matching)	40.9	19.5	引入点-掩码 Jaccard 匹配解耦共存实例
+ 密集标签集 (Dense Labelset)	42.5	20.1	结合稀疏到密集自蒸馏生成的致密标签
原始 VideoMask2Former	31.2	14.0	直接在稀疏未处理标签上训练出现崩溃
+ 伪密集数据采样	39.9	19.3	优先提供至少含有一个致密实例的时序片段
+ Temporal DropLoss	41.9	19.8	豁免无标签帧对未标注实例的负惩罚
+ Sparse-To-Dense 蒸馏 (Full Model)	42.5	20.1	EMA 教师在线引导隐式掩码双阶段精炼

关键发现¶

深度运动先验的时序聚类极其关键：从单帧掩码基线（17.8 AP）到引入可见性分组（18.9 AP）和时序匹配（19.5 AP），逐步验证了利用物理轨迹的时空重叠能够稳健滤除单帧误检并恢复物体身份连贯性。
Temporal DropLoss 解决了稀疏监督的惩罚矛盾：在模型训练消融中，没有 DropLoss 的基线仅有 14.0 AP，伪密集采样与 DropLoss 的联合使用使性能大幅跃升至 19.8 AP（提升 5.8 AP），表明消除对无标签帧的误罚是实现隐式时序传播的核心催化剂。
数据质量远胜数据规模：对比 VideoCutLER 动用 130 万个合成平移视频，S2D 仅使用 1.3 万个真实视频就在多项基准的零样本泛化中全面胜出（如 YTVIS-2021 上 AP50 从 37.0 提高至 41.8），证明真实多物体非刚性运动模式对视频分割至关重要。

亮点与洞察¶

将点追踪作为无监督检验先验而非显式训练监督：不同于以往方法直接将光流或点轨迹作为损失函数的目标，S2D 将点追踪退化为一种“时空几何一致性筛选过滤器”，既避免了追踪漂移对模型特征空间的污染，又保留了高质量的离散时序连贯性。
隐式掩码传播替代独立传播算法：实验证明，通过 Temporal DropLoss 激发 VideoMask2Former 自身的内部时序注意力和隐式传播能力（DAVIS-all 取得 50.6 J&F），显著优于使用 DINO 特征的显式跨帧特征匹配传播算法（42.2 J&F）。
小样本与无监督预训练强底座：在半监督微调评估中，仅使用 10% 的标注数据，以 S2D 为权重的模型相比 VideoCutLER 在 YTVIS-2021 上取得了 +2.7 AP50 的优势，展现出真实视频运动建模带来的优异表示泛化力。

局限与展望¶

小目标分割依然存在瓶颈：作者在讨论中指出，受限于点追踪在细小区域的离散采样密度以及骨干网络的特征分辨率，S2D 在小物体上的分割表现仍有局限（如 YTVIS-2019 上 APS 为 6.0 对比大目标的 39.4），未来可探索针对小目标的时序 Copy-Paste 数据增强。
特定自动驾驶领域泛化受限：在 Cityscapes-VPS 零样本评测中模型表现欠佳（1.4 AP），反映出常规互联网视频与特定车载前视视角在运动模式和场景结构上的显著域鸿沟。
时序特征深度挖掘潜力：当前掩码关联仍建立在低层几何点轨迹上，未来可引入自监督视频大模型的高层时空注意力特征来替代或辅助点追踪器。

评分¶

新颖性: ⭐⭐⭐⭐☆ 摆脱合成视频范式，巧妙构建点追踪时序聚类与 Temporal DropLoss 蒸馏管线。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖领域内、Zero-Shot、半监督微调以及三组递进消融，数据翔实可信。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，方法推导清晰自然，实验洞察深入透彻。
价值: ⭐⭐⭐⭐⭐ 证明了小规模真实视频在无监督学习中的压倒性优势，为视频自监督分割提供了新范式。