跳转至

GMOS: Grounding Moving Object Segmentation in 3D Space and Time

会议: NeurIPS 2026
arXiv: 2605.30352
代码: https://www.robots.ox.ac.uk/vgg/research/gmos/
领域: 语义分割
关键词: 运动物体分割, 3D几何感知, 瞬时运动状态, 提议与传播框架, 视频目标分割

一句话总结

针对传统运动物体分割重度依赖2D光流/轨迹先验且将运动粗暴视为序列级全局属性的瓶颈，牛津大学VGG团队提出首个直接面向原生RGB输入的时空几何对齐框架GMOS，结合前馈3D重构先验与瞬时运动状态评估，在全新基准MOS-I与多项经典评测上取得显著SOTA。

研究背景与动机

运动物体分割（Moving Object Segmentation, MOS）旨在自动发现、分割并追踪视频中独立于相机运动的物理实体，在自动驾驶、伪装目标检测、视频监控以及近期兴起的4D场景重建等下游任务中扮演着核心角色。然而，长久以来该领域受制于两个根本性的局限：其一，现有方案高度依赖预先计算的2D光流或长程点轨迹等外部辅助模态。由于缺乏显式3D几何信息，在面对剧烈的相机自运动与复杂视差（depth parallax）时极易发生运动混淆；同时，繁重的前置计算也拖垮了运行效率。其二，主流基准评测默认视频中所有目标全程处于运动状态，导致算法普遍将“运动”抽象为全序列级别的静态属性，忽略了物体在物理世界中“运动-静止-再运动”的瞬时动态演变，不仅无法支持在线流式推理，更导致大量静态帧上的假阳性误分割。

这两大痛点的核心矛盾在于：解耦相机运动与物体真实物理运动需要可靠的三维几何约束，而细粒度刻画瞬时动态则要求极高的时间灵敏度，但现存算法往往陷入“用全局轨迹平滑噪声却抹杀瞬时切换”或“用局部2D光流却被视差误导”的非此即彼困境。随着前馈3D重建模型的突破，研究人员发现仅需极短时序窗口（约0.5秒）的潜空间几何表征，即可蕴含足以剥离视差与独立运动的时空线索。

本文的核心思路是摆脱对任何前置2D光流或点追踪工具的依赖，将运动物体分割显式锚定在3D空间与时间轴上。核心 idea：利用前馈3D几何编码器（\(\pi^3\)）与SAM2分割先验的跨模态特征融合构建轻量级提议网络，同时预测多目标掩码与其瞬时运动状态，结合自适应置信度降权抑制状态切换标注噪声，并借助SAM2在线/离线双向传播器实现兼顾3D几何感知与极速流式推理的高精度时空分割。

方法详解

整体框架

GMOS整体采用“提议器-传播器”（Proposer-Propagator）解耦架构，直接以原生RGB视频帧序列为输入。对于每一个时间步，首先由局部滑动窗口（约0.5秒，默认均匀采样5帧）驱动的GMOS提议器提取中心帧的候选目标，联合输出物体掩码、瞬时运动状态概率、预期IoU预测值以及用于对抗噪声的学习置信度；随后，GMOS传播器借助SAM2视频预测引擎，将每帧提议通过空间重叠与匈牙利匹配串联为长程时序轨迹，完成全序列关联。对于延迟极度敏感的应用，GMOS还派生出了无需传播器、直接单步输出逐帧前景掩码的流式单二值变体GMOS-S。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入RGB视频滑动窗口<br/>5帧序列（约0.5秒）"] --> B["双支路几何与分割编码<br/>冻结π³ + 冻结SAM2"]
    B --> C["跨模态特征融合与自注意力<br/>空间对齐与全局上下文建模"]
    C --> D["双向Transformer解码与多头预测<br/>掩码 / 运动状态 / IoU / 置信度"]
    D --> E["自适应置信度惩罚损失<br/>动态衰减动静交界边界噪声"]
    E --> F["时序传播与在线/离线轨迹关联<br/>基于SAM2的自适应提示更新机制"]
    F --> G["细粒度瞬时分割掩码与轨迹追踪"]

关键设计

1. 双支路时空几何与物体性特征融合

传统方法依赖耗时的外部光流估计算法提取2D位移场，极易将相机视差错误判决为物体运动。GMOS采用冻结的3D前馈几何基座\(\pi^3\)处理局部时序窗口\([t-n, t+n]\)，提取窗口中心帧包含跨帧注意力交织的几何表征\(f_t^{\text{geo}} \in \mathbb{R}^{h_g \times w_g \times d_g}\)，直接赋予模型在3D空间中将相机运动引发的视差与独立物体刚体/非刚体位移区分开的能力。与此同时，为补全几何特征中匮乏的细粒度物体语义轮廓，系统以冻结的SAM2图像编码器并行处理中心帧\(I_t\)，输出高分辨率分割瓶颈特征\(f_t^{\text{seg}} \in \mathbb{R}^{h \times w \times d}\)。通过将低分辨率几何特征双线性插值后与分割特征进行通道拼接、投影，并送入轻量级Transformer自注意力层，模型在无需光流的前提下完成了时空几何与目标边界的深度绑定。

2. 联合提议生成与对抗置信度加权损失

在融合特征之上，GMOS部署了\(N\)个可学习目标查询向量\(\{q^{(i)}\}_{i=1}^N\)，通过双向Transformer解码器交替进行自注意力和与稠密特征的双向交叉注意力，更新出查询向量\(q^{*(i)}_t\)和增强特征图。掩码头经由轻量级超网络（MLP预测核向量与上采样特征点乘）输出各实例候选分割掩码\(\hat{M}_t^{(i)}\)。此外，模型外挂独立的多层感知机头分别预测物体瞬时运动概率\(\hat{m}_t^{(i)} \in [0, 1]\)、预期掩码品质\(\hat{u}_t^{(i)}\)以及对抗置信度\(\hat{c}_t^{(i)} \in [0, 1]\)。针对物理世界中运动到静止（如行人驻足）瞬间模糊跳变引发的人工标注噪声，设计了双向解耦的置信度调节机制：

\[\mathcal{L} = \lambda_{\text{iou}}\mathcal{L}_{\text{iou}} + \tilde{c}\bigl(\lambda_{\text{mask}}\mathcal{L}_{\text{mask}} + \lambda_{\text{motion}}\mathcal{L}_{\text{motion}}\bigr) - \bigl[\lambda_{\text{conf}}^{\text{mov}}m + \lambda_{\text{conf}}^{\text{sta}}(1-m)\bigr]\log \tilde{c}\]

其中缩放置信度\(\tilde{c} = (c_{\max}-1)\hat{c} + 1 \in [1, c_{\max}]\)。在样本清晰时，对抗项促使网络预测高置信度以获取正则收益；而在动静过渡模糊区域，网络可主动调低\(\tilde{c}\)从而削弱掩码与运动交叉熵损失对梯度的误导冲击。由于预测静止样本天然比精准勾勒运动边缘更容易，设计特意将正则权重按真实运动状态标签\(m\)切分为\(\lambda_{\text{conf}}^{\text{mov}}\)与\(\lambda_{\text{conf}}^{\text{sta}}\)，有效避免了置信度被纯静态样本单向支配的问题。

3. 基于SAM2状态机的在线增补与双向锚点传播机制

单帧提议器输出的多目标预测必须在时间维度维持ID一致性。GMOS设计了一套紧凑的SAM2状态机流式处理方案：当处理当前帧时，已追踪轨迹在SAM2中向前推进得到候选预测\(\tilde{M}_t\)；提议器经阈值过滤后的高质量候选与推进掩码进行匈牙利二分图匹配。若提议掩码与已有轨迹重合度低于新目标阈值\(\tau_{\text{new}}\)，则初始化并注册为新轨迹（新增）；若两者高IoU重合，则将提议掩码注入SAM2作为辅助提示点以校正长程漂移（增强）；若既有轨迹在当前帧未匹配到任何有效运动提议，则将该帧该目标的瞬时运动标签标记为0，保留其空间存在感但在MOS-I评测中静音。在离线模式下，算法在全视频流中选取累计预测IoU最高的一帧作为全局锚点帧\(t^\star\)，向前后双向扩散，完美兼顾了静态背景与完整生命周期掩码的补全。

损失函数 / 训练策略

提议网络整体在包含合成动态数据（Kubric、PointOdyssey、DynamicReplica）、真实运动视频（GMOS-2K）以及真实纯静态全场景数据（Mannequin Challenge）的混合数据集上联合优化。静态数据集引入了大量仅有相机剧烈运动、但人物完全静止的场景，迫使网络深度学习将3D空间背景视差同运动目标彻底解耦。损失项权重设置\((\lambda_{\text{mask}}, \lambda_{\text{motion}}, \lambda_{\text{iou}}, \lambda_{\text{conf}}^{\text{mov}}, \lambda_{\text{conf}}^{\text{sta}}) = (20, 1, 1, 0.1, 0.001)\)，置信度上限\(c_{\max} = 5\)。优化器选用AdamW，学习率\(1 \times 10^{-4}\)，在前馈窗口长度随机抖动（\(0.16\text{s} \sim 1.00\text{s}\)）的数据增广策略下训练2天（2张NVIDIA RTX A6000 GPU），有效提升了对跨尺度运动速度的鲁棒性。

实验关键数据

主实验

为了精准评测细粒度瞬时运动感知性能，论文确立了MOS-I评测基准并提出三个互补指标：活动帧Jaccard重合度\(\mathcal{J}_{\text{mov}}\)、静态假阳性发生率（FP count，越低越好）以及全局平均时序IoU（mtIoU）。主实验分别在DAVIS17-IM和YTVOS19-IM两大瞬时运动挑战集上展开对比。

基准数据集 评估指标 GMOS（本文） GMOS (Online) SegAnyMo (CVPR25) FlowSAM (ACCV24) 性能增益（vs SOTA）
YTVOS19-IM mtIoU \(\uparrow\) 63.4 64.2 55.9 21.1 +8.3%
YTVOS19-IM \(\mathcal{J}_{\text{mov}} \uparrow\) 76.6 76.4 63.2 62.8 +13.4%
YTVOS19-IM FP count \(\downarrow\) 0.238 0.197 0.320 3.085 -0.123
DAVIS17-IM mtIoU \(\uparrow\) 72.9 72.9 67.0 22.7 +5.9%
DAVIS17-IM \(\mathcal{J}_{\text{mov}} \uparrow\) 84.2 83.5 81.7 75.3 +2.5%
DAVIS17-IM FP count \(\downarrow\) 0.079 0.075 0.253 4.101 -0.178

在传统MOS全局评测中，GMOS在YTVOS19-M多目标分割指标上斩获 \(\mathcal{J}=79.9\% / \mathcal{F}=82.2\%\)，比此前最佳方案SegAnyMo分别暴涨 \(+13.3\%\) 与 \(+14.0\%\)；在MoCA伪装猎物检测任务上成功率SR高达 0.837（前SOTA为0.675，大幅跃升 \(+0.162\)）。在单帧运行延迟方面，GMOS多目标完整架构每帧仅需 0.38 秒，单二值掩码变体GMOS-S更压低至 0.26 秒，相比SegAnyMo的4.06秒提升超过10倍速度。

消融实验

在DAVIS17-IM验证集上对提议器核心模块与训练机制进行独立消融分析（直接评估提议器输出）：

实验配置 mtIoU \(\uparrow\) \(\mathcal{J}_{\text{mov}} \uparrow\) FP count \(\downarrow\) 关键机制解析说明
Full Proposer（默认配置） 68.7 82.2 0.147 几何\(\pi^3\) + 分割SAM2 + 对抗置信度加权完整模型
移除几何编码器（w/o \(\pi^3\)） 57.9 74.8 0.174 缺乏3D解耦能力，纯依赖2D外观造成严重视差误判
几何编码器替换为VGGT 67.4 80.4 0.112 前馈3D隐空间表征逊于\(\pi^3\)对动态交互的解耦精度
移除分割编码器（w/o SAM2） 62.1 77.1 0.075 虽无假阳性但丢失细粒度掩码边缘感知，分割质量锐减
移除置信度惩罚损失（w/o Conf. Loss） 65.4 81.9 0.192 缺少模糊状态软约束，动静转换帧伪影激增
仅用合成数据训练（Synthetic Only） 53.0 65.0 0.097 存在明显的虚实域漂移，难以适应现实复杂物体分割
移除纯静态场景监督（w/o Mannequin） 67.4 82.1 0.170 无法深度抑制相机旋转引发的大面积背景视差干扰

关键发现

  • 几何与分割模态强互补：单纯剥离几何编码器会导致mtIoU暴跌10.8个百分点，证实了2D纯图像特征根本无法在存在相机移动时分离出真实的物理位移；而剥离分割编码器则会导致高质量实例掩码无法生成。
  • 静态负样本监督对降低假阳性至关重要：Mannequin Challenge纯静态冻结人物数据的引入，在不损伤运动召回率的前提下将假阳性计数值从0.170大幅压制到0.147，充分证明了“强迫网络直面大视差静止物体”是解决视差伪影的特效药。
  • 在线流式模式与离线模式持平：由于瞬时运动判断天然依赖约0.5秒的因果时序窗口，GMOS在线模式不仅在FPS指标上胜出，且其因果前向处理完全不会将后续帧中由于长程追踪累积的轻微误检测向历史帧反向扩散，因此在FP count指标上反而优于离线双向版本（0.197 vs 0.238）。

亮点与洞察

  • 告别2D光流与轨迹依赖的范式转移：传统MOS领域数十年来将光流计算作为第一前置输入，饱受视差误差和极慢计算延迟折磨。GMOS首次利用前馈3D重建基座的内在4D几何隐空间，实现了真正端到端的高效单模型推理。
  • MOS-I协议与GMOS-2K基准填补时序细粒度空白：指出以往学术界评测让运动物体在静止时依然强制输出全掩码的根本逻辑漏洞，重构了细粒度时间轴运动标注与联合惩罚指标，为工业界机器人巡检与自动驾驶的在线感知建立了更科学的评测规范。
  • 状态感知解耦的对抗置信度正则：通过显式按真实标签区分动静态样本正则权重的双通道置信度分支，完美破解了神经网络倾向于给“平凡全零掩码”赋予高置信度的优化退化现象。

局限与展望

  • 作者承认的局限：对于超高密度重度遮挡环境以及运动剧烈导致视觉特征严重模糊的极速物体，单靠0.5秒局部滑动窗口可能出现初次建轨遗漏；此外，极端平滑的非刚体微弱运动仍面临辨识门槛。
  • 潜在改进方向：可进一步将空间3D边界框或点云流（LiDAR）进行显式多模态对齐，把基于隐空间几何特征的2D掩码反投影成3D占据网格（Occupancy），从而与具身智能体物理避障系统实现无缝原生集成。

相关工作与启发

  • vs FlowSAM / SegAnyMo: 后两者均强依赖外置光流工具（如RAFT）或耗时的稠密点轨迹追踪（如CoTracker），每帧推断动辄耗时2~4秒且被深度视差扰动；GMOS抛弃任何前置辅助模态，直接融合3D几何基座与SAM2特征，实现了每秒数帧级别的在线流畅推理与高精度视差剥离。
  • vs GeoMotion: GeoMotion虽然同样挖掘了几何先验，但仅限于单掩码前景-背景二值划分，且无法捕捉物体随时间变化的起止停动；GMOS通过查询式多目标解码与状态机传播器，原生攻克了多实例分离与细粒度瞬时追踪。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将MOS推进至显式3D几何感知与细粒度瞬时时间轴建模，构思极具突破性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 全面构建Gmos-2K新基准与MOS-I评估矩阵，涵盖多目标、单目标、无监督VOS与全消融实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，数学公式克制严谨，架构解耦清晰自然。
  • 价值: ⭐⭐⭐⭐⭐ 彻底摆脱光流包袱，为4D动态高斯重建、具身导航与视频编辑提供了极速高质量的运动掩码基座。

相关论文