When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation¶

会议: NeurIPS 2026
arXiv: 2610.02946
论文: https://arxiv.org/abs/2610.02946
代码: https://aidaslab.github.io/FaVOS
领域: 语义分割
关键词: 视频目标分割, 评估指标, 时序可见性, 空间-时间体积评估, 诊断基准

一句话总结¶

揭示了视频目标分割标准指标 $\mathcal{J}\&\mathcal{F}$ 在低时序可见性下会退化为空白帧分类奖励的致命缺陷，并提出分数时序可见性基准 FaVOS 与体积化评估指标 $\mathcal{J}\&\mathcal{F}_v$。

研究背景与动机¶

随着视频理解系统逐步迈向超长时序与真实复杂场景，视频目标分割（Video Object Segmentation, VOS）在具身智能控制、自动驾驶感知和监控等实际系统中的地位日益突出。在这些长周期真实场景中，目标物体很少能够像早期标准数据集（如 DAVIS、YouTube-VOS）那样保持全程平滑连续可见，而是频繁经历长时间全遮挡、暂时出画后再重现，即具有极低的时序可见性（Fractional Temporal Visibility）。一个实用的 VOS 系统不仅需要在目标可见时给出亚像素级的精准轮廓，更必须在目标消失时避免产生任何虚假伪影。

然而，现有 VOS 评估协议严重偏向高可见性场景，其主流评测指标 $\mathcal{J}\&\mathcal{F}$ 隐藏着严重的机制失真。由于标准 $\mathcal{J}\&\mathcal{F}$ 是在逐帧独立计算区域相似度 $\mathcal{J}$ 与轮廓精度 $\mathcal{F}$ 后取时间维度的算术平均，当真值掩码为空（目标缺失）时，其评价逻辑发生质变：它不再评估任何分割质量，而是退化为对全零预测赋予 1.0 满分、对即便单个像素的误报施加严厉惩罚的二值分类器。当视频中的目标缺失帧占比很高时，总评分几乎完全被缺失分类项所绑架，甚至出现全盲输出全黑掩码的“空预测基线”（Predict Nothing）在得分上碾压 SAM 3 等前沿大模型的荒谬现象。

面对指标与实际分割能力之间的严重脱节，我们需要从时序结构与时空连续性的根本视角重构评估体系。本文的核心 idea 是将时序可见性显式解耦为独立受控维度构建诊断基准 FaVOS，并提出直接聚合时空三维体积交并与三维边界匹配的体积化指标 $\mathcal{J}\&\mathcal{F}_v$，从数学上消除逐帧空白奖励的过度主导。

方法详解¶

整体框架¶

本文构建了一套面向低时序可见性 VOS 的诊断与评估革新框架。首先，理论上建立 VOS 预测器的三元解析分解模型，将整体评分形式化分解为可见帧分割质量与缺失帧分类精度的加权和，严格揭示指标随可见性降低而崩溃的数学机制。随后，构造了时序可见性严格可控的基准数据集 FaVOS（包含 FaVOS-20 与 FaVOS-40 两个受控子集）。最后，提出了体积化评估指标 $\mathcal{J}\&\mathcal{F}_v$，将预测与真值掩码序列作为时空三维体（Spatio-Temporal Volume）进行体积交并比和边界体素匹配，从而在不依赖逐帧空白人工奖励的前提下实现稳健评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频输入序列与第一帧Prompt标注"] --> B["VOS 预测器解析分解<br/>显式解耦TPR p1、TNR p0与分割质量s"]
    B --> C["FaVOS 诊断基准设计<br/>严格控制目标时序可见性tau至0.2与0.4"]
    C --> D["体积化区域相似度<br/>时空体体积交并J_v与并集动态加权"]
    D --> E["体积化轮廓精度<br/>三维容差边界体素匹配与F_v计算"]
    E --> F["输出无偏差的单标量模型性能排名 J&F_v"]

关键设计¶

1. VOS 预测器解析分解：解耦可见帧分割质量与缺失帧分类奖励 标准逐帧 $\mathcal{J}\&\mathcal{F}$ 在目标存在帧评估 IoU 与轮廓 F-score，但在目标缺失帧（$\|\mathcal{M}_t\|_0 = 0$）直接简化为 $\mathbf{1}(\|\hat{\mathcal{M}}_t\|_0 = 0)$。为了量化这一偏差，作者将预测器在序列上的期望表现解耦为三个基本参数：真阴性率 $p_0$（目标缺失时准确预测为空的比例）、真阳性率 $p_1$（目标存在时检出为非空的比例），以及条件分割质量 $s$（在目标存在且成功预测非空时的平均 $\mathcal{J}\&\mathcal{F}$ 质量）： $$s := \mathbb{E}\left[\frac{1}{2}\left(\mathcal{J}(\mathcal{M}_t, \hat{\mathcal{M}}_t) + \mathcal{F}(\mathcal{M}_t, \hat{\mathcal{M}}_t)\right) \;\middle|\; e_t=1, \hat{e}_t=1\right]$$ 由此推导得出序列级期望 $\mathcal{J}\&\mathcal{F}$ 的闭式分解： $$\mathcal{J}\&\mathcal{F} = \tau p_1 s + (1 - \tau) p_0$$ 其中 $\tau$ 为目标时序可见性比率。该公式清晰表明：随着时序可见性 $\tau$ 降低，缺失分类项 $(1 - \tau) p_0$ 的权重迅速膨胀，而真正的分割质量项 $\tau p_1 s$ 受到严重压缩。对于恒等输出全零掩码的空预测器（Empty Predictor），$p_0=1, p_1=0, s=0$，其得分退化为 $1 - \tau$。当 $\tau = 0.2$ 时，完全不具备任何分割能力的空预测器可以直接获得 80.0 的虚高分数。

2. FaVOS 诊断基准设计：精确受控的时序低可见性场景 为了在真实复杂动态与严格控制变量之间取得平衡，作者构建了 FaVOS 基准（包含 200 个长视频、281 个目标轨迹）。数据源自经过精细运动流与目标多样性过滤的 YFCC100M（133 支视频）以及额外采集的 67 支复杂动态视频。数据过滤排除了静态单目标、低分辨率与剪辑跳跃片段，重点筛选具备多次消失重现、大面积尺度变化以及强干扰物的目标。基准核心特点在于将目标时序可见性精准离散为两个诊断子集：FaVOS-20（平均 $\tau = 0.21$）与 FaVOS-40（平均 $\tau = 0.42$）。两子集在视频平均时长（213 帧 vs 186 帧）、目标相对面积（中位数 2.9% vs 2.5%）以及平均消失轮次（1.54 次 vs 1.90 次）上保持高度均衡，唯一的核心自变量即为缺失帧持续时长，为指标在极端稀疏下的行为验证提供了隔离试验场。

3. 体积化区域相似度：以体积并集加权消除空白帧奖励倒挂 为了从根本上消除逐帧空白时人为赋予的 1.0 奖励，作者将预测掩码序列与真值掩码序列沿时间轴堆叠为时空三维二值体 $\mathcal{V}$ 与 $\hat{\mathcal{V}}$，定义体积 Jaccard 指标 $\mathcal{J}_v$： $$\mathcal{J}_v(\mathcal{V}, \hat{\mathcal{V}}) = \frac{\|\mathcal{V} \cap \hat{\mathcal{V}}\|_0}{\|\mathcal{V} \cup \hat{\mathcal{V}}\|_0} = \frac{\sum_{t=1}^T \|\mathcal{M}_t \cap \hat{\mathcal{M}}_t\|_0}{\sum_{t=1}^T \|\mathcal{M}_t \cup \hat{\mathcal{M}}_t\|_0}$$ 其在数学上严格等价于逐帧 Jaccard 指标按照每帧并集面积 $u_t = \|\mathcal{M}_t \cup \hat{\mathcal{M}}_t\|_0$ 进行动态加权： $$\mathcal{J}_v = \frac{\sum_{t=1}^T u_t \mathcal{J}(\mathcal{M}_t, \hat{\mathcal{M}}_t)}{\sum_{t=1}^T u_t}$$ 在双方皆为空白帧（$u_t = 0$）时，该帧权重为零，既不提供虚高奖励，也不稀释整段视频的综合表现；而当模型在目标缺失帧产生虚假预测时，$u_t > 0$ 但交集为 0，这会增大分母的总体积，从而自然而合理地对误报施加惩罚。进一步推广为广义权重形式 $\mathcal{J}_w = \frac{\sum w(u_t) \mathcal{J}_t}{\sum w(u_t)}$，并验证了线性权重、平方根权重与对数权重下的排序高度鲁棒。

4. 体积化轮廓精度：时空三维容差边界体素匹配 针对传统 $\mathcal{F}$ 指标在空帧退化为二值指示器的问题，作者将边界匹配拓展至时空体积边界。从 3D 掩码体中提取边界体素集合 $c(\mathcal{V})$ 与 $c(\hat{\mathcal{V}})$（同时捕捉空间边缘与时序起止交界），并借助时空形态学容差算子 $\mathcal{D}_{\delta_{xy}, \delta_t}$ 进行二部匹配： $$m_{\mathrm{pred}} = |c(\hat{\mathcal{V}}) \cap \mathcal{D}_{\delta_{xy}, \delta_t}(c(\mathcal{V}))|, \quad m_{\mathrm{gt}} = |c(\mathcal{V}) \cap \mathcal{D}_{\delta_{xy}, \delta_t}(c(\hat{\mathcal{V}}))|$$ 其中空间匹配容差自适应限制为 $\delta_{xy} = \lceil\min(0.008\sqrt{H^2+W^2}, 0.1\sqrt{A})\rceil$（$A$ 为目标平均面积），默认时间容差 $\delta_t = 0$。进而计算体积轮廓查准率 $P_c^v$ 与查全率 $R_c^v$，得出调和均值 $\mathcal{F}_v = \frac{2 P_c^v R_c^v}{P_c^v + R_c^v}$。最终体积指标定义为 $\mathcal{J}\&\mathcal{F}_v = \frac{1}{2}(\mathcal{J}_v + \mathcal{F}_v)$，完整保留了空间边界与区域形态的双重敏感性。

实验关键数据¶

主实验¶

在 FaVOS 两个子集上全面评测了当前顶尖的 VOS 模型及空预测基线。实验揭示：在标准 $\mathcal{J}\&\mathcal{F}$ 下，空预测基线在 FaVOS-20 上高达 80.0，超越了包括 SAM 3、SAM 2.1-L 和 Cutie-B 在内的几乎所有顶尖模型；而在修正后的 $\mathcal{J}\&\mathcal{F}_v$ 指标下，空预测器得分为 0.0，且现代先进模型（如 SAM 3、SeC）重新确立了应有的领先优势。

模型	会议/年份	FaVOS-20 $\mathcal{J}\&\mathcal{F}$	FaVOS-20 $\mathcal{J}\&\mathcal{F}_v$	FaVOS-20 $p_0$	FaVOS-20 $s$	FaVOS-40 $\mathcal{J}\&\mathcal{F}$	FaVOS-40 $\mathcal{J}\&\mathcal{F}_v$	FaVOS-40 $p_0$	FaVOS-40 $s$
Empty Predictor	–	80.0	0.0	1.00	0.00	59.9	0.0	1.00	0.00
STM	ICCV'19	71.9	35.5	0.82	0.65	65.9	44.9	0.85	0.68
STCN	NeurIPS'21	50.6	26.0	0.52	0.60	53.9	37.7	0.57	0.63
XMem	ECCV'22	63.8	36.8	0.69	0.66	62.0	45.3	0.71	0.69
DeAOT-L	NeurIPS'22	59.9	38.0	0.61	0.73	62.7	49.2	0.65	0.77
Cutie-B	CVPR'24	80.4	49.0	0.88	0.78	76.7	58.6	0.94	0.84
SAM 2.1-L	ICLR'25	73.4	46.7	0.76	0.85	80.1	60.5	0.90	0.87
SAMURAI-L	arXiv'24	60.8	37.3	0.58	0.82	72.1	54.9	0.68	0.87
DAM4SAM-L	CVPR'25	69.6	44.3	0.70	0.84	78.0	63.2	0.82	0.89
SAM2Long-L	ICCV'25	74.0	49.8	0.76	0.83	78.3	64.8	0.83	0.87
SeC	ICLR'26	80.6	55.7	0.84	0.88	84.0	70.9	0.91	0.92
SAM 3	ICLR'26	78.7	56.0	0.80	0.84	84.4	72.7	0.88	0.90

在包含全部视频的 FaVOS-full 与 SA-V 测试集上，与其他时序一致性/消失重现指标进行了多维对比：

模型	FaVOS-full $\mathcal{J}\&\mathcal{F}$	FaVOS-full $\mathcal{J}\&\mathcal{F}_v$	FaVOS-full tIoU	FaVOS-full $\mathcal{T}$ (越低越好)	SA-V $\mathcal{J}\&\mathcal{F}$	SA-V $\mathcal{J}\&\mathcal{F}_v$	SA-V tIoU	SA-V $\mathcal{T}$ (越低越好)
Empty Predictor	69.2	0.0	0.00	–	25.3	0.0	0.00	–
Cutie-B	78.4	54.2	0.58	0.55	62.2	53.4	0.64	0.53
SAM 2.1-L	77.0	54.1	0.56	0.53	79.7	74.3	0.84	0.51
SAM2Long-L	76.3	57.9	0.61	0.52	80.4	76.4	0.87	0.50
SeC	82.4	63.9	0.64	0.53	81.7	77.8	0.88	0.50
SAM 3	81.8	65.0	0.66	0.53	84.7	82.6	0.91	0.51

消融实验与鲁棒性分析¶

作者评估了不同帧加权函数 $w(u_t)$ 对 $\mathcal{J}\&\mathcal{F}_v$ 的影响，包括线性加权 $w(u_t)=u_t$、平方根加权 $w(u_t)=\sqrt{u_t}$、相对于中位数并集面积归一化的对数加权，以及对非空并集帧赋予常数权重的均匀加权 $w(u_t)=\mathbf{1}(u_t>0)$。同时还对比了高可见性基准（DAVIS17、OVOS）下的向后兼容性。

权重方案 / 基准配置	FaVOS-20 SAM 3	FaVOS-20 SeC	FaVOS-20 Cutie-B	DAVIS17 val Top-1	OVOS val Top-1
Linear $w(u_t)=u_t$ (默认)	56.0	55.7	49.0	SAM 3 (93.15)	SAM 3 (87.00)
Sqrt $w(u_t)=\sqrt{u_t}$	55.5	55.2	48.5	–	–
Log Weighting	55.8	55.4	48.7	–	–
Uniform $w(u_t)=\mathbf{1}(u_t>0)$	54.5	54.1	47.2	–	–

关键发现¶

指标偏置与真实能力脱节：在 FaVOS-20 上，Cutie-B 的真正分割质量 $s=0.78$ 显著低于 SAM 2.1-L ($s=0.85$) 与 SAM 3 ($s=0.84$)，但凭借更高的真阴性率 $p_0=0.88$，其标准 $\mathcal{J}\&\mathcal{F}$ 高达 80.4，甚至高于 SAM 3 的 78.7。
权重函数的极高鲁棒性：在四种不同的时间聚合权重函数下，FaVOS-40 的模型排序完全一致；在 FaVOS-20 上仅有两组分差小于 1 分的临近模型微调名次，SAM 3 与 SeC 始终稳居前两位，且空预测器在所有权重下始终严格为 0。
向后兼容性完备：在高时序可见性数据集 DAVIS17 ($\tau=0.99$) 与 OVOS ($\tau=0.89$) 上，$\mathcal{J}\&\mathcal{F}_v$ 保持了与标准 $\mathcal{J}\&\mathcal{F}$ 完全一致的模型排名梯队，没有发生异常重排序。

亮点与洞察¶

尖锐揭示评估基石的数学漏洞：通过清晰的三元解析分解 $\mathcal{J}\&\mathcal{F} = \tau p_1 s + (1-\tau) p_0$，首次从理论证明了当 $\tau < 0.5$ 时标准指标被二值全零匹配严重主导，解释了为何“什么都不预测”能战胜 SAM 3。
三维时空体积聚合的自然抗漂移性：摒弃逐帧硬编码的人工打分补丁，通过时空体积交并直接统一了存在时的高精度奖励与缺失时的虚警惩罚。
诊断基准的严格变量隔离：FaVOS 通过固定视频长度、目标尺度和消失频次，单独调节时序缺失时长，为长视频感知模型的真实鲁棒性提供了可靠度量衡。

局限与展望¶

目标尺度的非均匀敏感性：线性加权 $w(u_t)=u_t$ 使大目标或大区域帧对最终评分贡献较大，小目标的微小边缘波动权重偏低；未来需在极小目标场景下联合分析。
独立误检事件惩罚的平滑化：体积指标按照时空体素总量惩罚误报，若模型产生多处分散、低像素的细碎幻觉，总体积惩罚相对温和；对于对虚警事件计数极度敏感的应用（如医疗或安防告警），建议搭配基于事件的告警率指标协同评估。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 犀利捕捉到标准评测在低可见性下的机制崩溃，理论推导与体积重构极为深刻优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 种顶尖模型，跨越 5 个基准数据集，提供详尽的参数分解与权重消融。
写作质量: ⭐⭐⭐⭐⭐ 论证结构严密，理论推导干净，现象描述引人入胜。
价值: ⭐⭐⭐⭐⭐ 对长视频理解与视频目标分割社区具有基础性的纠偏与规范意义。

权重方案 / 基准配置	FaVOS-20 SAM 3	FaVOS-20 SeC	FaVOS-20 Cutie-B	DAVIS17 val Top-1	OVOS val Top-1
Linear \(w(u_t)=u_t\) (默认)	56.0	55.7	49.0	SAM 3 (93.15)	SAM 3 (87.00)
Sqrt \(w(u_t)=\sqrt{u_t}\)	55.5	55.2	48.5	–	–
Log Weighting	55.8	55.4	48.7	–	–
Uniform \(w(u_t)=\mathbf{1}(u_t>0)\)	54.5	54.1	47.2	–	–