BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal¶

会议: ECCV 2026
论文: ECCV 原文
项目页: BeyondMasks Project Page
领域: 图像生成
关键词: 视频物体擦除、因果物理一致性、成对评测基准、多模态大模型评测、次级物理效应

一句话总结¶

针对传统视频物体擦除仅评估掩码内局部修补而忽视阴影、倒影和动态痕迹等物理次级效应的问题，本文提出首个因果一致性双模态评测基准 BeyondMasks 与基于 VLM 的双维度评估协议 CORE，揭示了高像素保真度与真实因果物理正确性之间的系统性断层。

研究背景与动机¶

随着大尺度生成式视频模型与视频基础模型的飞速发展，视频物体移除（Video Object Removal）在视觉逼真度上取得了显著突破，并逐步与指令驱动编辑及开放世界推理深度整合。然而，现行的评测基准与协议却长期停留在局部修复（Local Inpainting）的传统框架中。在 DAVIS 和 YouTube-VOS 等经典分割数据集上，评测通常局限于目标掩码区域内的像素重建精度，默认将物体移除简化为给定 mask 区域的内容填补。

现实场景中的物体并非孤立存在的像素集合，而是通过复杂的物理与因果相互作用深深嵌入在环境之中。如图 1 所示，物体会投射投射阴影（cast shadows）、改变环境照度（illumination changes）、在镜面或水面产生倒影（reflections）、透过半透明介质散射光线（translucency），并产生脚印、水波纹或扬尘等动态物理痕迹。如果仅仅抹除目标物体的几何轮廓，却残留这些由物体引起的次级物理效应，整个场景在物理与因果逻辑上依然是不一致的。现有基准如 HQVI 仅通过 Alpha 混合粘贴前景，完全未包含次级物理效应；而近期引入合成数据的 ROSE-Bench 则局限于 3D 渲染的孤立测光效应，缺乏动态时空物理交互与真实世界视频的多样性，更无法评估现代视频基础模型的文本指令编辑能力。

面对上述根本矛盾，本文主张将视频物体移除重新定义为一个反事实因果干预问题：从场景物理生成过程中解耦目标物体，并在时间维度上彻底消除其引发的一切环境状态改变。本文的核心 idea 是：构建包含 180 组时序严格对齐的真实与合成成对视频基准 BeyondMasks，显式不遮蔽次级物理效应以迫使模型进行物理推理，并提出以干净背景为对齐参考的 VLM 判别协议 CORE，将评测正交分解为物体消失度与次级效应消除度两个因果维度。

方法详解¶

整体框架¶

本文的方法体系围绕“因果干预定义”、“成对基准构建”以及“基于 VLM 的双解耦评测协议 CORE”三个核心阶段展开。

在数学形式上，设 \(S_t\) 为场景在 \(t\) 时刻的潜在物理状态，\(O\) 表示目标物体的存在。观测视频帧由物理渲染过程生成：\(V_t = \mathcal{R}(S_t, O)\)。当施加因果干预 \(O = \emptyset\)（即目标物体完全不曾存在）时，对应的理想反事实干净背景视频为 \(V_t^{\mathrm{bg}} = \mathcal{R}(S_t, \emptyset)\)。目标物体不仅直接贡献像素，还通过改变环境状态 \(S_t\) 产生阴影、反射与位移痕迹。因此，物体擦除的本质是拟合干预分布 \(\mathcal{R}(S_t, \emptyset)\)，而非在局部掩码内幻想平滑纹理。

基于该因果定义，BeyondMasks 构建了合成与真实成对数据，并采用“仅遮蔽物体本体、保留所有次级效应”的标注策略；进而，CORE 评测协议引入三路对齐视频，驱动视觉语言模型执行结构化比较推理，最终输出正交的评测分数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据采集<br/>90组Veo3合成 + 90组三脚架实拍成对视频"] --> B["反事实成对干预与标注<br/>SAM2+CoTracker3仅标注物体本体Mask"]
    B --> C["物理因果交互分类体系<br/>阴影/倒影/半透明/烟雾/光源/因果痕迹"]
    C --> D["CORE结构化VLM评测协议<br/>三路视频输入对比推理 (Gemini 3.1)"]
    D --> E["双解耦因果一致性评分<br/>ObjectScore (CORE-OS) + AfterEffectScore (CORE-AES)"]

关键设计¶

1. 反事实成对干预与标注：仅掩蔽本体以强制物理推理

现有基准的最大痛点在于缺乏对齐的无物体真实参考（Ground Truth），导致只能评测掩码内重建或无参考感知质量。BeyondMasks 通过两路采集构建了 180 组时序严格对齐的成对视频序列（平均时长约 5.5 秒）：合成子集（90 组）使用 Veo 3 先生成无物体的干净背景视频 \(V^{\mathrm{bg}}\)，再通过受控编辑将目标物体及其物理效应嵌入，生成 \(V^{\mathrm{obj}}\)；实拍子集（90 组）使用固定三脚架与固定曝光参数，在背靠背时间窗口内先后拍摄物体存在与移除后的场景。

在掩码标注策略上，传统方法通常将阴影或光晕一同粗暴打码，降低了对模型物理推理能力的要求。本文采用 SAM 2 配合 CoTracker 3 跟踪，人工反复交叠校准，严格仅对目标物体的实体几何边界进行二值掩码标注，明确将所有阴影、倒影、光照变化等次级物理效应暴露在掩码之外。这种设计剥夺了模型依赖输入 mask 直接扣除次级效应的捷径，迫使其必须自主理解光照与空间接触关系。

2. 物理因果交互分类体系：六大物理机制多模态覆盖

为了避免按照常见的目标类别（如“汽车”、“猫”）进行肤浅分类，本文根据物体与环境发生物理与测光相互作用的底层因果机制，建立了六大物理效应分类体系： - 阴影（Shadow，127 处标注）：遮挡或漫射环境光所投射的本影与半影，擦除需恢复被遮蔽光场的真实辐照度。 - 倒影（Reflection，61 处标注）：在镜面、玻璃或水面上产生的高光反射与镜面反射，需消除反射并恢复表面本体纹理。 - 半透明介质（Translucent effects，46 处标注）：玻璃或透明塑料部分透射背景光，去除物体需基于折射与衰减还原完整背景。 - 烟雾/体积散射（Steam/scattering，20 处标注）：具有扩散性和时变特性的体积介质，需要恢复时间连贯的背景连续性。 - 光源效应（Light source effects，38 处标注）：自发光物体（如灯泡）照射周围环境，移除时需对全局或局部曝光和明暗阴影进行补偿。 - 因果物理痕迹（Causal physical effects，37 处标注）：物体运动或接触引起的非附着动态形变，如水波纹、扬尘烟迹、压痕脚印以及被推开的障碍物。

此外，还保留了少量无显式次级效应的对照样本，全面支持基于精确二值掩码与文本指令（Instruction Prompts）的双重评测。

3. CORE 结构化 VLM 评测协议：三路视频对齐的双解耦评测

针对像素级指标（PSNR / SSIM / LPIPS）无法衡量反事实干预正确性（即不同算法具有相似 LPIPS 时次级效应残留差异巨大）的缺陷，本文提出了 CORE（Causal Object Removal Evaluation）协议。CORE 采用 Gemini 3.1 Pro 作为视觉大模型裁判，接收三路严格时间对齐的视频输入：带物体的原视频 \(V^{\mathrm{input}}\)、干净的真实参考背景 \(V^{\mathrm{gt}}\)，以及模型编辑结果 \(\hat{V}^{\mathrm{bg}}\)（记为 \(V^{\mathrm{result}}\)）。

评测过程遵循严格的结构化 Prompt 引导四步推理： 1. 定位：在 \(V^{\mathrm{input}}\) 中定位目标实体及其附带的次级效应区域； 2. 推断期望外观：从 \(V^{\mathrm{gt}}\) 中确定干预后无物体状态下的理论干净背景外观； 3. 对比自然度：对照 \(V^{\mathrm{gt}}\) 评估 \(V^{\mathrm{result}}\) 的物理自然度与背景修复合理性； 4. 误差解耦与归类：将残留缺陷显式归类为“物体残留误差”或“次级物理效应残留误差”。

最终输出 1 到 5 分的离散打分： - ObjectScore (CORE-OS)：衡量物体实体消除的彻底程度及局部背景修补的合理性； - AfterEffectScore (CORE-AES)：专门衡量阴影、倒影、光照变化及动态痕迹等次级效应消除的彻底程度。

在包含 8 名标注员、5 种主流模型及 20 组视频的人工验证研究中，CORE-OS 与人类平均评分的 Pearson 相关系数达到 0.615（人类标注员间一致性为 0.693），CORE-AES 达到 0.733（人类标注员间一致性为 0.785），证明 CORE 评测结果与人类物理感知高度对齐。

损失函数 / 训练策略¶

作为基准与评估框架论文，本文重点定义了评测任务的输入条件与评测准则，未引入新的模型训练损失。但在对现有代表性基线的统一评测设置中，遵循如下规范： - 所有方法均在其官方开源代码库及默认预训练权重下运行，测试分辨率保持 BeyondMasks 的原始视频分辨率； - 掩码模型输入仅提供 SAM 2 + CoTracker 3 生成的紧致物体本体 Mask，禁止提供次级效应扩张掩码； - 文本指令编辑模型统一输入规范化 prompt（如 "Remove the [object]"），以标准指令驱动测试。

实验关键数据¶

主实验¶

本文系统评测了 9 种代表性视频物体移除与视频编辑方法，涵盖纯文本指令（T）、纯掩码引导（M）以及混合输入（T+M）。标准像素指标（PSNR、SSIM、LPIPS）、生成质量指标（FVD）与 CORE 评测指标对比如下表所示：

方法	类型	PSNR ↑	SSIM ↑	LPIPS ↓	FVD ↓	CORE-OS ↑	CORE-AES ↑
Lucy Edit (arXiv 2025)	T	18.5884	0.7239	0.2758	480.08	1.443	1.551
VACE (ICCV 2025)	T+M	19.9932	0.7856	0.2077	418.79	1.799	1.698
CoCoCo (AAAI 2025)	T+M	20.8565	0.7287	0.2404	381.84	1.986	2.043
Gen. Omnimatte (CVPR 2025)	T+M	23.8106	0.8175	0.1968	250.76	3.771	3.021
ProPainter (ICCV 2023)	M	23.5979	0.8429	0.1635	225.28	3.063	2.368
DiffuEraser (arXiv 2025)	M	25.1880	0.8769	0.1124	164.26	3.494	2.625
MiniMax (NeurIPS 2025)	M	23.1954	0.8218	0.1682	203.64	3.631	2.553
ROSE (NeurIPS 2025)	M	23.8062	0.8173	0.1659	316.04	3.784	2.920
OmnimatteZero (SIGGRAPH 2025)	M	22.9306	0.8127	0.1638	227.24	3.190	2.499

消融实验 / 次级效应分类细分评测¶

为深入剖析不同物理交互现象的攻克难度，下表汇总了性能排名前 6 的模型在六大核心次级效应类别上的平均性能表现：

次级物理效应类别	样本统计参考	PSNR ↑	SSIM ↑	LPIPS ↓	CORE-OS ↑	CORE-AES ↑	物理消除难点说明
阴影 (Shadow)	127 项	23.6870	0.8298	0.1621	3.498	2.520	掩码外漫反射阴影常被误判为背景固有纹理保留
倒影 (Reflection)	61 项	23.9842	0.8558	0.1580	3.332	2.446	镜面反射对称物易残留，模型缺乏多视点反射一致性建模
光源 (Light source)	38 项	22.4233	0.8201	0.1849	3.554	2.248	自发光物体引起的局部高动态范围照度难以平滑衰减
烟雾 (Steam)	20 项	22.8375	0.8466	0.1624	3.236	2.032	体积介质的时空扩散边界模糊，消除评分最低之一
半透明 (Translucent)	46 项	22.9326	0.8156	0.2162	3.256	2.701	预先 Mask 清零丢失了透过介质可见的背景上下文信息
因果痕迹 (Causal)	37 项	22.7912	0.8163	0.1867	3.486	2.141	水波纹、压痕等时序不可逆物理动态痕迹，模型普遍无能为力

关键发现¶

像素保真度与因果正确性的严重背离：DiffuEraser 在 PSNR（25.1880）、SSIM（0.8769）与 LPIPS（0.1124）上全面领先，但其 CORE-AES 仅为 2.625，落后于 ROSE（2.920）和 Generative Omnimatte（3.021）。这证明传统像素指标倾向于奖励保守的纹理复制，对掩码外的物理错误缺乏惩罚能力。
物体本体消除易，次级物理消除难：各主流掩码模型的 CORE-OS 分数普遍在 3.0~3.8 之间，表现尚可；但 CORE-AES 平均仅在 2.0~3.0 之间。阴影、倒影和因果痕迹是当前模型的系统性盲区。
动态因果与体积介质成为最大瓶颈：在烟雾（CORE-AES 2.032）和动态因果痕迹（CORE-AES 2.141）场景中，现有算法几乎全部失效。纯图像级图层分解机制无法对水波散开或脚印压痕进行时间回溯式的反事实还原。
Mask-based 输入的上下文丢失困境：许多掩码修复网络在推理前直接将 mask 区域置零（zero out），彻底破坏了半透明物体（如透明杯子）背后原本隐约可见的真实背景几何，迫使模型只能凭空脑补，加剧了真实感与保真度的双重退化。

亮点与洞察¶

将视频物体擦除提升至反事实因果干预高度：本文跳出了局部像素 Inpainting 的传统狭隘视角，提出物体移除的本质是估计 \(O = \emptyset\) 下的反事实场景分布 \(\mathcal{R}(S_t, \emptyset)\)，为生成式视频编辑的保真评测树立了清晰的理论基石。
只掩蔽实体不遮蔽效应的诊断型基准设计：BeyondMasks 故意不在 Mask 中包含阴影和反光，剥离了人工干预的“作弊掩护”，直接刺穿了现有视频生成模型缺乏物理因果常识的痛点。
解耦式 VLM-as-a-Judge 评估范式：CORE 创造性地引入对齐的干净背景作为对照基准，通过提示词迫使 VLM 拆解“物体是否擦干净”与“环境物理是否复原”，解决了大模型裁判打分模糊不可靠的常见弊端。

局限与展望¶

作者指出的局限：目前基准规模为 180 个序列，受限于高质量时间对齐三脚架实拍和受控编辑的昂贵制作成本，无法直接用作大规模端到端模型的训练集，主要定位为诊断评测基准。
潜在评测偏差：CORE 依赖于单一闭源前沿商用模型（Gemini 3.1 Pro），当遇到极端光照或微小物理残留时，VLM 本身的视觉感知分辨率与幻觉可能对极端评分产生少许扰动。
未来改进方向：探索支持主动反事实物理推理的视频生成模型架构，例如将场景分解为内在几何、光照场与动态速度场，而非简单依靠注意力机制做端到端像素混合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从因果反事实干预与物理次级效应解耦视角系统审视视频物体擦除，构建了首个成对评测基准与 VLM 评测协议。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大主流模型、两大类输入模态、六大物理效应细分，并进行了严格的人类一致性相关性验证。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学公式严密，因果图示与评测逻辑连贯透彻。
价值: ⭐⭐⭐⭐⭐ 为视频生成与编辑领域指出了传统像素指标的严重盲区，为物理真实的因果视频编辑提供了重要的基准指导。