VOID: Video Object and Interaction Deletion¶
会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 对象移除、反事实编辑、四值掩码、光流噪声、物理一致性
一句话总结¶
VOID 把视频对象移除从局部补洞扩展为下游交互重写，利用反事实配对训练、VLM 四值掩码和可选的光流噪声第二遍生成，在真实视频七选一人类评测中获得 64.8% 的选择率。
研究背景与动机¶
传统视频修复主要恢复被遮挡背景，进一步的对象效果移除还会消除阴影与反射。 但这些方法通常默认其余场景运动不变：擦掉多米诺骨牌链中间的几块之后，后面的骨牌仍继续倒下；擦掉接球的人之后，球仍在原处停住。 画面可以没有明显修补痕迹，因果关系却已不成立。
Generative Omnimatte 已用生成先验处理对象及其视觉效果，但其分层移除监督不能充分教会模型改变其他对象的运动。 纯文本编辑也有困难，因为用户很难逐帧描述所有受影响位置，而模型未必知道哪些物体应停止、下落或改变方向。 这里需要恢复的不是原视频中隐藏的像素，而是对象从未存在时本应出现的新视频。
论文因此同时改变监督数据和推理接口：用重仿真获得真实的运动变化目标，再让 VLM 指出可以改写的范围，而非要求扩散模型在全画面自由猜测。 核心 idea：先明确“哪些区域因删除而需要重写”，再生成反事实运动，最后沿新运动稳定外观，把因果范围判断与像素生成连接起来。
方法详解¶
整体框架¶
输入是视频和待删除对象的二值掩码，输出应同时满足目标消失、相关交互合理改变、不受影响区域尽量保留。 训练时，反事实配对监督提供移除前后的视频；推理时，VLM 引导四值掩码确定编辑范围，第一遍反事实生成提出新运动，可选的光流噪声稳定再抑制形变。 这里的物理合理性来自仿真监督与模型先验，并不是在真实视频推理时运行一个显式物理求解器。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Data["反事实配对监督"] -->|训练| First["第一遍反事实生成"]
Input["视频与对象掩码"] --> Mask["VLM 引导四值掩码"]
Mask --> First
First -->|显著运动变化时| Refine["光流噪声稳定"]
First -->|无需第二遍| Output["反事实视频"]
Refine --> Output
Data -->|训练| Refine
Mask --> Refine关键设计¶
1. 反事实配对监督：删除物体后重新演化场景
Kubric 数据先随机采样多个对象的位置与初速度，模拟碰撞、跌落和结构支撑，再删除选定对象，保持其他对象的初始条件不变并重新模拟。 这样监督目标中的后续轨迹确实会变化，而不是把原视频的某层简单隐藏。 作者生成约 1900 对视频，用来覆盖刚体相互作用。
HUMOTO 则提供人体与物体交互的动作捕捉数据，在有无人体的条件下分别模拟和渲染，得到约 4500 对视频。 它补充了移除操作者后物体失去支撑等场景，并随机化人体、物体和背景墙纹理。 两类数据都随机化相机轨迹和焦距缩放，减少模型把相机变化误当成对象效果的机会。 这两类监督互补：碰撞传播与人体操纵不是同一种运动分布。
2. VLM 引导四值掩码：覆盖原位置、未来位置和重叠区域
原来的三值掩码往往把大部分画面标成可编辑区域，指导过宽；它还无法清楚表示“需要删除的人”和“未来会经过这里的球”占用同一像素时该怎么办。 VOID 为待删对象、受影响区域和二者交集分别编码，让模型区分必须去掉的内容与仍需生成新内容的位置。 训练时编辑范围由渲染引擎确定，再网格化以接近推理时的表示。
在真实视频中，用户的稀疏点击先由 SAM 2 转成目标掩码。 VLM 观察视频与掩码，列出受删除影响的对象描述；SAM 3 把这些描述落成对象在原视频中的掩码。 随后把这个掩码反馈给 VLM，并在输入视频上覆盖粗网格，要求它逐帧列出反事实情况下这些对象可能出现的网格单元。 这一步预测的是粗区域，而不是精确的物理轨迹坐标。
原位置掩码与反事实位置掩码取并集，避免只编辑新位置却留下原来物体的残影：
其中 \(M_o\) 表示待删对象，\(M_a\) 表示完整受影响区域。 只在 \(M_o\) 内的像素为黑色，同时在 \(M_o\) 与 \(M_a\) 内为深灰色，只在 \(M_a\) 内为浅灰色，其余为白色。 黑色要求移除，深灰色允许在移除目标后重建交互内容，浅灰色允许改写受影响对象，白色指示应保持的区域。 因此掩码不只是分割结果，也是把高层反事实判断传给生成器的空间接口。
3. 第一遍反事实生成：在明确编辑范围内提出新运动
生成器使用 5B CogVideoX 扩散 Transformer，并从 Generative Omnimatte 的权重初始化，继承其对象与效果分离先验。 它在新配对数据上使用四值掩码微调，输入原视频、掩码和高斯扩散噪声，预测删除后的完整视频。 例如失去支撑的物体应开始下落，被挡住的物体应继续运动，而不是一律维持输入运动。
这一遍承担运动假设的生成，掩码本身并不指定唯一轨迹。 但当新运动偏离原视频时，输入帧不再提供可靠的几何约束，轻量视频模型容易把刚性对象画弯、拉长或逐帧改变结构。 因此“运动方向合理”和“同一个物体形状稳定”是两个不同问题，第一遍不能保证后者。
4. 光流噪声稳定：沿第一遍的新轨迹维持外观
第二遍借鉴 Go-with-the-Flow，从第一遍输出提取光流，并据此构造具有时间相关性的扭曲噪声。 与逐帧无关联的噪声相比，沿同一运动轨迹组织噪声可让去噪过程更一致，从而缓解形状漂移。 关键是光流来自已经改变运动的第一遍输出，而不是来自会把物体拉回旧轨迹的输入视频。
第二遍使用专门训练的 VOID warped-noise 变体，仍以原视频和同一个四值掩码作为条件。 它并非一个无需训练的普通后处理滤镜：训练时同样使用反事实配对数据，但噪声由目标反事实视频的光流构造。 VLM 在生成掩码时还判断删除是否会引起自由落体、轨迹变化等显著运动重构，只在这些情况下触发第二遍。 这一步主要稳定已有运动，若第一遍运动假设错误，不能据此假定第二遍会纠正因果判断。
一个完整示例¶
以图 3 中删除接球的孩子为例，SAM 2 先得到孩子的掩码，VLM 再判断球的运动会受影响，SAM 3 定位原视频中的球。 VLM 通过逐帧网格预测球不再被接住后经过的区域，将其与原球位置合并。 孩子上半身和球的新通路重叠处应为深灰色，不能只标为纯删除的黑色。
第一遍在这些区域生成球继续运动并落地的反事实结果；若球随运动出现结构变形，则用这条新轨迹的光流构造第二遍噪声。 最终目标是孩子消失、球的轨迹改变，同时其他未受影响区域保持稳定。 此例用于说明原文机制，不代表额外测得的单例成功率。
损失函数 / 训练策略¶
正文明确区分普通高斯噪声的第一遍模型与使用目标光流对齐噪声的第二遍变体，二者共享数据来源和四值掩码条件。 当前缓存没有附录，也没有给出可核验的学习率、训练步数、分辨率或完整损失表达式，因此不补写这些超参数或自拟物理损失。
实验关键数据¶
主实验¶
真实测试包含 75 个视频，涵盖操纵、支撑移除、碰撞、关节交互以及阴影与反射。 表 1 的人类研究为 25 人各随机评 5 个场景，共 125 次七选一判断；VOID 为 64.8%，Runway 为 18.4%，差 46.4 个百分点。 这不是两两对决胜率，也不是对所有视频逐个计算的物理成功率。
下表摘自原文表 3：合成测试共有 40 个视频，由 10 个传统对象／阴影／反射案例与 30 个未参与训练的 Kubric、HUMOTO 动态案例组成。 各指标对照真实反事实目标；VLM 评审为能看到目标视频的 Gemini 3 Pro，六项各 0–5 分，总分 30。
| 方法 | PSNR ↑ | LPIPS ↓ | DreamSim ↓ | DINOv2 ↑ | FVD ↓ | VLM 总分 ↑ |
|---|---|---|---|---|---|---|
| ProPainter | 30.48 | 0.10 | 0.10 | 0.89 | 471.13 | 21.38 |
| Gen-Omnimatte | 29.44 | 0.12 | 0.12 | 0.87 | 437.88 | 20.40 |
| Runway | 26.68 | 0.11 | 0.15 | 0.85 | 442.76 | 21.67 |
| VOID | 31.49 | 0.12 | 0.07 | 0.92 | 260.31 | 25.10 |
对比按各方法原生接口进行：修复基线用二值掩码，Generative Omnimatte 用三值掩码，Runway 使用明确描述删除对象及预期后果的文本。 VOID 不是所有指标都领先，LPIPS 的 0.12 不及 ProPainter 的 0.10；像素位置略有偏差的正确下落也可能被逐帧距离惩罚。
消融实验¶
原文表 4：同一组 75 个真实视频，由 Gemini 3 Pro 评审；交互与物理单项上限为 5，总分上限为 30。
| 配置 | 训练规模 | 交互与物理 ↑ | 总分 ↑ | 含义 |
|---|---|---|---|---|
| Kubric-Only | 1200 | 2.63 | 20.36 | 仅刚体数据 |
| HUMOTO-Only | 1200 | 2.50 | 20.12 | 仅人体交互数据 |
| Both Datasets | 1200 | 3.04 | 21.93 | 两类各占一半 |
| Gen-Omni. Mask | Full | 3.30 | 23.39 | 黑色目标，其他区域浅灰 |
| VOID | Full | 3.66 | 26.13 | 完整数据和细粒度掩码流程 |
关键发现¶
- 固定 1200 个训练样本后，混合数据总分 21.93 高于 20.36 和 20.12，支持数据类型互补，而不只是样本变多。
- 粗掩码消融从 26.13 降至 23.39，但同时改变掩码精细度并取消 VLM 掩码流程，不能把 2.74 分差全部归因于新增的第四种颜色。
- 表 2 的三种真实视频评审均给 VOID 最高总分；但 Qwen3.5-32B 下 Gen-Omnimatte 为 23.44、Runway 为 22.79，基线排序并非完全一致。
- 第二遍消融只被正文指向附录，当前缓存未包含对应表格，不能报告其独立量化增益。
亮点与洞察¶
- 编辑掩码应覆盖因果影响，而不仅覆盖待删除像素。把原位置与新位置一起纳入编辑范围，可同时解决旧轨迹残留和新轨迹无空间可画的问题。
- 第二遍使用第一遍预测的运动作为约束，而非强行保留输入运动。这个次序适合需要重写物体轨迹的生成编辑任务。
- 仿真数据提供成对反事实，预训练模型提供外观与世界知识。图 6 的未见效果展示说明两者可能互补，但定性案例不能直接当作一般物理推理能力证明。
局限与展望¶
- 作者明确承认非常规相机角度、过近视角仍存在域差异，生成长度仅为数秒，分辨率仍可提升。
- 真实视频没有反事实真值，结论依赖人类偏好与 VLM 判断；同类 VLM 参与掩码生成和评审可能存在相关偏差，其他评审与人类研究能缓解但不能消除这一风险。
- 方法依赖 VLM 找全受影响对象及未来区域，漏标会限制后续编辑；错误的第一遍光流也可能被第二遍沿用。这是机制层面的风险，并非原文量化失败率。
- 后续可分别隔离四值编码、区域精度和 VLM 推理的贡献，并在更长视频、真实配对数据和更广视角上验证泛化。
相关工作与启发¶
- vs Generative Omnimatte：后者提供初始化和对象效果分解基础；VOID 增加需要重写其他物体运动的反事实监督，不能理解为仅换一种掩码颜色。
- vs ProPainter / DiffuEraser / ROSE：这些方法擅长补洞或移除光度效果，VOID 的任务要求扩展到碰撞、支撑和操纵的后续影响。
- vs Runway Aleph：文本接口可直接描述希望发生什么，VOID 则把影响区域落实到逐帧掩码；原文已给 Runway 预期后果提示，不应误写为只提示“删除对象”。
- vs Go-with-the-Flow：VOID 复用其运动相关噪声思想，但运动条件来自第一遍反事实预测，服务于删除后的外观稳定。
评分¶
- 新颖性: 4/5。将对象移除扩展到动态交互，并连接反事实数据、空间推理与运动稳定。
- 实验充分度: 4/5。兼有真实、合成、人类与多评审实验，但人类研究规模有限，独立组件归因仍不完整。
- 写作质量: 4/5。四值掩码歧义解释清楚，部分训练细节和第二遍证据需依赖未收录附录。
- 价值: 4/5。为物理感知视频编辑提供可复用路线，但尚不是具有物理保证的长视频模拟器。