From Draft to Draft-Free: One-Step Video Object Removal via Privileged Distillation and Fast Planting¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4354
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5534.pdf
代码: https://github.com/bigD233/D2DF
领域: 模型压缩
关键词: 一致性蒸馏、特权信息、视频目标移除、潜空间伪草稿、时序掩码注意力

一句话总结¶

D2DF 先让多步教师学习修好视频移除草稿，再用仅教师可见的真值先验蒸馏一步学生，最后以轻量潜空间伪草稿替代外部修复器；无草稿版本在 RORD 上取得 31.56 dB PSNR，先验提取加去噪耗时为 1.05 秒，但这不含潜变量编解码。

研究背景与动机¶

视频目标移除需要补回目标遮住的背景，而不是生成一个任意合理的视频。ProPainter 一类方法能把其他帧中出现过的纹理搬到缺失区域，因而保留真实场景线索，但大范围遮挡或始终不可见的背景会让传播结果变模糊、变形。视频扩散模型的生成能力更强，却可能补出视觉上自然、实际上不属于原场景的内容；同时，多步去噪又使编辑速度明显受限。

本文没有直接要求扩散模型从空白区域猜背景，而是把传统方法的低质量输出当作“草稿”：草稿不必漂亮，只要传递背景的大致布局与颜色，就能缩小扩散模型的修复范围。但这会带来两层开销：外部修复器先产草稿，扩散网络再反复精修。即使把去噪压缩成一步，前面的草稿生成仍可能成为主要瓶颈，因此“少步”和“不依赖外部草稿”必须分开解决。

作者进一步观察到，用带错误的草稿驱动教师时，教师给出的中间轨迹也不够稳定，学生会继承这种不确定性。训练数据已有真实移除结果，便可在蒸馏时让教师看到它，而学生始终只接收部署时可用的信息。核心 idea：先用真值特权教师提供更可靠的一致性目标，再把外部草稿压缩成学生内部的潜空间先验，依次消除反复去噪和独立草稿生成的成本。

方法详解¶

整体框架¶

输入是待编辑视频及逐帧目标掩码，输出是补全遮挡背景后的视频。训练分三阶段：建立草稿引导教师 D-LDM；通过先验特权一致性蒸馏（Prior-Privileged Consistency Distillation，PPCD）得到仍需外部草稿的一步版本 D2DF-DG；再加入自引导快速填补（Self-Guided Fast Planting，SGFP），并以 D2DF-DG 为教师蒸馏无外部草稿版本 D2DF-DF。

图中是训练递进关系，不是每次推理都运行三套网络。部署 D2DF-DG 时仍需先调用 ProPainter 等方法；部署 D2DF-DF 时只需将掩码视频编码、由 SGFP 补出潜空间伪草稿，再完成一次去噪与解码。训练中的真实移除视频不会作为测试输入，所谓“draft-free”也不是完全没有先验，而是不再依赖外部像素空间草稿。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练视频、掩码<br/>真实移除结果"] --> B["草稿引导教师"]
    B --> C["先验特权一致性蒸馏"]
    C --> D["D2DF-DG<br/>一步草稿精修"]
    D --> E["自引导快速填补"]
    E --> F["D2DF-DF<br/>无外部草稿的一步移除"]

关键设计¶

1. 草稿引导教师：先把背景生成改造成有依据的精修

第一阶段以 CogVideoX-5B-I2V 为初始化训练 D-LDM。ProPainter 先生成低质量移除结果，再将其编码为草稿潜变量；教师同时接收掩码视频的潜变量与带噪潜变量。原文的条件构造是先把掩码视频潜变量与草稿潜变量相加，再与带噪潜变量拼接，并非把三者都作为彼此独立的拼接分支。教师以常规扩散噪声预测目标训练，使用 50 步 DDIM 产生精修结果。

这里草稿的价值在于降低“应该补什么”的不确定性，而非追求额外输入本身的画质。已传播过来的背景结构给出位置和语义锚点，大视频模型则负责修补传播留下的失真与细节缺陷。这个阶段保留昂贵的多步求解，是为了建立后续学生可学习的修复能力；它本身还没有解决部署效率问题。

2. 先验特权一致性蒸馏：教师看真值，学生学习可部署的映射

普通一致性蒸馏从同一去噪轨迹上的相邻时刻出发，要求学生输出同一个干净终点。如果教师只能看到有缺陷的草稿，其轨迹会随草稿错误发生偏移，压缩成一步时就容易得到质量欠佳的监督。PPCD 改的是教师的条件信息：蒸馏期间用真实移除视频的潜变量替代教师所见的草稿，而不是把真值偷偷交给学生。

具体训练链条是：给真值潜变量加噪得到较晚时刻的状态；特权教师通过一步求解器预测较早时刻的状态；学生的指数移动平均（EMA）副本在这个较早状态上输出终点目标，在线学生则从较晚状态预测终点。EMA 副本和在线学生都使用普通草稿条件，只有提供轨迹步进的教师使用真值条件。这样，学生学习的是“从实际可获得的草稿出发，接近更可靠目标”，而不是复制教师的输入特权。

除一致性目标外，PPCD 还直接约束学生预测接近真实移除结果。两种约束分别避免学生偏离教师轨迹、以及在自洽却错误的终点上收敛。用便于阅读的记号概括其目标如下，其中 \(\hat z_s\) 是在线学生预测，\(\hat z_{\mathrm{EMA}}\) 是特权轨迹经 EMA 副本得到的目标，\(z_0\) 是真值潜变量：

\[ \mathcal{L}_{\mathrm{PPCD}} =\mathbb{E}\!\left[\|\hat z_s-\hat z_{\mathrm{EMA}}\|_2^2\right] +\alpha\,\mathbb{E}\!\left[\|\hat z_s-z_0\|_2^2\right]. \]

这是依据原文式（9）及其文字解释整理的机制表达，局部符号并非逐字转录；本地 PDF 文本抽取损坏了若干公式的运算符，精确排版应以原 PDF 为准。实验设置中 \(\alpha=1\)。完成此阶段后，D2DF-DG 能一步精修，但仍须支付生成外部草稿的时间。

3. 自引导快速填补：让内部潜变量承接外部草稿的工作

最终阶段不再要求一个完整的外部修复网络先生成像素视频。SGFP 直接读取掩码视频潜变量，把各帧空间网格划成不重叠 patch，将 patch 展平后线性投影为 token，并用归一化三维坐标经过小型 MLP 生成位置编码。这使得时序掩码 Transformer（Temporal Masked Transformer，TMT）既知道 token 的空间位置，也知道它来自哪一帧。

核心限制是“谁可以提供信息”：所有 patch 都能作为查询，但只有有效、已知区域的 patch 才能成为键和值。查询还可被限制为访问空间半径 \(R\) 内、跨全部时间帧的邻域，避免对整段视频进行无约束的全局注意力。缺失区域因此倾向于从附近可见背景汲取信息，而不是让空洞 token 相互强化伪内容。经过 Transformer 后再把 token 投影、还原为空间网格，仅用重建结果填补掩码区域，未遮挡区域沿用原输入潜变量。

原文关于有效 patch 的符号存在一处需要核对的问题：先把掩码的 1 定义为已知区域，随后却将其均值超过阈值的 patch 判为无效；这与“排除被遮挡 patch”这一文字意图不一致。因此这里采用其明确的机制意图解释，不将该不等式当作可直接照抄的实现规范。复现时应结合代码核查掩码极性，不能仅凭这段公式决定筛选方向。

SGFP 输出的“伪草稿”是潜空间粗补全，并不需要先解码为漂亮视频。原文的诊断解码显示它带有块状纹理，但已经表达背景颜色和结构，足以供后续一步模型继续修复。训练时将 SGFP 与最终生成模块联合优化，再次使用 PPCD，而教师换成已经训练好的 D2DF-DG；伪草稿另受与真值潜变量之间的均方误差约束。这样既让内部先验承担草稿的信息作用，又避免恢复完整 ProPainter 流水线。

损失函数 / 训练策略¶

训练样本来自 RORD 与 ROVI 的训练划分，抽取 25 帧片段后约有 30k 个样本。基础分辨率为 \(480\times720\)；D-LDM 学习率为 \(5\times10^{-5}\)，PPCD 学习率为 \(2\times10^{-5}\)，批大小为 4，EMA 衰减为 0.99。作者在 1k 个扩散时刻上按间隔 50 选取采样时刻，这不等同于教师使用的 50 次 DDIM 推理步数。

SGFP 使用 4 层 Transformer、空间半径 \(R=2\)、patch 大小 \(P=10\)、嵌入维度 512、阈值 \(\tau=0.7\)。其参数学习率为 \(10^{-4}\)，第三阶段草稿重建损失与 PPCD 损失的权重比为 1:5。大模型侧对 DiT 组件做全参数监督微调；一步指去噪网络调用次数，不代表整个系统只有一次算子执行，也不代表把基础模型变成了小参数网络。

实验关键数据¶

主实验¶

RORD 与 ROVI 提供训练和测试数据，VPLM 用于评测；三者都有原视频、掩码与真实移除结果。PSNR 越高表示像素重建误差越小，LPIPS 越低表示感知距离越小，VFID 越低表示视频特征分布更接近真实视频。VFID 不能单独等同于逐帧运动误差。下表节选原文表 1，保留外部草稿来源 ProPainter 作为统一参照，而非暗示它在每个数据集、每个指标上都是最强基线。

数据集	方法	PSNR ↑（dB）	VFID ↓	LPIPS ↓
RORD	ProPainter	30.97	0.230	0.1020
RORD	D2DF-DG	32.20	0.251	0.0902
RORD	D2DF-DF	31.56	0.268	0.1001
ROVI	ProPainter	40.86	0.069	0.0263
ROVI	D2DF-DG	42.41	0.062	0.0227
ROVI	D2DF-DF	42.25	0.063	0.0282
VPLM	ProPainter	41.15	0.241	0.0374
VPLM	D2DF-DG	43.31	0.191	0.0337
VPLM	D2DF-DF	43.05	0.196	0.0348

D2DF-DF 相对 ProPainter 的 PSNR 分别增加 0.59、1.39、1.90 dB，但 RORD 的 VFID 和 ROVI 的 LPIPS 并未改善。不能将“多数指标较好”改写成“全指标最优”。

效率测试统一采用 NVIDIA A100、25 帧、\(480\times720\) 视频；下表来自原文表 2。“小计”只计算先验提取与去噪。

方法	先验提取 ↓（秒）	去噪 ↓（秒）	去噪步数	小计 ↓（秒）
ROSE	不使用	45.76	50	45.76
DiffuEraser	2.38	2.85	2	5.13
D2DF-DG	2.38	1.03	1	3.41
D2DF-DF	0.02	1.03	1	1.05

按这个小计口径，D2DF-DF 相对 ROSE 约快 43.6 倍；D2DF-DG 与 D2DF-DF 的去噪都是 1.03 秒，二者差异主要在草稿成本。作者另报告包含潜变量编解码的完整处理时间在 10 秒以内，不能把 1.05 秒当作端到端延迟。

消融实验¶

下表分别节选原文表 4 的蒸馏对照与表 5 的 SGFP 对照。前一组对应草稿引导精修，后一组明确在 RORD 上评测最终无外部草稿方案；应在组内解读，不把两组配置当作同一条连续加模块曲线。

分组	配置	PSNR ↑（dB）	SSIM ↑	LPIPS ↓
蒸馏目标	直接训练扩散模型后一步推理	31.54	0.9192	0.1014
蒸馏目标	普通一致性蒸馏 CD	31.85	0.9296	0.1002
蒸馏目标	PPCD	32.20	0.9318	0.0902
SGFP	无额外先验	29.36	0.8920	0.1426
SGFP	Transformer 层	30.73	0.9171	0.1149
SGFP	再加有效 patch 筛选	30.78	0.9228	0.1093
SGFP	再加空间窗口	31.47	0.9197	0.1070
SGFP	再加仅掩码区域重建	31.56	0.9202	0.1001

关键发现¶

PPCD 相对普通 CD 提升 0.35 dB PSNR，并将 LPIPS 从 0.1002 降到 0.0902，支持特权轨迹目标有效；这些结果不是对“理想轨迹必然稳定”的理论证明。
SGFP 相对无额外先验提高 2.20 dB PSNR。加入空间窗口时 PSNR 改善而 SSIM 下降，完整版本也未取得该组最高 SSIM，因此各子设计的收益并非所有指标单调上升。
Camera-Bench 零样本测试中，D2DF-DF 的光流扭曲误差为 \(0.27\times10^{-4}\)，低于 MiniMax-Remover 的 \(0.37\times10^{-4}\)；但 PSNR 为 26.57 dB，低于后者的 26.63 dB。该误差衡量相邻帧经光流对齐后的残差，越低越好，结论仍须分指标讨论。

亮点与洞察¶

特权信息只改善训练监督，不进入学生的部署输入。相比单纯换蒸馏损失，这项设计把目标质量与学生可用条件显式分离。
潜空间伪草稿不必成为独立可展示的视频。它只需给一步精修器足够的背景线索，因此可以省下外部修复器及中间像素输出的工作。
速度分析拆开了去噪与先验成本。一步化之后，原本次要的外部草稿开销成为瓶颈，SGFP 正是针对这一瓶颈，而非重复压缩已经很短的去噪过程。

局限与展望¶

作者展示了动态多目标复杂遮挡下的失败案例：被其他物体遮住的保留对象也可能无法完整恢复；结论部分还承认一步结果在部分场景中会模糊。
模型并非所有质量指标都领先，取消外部草稿通常还会损失部分重建质量。编辑任务应同时检查保真度、感知距离和时序表现，不能只看 PSNR 或速度。
效率结论来自单一 GPU 与短片段设置，未给出可据以确认长视频吞吐、显存需求或消费级硬件延迟的完整证据。
本地全文缓存的公式抽取存在损坏，掩码有效性定义也有内部不一致；复现前需要核对原 PDF 与实现，而不是直接套用抽取文本中的符号。

评分¶

新颖性: 4/5。特权轨迹蒸馏与内部伪草稿组合具有明确针对性，但基于既有扩散与一致性建模框架。
实验充分度: 4/5。涵盖多数据集、零样本迁移和分阶段消融，部署资源与长视频证据仍有限。
写作质量: 3/5。阶段递进清楚，但掩码符号和时间口径需要读者仔细核对。
价值: 4/5。为条件生成模型的一步化提供了实用路径，也清楚暴露了先验生成成本的重要性。