Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance¶

会议: NeurIPS 2026
arXiv: 2605.06535
论文: https://arxiv.org/abs/2605.06535
代码: https://showlab.github.io/Sparkle/
领域: 视频生成
关键词: 视频背景替换、解耦引导、时序锚点追踪、动态生成、质量过滤

一句话总结¶

针对传统混合生成管线导致的背景死板与结构崩塌问题，本文提出基于解耦前景与背景双路控制引导的五阶段数据合成管线，构建了包含约 14 万对高质量视频的数据集 Sparkle 与评测基准 Sparkle-Bench，使通用编辑模型下游微调后效果大幅跃升。

研究背景与动机¶

随着指令驱动的视觉生成技术快速发展，以自然语言直接控制的视频编辑正逐步取代需要繁琐辅助条件（如密集深度图、法线图）的传统方案。然而，当前开源社区的数据基建（如 Señorita-2M、Ditto-1M 等）绝大多数仅聚焦于局部物体增删或全局风格迁移。这类任务本质上保留了原场景的主体空间几何关系，因而易于规模化构建；相比之下，视频背景替换要求在完全抹除原背景的同时，合成大面积、时序连贯且具有逼真自然动态的新场景，并严格保持前景主体的身份、运动细节以及前景-背景之间的光影交互，面临极高的数据构建壁垒。

现有首个将背景替换纳入支持范围的开源大规模数据集 OpenVE-3M，其下游派生模型（如 OpenVE-Edit 与 Kiwi-Edit）在严格的 Gemini-2.5-Pro 视频评估下，基准得分普遍难以突破满分的 50%（低于 2.5/5.0）。深入剖析其成因可以发现，OpenVE-3M 采用将首帧编辑图直接输入视频扩散控制模型的混合生成范式，全程仅依赖 Grounded SAM2 单遍追踪获得的前景 Canny 边缘作为时序运动信号。这种设计存在两大致命缺陷：一是完全缺乏显式的背景引导信号，导致控制模型将注意力和结构过度集中于前景，生成的背景经常结构崩塌或彻底沦为死板静态贴图；二是单遍前景追踪极易发生实体丢失与边缘闪烁，导致手指开合等精细肢体动作在编辑后发生畸变失真。

本文的切入点在于破除前景与背景绑定生成的传统范式，将两者在时序引导生成阶段彻底解耦，使背景模型得以在无前景遮挡的纯净视角下充分释放自然动态潜力。核心 idea：通过两阶段时序锚点投票精确追踪前景主体并与背景彻底剥离，独立驱动纯背景生成生动动态视频后，再通过前景与背景解耦的双路 Canny 边缘控制联合重新生成合成视频，辅以全流程严格的编辑奖励模型过滤。

方法详解¶

整体框架¶

Sparkle 构建了一个包含五大阶段的高质量可扩展数据合成管线，旨在系统性解决视频背景替换中的背景僵死、结构塌陷与前景形变问题。输入为原始视频与自然语言编辑指令，输出为具备高保真前景与高动态背景的编辑对。整套流程首先通过粗细粒度过滤筛选出相机固定的源视频，随后对首帧进行初步背景替换；接着利用视觉语言模型识别前景主体并将其抹除以获得纯净背景图，借助图生视频模型专门渲染富含自然物理动态（如波浪、落叶、浮云）的独立背景视频；与此同时，利用提出的 BAIT 算法在源视频中多遍追踪获得精确前景掩码；最后分别提取前景与背景的 Canny 边缘，拼合成解耦控制信号，引导控制模型完成最终视频重生成，且在每一步涉及图像/视频生成的节点均配备 EditScore 奖励模型实施严格质量过滤。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源视频库 (OpenVE-3M 采样)"] --> B["相机运动粗细粒度过滤<br/>光流单应矩阵 + Qwen3-VL"]
    B --> C["首帧初步背景替换<br/>FLUX.2-klein + EditScore 过滤"]
    C --> D["前景抹除与纯净背景视频生成<br/>VLM 提取 + Wan2.2-I2V 蒸馏模型"]
    C --> E["BAIT 多时序锚点前景追踪<br/>稀疏框锚点 + SAM3 双向投票"]
    D --> F["解耦边缘提取与全视频重生成<br/>Lineart 提取 + Wan2.2-Fun-Control"]
    E --> F
    F --> G["多帧 EditScore 终验过滤<br/>产出 Sparkle 高质量数据集"]

关键设计¶

1. 相机运动粗细粒度过滤：保障前景与背景的自然解耦 由于现有开源视频生成与控制模型难以在源视频与新生成背景之间实现复杂相机轨迹的严密同步，若源视频包含剧烈机位运动，解耦生成的背景将与前景产生严重的视差滑移与穿模。针对这一问题，作者构建了由粗到细的两级静态相机筛选机制。在粗筛阶段，以 2 FPS 提取源视频帧并利用 Unimatch 计算相邻帧密集光流，利用 RANSAC 鲁棒估计帧间单应矩阵 \(H \in \mathbb{R}^{3\times 3}\)：

\[[x'; y'; 1] \sim H [x; y; 1]\]

若满足变换的点数比例 \(r \ge 50\%\) 且平均像素运动幅度 \(m = \sqrt{u^2 + v^2} \ge 1\)，则判定存在全局相机运动；只有视频内所有相邻采样帧均未检测到相机运动时才予以保留，此举迅速将源视频库从约 94 万条缩减至 26 万条。在精筛阶段，进一步利用多模态大模型 Qwen3-VL-32B 审查整段视频的残余运镜，并强制要求模型在给出判定前陈述思维链推理依据，最终高保真地筛选出 22.4 万条严格固定相机的视频候选。

2. 独立高动态背景生成：破除混合生成对背景动态的压制 传统管线直接将首帧合成图送入控制模型，由于注意力机制被前景强引导占据，生成的背景往往变成没有运动的静止画面或产生模糊噪斑。Sparkle 彻底抛弃了混合生成范式：首先由 Qwen3-VL-32B 对比原图与编辑后的首帧，锁定需保留的前景实体并生成精准的擦除指令（如“移除该光头男士”），交由 FLUX.2-klein-9B 从编辑首帧中擦除前景，从而获得与新场景完全兼容的纯背景底图。为确保无前景残影，设置了严格的 EditScore \(\ge 8.5\) 过滤阈值。随后，从编辑指令中提取出纯背景文本提示，送入 14B 参数的 Wan2.2-I2V 模型（采用 4 步蒸馏加速方案以保持高效吞吐）。在脱离前景主体约束的环境下，I2V 模型能够专注于背景本身的自然流体与物理运动，合成出如海浪翻滚、风吹草动等富含丰富动态的高品质独立背景视频。

3. BAIT 多时序锚点前景追踪：基于多数投票消除单遍跟踪实体丢失 以往直接采用 Grounded SAM2 进行单帧单遍前向追踪时，极易因快速运动、局部形变或暂时性遮挡发生漂移或部分实体丢失（例如手指开合被误识别为握拳、眼镜镜片漏检等闪烁现象）。为此，论文提出了时序框锚点追踪算法 BAIT（Bbox-Anchor-In-Temporal）。管线首先在 2 FPS 采样的关键帧上调用 Qwen3-VL-32B 生成前景边界框，并将各个时间戳上的边界框作为显式时序锚点；接着利用这些边界框作为视觉提示，分别调用 SAM3 执行 \(N\) 遍相互独立的时序双向跟踪（\(N\) 为采样帧总数）。最终在时空网格上应用逐像素多数表决策略，只有在多于半数的跟踪掩码中同时被预测为前景的像素才被赋予最终前景判定：

\[\text{Mask}(p, t) = \mathbb{I}\left( \sum_{i=1}^N M_i(p, t) > \frac{N}{2} \right)\]

这种多锚点共识机制不仅完全消除了孤立单帧追踪带来的背景噪斑伪影，还显著提升了微小结构与细长肢体的追踪保真度。

4. 解耦引导全视频重生成：基于双路边缘融合消除贴合硬边伪影 在获得高质量独立动态背景与精确前景掩码后，若采取直接抠图并粘贴至新背景的简单拼贴方式，会在主体边缘产生极其生硬的抠图毛边和明显的光影失配，尤其在日落、室内外光线切换等场景下违和感极强。Sparkle 采用全视频扩散重生成策略：使用 Lineart 分别提取原视频与背景视频的 Canny 边缘，并根据 BAIT 得到的前景掩码进行空间解耦融合——前景区域由源视频的真实边缘控制以锁定主体姿态与动作细节，背景区域则由独立背景视频的边缘信号约束以传递动态轨迹。随后将解耦 Canny 边缘序列与高质量编辑首帧一同输入 Wan2.2-Fun-A14B-Control 进行完整重生成，既消除了硬边缘接缝，又促使模型根据新背景环境自动调整前景边缘的受光与阴影衰减，实现极高自然度的画风和谐统一。

损失函数 / 训练策略¶

Sparkle 主要作为高质量数据基础设施服务于社区。为严格验证数据红利而非模型结构调整带来的增益，作者选定中等体量的通用视频编辑模型 Kiwi-Edit（5B 参数，基于 Wan 架构），在不更改任何网络结构的前提下进行轻量级微调（Kiwi-Sparkle）。模型在 Sparkle 训练集上以批大小 128 训练 10,000 步，分辨率为 720P，序列长度 81 帧，学习率与优化器超参数完全继承 Kiwi-Edit 官方设定，保证实验增益纯粹来自高质量训练样本的注入。

实验关键数据¶

主实验¶

评估涵盖两大基准：一是既有通用基准 OpenVE-Bench，二是作者新构建的专属评测基准 Sparkle-Bench（涵盖 458 个高难度测试视频、97 类独立场景、跨越 21 个子主题）。评分均由具备强大视频理解能力的 Gemini-2.5-Pro 在 1 至 5 分范围内打分，并采用指令遵循分数对其他视觉与一致性分数设上限以防作弊。

在 OpenVE-Bench 背景替换任务上的主对比结果如下表所示：

模型	参数量	分辨率	帧数	指令遵循 (Ins.)	一致性与细节 (Cons.)	视觉质量与稳定性 (VQ.)	综合总分 (Overall)
InsViE	2B	480P	25	1.03	1.02	1.02	1.02
DITTO	14B	480P	81	1.66	1.56	1.44	1.55
ICVE	13B	480P	81	2.15	1.83	1.63	1.87
OmniVideo2	A14B	480P	41	2.19	2.03	1.90	2.04
Lucy-Edit-1.1	5B	720P	81	2.41	2.03	1.86	2.10
OpenVE-Edit	5B	720P	-	-	-	-	2.36
Kiwi-Edit (基线)	5B	720P	81	2.81	2.58	2.36	2.58
Runway Aleph	闭源商业	720P	-	-	-	-	2.62
UniVideo	13B	480P	81	3.12	2.64	2.46	2.74
Kiwi-Sparkle (本文)	5B	720P	81	3.51	3.15	3.22	3.29

而在专属评测基准 Sparkle-Bench 上的六维度细粒度对比中，Kiwi-Sparkle 同样展现出绝对领先优势：其综合总分达到 3.81（而 Kiwi-Edit 基线仅为 2.54，此前最佳开源模型 Lucy-Edit-1.1 为 2.74）。尤为突出的是背景动态性指标（BgDy），Kiwi-Edit 基线因训练数据缺陷仅得 1.57 分，而 Kiwi-Sparkle 跃升至 3.54 分，实现了超过 125% 的巨大提升。

消融实验¶

为系统性剖析解耦引导重生成与粗暴拼贴方案的优劣，以及各模块对最终生成视频质量的实质贡献，作者进行了深入的消融验证。下表展示了解耦重生成相比简单拼贴（Copy-and-Paste）在各主题下的表现对比（各主题随机采样 500 个样本评估）：

主题分类	生成范式	指令遵循 (Ins.)	一致性与细节 (Cons.)	视觉质量与稳定性 (VQ.)	综合平均分 (Avg.)
OpenVE-3M 子集	Copy-and-Paste	3.12	2.57	2.36	2.68
OpenVE-3M 子集	Decoupled (本文)	3.82 (+22%)	3.62 (+41%)	3.68 (+56%)	3.71 (+38%)
地点 (Location)	Copy-and-Paste	3.15	2.45	2.14	2.58
地点 (Location)	Decoupled (本文)	4.09 (+30%)	3.81 (+56%)	3.75 (+75%)	3.88 (+50%)
季节 (Season)	Copy-and-Paste	3.10	2.46	2.18	2.58
季节 (Season)	Decoupled (本文)	4.04 (+30%)	3.75 (+52%)	3.81 (+75%)	3.86 (+50%)
时间 (Time)	Copy-and-Paste	2.88	2.20	1.77	2.28
时间 (Time)	Decoupled (本文)	4.03 (+40%)	3.70 (+68%)	3.80 (+115%)	3.84 (+68%)
风格 (Style)	Copy-and-Paste	3.26	2.61	2.28	2.72
风格 (Style)	Decoupled (本文)	3.85 (+18%)	3.65 (+40%)	3.65 (+60%)	3.72 (+37%)

此外，针对单独使用前景引导（FG-Only，即包含 BAIT 和全流程过滤，但未加入独立背景引导）与完整解耦双路引导（FG+BG）的消融对比表明： - 仅依靠 BAIT 精确追踪和 EditScore 过滤（FG-Only），在 OpenVE-3M 子集上的平均分即可从原始 OpenVE-3M 的 3.09 提升至 3.36； - 进一步引入独立的背景 Canny 边缘控制后（FG+BG），平均得分进一步跃升至 3.71，彻底证实显式背景动态引导是根除背景结构塌陷与运动缺失的关键所在。

关键发现¶

光影敏感任务对重生成依赖度极高：在时间（Time，如白天切换到黄昏或夜晚）与季节（Season）主题中，简单拼贴方案的视觉质量骤降至 1.77 分，而解耦重生成方案得分高达 3.80（提升达 115%），充分说明全视频重生成能够自适应调整前景边缘的环境反光与接触面阴影。
全数据集泛化性显著：仅使用 Sparkle 中的 OpenVE-3M 子集对 Kiwi-Edit 微调，模型总分从 2.58 提升至 3.04（+18%）；而在完整包含五大主题的 14 万对全量 Sparkle 数据上微调后，总分提升至 3.29（+28%），证明拓展的多样化主题提供了极佳的通用背景替换泛化先验。

亮点与洞察¶

生成任务上的反向解耦思想：传统视频编辑管线常默认将整帧画面作为整体输入扩散模型，本文敏锐指出模型在缺失背景引导时会发生注意力坍缩，通过“前景擦除→独立 I2V 动画化背景→双路边缘融合重生成”的解耦重组设计，优雅释放了 I2V 基础模型的动态生成潜力。
多锚点多数投票的鲁棒追踪策略 (BAIT)：巧妙利用密集采样帧上的独立锚点与双向传播机制，通过时空多数表决抑制了单次大模型或分割模型偶发的边缘抖动与实体丢失，这种低成本集成思路对构建其他高质量视频标注数据集极具借鉴意义。
高质量评测基准反哺社区：Sparkle-Bench 专门利用管线中通过前四阶段、但未通过最终严苛质检的临界难样本构建，保证了评测集兼具可编辑性与高挑战性，避免了基准过于简单或不可解的极端情况。

局限与展望¶

受限于固定机位假设：当前管线要求严格过滤掉包含复杂运镜的视频，这限制了现有数据集对影视剧跟拍、航拍或手持运动场景的覆盖能力，未来需要探索镜头姿态估计与相机轨迹引导控制以支持动态相机下的背景替换。
复杂前背景遮挡与半透明边界挑战：对于水花喷溅、毛发飘拂、半透明玻璃等边界模糊或具有深度交织的精细物体，基于 Canny 边缘的引导重生成可能产生局部光晕或边缘模糊，未来可引入 Alpha 抠图与深度感知层叠渲染机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 针对视频背景替换这一被忽视的难点任务，创新性提出解耦背景生成与多锚点投票追踪机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 OpenVE-Bench 与自建 6 维度 Sparkle-Bench，提供翔实的模块消融、范式对比与下游微调验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，图表详实，问题切入点与技术动机阐述极具说服力。
价值: ⭐⭐⭐⭐⭐ 开源约 14 万对高质量视频对、首个针对性基准与模型，极大填补了视频背景替换领域高质量数据基建的空白。