Layer-Aware Video Composition via Split-then-Merge¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 分层视频合成、变换感知增强、身份保持、可供性、自合成监督

一句话总结¶

Split-then-Merge（StM）把无标注视频自动拆层后学习重建，通过扰动前景条件和分区加权监督，将已有动态主体融入新背景，在 DAVIS 跨视频合成测试中取得优于比较方法的前景身份、背景身份及动作与背景运动指标。

研究背景与动机¶

视频合成不只是把一个主体抠出来放到另一段画面上：主体原有动作、背景摄像机运动、落脚位置和局部光照必须能够共存。传统颜色迁移、调和与梯度域合成主要处理像素接缝，却不会主动决定一只天鹅应该进入水面而不是站到岸上。生成式方法可以重绘接触阴影、调整朝向与照明，但如果控制信息只是一张图，原始动作就很容易丢失。例如先用 Qwen-Edit 合成首帧，再交给图像到视频（I2V）模型，模型看到的是静态外观，而不是输入主体完整的运动过程。

直接给视频生成器提供两个视频，也不能保证它学会这种合成。训练时若前景和背景来自同一原片，原位置已经泄露正确答案，模型可以靠复制前景完成重建，完全不必理解主体应该如何适配新场景。另一方面，为了画面协调而任意重绘主体又可能破坏身份，例如论文图 2 中黑天鹅被改成白色。这使问题同时包含两个要求：保留动作与身份，但允许为新环境调整位置、颜色和接触关系；只追求逐像素保真或只追求视觉漂亮都不够。

StM 从监督来源和训练难度入手，而不是为每一种物体编写摆放规则。真实视频天然包含合理的主体与环境关系，自动拆成前景和背景后，原视频便可作为合成目标，无需人工制作配对合成标注。但这个监督只有在复制捷径被破坏时才有价值，因此作者专门扰动前景条件，再让模型恢复其合理的空间与光照关系。核心 idea：用真实视频的拆层重建提供合成监督，用前景变换迫使模型学习落位与调和，再用分区身份保持损失避免主体在适配新背景时被改成另一个对象。

方法详解¶

整体框架¶

任务输入是带主体二值掩码的前景视频、另一段动态背景视频以及描述目标场景的文本，输出是一段重新生成的合成视频。训练与测试的配对方式不同：训练层来自同一视频，目标是还原原片；测试层来自不同视频，目标是把原本不存在的组合生成得合理。模型需要保留前景的语义动作和身份，也要保留背景的场景与摄像机运动，但不承诺逐像素复制所有内容。

训练流水线依次包含自动拆层、变换感知增强、多层条件融合和身份保持监督。自动拆层负责提供数据；增强仅改变前景条件；融合把各层视频接入预训练生成器；身份保持监督决定重建误差如何在前景与背景之间分配。下图主链表示训练数据和监督流，虚线指出原片作为目标以及掩码作为分区依据，并非测试时需要真实合成答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Original["无标注原视频"] --> Split["自动拆层"]
        Split -->|前景视频| Augment["变换感知增强"]
        Augment --> Fusion["多层条件融合"]
        Split -->|背景与文本| Fusion
        Original -->|加噪目标潜变量| Fusion
        Fusion --> Denoise["DiT 预测合成潜变量"]
        Denoise --> Identity["身份保持监督"]
        Split -.->|前景掩码| Identity
        Original -.->|重建目标| Identity

推理不执行训练增强，也不计算身份保持监督；用采样噪声替代加噪原片潜变量，以前景、背景和文本为条件去噪，再由时空 VAE 解码。因此，图中的原视频目标并不是推理输入，身份保持损失也不是测试时的额外识别器或优化过程。输入层之间的相对摆放由学到的合成模型适配，本文没有把人工指定轨迹或物理模拟器作为必要条件。

关键设计¶

1. 自动拆层：把真实视频变成可重建的分层样本

Decomposer 为每段视频产生文本描述、动态前景、前景掩码和补全后的背景。实现部分指定 InternVL 生成描述，Segment-Any-Motion 提取主要运动主体，MiniMax Remover 填补移除主体后留下的空洞。主体掩码负责把视频拆成层，背景修复则避免模型把一个带洞的背景当作正常输入。这里的关键不是得到人工精修的真值背景，而是自动提供足够多具有可用主体与场景信息的训练样本。原片始终保留作为目标，因此模型学的是把这些分离且可能有瑕疵的条件重新组织成真实场景。

作者从 Animal Kingdom 取动物视频、从 Panda-70M 取人物视频，并使用 Youtube-VOS 与 LVOS 覆盖一般物体，最终得到 50,000 段 StM-50K 样本。这种构造避免专门拍摄同一场景的空背景和带主体版本，也不需要人为标注每个合成目标。不过，“无人工标注”不等于没有监督：原视频提供明确的重建监督，现成分割、描述和修复模型提供自动条件。拆层质量仍会影响数据，包括主体缺失、边缘不准以及背景修复伪影；后续鲁棒性实验针对其中的掩码误差展开。训练自合成与测试跨视频合成之间仍存在分布差异，下一项设计正是让模型不能只记住训练层的现成对齐关系。

2. 变换感知增强：只打乱前景条件，保留正确合成目标

如果前景的朝向、大小、位置与颜色都和原片完全相同，最简单的重建策略就是复制过去。作者仅对条件前景做随机水平翻转、裁剪与缩放、颜色扰动；背景和原视频目标保持不变。这些变换在时间上保持一致，不是逐帧独立随机处理，否则增强本身会引入不真实的闪烁或动作变化。模型必须根据背景和文本，把被扰动的主体重新放回合理的关系中，同时保留其动作内容。所谓“逆变换”描述的是这种训练要求，不意味着系统显式估计了一个变换矩阵再用解析几何还原。

水平翻转和随机缩放裁剪的概率均为 0.7；裁剪缩放范围为 [0.5, 2.0]，并要求保留 90% 的前景。颜色扰动概率为 0.2，仅作用于掩码内前景，亮度、对比度、饱和度与色相的扰动范围记为 [0, 0.2]。空间增强迫使模型摆脱固定布局，颜色增强使它不能依赖输入主体与背景原本已经匹配的色调。因此，可供性（affordance）在这里指“主体适合放在哪里、如何与场景接触”的可学习关系，而非一个显式可供性分类标签。例如适合在水中活动的主体应与水面关系协调，但模型并未因此获得严格的物理正确性保证。

3. 多层条件融合：让每个潜变量位置同时访问两段视频

Composer 在 CogVideoX-I2V 预训练权重基础上改造，使用冻结的时空 VAE 编码原片、背景和增强后的前景。在训练去噪步骤中，原片潜变量先加噪，再与背景潜变量、增强前景潜变量沿通道维拼接，并经 MLP 投影形成视觉表示。这种融合给每个潜变量位置提供密集的时空条件，不是把整段前景压成一个身份向量，也不是只用首帧暗示动作。由于前景已被空间扰动，网格位置一致并不意味着主体已经处于正确落位；DiT 仍需结合上下文完成重新定位和融合。文本由文本编码器产生表示，与视觉 token 沿 token 维拼接后送入 DiT，预测用于恢复原片的合成潜变量。

通道融合和文本 token 拼接的职责不同：前者保留视频层的稠密信息，后者补充目标场景语义。与只提供主体图片的路线相比，完整视频条件让模型可以观察动作演化，也能接收背景自身的镜头和场景动态。与 LayerFlow 从文本生成层的任务相比，这里的条件层是用户已有的视频，需要尽量保留而不是从头想象。作者称新增参数仅来自投影层，并报告推理时间与 CogVideoX-I2V 基线相同；正文未给具体秒数或显存，因此不能据此量化实际吞吐。这一模型仍是在潜空间生成新的像素，不是把两个解码视频进行固定透明度叠加。

4. 身份保持监督：按区域平均重建误差，而不是让背景面积主导优化

普通重建损失对所有潜变量位置一视同仁，主体占比较小时，其错误可能被大面积背景稀释。作者利用训练前景掩码，把预测与原片潜变量的误差分成前景项和背景项，各自按对应区域面积归一化，再加权组合。这种归一化使前景的重要性不再简单取决于它占据多少像素，并能显式调节身份保持与整体协调的侧重。虽然名为身份保持损失，它并不是额外的人脸识别、对比学习或 ViCLIP 身份损失，而是带掩码的潜空间重建监督。 ViCLIP 在本文主要用于评估，不能把评测网络误写成训练教师。

增强与分区监督是联合作用的：增强先让复制不再足够，分区监督再限制重新合成时对主体外观的破坏。完整模型并不在所有前景保真指标上优于所有消融，作者反而用这种现象提醒读者：过分接近输入前景也可能意味着复制捷径。训练时已有原片及其掩码，可以计算区域目标；测试时没有目标合成视频，所以这一约束通过训练后的参数发挥作用。缓存中式 (1) 至式 (4) 的数学排版明显损坏，本文仅根据相邻正文与图 4 解释融合和区域损失，不猜补作者的精确公式。实现明确给出身份保持权重 \(\alpha=0.5\)，但该数值不能用来反推已经损坏的公式记号。

一个完整示例¶

以图 2 的天鹅合成为例，输入前景视频包含天鹅外观及持续运动，背景视频提供岸边与水面的动态场景。训练样本中的相似关系来自真实原片：拆层得到主体和修复背景，扰动主体条件后，模型仍需重建原来的合理关系。在测试新组合时不再施加随机扰动，而是直接把两段输入视频的潜变量送给 Composer。与只合成首帧再续写视频不同，整个天鹅动作序列仍作为条件存在；与复制粘贴不同，输出允许调整位置及环境交互。作者展示的结果把天鹅放入水中，并生成相应波纹和阴影；这些是图示及正文所述的定性现象，不是独立的物理精度测量。本文据此理解，可复用的是“保留动作语义、适配接触关系”的原则，而不是严格保持每一个输入像素的承诺。

损失函数 / 训练策略¶

Composer 微调 20K 次迭代，使用 16 张 NVIDIA H100、batch size 64 和 bf16 精度，视频规格为 \(49\times480\times720\)。优化器为 AdamW，\(\beta_1=0.9\)、\(\beta_2=0.95\)、\(\epsilon=10^{-8}\)，weight decay 为 \(10^{-4}\)，梯度范数上限为 1.0。学习率采用 cosine 调度，基础学习率为 \(5\times10^{-6}\)，warm-up 为 1K 次迭代。时空 VAE 保持冻结；正文说明生成器基于预训练权重微调，但没有在这里完整列出所有文本编码器参数的冻结状态。训练对象是同源层的原视频重建；跨视频前景与背景的 93 组 DAVIS 三元组仅用于评估组合泛化。

实验关键数据¶

主实验¶

测试集为来自 DAVIS 的 93 组未见过的前景、背景、文本三元组，每组前景与背景来自不同视频。表 1（原文第 8 页）定义：M1/M2 是输入层与生成层的 ViCLIP 表征余弦相似度，分别衡量前景和背景身份保持。 M3 是前景 VideoSwin 动作表示的 KL 散度，衡量语义动作差异；M4 是背景光流之间的均方误差，衡量镜头及场景运动差异。 M5 是文本与生成视频的 ViCLIP 余弦相似度；M1、M2、M5 均乘以 100，较高更好，M3、M4 较低更好。 M1 至 M4 先用分解器提取生成视频的对应层再计算，因此它们依赖分层质量，并不直接衡量真实接触力或物理正确性。

下表取自原文表 2（第 10 页）；级联 I2V 基线与 StM 使用相同 CogVideoX-I2V 骨干、推理步数和 classifier-free guidance scale，但并非所有比较方法都接收相同的动态条件。

方法	M1 前景身份 ↑	M2 背景身份 ↑	M3 语义动作 ↓	M4 背景运动 ↓	M5 文本 ↑
Copy-Paste + I2V	83.08	85.02	1.61	184.59	19.21
PBE + I2V	73.52	80.19	2.47	98.08	19.41
Qwen + I2V	82.02	72.38	1.71	74.77	24.20
SkyReels	80.24	75.24	1.75	279.23	24.40
AnyV2V	77.73	56.36	1.70	154.97	24.13
LayerFlow-FG	83.02	60.21	1.47	143.47	18.74
LayerFlow-BG	50.27	91.73	2.35	24.72	19.57
StM	84.82	92.88	1.22	16.36	19.81

完整 StM 在比较方法中 M1 至 M4 最好，但文本对齐不及 SkyReels 的 24.40；“全面领先”不能延伸到 M5。原文表 3（第 11 页）还包含 50 名参与者对随机 25 个案例的用户研究，以及 Gemini 2.5 Pro 对完整测试集的判别。对 Qwen + I2V，StM 的人类整体质量胜率为 55.10%，VLM 整体质量胜率却为 46.73%，说明主观漂亮程度并不与身份和动作保真完全一致。

消融实验¶

下表为原文表 2（第 10 页）的全部组件消融，使用同一评测指标；保留绝对数值，避免把方向不同的指标都概括为“下降”。

变换增强	身份保持损失	M1 ↑	M2 ↑	M3 ↓	M4 ↓	M5 ↑
有	有	84.82	92.88	1.22	16.36	19.81
有	无	82.01	88.25	0.92	23.75	16.42
无	有	83.15	89.20	0.70	16.61	16.56
无	无	90.39	84.76	0.77	18.59	18.70

去掉身份保持损失后，M4 从 16.36 增至 23.75，原表给出的相对恶化为 45.2%；M1 与 M2 也变差，但 M3 从 1.22 降至 0.92。同时去掉两项时，M1 反而达到 90.39；仅去掉增强时，M3 达到更低的 0.70。作者将这些较好的前景分数解释为复制捷径，而不是更成功的合成；数值支持“前景保真与整体融合存在取舍”，不能单独证明每个案例的可供性更好。

原文表 4（第 15 页）在推理时破坏前景掩码，以下摘录采用 SAM-3 分层评估，不能与表 2 的绝对分数直接混用。

掩码条件	M1 ↑	M2 ↑	M3 ↓	M4 ↓	M5 ↑
干净输入	82.22	90.60	1.06	16.88	19.81
随机像素遮除 25%	77.08	88.66	1.41	17.33	19.29
随机像素遮除 75%	73.87	88.22	1.81	27.00	18.47
边界腐蚀 25%	78.28	88.49	1.32	17.24	19.37
边界腐蚀 75%	74.06	87.51	1.63	21.20	19.03

关键发现¶

最大的比较优势之一是背景运动保持：StM 的 M4 为 16.36，最好的比较基线 LayerFlow-BG 为 24.72（表 2）。
消融更像是保真与适配的联合分析，而不是所有模块让所有分数单调变好；尤其需要结合背景指标和定性结果解读前景分数。
掩码破坏测试显示退化总体可控，但高强度随机遮除使 M4 达到 27.00，不能把“鲁棒”理解为对拆层误差不敏感（表 4）。

亮点与洞察¶

真实场景本身可作为合成监督。拆层后再重建，把难以规模化的人工配对编辑任务转成可自动构建的数据任务。
增强不是为了让输出对变换不变，而是让条件与目标故意不一致。模型必须利用背景语义纠正落位与外观，才有机会学会新组合。
身份指标不是合成质量的充分条件。原文消融展示了复制可以让前景分数更漂亮，却不能保证环境关系正确。

局限与展望¶

作者明确展示尺度歧义与严重遮挡失败：主体可能相对街道过大，输入被遮挡的熊猫也无法完整恢复（图 8，第 14 页）。
对“不可能”提示，模型可能把道路部分变成水来安置游泳主体（图 7，第 13 页）。这体现灵活生成，也说明背景保留不是硬约束。
93 组组合与 25 个用户研究案例仍是有限评测；递归插入多个主体主要是定性展示，没有量化证明长序列多物体合成稳定性。
作者计划加入对象与场景的相对尺度先验；本文进一步认为，接触关系和背景可编辑区域的显式约束值得研究，但不是本文已实现的组件。
本地全文仅含主文与参考文献，未包含所述补充材料及视频；公式排版损坏、补充分解器比较和专门可供性评估的细节均未独立核验。

评分¶

新颖性: 4/5。自动拆层监督与针对合成捷径的训练设计形成明确的方法组合。
实验充分度: 4/5。覆盖比较、消融、人类与 VLM 判断及掩码扰动，但测试规模和多主体量化仍有限。
写作质量: 4/5。问题动机与失败现象清晰，个别优势表述需结合消融和主观偏好例外理解。
价值: 4/5。为动态分层合成提供可复用的数据构造与训练路线，尺度、遮挡和硬约束仍待解决。