DualCamCtrl: Dual-Branch Diffusion Model for Geometry-Aware Camera-Controlled Video Generation¶

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
项目: DualCamCtrl
领域: 视频生成
关键词: 相机控制、双分支扩散、深度生成、语义引导对齐、时空融合
论文 ID: 3378
引用数: 9（任务提供的统计，2026-09-17）

一句话总结¶

DualCamCtrl 将 RGB 与深度作为共同演化、分别建模的生成模态，通过语义优先的双向交互和三维融合改善相机轨迹遵循，在 RealEstate10K 文生视频实验中将 AC3D 的旋转误差从 2.67 降至 1.23，同时将 FVD 从 415.6 降至 408.1。

研究背景与动机¶

相机控制视频生成不只是让画面发生运动，还要求物体随给定相机轨迹呈现合理的透视和遮挡变化。MotionCtrl、CameraCtrl 及基于 Wan 的控制方案把相机位姿或 Plücker 射线嵌入送入扩散模型，但射线只告诉模型从哪里、朝哪里看，并不直接给出场景中物体的距离。单一 RGB 表征因此必须同时推断外观与三维布局，画面可以看起来合理，相机运动却未必准确。

深度能提供缺失的几何线索，但直接拼接并不自动解决问题。单张深度图没有后续帧的几何变化；把 RGB 和深度强塞进同一生成分支又容易产生模态干扰。ReconX、ViewCrafter、GEN3C 等外部重建或重投影路线提供了另一种选择，却需要维护显式三维表示及多阶段流程，难以在一次生成过程中共同调整外观与几何。

本文因此让深度也成为需要生成的完整视频，而非固定不变的控制图。两条分支分别保留外观与几何建模能力，但必须在合适位置交换信息，否则它们即使使用同一相机轨迹，也会逐渐生成不对应的内容。核心 idea：先让 RGB 与深度各自学会生成，再由 RGB 语义先行、深度反馈随后进入的双向融合，使两种模态在同一扩散过程中共同演化。

方法详解¶

整体框架¶

图生视频输入是一张参考 RGB 图像及目标相机轨迹，深度估计器提供参考图像的深度。模型用共享相机条件驱动两个独立的 DiT 分支，分别生成 RGB 视频潜变量与深度视频潜变量；中间通过 SIGMA 规定交互先后，通过三维融合处理时空邻域，最后解码 RGB 视频。

这里的深度分支不是先生成一段固定深度再交给 RGB 的前处理器。两条分支在去噪期间都继续更新，深度既接受外观语义的约束，也反过来修正 RGB 的几何一致性。训练时先关闭交互，再开启融合，避免尚未学会深度生成的分支过早影响 RGB。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["参考图像 + 相机轨迹"] --> PREP["估计参考深度<br/>VAE 编码与射线编码"]
        PREP --> DUAL["双分支共同生成<br/>RGB 与深度潜变量"]
        DUAL --> ALIGN["SIGMA 语义引导对齐<br/>RGB 先行、深度反馈"]
        ALIGN --> FUSE["三维融合与逐帧门控<br/>时空邻域交互"]
        FUSE --> OUTPUT["联合去噪并解码 RGB 视频"]
        TRAIN["两阶段训练<br/>先独立学习、后开启融合"] -.-> DUAL
        TRAIN -.-> FUSE

关键设计¶

1. 双分支共同生成：让几何随视频更新，而不只依赖首帧深度

第 3.2 节先把参考深度沿通道维复制成与 RGB 相同的通道数，再用预训练编码器把二者分别变成潜变量。参考潜变量在帧维补零以匹配噪声序列长度，分别加上相同的相机 Plücker 编码，然后与同一份高斯噪声拼接，送入 RGB 和深度两条并行 DiT 分支。相机表示在两路中一致，使它们面对相同的观察轨迹；生成表征分开，则避免迫使纹理和距离共用一条特征流。

两条分支都预测完整的视频潜变量，因此后续帧中的深度不是首帧深度的简单重复。深度流需要生成随视角变化的场景结构，RGB 流需要生成对应外观，这让几何约束有机会贯穿整段视频。训练监督来自 RGB 视频及估计得到的逐帧深度，而不是传感器测量的完美 RGB-D 数据。推理时最终需要的是 RGB 视频，深度的主要价值是参与生成过程，而非额外要求用户提供每帧控制图。

2. SIGMA 语义引导对齐：先确定画面内容，再让几何反馈细化结构

分开建模也带来新问题：共享相机条件并不等于跨模态内容自动对应。图 3 展示了独立演化导致的局部语义错位；单向传递无法纠正接收分支反过来产生的偏差，深度优先又可能让几何运动快于 RGB 的内容演化。SIGMA 因此采用有先后关系的双向交互，让 RGB 特征先锚定语义结构，再引入深度反馈细化几何，而不是让两条分支从最浅层起无差别互相覆盖。

其依据是图 4 的线性 CKA 表征相似性分析：作者在解耦阶段模型上抽取 RealEstate10K 的 500 段验证序列，比较早、中、晚去噪阶段的 RGB 特征与深度、Plücker 嵌入，使用 3 个随机种子。浅层 RGB 特征与相机嵌入关系更紧密，支持在交互设计中尊重语义与几何作用的非对称性。CKA 是相关性证据，并不单独证明因果关系，真正的性能依据还来自表 4 的注入顺序消融。

需要区分两个“阶段”：论文叙述讨论去噪过程早晚，但表 4 直接操纵的是网络层范围，例如 RGB 在 1–5 层注入、深度在 6–15 层注入。这些数字不是采样时间步；缓存没有给出可据此编造的时间阈值调度公式。能够明确复述的实现原则是浅层 RGB 先行、后续层深度反馈，而不是在第 5 个采样步突然切换控制信号。

3. 三维融合与逐帧门控：交换带邻域上下文的特征，而非逐点投影

SIGMA 决定交互方向与位置，但仍需回答交换什么形式的信息。逐点线性投影把每帧每个潜变量位置分别处理，忽略物体跨帧移动及空间边界，容易出现闪烁与不连续。第 3.3 节采用三维卷积融合，在时间和空间上共同聚合特征，使 RGB 与深度交换的是具有局部时空上下文的信号，而非孤立位置的数值。

融合块还使用瓶颈设计控制计算与参数开销，并以逐帧门控随时间动态调整融合强度。图 2 给出了零初始化卷积层，训练初期融合不会立即大幅改变原有分支行为。正文没有完整列出卷积核、瓶颈宽度或门控公式，因此这里不补造结构超参数；表 3 能直接验证的是由三维融合进一步加入逐帧门控后的收益。

4. 两阶段训练：先让深度成为有效信号，再允许它参与反馈

两条分支均从相同的 Wan 预训练权重初始化，并非随机初始化一个完全空白的深度网络。然而，这些权重原来服务于外观生成，对深度这种灰度结构图并没有现成的生成能力。图 6 显示，直接输入深度可能被理解成低光照或雾化图像；若此时立即联合融合，错误的几何信号会干扰 RGB，深度分支本身也可能无法收敛。

第一阶段完全关闭跨分支融合，让 RGB 和深度分别学习对应生成任务。第二阶段才打开零初始化的融合块，使两者逐渐学习互补反馈。由于深度监督来自估计器，作者还提前停止解耦阶段以保留粗粒度几何，并随机丢弃深度损失，避免模型过拟合伪标签中的细节错误。这里的随机丢弃指训练损失，不等于推理时随机关闭深度分支；具体概率和训练步数未在所读正文中给出。

一个完整示例¶

以一张厨房照片和一条向侧面移动的相机轨迹为概念示例，参考深度先描述柜台、墙面和远处物体的相对距离。两个分支获得同一轨迹与噪声：RGB 分支生成新的可见纹理，深度分支生成对应视角下的距离布局，而不是由外部渲染器逐帧投影出目标图。

较浅层的 RGB 语义帮助深度流维持“柜台仍是柜台”的对应关系，后续深度反馈约束柜台与远墙的相对结构变化。三维融合把邻近帧的运动上下文纳入交换，逐帧门控再调节影响强度。遮挡后新出现的区域仍由生成先验补全，因此这条流程不保证严格的三维重建正确性；大幅移动时依然可能失败。此例用于解释机制，不是新增实验结果。

损失函数 / 训练策略¶

第 3.4 节分别对 RGB 与深度分支的预测计算监督损失，融合开关在解耦阶段关闭、融合阶段开启。原文式 (4) 的联合目标可写为：

\[ \mathcal{L}_{\mathrm{Overall}}=\mathcal{L}_{\mathrm{RGB}}+\mathcal{L}_{\mathrm{D}}. \]

式 (2)–(3) 的完整数学排版在文本缓存中损坏，因此不重建其逐项表达。第 4.1 节明确实际训练采用 rectified flow 目标，不能把前置介绍中的一般噪声预测目标当成全部实现细节。骨干为 Wan-V2.1，在 RealEstate10K 上使用 8 张 H100 训练，报告的训练时间步设置为 1000；这不代表推理一定执行 1000 次网络求值。

文生视频也进行评测，但第 3.2 节将其具体条件构造转交补充材料。所给缓存包含正文与参考文献，没有该补充实现，因而这里不假设 T2V 存在参考图像或照搬 I2V 的参考深度输入流程。

实验关键数据¶

主实验¶

以下摘录正文表 1（第 10 页，I2V）与表 2（第 11 页，T2V）。FVD、FID 衡量分布层面的生成质量；RE、TE 分别为旋转与平移误差，均越低越好。表中不为 RE/TE 添加正文未明确给出的单位。

来源与设置	数据集	方法	FVD	RE	TE
表 1，I2V	RealEstate10K	Seva	104.2	2.62	0.32
表 1，I2V	RealEstate10K	Wan	109.2	2.08	0.32
表 1，I2V	RealEstate10K	DualCamCtrl	80.38	1.25	0.23
表 1，I2V	DL3DV	Wan	127.9	1.01	1.64
表 1，I2V	DL3DV	DualCamCtrl	92.2	0.88	1.39
表 2，T2V	RealEstate10K	AC3D	415.6	2.67	0.38
表 2，T2V	RealEstate10K	DualCamCtrl	408.1	1.23	0.25
表 2，T2V	DL3DV	AC3D	452.8	1.06	2.11
表 2，T2V	DL3DV	DualCamCtrl	427.4	0.83	1.53

旋转误差的“超过 40%”不能推广到每个数据集与设置。RealEstate10K 的 T2V 对 AC3D 从 2.67 到 1.23，按表中数字计算约下降 53.9%；DL3DV 的 I2V 对 Wan 则从 1.01 到 0.88，约下降 12.9%。

RE/TE 使用 VGGSfM 的细粒度跟踪结果计算，并排除约 5% 的跟踪失败及近静态样本。因此它们反映的是筛选后的评测子集，并非所有生成视频。正文对 MS 同时使用 Motion Strength 和 Motion Smoothness 两种名称，以下保留 MS 缩写，不把二者混成一个未经说明的定义。

消融实验¶

表 3（第 12 页）在 RealEstate10K 上比较融合模块。这里只摘录缓存中行列可明确对应的两行；前两行在文本提取时粘连，不据此猜测对应数字。

表 3 配置	FVD，低优	FID，低优	MS，高优	FC，高优
三维时空融合	85.4	52.7	0.9861	0.9648
三维融合 + 逐帧门控	80.4	49.9	0.9886	0.9677

加入逐帧门控后，FVD 从 85.4 降至 80.4，说明仅有时空卷积仍未充分利用不同帧的几何可靠性。FC 是帧一致性指标；其值从 0.9648 升至 0.9677。

表 4（第 13 页）进一步控制跨分支特征注入的层范围。下表保留原始列语义，范围表示 RGB/深度特征的注入层，不是视频帧号或采样步号。

表 4 对齐方式	RGB 注入层	深度注入层	FVD，低优	RE，低优	TE，低优
单向对齐	无	1–15	83.2	1.55	0.35
几何优先	6–15	1–5	84.6	1.55	0.34
SIGMA 语义优先	1–5	6–15	80.4	1.25	0.25

表 4 的最后一行并非上表摘录的 SIGMA 配置，而是 RGB 1–10、深度 11–15：其 FVD 为 80.3、RE 为 1.27、TE 为 0.23，显示融合范围存在指标间权衡。表 1 完整模型 TE 为 0.23，表 4 中 RGB 1–5、深度 6–15 配置的 TE 为 0.25，两表数字应各自保留，不能混写成一行。

关键发现¶

几何控制的提升大于部分分布质量指标的提升：RealEstate10K T2V 的 RE 明显下降，而 FVD 仅从 415.6 改善到 408.1，二者不能相互替代。
不是所有指标都领先：表 1 中 RealEstate10K I2V 的 CLIPSIM 为 0.2998，低于 Seva 的 0.3059；表 2 中 DL3DV T2V 的 MS 为 0.9807，低于 AC3D 的 0.9869。
表 5 的深度降质实验支持对粗几何的依赖：四倍下采样后 RE 从 1.25 变为 1.28、FVD 从 80.4 变为 82.9；模拟 Kinect 深度时分别为 1.37 和 84.7。这是有限扰动测试，不是对任意深度错误的保证。

亮点与洞察¶

深度既是输出模态，也是生成中的内部约束。它把需要外部逐帧提供的几何提示转成模型自己维护的动态状态，同时保留了学习误差能够反馈到 RGB 的通路。
分支分离与分支协作不是互斥选择。先形成各自的模态能力，再学习有方向、有位置的交互，比一开始融合所有信息更符合预训练 RGB 模型迁移到深度任务的实际困难。
门控作用于视频帧的动态融合强度，而不只是全局固定权重。可迁移的思路是让辅助模态按时空可靠性发挥作用，但本文没有直接验证这一设计对光流或法线生成是否同样有效。

局限与展望¶

作者展示的大运动失败例见图 11：帧间运动很大时仍产生严重伪影。共同生成深度并不等于获得可严格重投影的三维世界模型。
双分支复制骨干增加容量和延迟。表 7 在 14×576×320 形状下报告本文 2.7B 参数、49 秒，CameraCtrl 为 2.4B、40 秒；这不能直接外推到其他分辨率或更大的视频骨干。
深度监督来自伪标签，训练正则和表 5 的退化测试减轻了依赖，但未证明对尺度失真、系统性语义错误或极端场景始终可靠。作者提出轻量化或蒸馏深度分支作为进一步方向。
评测排除了跟踪失败与近静态样本，正文也缺少部分 T2V 和融合实现细节。完整复现仍需补充材料或实现，不能仅凭本文笔记确定这些超参数。

评分¶

新颖性: 4/5。价值在于双分支、语义优先交互与训练顺序的组合，而非仅仅加入深度。
实验充分度: 4/5。覆盖 I2V/T2V、两个数据集、融合消融与深度退化，但存在筛选评测及实现细节缺口。
写作质量: 3/5。总体动机清楚，但层深与去噪阶段叙述容易混淆，MS 名称和部分跨表配置需要谨慎辨读。
价值: 4/5。为相机控制提供可复用的几何联合生成范式，仍受大运动和双骨干成本限制。