One4D: Unified 4D Generation and Reconstruction via Decoupled LoRA Control¶

会议: ECCV2026
论文: ECCV 原文
项目: https://mizhenxing.github.io/One4D
领域: 重建与渲染
关键词: 4D 生成与重建、点图、视频扩散模型、解耦 LoRA、统一掩码条件

一句话总结¶

One4D 把观测帧数量变化编码成统一掩码条件，以共享冻结视频骨干、分开计算的 RGB/XYZ LoRA 分支和稀疏双向控制链接，同时生成外观与几何，在一个模型中支持单图 4D 生成、稀疏帧补全和完整视频重建。

研究背景与动机¶

视频生成模型已经能够合成复杂运动，却主要输出 RGB，不能直接回答每个像素位于三维空间哪里、相机如何运动。另一方面，DUSt3R、MonST3R 等方法用点图表示几何：一张图像的每个像素对应一个 XYZ 坐标，因此外观与几何天然具有像素对应关系。把视频模型扩展成同时生成 RGB 与 XYZ，看似只需增加一种输出，实际上需要保住外观先验，同时学会完全不同的坐标分布。这也是 One4D 选择视频级点图而非只生成深度的原因：共享坐标系中的 XYZ 还为后续相机恢复提供约束。

既有几何重建方法常把干净 RGB 与带噪几何按通道拼接，因为输入图像可以作为稳定条件。联合生成时，两种模态都带噪，过早共享计算就可能让尚未学好的几何分支破坏视频先验；论文在有限训练预算下观察到通道拼接训练崩溃。空间拼接虽缓解这种问题，却依赖注意力自行找到跨模态位置对应，仍会出现 RGB 边缘与几何边缘错位。此外，只针对单图生成或完整视频重建设计接口，会把“已知多少帧”这个连续变化的问题拆成多个独立模型。

One4D 因而同时处理计算耦合和任务条件两个层面：先保护每种模态的独立适配，再允许它们交换受控的逐像素信息。它并不从零训练一个新的视频基础模型，而是在已有视频修补模型上学习 RGB 与坐标视频的联合输出。 核心 idea：用统一掩码表达观测密度，用解耦 LoRA 保留两种模态各自的计算路径，再通过从零开始学习的稀疏双向链接建立外观与几何的一致性。

方法详解¶

整体框架¶

输入是文本提示和一组带时间位置的观测图像，图像数量可以从单帧变化到完整视频。输出是同步的 RGB 视频与 XYZ 点图视频，两者形状均为 \(3\times F\times H\times W\)，分别存放颜色和三维坐标。训练点图使用第一帧相机作为全局坐标参考，并归一化到 \([-1,1]\)；因此不同时间的点图不是互不关联的局部深度图。视频 VAE 分别编码两种视频，得到可由同一类视频 DiT 处理的时空潜变量。统一掩码条件先进入 RGB 路径，解耦模态分支各自预测去噪速度，稀疏双向控制链接负责交换对齐信息。解码后的点图已是几何输出，最后的相机深度恢复只是从这些观测中拟合相机和深度，并非重新从 RGB 做完整重建。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["观测图像与文本"] --> UMC["统一掩码条件"]
        UMC -->|仅 RGB 接收图像条件| Branch["解耦模态分支"]
        Noise["RGB 与 XYZ 噪声"] --> Branch
        Branch --> Links["稀疏双向控制链接"]
        Links -->|后续层继续分支计算| Decode["VAE 解码<br/>RGB 与 XYZ"]
        Decode --> Recover["相机深度恢复"]
        Recover --> Output["动态点云、相机与深度"]
        Supervision["训练用 RGB 与点图"] -.->|双模态速度监督| Branch

关键设计¶

1. 统一掩码条件：用同一接口表达生成与重建

模型先构造与目标视频等长的条件视频：有观测的时间位置填入图像，没有观测的位置填零。与此同时建立二值观测掩码，让模型能区分“这一帧未知”和“这一帧确实包含黑色像素”。条件视频经 VAE 编码，掩码则重排到潜变量分辨率；它们与带噪 RGB 潜变量沿通道拼接。原文式 (8) 可清晰读出，以下用语义下标标明其中参与去噪的 RGB 输入：

\[ z_{\mathrm{input}}=\operatorname{Concat}(z_{\mathrm{rgb}},z_{\mathrm{c}},M_{\mathrm{c}}). \]

单图条件对应主要依赖先验生成未来，完整视频条件对应恢复所有已观测时刻的几何，稀疏帧则同时涉及补全与重建。这种统一并不意味着三种任务有同样的信息量，而是保持网络不变，只改变条件视频与掩码。 XYZ 分支始终要生成全部点图，不直接接收条件视频或观测掩码；图示中相应输入位置使用零填充。观测信息通过 RGB 分支和控制链接间接传入几何，避免把观测帧的掩码模式直接变成几何输出中的伪影。因此“禁止两种带噪输出直接通道拼接”和“允许 RGB 与干净条件通道拼接”并不矛盾，两者承担不同角色。

2. 解耦模态分支：共享大模型权重，不共享模态计算

核心骨干是 Wan2.1-Fun-V1.1-14B-InP，即在 Wan2.1-I2V-14B 上适配视频修补的模型。如果完整复制一个 14B 骨干给几何，再分别训练适配器，参数存储开销会很大。 One4D 只保存一份冻结基础参数，在 DiT 的全部线性层上分别配置 RGB LoRA 和 XYZ LoRA。同一基础子模块会为两种模态各运行一次，各自叠加自己的低秩更新，而不是把两种 token 一起送入一次混合计算。所以“共享权重”不等于“共享激活”，也不意味着双模态计算的成本等同于单个 RGB 模型。

RGB 路径沿着预训练视频分布继续适配，XYZ 路径则学会把视频先验用于坐标序列。将模态更新分开，可以减少几何训练初期较大的分布偏移对外观生成的干扰。与空间拼接相比，每次注意力操作不必在一条双倍长度的混合序列上同时建模两种模态。论文据此强调显存和计算优势，但这里的优势是相对完整参数复制或混合长序列，并非不增加成本。两组 LoRA 的秩均为 64，共含 685M 可训练参数；基础视频模型参数保持冻结。

3. 稀疏双向控制链接：在对应位置渐进学习跨模态约束

完全独立的 RGB 与 XYZ 即使各自看起来合理，也可能描述不同物体轮廓或不同运动。因此 DLC 在少数对应 DiT 层之间加入双向线性控制链接，将一侧的特征映射后逐像素加到另一侧。两条方向分别承担几何影响外观、外观影响几何，区别于只有单向条件注入的 ControlNet。这些线性链接采用零初始化，训练开始时不会给另一条分支增加扰动，随后才逐渐学会有用的跨模态信息。零初始化保证的是控制路径初始无影响，不代表未经训练的 XYZ 分支已经能够产生正确几何。

实际模型只在 5 个 DiT 层设置链接，新增 250.7M 参数，并不在每一层强制密集融合。稀疏连接限制了干扰发生的位置，而逐像素相加提供了比跨空间注意力更直接的对应关系。这些链接位于迭代去噪网络内部，并非 RGB 和点图各自生成完以后再做一次结果对齐。观测图像对 XYZ 的影响也走这条路径，所以它同时负责模态一致性和几何条件传递。论文用空间拼接对照支持整个 DLC 方案，但未在所读主文中分别量化零初始化、双向性和链接数量的独立贡献。

4. 相机深度恢复：把点图解释为相机观测

生成完成后，每个时间点已有一张共享坐标系中的 XYZ 图，还需要将其转换为相机参数与深度以便使用。后处理为每帧拟合内参、世界到相机的旋转、全局相机中心和深度图。直观上，一个像素经内参反投影得到相机射线，乘以深度后再变换到世界坐标，应接近模型生成的那个 XYZ 点。优化以点图对齐的 L1 误差为数据项，同时约束相邻相机旋转与平移变化，降低轨迹抖动。这沿用了 MonST3R 和 Geo4D 的全局优化思路，而非本文独创的显式场景表示。

这种拟合利用了已有几何，因此作者报告 500 次后优化迭代约需 30 秒。它能提取与点图相容的相机和深度，但不能证明点图中的所有运动都符合真实物理规律。预测点图如果包含错误结构，平滑相机轨迹也不会自动消除这些错误。缓存中的式 (1)、(2)、(7)、(9)、(10) 有明显字符或运算符缺失，本笔记不将猜补结果写成作者精确公式。上述速度训练、逐像素残差连接及相机拟合依据可读正文说明，具体原式应回到论文 PDF 核对。

一个完整示例¶

以一个需要输出 81 帧、只提供首尾图像的输入为例，这里是解释接口的示例，不是新增实验。条件视频只在首尾放置观测，其余位置填零；掩码记录两个已知时刻，文本描述内容和运动。采样从 RGB 与 XYZ 噪声开始，RGB 路径同时读取条件，XYZ 路径通过控制链接获得间接约束。模型补全中间 RGB，并生成全部 81 帧点图，包括有 RGB 观测但没有几何观测的首尾时刻。解码得到颜色与坐标以后，再拟合相机轨迹和深度，就可以沿时间查看动态点云。若输入改为完整 81 帧，只需改变条件与掩码；网络仍执行联合预测，但任务语义转为完整视频几何重建。

损失函数 / 训练策略¶

训练分别把 RGB 与点图编码为潜变量，在同一采样时间步构造两种带噪输入，并监督各自的速度预测。正文明确采用预测速度与目标速度之间的均方误差；由于缓存损坏，不额外指定无法核实的模态权重或时间方向公式。数据由约 17k 合成片段和约 17k 真实片段组成，总计约 2M 帧，真实 SpatialVID 视频用 Geo4D 生成伪几何。合成数据来自 OmniWorld-Game、BEDLAM、PointOdyssey 和 TarTanAir，提供较准确的几何监督。长视频切成约 81 帧片段，并使用 Gemini-2.0-Flash 生成文本描述；混合真实数据意在扩大外观和运动覆盖。单图、稀疏帧、完整视频任务的采样比例分别为 0.35、0.30、0.35，通过改变掩码来切换。总可训练参数为 935.7M，在 8 张 H800 上训练 5,500 步，每卡 batch size 为 1，梯度累积为 4，学习率为 \(1\times10^{-4}\)。最大训练长度为 81 帧，分辨率为 \(352\times624\)；推理使用 50 步 flow matching，默认 CFG 为 6.0。单张 H800 上生成这一规模的视频约需 12 分钟，峰值显存 57.7GB，之后才是约 30 秒的后优化。所以“较小训练预算”是相对于从头或重度微调大型生成模型而言，不应解读为消费级实时部署。

实验关键数据¶

主实验¶

下表来自原文表 2，第 11 页，使用 VBench 比较生成视频；三项指标均为越高越好，不是几何准确率。

方法	动态性	I2V 一致性	美学质量
4DNeX	25.6%	98.7%	61.9%
One4D	55.7%	97.8%	63.8%

动态性提高 30.1 个百分点，美学提高 1.9 个百分点，但 I2V 一致性下降 0.9 个百分点，不能写成所有视频指标都提升。原文表 1 的用户研究按对手分别招募 11、6、11 名参与者，各评估 10 个案例，使用同图像、同提示的匿名随机配对。其中对 4DNeX 的 4D 偏好为 One4D 90.0%、4DNeX 10.0%；这些是小样本偏好，不是客观几何正确率。

下表节选原文表 3，第 12 页，评估完整视频输入；深度先对齐到真值，Abs Rel 越低越好，阈值内点比例越高越好。 Abs Rel 是深度绝对误差相对真值的平均值；内点要求预测与真值深度比值及其倒数中的较大者小于 1.25。 R 表示仅重建，G&R 表示统一生成与重建；Geo4D-ref 还是本文真实训练数据的伪标签来源，不能当成无关联参考。

方法	任务	Sintel Abs Rel	Sintel \(\delta<1.25\) (%)	Bonn Abs Rel	Bonn \(\delta<1.25\) (%)
MonST3R	R	0.335	58.5	0.063	96.4
CUT3R	R	0.311	62.0	0.070	96.7
Geo4D-ref	R	0.205	73.5	0.059	97.2
One4D	G&R	0.273	70.4	0.092	93.7

One4D 的优势集中于统一任务下仍有较强几何能力：Sintel 优于 MonST3R 和 CUT3R，但 Bonn 两项指标均落后于这两个模型。原文表 4，第 13 页还显示 TUM-dynamics 的 ATE 为 0.129，Geo4D-ref 为 0.073，MonST3R 为 0.063，不能据“可比”措辞宣称相机估计领先。

消融实验¶

下表来自原文表 8，第 15 页，全部在相同数据和设置下训练 1,000 步，评估 Bonn；\(s\) 是观测帧比例，不是空间分辨率比例。

方法	完整输入 Abs Rel	完整输入内点 (%)	\(s=0.05\) Abs Rel	\(s=0.05\) 内点 (%)	\(s=0.04\) Abs Rel	\(s=0.04\) 内点 (%)
Spatial-1k	0.121	87.4	0.186	76.8	0.227	73.2
One4D-1k	0.114	88.9	0.167	83.0	0.208	76.9

所有内点列均使用 \(\delta<1.25\)，DLC 在三种观测密度下的两项指标均更好。特别在 \(s=0.05\) 时，Abs Rel 从 0.186 降为 0.167，内点从 76.8% 增至 83.0%，后者提升 6.2 个百分点。这是比不同论文之间训练预算差异更大的横向比较更直接的架构证据，但它验证的是 DLC 整体。

关键发现¶

原文表 5，第 13 页：Sintel 观测比例从完整输入降至 0.25，内点仅由 70.4% 降至 67.7%，但 Abs Rel 由 0.273 升至 0.443，说明不同指标对稀疏化的敏感性不同。
原文表 7，第 15 页：仅合成数据训练 1,000 步的 Sintel Abs Rel 为 0.281，混合数据为 0.331；增加伪标注真实数据并非对重建指标单调有利。
原文表 6，第 14 页：CFG=4 的 Sintel Abs Rel 为 0.257，优于默认设置的 0.273；默认 CFG=6.0 不是深度指标的最优选择。

亮点与洞察¶

共享参数与共享计算被明确区分。基础权重可以复用，而模态激活与低秩更新保持分开，这对其他“外观加稠密预测”任务也有参考价值。
条件密度成为任务开关。生成与重建不再要求更换网络，但仍需要在训练中覆盖不同观测模式，不能仅凭接口统一推断所有模式都有同等精度。
零初始化链接把强视频先验保护和像素对齐放进同一训练过程。读者可将其理解为渐进学习信息交换，而不是额外手工设计的几何一致性损失。

局限与展望¶

作者承认效果依赖视频骨干对目标运动和相机模式的泛化，模糊几何及复杂非刚性运动仍可能失败；更广数据和物理先验是后续方向。
读者判断：稀疏评估保留首尾帧并均匀采样，中间遮挡、边界缺失或强分布偏移并未由这一协议充分覆盖。
读者判断：真实视频使用 Geo4D 伪标签，合成数据消融又优于混合数据，监督噪声与视觉多样性的影响值得分离研究。
推理约 12 分钟、峰值显存 57.7GB，仍明显受计算资源限制；少训练步数不能替代低推理成本证明。
当前缓存的部分公式损坏，表格数字和方法正文可读；本笔记未对损坏公式做精确转录，也未核验未提供的补充材料。

评分¶

新颖性: 4/5，统一观测接口与参数共享、计算解耦的组合具有明确针对性，但点图与零初始化控制均有既有基础。
实验充分度: 4/5，覆盖生成、完整重建、稀疏输入和同预算架构消融，仍缺少控制链接细节的独立归因。
写作质量: 4/5，主线清晰，但“稀疏输入近似完整输入”和“相机可比”等表述需要结合各指标具体解读。
价值: 4/5，为视频基础模型增加显式几何提供可复用适配路径，部署成本和复杂动态鲁棒性仍待改进。