Zero-Shot Novel Depth Synthesis Using Foundation Models Scene Representations¶
会议: ECCV 2026
论文: ECCV 原文
领域: 3D视觉
关键词: 新视角深度合成、3D基础模型、潜在扩散、VGGT、遮挡补全
一句话总结¶
Z3D 在冻结 VGGT/WorldMirror 的场景 token 空间中，按源图像和目标相机位姿生成目标视角表征，再用冻结深度头解码；相比作者构造的像素深度扩散基线，它在域内和 DTU 等设置中更准确，但 NRGBD 上并不全面占优。
研究背景与动机¶
给定一两张源图像和新的相机位置，预测新视角深度不仅需要重投影已经看见的表面，还需要推测被遮挡或位于源视野之外的结构。新视角 RGB 合成能提供外观，却不保证生成图像严格遵循目标相机的几何关系；在稀疏观测下，常规重建也缺少未观测区域的直接约束。单目深度估计主要处理输入视角，不能直接替代目标机位的几何预测。
VGGT、WorldMirror 等 3D 基础模型已经从大量数据学习场景表征，但常规接口仍主要给出输入视角的深度和点图。作者先用分层深度图探针检验其中是否含有隐藏表面的可用信息：冻结骨干后训练轻量解码头，预测沿每条视线的多个表面。结果优于均值基线，支持这些表征包含有助于遮挡推断的线索，但不能证明它们已完整保存任何场景的不可见几何。
核心 idea：让预训练 3D 模型负责场景表示和深度解码，让条件生成模型只学习如何按目标位姿补全中间表征，避免从头联合学习几何表示与生成能力。
方法详解¶
整体框架¶
输入为源图像和目标相机相对位姿，输出目标视角深度。冻结表征编解码提供场景 token 和深度头；目标单层潜在生成限制生成对象；双路几何条件向 DiT 注入源特征及位姿；流匹配与渐进训练负责学习和采样。部署时由噪声开始生成目标 token，最后交给冻结 DPT 深度头。
训练时目标图像只用于提取监督表征；测试时目标图像不可用。源 token 保持干净作为条件，只有目标 token 被加噪。虽然骨干和解码头冻结，条件编码器与 DiT 仍需专门训练；“零样本”主要指向未见目标数据集的迁移，而不是生成系统无需训练。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["源图像与目标位姿"] --> B["冻结表征编解码<br/>源图像编码"]
B --> C["目标单层潜在生成"]
C --> D["双路几何条件"]
D --> E["流匹配与渐进训练<br/>推理采样 50 步"]
E --> F["冻结 DPT 解码<br/>目标视角深度"]关键设计¶
1. 冻结表征编解码：在已有几何表示之间学习生成映射
同一个 3D 基础模型提取源图和训练目标图的 patch token，预训练 DPT 头则把生成 token 解码成深度。这在角色上类似潜在生成模型的编码器和解码器，但并不是重新训练了一个 VAE。骨干已经学习跨视角场景关系，生成器只需建模给定源特征、相机位姿时目标特征的条件分布。
论文的分层深度图实验给出前提证据：把深度头扩成四层 LDI 及置信度预测，保持其余部分冻结，训练轻量探针。LDI 在同一像素射线上记录多个表面，后层对应前表面遮挡的几何；VGGT 与 WorldMirror 特征均优于均值基线。这个实验说明隐藏几何可以从表征中被预测，不意味着所有预测都是真实存在的表面。把补全任务交给生成模型，仍包含不可避免的先验推断。
2. 目标单层潜在生成：压缩生成对象，同时保留较丰富的源条件
VGGT/WorldMirror 深度预测使用四个中间层的高维 token，每个 token 约 2048 维。直接生成多层拼接特征代价较高，作者依据层贡献分析，将目标视图的扩散对象限制为第 17 层 token；源侧则保留四层聚合特征，以交叉注意力提供几何条件。这种不对称安排是减少生成变量、而不同比例削减条件信息。
需要保留原文的实现歧义：§3.2 前段写“仅第 17 层用于条件”，后段又明确写“目标层 17 为生成对象，源四层作为条件”。本笔记按后段的具体描述整理，不能把两句都写成无矛盾的事实。单层生成结果如何具体适配原多层 DPT 接口，正文没有充分展开；复现时仍需核实代码或补充材料，不能自行假设复制、补零或层映射规则。
3. 双路几何条件：场景信息通过注意力进入，位姿通过时间嵌入进入
DiT 的每个块加入交叉注意力，从干净源 token 中检索与目标视角有关的内容。另一条通路将每个目标视角的相对相机位姿表示为 12 维向量，经傅里叶编码和 MLP 映射后，加到扩散时间步嵌入，再通过自适应层归一化影响去噪。全部位姿相对源集合的第一视角，因此相机关系有统一参照，而非把世界绝对坐标直接当作可迁移语义。
两类条件职责不同：源特征回答场景包含什么结构，位姿指明应该从哪里观察。多目标配置需要共同生成多个目标表征，不能通过逐幅图像好看就认定几何一致。模型支持多视图输入输出的证据主要来自一源一目标和两源四目标实验，不能进一步保证任意视角数都同样稳定。
4. 流匹配与渐进训练：为高维场景表征调整生成日程
实现节使用流匹配速度预测，训练调度器为 FlowMatchEulerDiscreteScheduler，训练时间步数 1000，推理采样 50 步。作者按有效表征维度调整时间步偏移，给出比例因子为有效维度与参考维度之比的平方根，参考维度取 4096。这是本文采用的调度适配，不是针对所有高维表征的通用稳定性保证；有效维度如何展开也需以实现为准。
训练先从一源一目标开始，再用其权重初始化两源四目标版本。作者观察到直接训练后者更不稳定、收敛更慢，因此采用课程式初始化。不过正文没有完整的训练曲线消融，不能把它称为唯一可行方案。生成的是条件分布中的几何假设，重复采样可能不同，50 步也不代表实时运行。
损失函数 / 训练策略¶
数据来自 MegaDepth、Hypersim、Taskonomy、Replica、Habitat HM3D，按相机视锥重叠组成每组 2–6 张图的视角序列。第一阶段有效 batch 128、98k 步；第二阶段 batch 32、156k 步。两阶段学习率均为 0.0002，AdamW 的 β1/β2 为 0.9/0.95，无权重衰减；前 10% 步预热，从 30% 进度开始衰减至零。
原文 §3.2 同时给出 DDPM 风格前向加噪记号，§3.3 则明确采用流匹配速度目标。两种表述不能不加说明地合并成一个精确实现公式，因此这里以实现节报告的调度器和目标为准，不补写含混的噪声系数关系。骨干、DPT 冻结，训练的仍包括 DiT 与条件编码器，而不是仅训练一个线性头。
实验关键数据¶
主实验¶
作者构造两类基线：LVSM 先合成目标 RGB、再由 3DFM 估深；DD 使用相同生成架构和训练流程，但直接在预测深度图空间生成，而非在场景 token 中生成。与 MVGD 没有直接定量对比，因为论文写作时其代码不可用，不能声称全面超过所有既有方法。
评测先做仿射对齐，再计算 AbsRel 和 δ1。AbsRel 是有效像素上绝对相对误差的均值；δ1 是预测/真值双向较大比值小于 1.25 的像素占比。对齐后的结果衡量相对几何，不等于部署可直接恢复米制距离。点云 Accuracy 和 Completion 分别衡量预测到真值、真值到预测的最近邻距离，都是越低越好，并非百分比准确率与召回率。
下表摘录原文 Table 3，一源一目标，单元格为 AbsRel↓/δ1↑。域内是训练来源的测试子集，另外三列是跨域评测。
| 方法 | 域内 | DTU | 7-Scenes | NRGBD |
|---|---|---|---|---|
| LVSM+VGGT | — | 0.468 / 0.024 | 0.342 / 0.745 | 0.214 / 0.666 |
| LVSM+WM | — | 0.468 / 0.025 | 0.328 / 0.749 | 0.210 / 0.672 |
| VGGT-DD | 0.098 / 0.914 | 0.022 / 0.998 | 0.274 / 0.963 | 0.192 / 0.743 |
| WM-DD | 0.108 / 0.902 | 0.036 / 0.997 | 0.272 / 0.967 | 0.127 / 0.837 |
| Z3D-VGGT | 0.076 / 0.935 | 0.012 / 0.999 | 0.260 / 0.963 | 0.260 / 0.676 |
| Z3D-WM | 0.075 / 0.939 | 0.021 / 0.999 | 0.266 / 0.967 | 0.133 / 0.826 |
Z3D-VGGT 在 DTU 的 AbsRel 从 VGGT-DD 的 0.022 降到 0.012，但 NRGBD 从 0.192 升到 0.260。Z3D-WM 在 NRGBD 也不如 WM-DD。因此作者“一致优于”的概括强于表格支持。
点云同样有取舍：DTU 一源一目标中，Z3D-VGGT 的 Accuracy 均值/中位数为 2.725/1.782，优于 VGGT-DD 的 6.337/4.386；Completion 均值却为 2.938，差于基线 1.644。几何更准确不等于覆盖更完整，不能把两种距离混成单一“点云精度”。
消融实验¶
下表是原文 Table 5 的两源四目标表示空间对照。DD 与 Z3D 共享架构和训练流程，是检验生成空间选择的主要证据；它不是逐模块删除的纯消融。
| 方法 | 域内 AbsRel / δ1 | DTU AbsRel / δ1 | 7-Scenes AbsRel / δ1 | NRGBD AbsRel / δ1 |
|---|---|---|---|---|
| LVSM+WM | — | 0.475 / 0.006 | 0.346 / 0.935 | 0.121 / 0.842 |
| VGGT-DD | 0.248 / 0.667 | 0.055 / 0.986 | 0.372 / 0.959 | 0.225 / 0.686 |
| WM-DD | 0.215 / 0.735 | 0.059 / 0.979 | 0.383 / 0.943 | 0.147 / 0.812 |
| Z3D-VGGT | 0.112 / 0.891 | 0.024 / 0.995 | 0.342 / 0.965 | 0.223 / 0.715 |
| Z3D-WM | 0.118 / 0.889 | 0.036 / 0.987 | 0.362 / 0.962 | 0.131 / 0.830 |
域内 VGGT 系列 AbsRel 从 0.248 降到 0.112，DTU 从 0.055 降到 0.024，支持场景 latent 优于这些直接深度生成基线。但 NRGBD 上 LVSM+WM 仍比 Z3D-WM 更好。
前提探针结果来自原文 Table 1：
| 分层深度图预测 | AbsRel↓ | δ1↑ |
|---|---|---|
| 均值基线 | 0.319 | 0.564 |
| VGGT-LDI | 0.197 | 0.717 |
| WM-LDI | 0.167 | 0.789 |
相对均值基线，VGGT 的 AbsRel 减少约 38.2%，WorldMirror 减少约 47.6%。这是可解码几何线索的证据，不是对未观测表面真实性的保证，也不是冻结原深度头直接输出 LDI 的结果——探针头需要训练。
关键发现¶
- 表示空间比直接深度图更有利于这些生成设置。 域内、DTU 的对照一致支持这一点，但不必把它上升为所有任务中 latent 一定优于像素空间。
- 户外结果属于域内拆分。 MegaDepth 已用于训练来源，单独报告的两源四目标 AbsRel 为 Z3D-VGGT 0.039、VGGT-DD 0.102，不能称为未见户外域的零样本结果。
- 换骨干仍需重训生成器。 VGGT-Ω 的一源一目标版本无需算法改动，但重新训练；不能理解为替换骨干权重即可无训练继承全部收益。
- 原表有可疑重复列。 点云 Table 2 的 NRGBD Completion 值与深度表数值重复，且与 Table 7 不一致。本笔记不据该列计算覆盖改善，需回查原文版本。
亮点与洞察¶
- 把几何特征当作生成空间。 不只用基础模型提供条件，还用其内部表征作为目标变量，让预训练知识参与编码和解码两端。
- 生成侧精简、条件侧保留信息。 只生成目标关键层、保留源多层的设计值得参考，但具体接口仍需实现细节验证。
- 先探针再构建生成器。 LDI 实验先检验表征是否携带任务线索，避免只用最终性能倒推机制。
局限与展望¶
- 低重叠与首帧敏感。 源目标覆盖不足时细粒度几何和点云一致性下降，第一源视角作为参照也继承基础模型的参考选择敏感性。
- 真实尺度与不可见几何没有保证。 仿射对齐评测不是直接测距，遮挡外生成需要额外不确定性或下游验证。
- 复现表述不完整。 层 17 的条件角色前后不一致，单层输出对接多层深度头的细节不足，扩散与流匹配记号也需核对。
- 成本与随机性报告不足。 50 步采样加基础模型前向并不便宜，缺少推理时延和多次采样统计。
- 比较范围有限。 基线主要由作者构造，且 NRGBD 有明确反例，不能据此声称所有新视角深度方法均被超过。
相关工作与启发¶
- 对比 MVGD： 同样涉及几何生成，但本文复用冻结表征；缺少统一协议直接定量比较。
- 对比 LVSM+3DFM： 先合成 RGB 再估深可能传递位姿不一致，本文避免这一中间图像环节；这是特定基线观察，不是光度生成必然破坏几何。
- 对比 Marigold： 单目深度扩散主要预测输入视角，本文按新相机位姿生成目标视角，任务条件不同。
- 对比 CUT3R： 持久状态与虚拟视角查询提供另一条路线；本文重点在冻结基础模型特征中的条件生成，不能只凭架构差异判断优劣。
评分¶
- 新颖性：4/5。把基础模型场景表征作为生成空间并用探针验证前提，组合有针对性。
- 实验充分度：3/5。多域、多视图和表示空间对照有价值，缺少直接先行方法比较及成本统计。
- 写作质量：3/5。论证主线明确，但层选择、训练记号和部分表列需要澄清。
- 价值：4/5。提供稀疏观测几何补全的可参考配方，应用前需检验不确定性与低重叠场景。