Repurposing Geometric Foundation Models for Multi-view Diffusion¶

会议: ECCV 2026
论文: ECCV 2026
领域: 3D 视觉
关键词: 新视角合成、几何基础模型、潜空间扩散、跨视图一致性、级联生成

一句话总结¶

GLD 将冻结的 Depth Anything 3 特征空间改作多视图扩散的生成空间，通过边界层联合生成、深层冻结传播和浅层级联，在不使用文本到图像生成预训练的条件下取得 Re10K PSNR 16.362，并直接复用几何解码器输出深度和射线图。

研究背景与动机¶

新视角合成并不是分别画出几张好看的图片，而是根据少量已知视图和目标相机，补全同一场景在不同位置的外观。被遮挡区域可以存在生成上的不确定性，但墙面、物体边界和相机运动仍须彼此兼容。常规 VAE 潜空间主要服务于单图压缩与重建，没有直接规定不同视图的特征应如何对应。因此，多视图扩散模型不仅要学习生成，还要从训练数据中重新学会跨视图几何关系。 MVGenMaster 等方法通过深度估计与显式变形提供额外条件，但生成空间本身仍未因此变成几何表示。

RAE 表明，冻结视觉编码器的表示也能支持图像扩散，不必把 VAE 当作唯一入口。然而，适合语义识别的特征不一定最适合保留视角变化中的几何关系，适合几何预测的深层特征也未必保留足够的颜色和纹理。 DA3 等几何基础模型提供了一个更贴近任务的起点：它们通过跨图像注意力联合理解视图，并向几何解码器提供多层特征。问题随之变成：哪些特征既能生成真实外观，又能承载可靠对应关系，以及如何避免对整套高维特征重复建模。这要求同时检验重建能力、跨视图匹配能力和实际生成质量，不能只凭某一项表示探针选择层次。

本文沿着这个问题先训练 RGB 解码器，再选择显式生成的边界层，最后处理不同层级独立生成时的对齐问题。它并不把预测深度作为必须输入的显式条件，而是让扩散模型直接工作在已有几何先验的表示中。这里的“从零训练”仅指扩散模型不继承文本到图像生成权重，DA3 编码器及其原始几何解码器仍然经过预训练。核心 idea：在兼具几何对应和外观信息的中间层生成联合多视图特征，让冻结骨干补出深层表示、级联模型补出浅层细节，从同一组潜变量同时解码图像与几何。

方法详解¶

整体框架¶

输入是 \(N\) 张源图像及其相机位姿，以及 \(M\) 个目标相机位姿；输出是这些目标相机对应的新视图。主干采用 DA3-Base，使用编号为 \(0,1,2,3\) 的四个中间特征层级。这里的层级编号不是原始 Transformer 的具体块编号，缓存正文未给出其逐块对应关系。源图像先单独经过冻结编码器，得到推理时可用的条件特征。扩散模型在这些条件和相机信息约束下生成层级 1 的联合特征，再经过冻结骨干传播得到层级 2、3。另一个级联扩散模型根据已生成的层级 1 生成层级 0，最终将完整层级交给 RGB 解码器与原始几何解码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["源图像与源相机<br/>目标相机"] --> B["边界层联合生成<br/>与冻结传播"]
        B --> C["浅层级联生成"]
        B -->|层级1、2、3| D["多层双路解码"]
        C -->|层级0| D
        D --> E["目标RGB<br/>深度与射线图"]

关键设计¶

1. 边界层联合生成与冻结传播：只显式生成必要的层级

DA3 的跨视图注意力会把不同图像的信息混合，因此“只看源图像得到的源特征”和“源、目标一起编码得到的源特征”并不相同。前者可以作为推理条件，后者才是训练时联合表示中的源视图部分。如果只生成目标特征，却原样保留源端独立编码特征，后续传播所需的联合表示就不再对应同一种编码过程。 GLD 因此同时生成源视图和目标视图的特征，而不是在图像层面要求重新创造已知源图像。正文第 5 页用下式明确这种沿视图维拼接的联合表示：

\[ \widetilde{\mathbf F}_l=[\widetilde{\mathbf F}^{\mathrm{src}}_l,\widetilde{\mathbf F}^{\mathrm{tgt}}_l]. \]

每个层级的联合特征包含 \(N+M\) 个视图，每个视图再对应空间 token 与通道维。多视图扩散采用 RAE 使用的 DiTDH 架构，加入 3D 自注意力、PRoPE 和 Plücker 射线嵌入以表达视图之间及相机条件中的几何关系。源图像单独提取的条件特征与带噪潜变量沿通道维拼接，模型据此预测完整的联合特征。这些相机条件并不等同于输入目标深度图，也不要求先把源 RGB 显式变形到目标视角。

为了确定需要显式合成到哪一层，作者先训练四个彼此独立的层级扩散模型，分别负责层级 0 到 3。对候选边界 \(k\)，层级不大于 \(k\) 的特征由对应模型生成，更深特征则由边界特征通过冻结 DA3 后续层推导。这一步是选择边界的诊断实验，不是最终模型推理时仍要调用四个独立生成器。表 2 表明 \(k=1\) 最好：只生成层级 0 不够，而把层级 2、3 也独立生成反而没有提升。最终模型因而只保留边界层 1 的生成器，以及后续负责层级 0 的级联生成器。冻结传播使深层特征沿着骨干原本的计算关系从同一个边界表示演化，而不需要学习额外的深层扩散分布。

为什么不能直接选“几何最强”的层？表 5 的 ScanNet 对应探针中，层级 2 的 PCK 为 40.70，高于层级 1 的 35.98。 PCK 表示在距离阈值内匹配正确的点所占比例；正文引用 Probe3D 协议，但没有给出具体阈值，不能自行补写。表 6 却显示，仅用层级 2 重建时 PSNR 为 14.01，而层级 1 可达到 25.36。层级 0 的重建 PSNR 达到 28.01，但对应探针 PCK 只有 22.25，说明浅层外观信息丰富不代表跨视图结构充分。因此，层级 1 的价值在于同时保留这两类信息，而不是在任何单项探针上都最强。 “更深层丢失光度细节”是作者结合这些实验提出的解释，不应把它扩大为对所有几何骨干的普遍定律。

2. 浅层级联生成：让纹理层依附于已经生成的几何表示

确定边界后，层级 0 仍然不可省略，因为 RGB 解码需要浅层外观信息。但独立生成层级 0 和层级 1，会让它们各自采样出不同的场景解释，即使都满足相同源图像条件也可能不对齐。 GLD 用级联模型 \(\mathcal M_{1\rightarrow0}\) 替代独立的层级 0 模型，以层级 1 特征作为附加条件生成浅层表示。这种依赖把浅层细节锚定到已经选定的中间层场景结构，而非事后要求 RGB 解码器自行修复冲突。级联模型沿用独立层级 0 模型的架构和训练配置；核心变化是加入跨层条件，而不是更换一种完全不同的生成器。

训练时，附加条件是带噪的真实层级 1 特征；推理时，附加条件则来自第一个扩散模型的实际输出。给训练条件加噪，是为了使级联模型接触不完美表示，减少只习惯理想条件而在推理时失效的问题。这不意味着训练时已完整模拟上游模型的所有误差，正文也没有给出这样的保证。表 8 在相同的四源视图设置下比较独立与级联生成，图像和几何指标均改善，支持跨层对齐确实影响最终质量。由于第二个模型依赖第一个模型的输出，整个生成过程包含级联阶段，不能由训练收敛曲线直接推断采样延迟更低。

3. 多层双路解码：验证可重建性，并保留几何输出接口

几何特征能够估计深度，并不自动意味着它们能够恢复细粒度 RGB，因此作者先训练一个 ViT 型 RGB 解码器验证这一点。编码器在这一阶段保持冻结，解码器从完整的四层特征重建图像。训练时随机屏蔽部分层级，迫使解码器在输入不完整时也能工作；这个层级 dropout 同时支持后续的单层重建分析。在 Re10K 测试集的 4,000 个样本上，表 1 报告 PSNR 35.41、SSIM 0.960、LPIPS 0.019。这些是从真实图像特征重建原图的结果，不是从稀疏输入合成未知视角的主实验结果。

推理时，RGB 解码器接收生成的目标视图多层特征，输出对应图像。原始 DPT 型几何解码器则接收相同来源的特征，预测深度和射线图，不需要为这一输出再训练几何头。正文第 5 页给出的两条解码关系为：

\[ \widetilde{\mathbf I}^{\mathrm{tgt}}=\mathcal D_{\mathrm{rgb}}(\{\widetilde{\mathbf F}^{\mathrm{tgt}}_l\}_{l=0}^{L-1}),\qquad \widetilde{\mathbf G}^{\mathrm{tgt}}=\mathcal D_{\mathrm{geo}}(\{\widetilde{\mathbf F}^{\mathrm{tgt}}_l\}_{l=0}^{L-1}). \]

这里 \(L=4\)，几何输出可用于把合成像素反投影为空间点云。双路解码的关键不是额外添加一个生成后处理器，而是生成结果仍位于原几何模型能够解释的特征空间。 “零样本几何输出”指复用既有解码器时无需额外微调，并不表示系统从未接受过几何预训练。

损失函数 / 训练策略¶

扩散模型使用流匹配目标；正文未列出完整目标公式，因此这里不补写噪声路径、损失权重或求解器细节。 RGB 解码器使用 L1、LPIPS 和对抗损失的加权和，训练数据为 Re10K 与 DL3DV，优化器为 AdamW。该解码器采用余弦学习率调度、1 个 epoch 的预热、全局批量 128 和 EMA 衰减 0.9978，在 8 张 B200 上训练约 170k 步。扩散训练数据则包含 Re10K、DL3DV、HyperSim 和 TartanAir，每个样本共 8 个视图，随机选取 1 至 4 个作为源视图。其 AdamW 学习率固定为 \(5\times10^{-5}\)，批量为 48，EMA 衰减为 0.9995，使用 8 张 B200 训练 175k 次迭代。训练对相机嵌入采用 10% dropout，推理时无分类器引导的 CFG 系数为 1.5。两类训练都使用多分辨率方案：\(504\times504\)、\(504\times378\)、\(504\times336\) 和 \(504\times280\)。生成训练时可以从真实目标图像获得监督特征，但推理条件只来自源图像及相机信息，不能把目标图像泄漏进条件。 VAE 与 DINO 基线的扩散模型使用相同架构并训练相同迭代数，目的是比较潜空间，而不是让预训练扩散模型与随机初始化模型混作同一种对照。图 1 报告超过 4.4 倍的训练收敛加速；横轴是训练步数，不能据此宣称端到端墙钟时间或推理速度也提高相同倍数。

实验关键数据¶

主实验¶

表 3，正文第 8 页：主评估固定 2 张源图像，每个数据集评估 200 个样本；Re10K、DL3DV 属于分布内，Mip-NeRF 360 属于分布外。以下摘录潜空间对照与 MVGenMaster，PSNR、SSIM 越高越好，LPIPS、ATE 越低越好。 ATE 使用外部 VGGT 从生成图像估计相机后计算，考察图像对目标位姿条件的遵循程度，并非直接读取 GLD 自带几何头的误差。

数据集	方法	PSNR	SSIM	LPIPS	ATE
Re10K	VAE	15.656	0.606	0.456	0.278
Re10K	DINO	15.638	0.601	0.448	0.345
Re10K	MVGenMaster	15.226	0.588	0.456	0.282
Re10K	GLD	16.362	0.630	0.431	0.211
DL3DV	VAE	14.725	0.446	0.476	0.589
DL3DV	DINO	14.345	0.411	0.471	0.546
DL3DV	MVGenMaster	14.565	0.442	0.460	0.281
DL3DV	GLD	15.499	0.468	0.438	0.209
Mip-NeRF 360	VAE	13.942	0.274	0.548	1.221
Mip-NeRF 360	DINO	13.718	0.267	0.542	0.949
Mip-NeRF 360	MVGenMaster	14.170	0.304	0.511	0.320
Mip-NeRF 360	GLD	14.542	0.288	0.504	0.589

GLD 在三个数据集的图像指标上均超过相同训练设置的 VAE、DINO，但不能说它在分布外所有指标上都胜过生成预训练方法。例如，Mip-NeRF 360 上 MVGenMaster 的 SSIM 0.304 和 ATE 0.320 均优于 GLD 的 0.288 和 0.589。完整表 3 中，Re10K 的 DINO MEt3R 为 0.319，也优于 GLD 的 0.328；MEt3R 通过投影特征相似性评估多视图一致性。不同预训练 NVS 方法的训练数据并不完全一致，CAT3D 使用的还是 CAMEO 提供的复现模型，横向排名不是严格控制全部变量的因果比较。

消融实验¶

表 2，正文第 7 页：改变显式生成边界，其余深层由冻结骨干传播获得；表中使用独立层级模型进行边界选择。正文此处未单独注明该表的评估数据集和源视图数，故不将其数值与最终主表直接相减。 AbsRel 是相对深度误差，RMSE 是深度均方根误差，二者越低越好。

边界	显式生成层级	PSNR	SSIM	LPIPS	AbsRel	RMSE
\(k=0\)	0	12.55	0.323	0.579	0.267	0.400
\(k=1\)	0、1	13.61	0.366	0.555	0.191	0.311
\(k=2\)	0、1、2	13.35	0.355	0.566	0.254	0.393
\(k=3\)	0、1、2、3	13.35	0.355	0.567	0.260	0.402

表 8，正文第 13 页：Re10K、4 张源图像，比较独立生成与级联生成；RPEr、RPEt 分别为相对旋转和位移误差。这里保留表 8 的原始精度，不拿表 4 四源视图行中略有不同的 SSIM、重投影或 MEt3R 数值替换它。

配置	PSNR	SSIM	LPIPS	ATE	RPEr	RPEt	重投影误差	MEt3R
独立生成	18.81	0.692	0.335	0.197	7.179	0.430	0.666	0.335
级联生成	19.00	0.695	0.327	0.182	6.694	0.397	0.652	0.326

关键发现¶

边界选择不是“生成的层越多越好”：\(k=1\) 同时优于更浅和更深边界，吻合外观与几何信息的探针分析。
级联收益幅度不大但方向一致，支持跨层协调是独立于单层生成质量的另一项需求。
表 9（第 13 页）的 ETH3D 深度实验中，GLD 的 AbsRel 为 0.160，Matrix3D 为 0.197；相应 RGB PSNR 为 14.80 与 14.13。
表 4（第 11 页）中，DL3DV 单源视图下 GLD ATE 为 0.237，而 VAE 为 0.880，说明输入稀疏时几何先验仍然有效。

亮点与洞察¶

本文把几何先验放进生成表示，而非只放在额外监督或条件图里。这个区别使同一组生成潜变量能够继续接受原始几何解码器的检验。
表示选择有三条相互补充的证据：RGB 可重建、跨视图可匹配、最终 NVS 有提升。单凭深度预测能力或重建能力都不足以支撑全部结论。
冻结传播与浅层级联处理的是不同问题：前者减少显式建模的层数，后者修复必须单独生成的浅层与边界层之间的不一致。两者不是可互换的加速技巧。

局限与展望¶

分布外位姿精度仍落后于部分生成预训练方法，几何潜空间没有消除训练分布差异。更广场景覆盖的价值仍需在控制数据和预算后验证。
方法依赖 DA3 的预训练表示，并训练 RGB 解码器和多个扩散阶段；“无需 T2I 预训练”不等于没有预训练成本或训练成本很低。
主实验每个数据集只有 200 个样本，正文未提供重复训练方差或置信区间，小幅差异不宜解释为稳健的统计优势。
本地全文止于参考文献第 19 页，不包含文中引用的附录 A/C；噪声条件强度、采样步数、具体损失权重及 VGGT 替代骨干细节无法据此核实。
本文没有独立展开限制章节；上述边界是根据实验和可见实现信息作出的阅读判断，而非冒充作者逐条声明。

评分¶

新颖性: 4/5。将几何多层表示真正用于扩散，并通过边界选择和级联对齐使这一选择可用。
实验充分度: 4/5。覆盖主比较、表示探针、边界、级联与深度，但缺少可见的误差区间及完整成本核算。
写作质量: 4/5。方法逻辑清晰，少数实验协议依赖未随缓存提供的附录。
价值: 4/5。为新视角生成提供了有实验支撑的任务适配潜空间设计，优势范围也有明确对照可查。