Repurposing Geometric Foundation Models for Multi-view Diffusion¶

会议: ECCV 2026
论文: ECCV 2026
领域: 重建与渲染
关键词: 新视角合成、几何基础模型、潜空间扩散、跨视图一致性、级联生成

一句话总结¶

GLD 把 DA3 的多视图几何表示变成扩散潜空间：联合生成中间层，用冻结骨干推导深层、级联生成浅层，再从同一层级解码 RGB 与几何；在两源视图的 Re10K 评测中取得 PSNR 16.362，优于相同扩散训练设置的 VAE/DINO，但分布外位姿指标并非全面领先。

研究背景与动机¶

新视角合成要回答的不是“这张图片是否逼真”，而是“这些目标相机看到的是否仍是同一个场景”。源图像没有看见的区域允许多种合理补全，但墙面、物体边界与相机运动不能各自变化。单图 VAE 潜变量主要服务图像压缩；将它直接用于多视图扩散，会让生成器同时承担纹理生成和重新发现几何对应的负担。额外深度图、变形图能提供引导，却没有改变生成变量本身的结构。

RAE 已说明预训练表示可以替代 VAE，但识别语义强不等于视角对应稳定。DA3 等几何基础模型通过跨图像注意力学习联合场景表示，看起来更适合 NVS；问题是，能预测深度的特征不一定能还原颜色，完整多层表示又很昂贵。直接选择几何最强的深层，可能把生成纹理需要的信息一并丢掉。

本文先验证几何特征能否重建 RGB，再寻找同时保留外观和对应关系的生成边界，最后协调浅深层之间的采样一致性。核心 idea：不在单图潜变量外面不断添加几何条件，而是选择任务适配的几何潜空间，并利用冻结传播与跨层条件依赖，让有限的生成阶段补出可同时解释图像和几何的层级表示。

方法详解¶

整体框架¶

输入为若干源图像、源相机及目标相机；输出为目标视角图像，并可从生成特征附带得到深度与射线图。主实现使用 DA3-Base 的四个中间层级，编号为 0、1、2、3。先将源图像单独编码为可用条件，再以噪声和相机条件生成源、目标视图共同组成的层级 1；冻结骨干从这一层推导层级 2、3，另一个条件扩散模型根据层级 1 生成层级 0，最后双路解码。

训练时真实源、目标图像可被共同编码，提供联合特征监督；部署时没有目标 RGB，只能使用源端条件和指定相机。因此，监督特征与条件特征不是同一份张量。下图实线为生成数据流，虚线为仅训练时存在的特征监督，不将目标图像泄漏成推理输入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源图像与相机<br/>目标相机"] --> B["边界层联合生成<br/>源端条件与噪声"]
    B --> C["冻结深层传播<br/>层级 1 到 2、3"]
    B --> D["浅层条件级联<br/>层级 1 到 0"]
    C --> E["共享层级双路解码"]
    D --> E
    E --> F["目标 RGB<br/>深度与射线图"]
    T["训练：真实源目标图像<br/>冻结编码为联合监督"] -.-> B
    T -.-> D

四个层级是选出的特征层次，不是 DA3 原始网络恰好只有四个 Transformer 块。正文没有提供具体块号映射。冻结传播与浅层级联在得到层级 1 后形成两条依赖分支，不是把生成后的 RGB 再送给一个外部深度模型。

关键设计¶

1. 边界层联合生成：生成的是共同编码的场景状态，不只是目标视图特征

DA3 的跨视图注意力使每张图像特征受其他视图影响。源图像独立编码得到的表示，可作为部署条件；而源、目标共同编码时的源端部分，已经吸收了更多场景信息。若只生成目标部分，再与独立源特征拼接，后续骨干得到的就不是同一联合编码过程下的完整状态。因此，GLD 连源视图部分一起生成，但不意味着必须重新创造未知的源 RGB。

生成器沿视图维输出源与目标的联合特征。架构采用 RAE 中的 DiTDH，加入 3D 自注意力、PRoPE 和 Plücker 射线嵌入；独立提取的源端特征与带噪潜变量沿通道维拼接，相机信息约束各视图关系。这里的几何条件是相机及表示先验，不是必须预估目标深度再显式变形源图像。

选择层级 1 也不是先验拍板。作者先分别训练四个独立层级生成器，对候选边界逐一实验：边界及更浅层显式生成，剩余更深层由冻结骨干推导。这是诊断设置，不是最终每次采样运行四个独立模型。表 2 中只生成层级 0 的 PSNR 为 12.55，增加层级 1 后为 13.61；继续独立生成更深层反降至 13.35。

2. 冻结深层传播：让一个中间状态沿既有几何计算补出抽象层级

既然骨干原本就把浅层转成深层，生成中间特征后不必重新为每个深层学习扩散分布。固定边界为层级 1，后续冻结 DA3 层产生层级 2、3，节省显式生成器并保持既有计算依赖。它减少的是需建模的层级，不意味着深层前向计算免费，也不是从外部读入真实目标特征。

为什么边界不能选在几何最强的层级 2？表 5 的对应探针中，层级 2 PCK 为 40.70，高于层级 1 的 35.98；但表 6 中单层 RGB 重建 PSNR 分别只有 14.01 与 25.36。层级 0 的 RGB 重建为 28.01，却只有 22.25 PCK。层级 1 因而是保留几何对应与光度细节的折中，不是所有单项指标的冠军。

PCK 指匹配点落在距离阈值内的比例，具体阈值遵循原文引用的 Probe3D 协议，正文未列出，不能自行补写。对应探针、单层重建和最终 NVS 三组实验共同支持层级选择；只看其中任意一项，都无法说明该层一定适合作为生成空间。

3. 浅层条件级联：让外观细节依附于已经选定的场景解释

层级 0 的外观信息仍是高保真 RGB 所需，但若与层级 1 独立采样，两个生成器可能给出不相容的局部布局。GLD 将独立浅层模型换成级联模型，额外读取先前生成的层级 1，再生成层级 0。这样浅层纹理是在既定几何状态下补全，而不是等 RGB 解码器事后调和两份互不相干的解释。

训练时级联条件使用加噪的真实层级 1 特征，部署时则读取上游生成结果。加噪使它不只适应完美条件，但并不证明覆盖了上游实际误差分布。级联模型沿用独立浅层模型的架构与训练配置，差别是跨层依赖；正文没有提供精确加噪强度。表 8 的四源视图对照中，PSNR 从 18.81 到 19.00，ATE 从 0.197 到 0.182，支持这个协调步骤，而不是把全部收益归给更大模型。

4. 共享层级双路解码：先证明外观可恢复，再复用几何接口

作者首先冻结几何编码器，训练 ViT 型 RGB 解码器从四层特征重建输入图像。随机屏蔽部分层级，迫使解码器利用不同层信号，也使单层重建探针可行。Re10K 的 4,000 张测试图上，完整特征重建 PSNR 为 35.41、SSIM 0.960、LPIPS 0.019；这是给定真实特征的重建上限证据，不是稀疏视图生成的主结果。

生成时，RGB 解码器与原始 DPT 型几何解码器读取同一来源的完整层级，分别输出外观和几何。原几何头无需为 GLD 再训练，生成像素可结合深度、射线图反投影为空间点云。共享表示是关键：几何并非在生成 RGB 之后临时估计的补丁，虽然主表位姿评估确实另外使用外部 VGGT，二者不能混淆。

“零样本几何输出”只表示没有为该输出额外微调原解码器；DA3 本身已有几何预训练。“扩散从零训练”也只是不继承大规模文本到图像生成权重，不等于整套系统完全没有预训练知识。

一个完整示例¶

考虑实验中两张源图像的设置：相机分别拍到同一个房间的不同部分，任务是在另一位置合成目标视图。以下为机制示例，不是假定论文固定只生成一张目标图。

两张源图像单独编码，得到部署条件；目标位置只有相机信息，没有真实目标 RGB。
第一扩散阶段生成两张源图与所有目标图在层级 1 的联合状态。源端已知内容是条件，但联合源特征仍需与目标状态协调。
冻结骨干推导层级 2、3；浅层级联读取同一层级 1 生成层级 0。若改成独立浅层采样，纹理边缘可能与上层选定的几何不对齐。
完整四层进入 RGB 与几何解码器，得到目标图像及对应深度、射线。后者支持点云可视化，但未观察区域仍是模型生成的合理补全，不是有观测保证的真实重建。

损失函数 / 训练策略¶

RGB 解码训练使用 Re10K 与 DL3DV，联合 L1、LPIPS 和对抗损失，AdamW 配合余弦学习率、1 epoch 预热、全局批量 128、EMA 0.9978，在 8 张 B200 上约 170k 步。权重及完整目标未在可读正文列出，不补成作者的精确公式。

扩散模型使用流匹配目标，在 Re10K、DL3DV、HyperSim、TartanAir 上训练；每样本 8 视图，随机选择 1–4 张源图。AdamW 固定学习率 \(5\times10^{-5}\)、批量 48、EMA 0.9995，8 张 B200 共 175k 次迭代；相机嵌入 dropout 为 10%，推理 CFG 为 1.5。分辨率从 \(504\times504\)、\(504\times378\)、\(504\times336\)、\(504\times280\) 中随机选取。

VAE 与 DINO 对照的扩散架构、训练迭代数一致，更接近检验表示空间的价值；但各编码器预训练和解码训练成本并未因此完全相同。图 1 的 4.4 倍收敛加速依据训练步数曲线，不等于实际总 GPU 时间节省或采样速度提升同样倍数。

实验关键数据¶

主实验¶

以下节选表 3。每数据集 200 个样本、2 张源图；Re10K 与 DL3DV 为分布内，Mip-NeRF 360 为分布外。PSNR/SSIM 越高越好，LPIPS/ATE 越低越好；ATE 由外部 VGGT 从生成视图估计相机后计算，主要考察对目标位姿条件的遵循，不是直接评估 GLD 原几何头。

数据集	方法	PSNR	SSIM	LPIPS	ATE
Re10K	VAE	15.656	0.606	0.456	0.278
Re10K	DINO	15.638	0.601	0.448	0.345
Re10K	GLD	16.362	0.630	0.431	0.211
DL3DV	VAE	14.725	0.446	0.476	0.589
DL3DV	DINO	14.345	0.411	0.471	0.546
DL3DV	GLD	15.499	0.468	0.438	0.209
Mip-NeRF 360	VAE	13.942	0.274	0.548	1.221
Mip-NeRF 360	DINO	13.718	0.267	0.542	0.949
Mip-NeRF 360	MVGenMaster	14.170	0.304	0.511	0.320
Mip-NeRF 360	GLD	14.542	0.288	0.504	0.589

GLD 对相同扩散训练设置的 VAE/DINO，在三数据集图像指标都更优；但分布外 MVGenMaster 的 SSIM 和 ATE 优于 GLD。完整表 3 的 Re10K MEt3R 中 DINO 为 0.319，GLD 为 0.328，也提醒不能把“多数几何指标改善”写成全面领先。MEt3R 利用投影特征相似性衡量多视图一致性，值越低越好。

生成预训练方法的数据并不相同，CAT3D 还使用 CAMEO 的复现模型，排名并非所有变量受控的因果比较。GLD 最清晰的证据来自与潜空间基线的同架构对照，而不是把所有方法差异都算作几何潜空间的净收益。

消融实验¶

表 2 改变显式生成的边界，深于该边界的层级由冻结传播补出；浅层在这组诊断中独立生成。其专属数据集/源视图数正文未在表旁明确，不与最终主表直接相减。AbsRel 是相对深度误差，RMSE 是深度均方根误差，越低越好。

边界	独立显式生成的层级	PSNR	SSIM	LPIPS	AbsRel	RMSE
0	0	12.55	0.323	0.579	0.267	0.400
1	0、1	13.61	0.366	0.555	0.191	0.311
2	0、1、2	13.35	0.355	0.566	0.254	0.393
3	0、1、2、3	13.35	0.355	0.567	0.260	0.402

表 8 进一步固定 Re10K 的4张源图，比独立与级联浅层生成。RPEr/RPEt 分别表示相对旋转/平移误差；下表沿用该表原始精度，不混用表 4 四源视图行的略异结果。

生成方式	PSNR	SSIM	LPIPS	ATE	RPEr	RPEt	重投影误差	MEt3R
独立	18.81	0.692	0.335	0.197	7.179	0.430	0.666	0.335
级联	19.00	0.695	0.327	0.182	6.694	0.397	0.652	0.326

关键发现¶

更多显式生成未必更好。 边界1同时改善 RGB 与深度；这符合几何与外观兼顾的解释，但也可能受独立层级不协调影响，不能将全部退化单独归因于特征深度。
级联解决跨层协调，不替代冻结传播。 表 8 改善幅度有限但各列方向一致；前者约束浅层依赖，后者减少深层生成阶段，两者职责不同。
几何输出有独立验证。 ETH3D 表 9 中 GLD/Matrix3D 的 AbsRel 为 0.160/0.197，RGB PSNR 为 14.80/14.13；这与外部相机估计误差属于不同验证任务。
稀疏输入仍受益，但不是每个感知指标都领先。 表 4 单源 DL3DV 的 GLD/VAE ATE 为 0.237/0.880；同一行 DINO LPIPS 0.539，略优于 GLD 0.543，不能简化为全指标最佳。

亮点与洞察¶

潜空间可以承担任务约束，而非仅作为压缩接口。选择几何联合特征，让跨视图先验进入生成变量本身，降低生成器从零发现对应的负担。
可重建、可匹配和可生成是三种不同能力。本文用三类实验形成证据链，避免把几何探针强直接等同于生成空间好。
一个复杂层级不必每层都单独建模。保留骨干的确定性计算，同时只为必要的随机细节建条件生成器，是可迁移的结构设计原则。

局限与展望¶

几何先验未消除分布偏移，分布外相机误差仍落后部分生成预训练方法；需要固定数据与算力的进一步比较。
从零训练仅针对扩散权重，DA3 仍预训练；新 RGB 解码器与级联模型也需要训练，不应把方法称作低成本免训练替换。
边界层结论主要建立在 DA3-Base；正文提及 VGGT 扩展但细节在缺失附录中，不能据此断言所有几何基础模型都应选择层级1。
200个样本的主评估未给出重复训练方差，微小数值差不等于统计显著。采样步数、加噪强度和完整损失权重也未见于当前缓存。
生成的隐藏区域可能几何一致却不符合真实场景；点云更整齐不等于所有未观测结构都被准确恢复。以上是基于任务与实验的分析边界，非冒充作者的独立限制声明。

评分¶

新颖性: 4/5。将几何多层表示真正用于扩散，并通过边界选择和级联对齐使这一选择可用。
实验充分度: 4/5。覆盖主比较、表示探针、边界、级联与深度，但缺少可见的误差区间及完整成本核算。
写作质量: 4/5。方法逻辑清晰，少数实验协议依赖未随缓存提供的附录。
价值: 4/5。为新视角生成提供了有实验支撑的任务适配潜空间设计，优势范围也有明确对照可查。