Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models¶
会议: NeurIPS 2026
arXiv: 2607.19120
OpenReview: https://openreview.net/forum?id=Uta0YOIusF
论文: https://arxiv.org/abs/2607.19120
领域: 3D生成与编辑
关键词: 3D场景生成, 黎曼流匹配, 几何基础模型, VGGT, 新视角合成
一句话总结¶
本文提出在几何基础模型（VGGT）的潜在流形上直接进行黎曼流匹配，揭示并严格遵循其多尺度编码器特征构成的四元超球面乘积流形结构，摆脱对显式高斯泼溅、网格或视频VAE的绑定，仅需相对位姿即可生成几何自洽且支持单视角外推的高质量3D新视角与稠密几何。
研究背景与动机¶
从单视角或稀疏未标定图像推断完整的三维场景几何与真实外观，是机器人自主导航、具身智能与空间计算的核心基础。然而，稀疏视角重建本质上是一个严重欠定的反问题，未观测区域存在多种几何上成立的可能补全。神经辐射场与高斯泼溅等传统方法严重依赖稠密姿态输入和繁琐的逐场景迭代优化；前馈泛化重建方法（如 pixelsplat、DepthSplat）虽然实现了前馈推断，却只能在已有观测视锥的交集内插值，在面对严重遮挡或宽基线外推时会灾难性退化；基于视频扩散生成的方案（如 Gen3R、ReconX）则严重受限于固定的相机运动轨迹假设，且往往缺乏显式三维几何先验，生成的新视角容易出现多视角漂移与几何塌缩。
随着 VGGT 等视觉几何基础模型的涌现，学术界迎来了从未标定图像集合中端到端联合推导稠密几何与相机外参的新范式。但这类几何大模型本身属于确定性前馈网络，无法对观测之外的不确定未见区域进行概率性补全。若将流匹配或扩散模型直接作用于几何大模型的潜在表示，高维潜空间中潜藏的几何约束会导致欧氏空间下的生成过程彻底崩溃。
本文深入剖析了这一崩溃的几何根源：VGGT 编码器特征在送入解码头前必须经历多层归一化（LayerNorm），这使得其特征向量并非充斥在平坦的欧氏空间中，而是严格分布在由四个零均值超球面笛卡尔积构成的紧致黎曼流形上。平直欧氏空间的流动路径会穿过流形内部近乎零概率密度的非物理空洞，诱发严重的模式塌缩。核心 idea：直接在几何基础模型 VGGT 的潜在乘积超球面流形上构建条件黎曼流匹配模型，并结合相机姿态与上下文特征交叉注意力引导，在保留底层几何大模型强大 3D 几何先验的同时实现任意稀疏视角下的概率性三维场景外推与新视角合成。
方法详解¶
整体框架¶
本文框架接收任意数量（甚至仅需单张）未标定姿态的上下文 RGB 图像 \(c=\{c^{(1)},\dots,c^{(N)}\}\) 以及目标相机相对位姿 \(\pi \in SE(3)\)，目标是生成与已有观测高度自洽的目标视点潜在特征 \(x_1\)。整个流水线由预训练冻结的 VGGT 编码器、条件黎曼流匹配生成主干网络、冻结的 VGGT DPT 点图/深度解码头，以及一个专门训练的轻量级 RGB 解码头协同构成。
首先，冻结的 VGGT 编码器提取各上下文视角的潜在 token 作为上下文特征；随后，从四元超球面乘积流形的均匀测度中采样初始切向噪声，以相对相机姿态编码作为空间条件，通过黎曼流匹配网络在切空间中预测沿测地线前行的速度矢量；接着，借助黎曼欧拉求解器将特征严格约束在流形表面积分演化，还原出目标视角的特征表示；最后，将生成的潜在特征直接分发给冻结的几何解码头还原稠密点云与深度图，同时经由优化的 RGB 头渲染出高保真像素图像。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：稀疏未标定上下文图像 + 目标相机位姿"] --> B["冻结 VGGT 编码器<br/>抽取多尺度归一化潜空间特征"]
B --> C["四元超球面流形上的条件黎曼流匹配<br/>在零均值超球面乘积流形上沿测地线积分"]
C --> D["相机位姿与上下文交叉注意力引导<br/>ProPE 注入相对姿态，RoPE 建模空间结构"]
D --> E["双路解耦几何与纹理渲染<br/>冻结 DPT 头解码点图/深度 + 增强 RGB 头预测像素"]
E --> F["输出：几何一致的3D点云与高保真新视角图像"]关键设计¶
1. 潜在超球面乘积流形建模：揭示特征内在约束消除欧氏坍缩
现有潜在生成工作通常武断地将隐变量视为标准各向同性欧氏高斯噪声，但在几何基础模型中，潜在特征由深层自注意力和交叉注意力的第 4、11、17、23 层输出拼接而成，每个 token 的特征维度为 \(4C\)（其中通道数 \(C=2048\)），隐空间高达 8192 维。由于这些多尺度特征在送往后端解码器前均通过独立的 LayerNorm 处理，均值被中心化为零（正交投影至零均值超平面 \(H=\{z\in\mathbb{R}^C : \langle\mathbf{1}, z\rangle=0\}\)），并被放缩至固定模长 \(\sqrt{C}\)。这意味着特征严格约束在嵌入于超平面 \(H\) 内的超球面 \(\mathcal{S}^{C-2}\) 上： $\(\mathcal{S}^{C-2} = \left\{ x \in \mathbb{R}^C : \|x\|_2 = \sqrt{C}, \; \langle\mathbf{1}, x\rangle = 0 \right\}\)$ 全特征空间由 4 个独立的超球面构成笛卡尔积流形 \(\mathcal{M} = (\mathcal{S}^{C-2})^4\)。若使用传统欧氏流匹配，线性的向量场积分必然会强行穿过这四个超球面内部的低密度“非流形”空洞区域，导致生成特征无法匹配冻结解码头的输入分布而崩溃。本文将每一块独立缩放至单位球面，在分块单位超球面的乘积流形上定义测地线插值，确保生成路径上的每一处潜在特征均精确落在流形曲面上。
2. 条件黎曼流匹配与平行移动目标：规避极点除零风险
为利用上下文特征 \(c\) 与目标相机位姿 \(\pi\) 条件化生成目标特征，模型将条件概率路径建立在流形测地线上。在以单位超球面为因子的乘积流形 \(\mathcal{M}\) 上，切空间由与基点正交且满足零均值的向量张成。对于点 \(x\) 与目标点 \(y\)，流形上的对数映射定义了测地线初始速度： $\(\mathrm{Log}_x(y) = \frac{\theta}{\sin\theta}(y - \langle x, y\rangle x), \quad \theta = \arccos(\langle x, y\rangle)\)$ 指数映射则负责将切向量投回流形曲面： $\(\mathrm{Exp}_x(v) = \cos(\|v\|)x + \frac{\sin(\|v\|)}{\|v\|}v\)$ 针对理论条件向量场 \(u_t(x_t \mid x_1) = \frac{1}{1-t}\mathrm{Log}_{x_t}(x_1)\) 在 \(t \to 1\) 极点处除以 \(1-t\) 会发生数值不稳定的严重痛点，本文采用切向量沿测地线的平行移动形式重构训练目标： $\(u_t(x_t \mid x_1) = P_{x_0 \to x_t}\left(\mathrm{Log}_{x_0}(x_1)\right)\)$ 这保证了在整条常速测地线上切向量模长守恒等于测地线距离 \(d_g(x_0, x_1)\)，在数值实现中彻底消除了 \(t \to 1\) 时的奇点发散风险。在推理时，模型采用黎曼欧拉求解器沿指数映射离散步进： $\(x_{t+\Delta t} = \mathrm{Exp}_{x_t}\left(\Delta t \cdot \tilde{v}_w(x_t, t)\right)\)$ 通过切空间正交投影 \(\Pi_{x_t}\) 与零均值投影算子，杜绝了数值漂移。
3. 相对位姿显式解耦与上下文交叉注意力网络：打破连续轨迹束缚
传统基于视频扩散模型的三维生成方法（如 Gen3R）将相机位姿强行绑定在连续的视频时空注意力上，既要求密集的连续轨迹中间帧，又必须依赖固定的双向插值。本文专门设计了约 50M 参数量的紧凑流匹配 Transformer。每个分块的球坐标 token 首先经线性层映射并聚合成 512 维隐变量，网络主体交替堆叠自注意力（SA）与交叉注意力（CA）层。在自注意力层中，利用旋转位置编码（RoPE）强化视点内的空间拓扑，并通过 AdaLN 注入扩散时间步 \(t\)；在交叉注意力层中，生成的隐变量作为 Query，而任意数量、无序输入的上下文 tokens 作为 Key 和 Value，并直接将相对相机外参 \(\pi\) 通过投影相对位置编码（ProPE）注入到交叉注意力机制中。这种设计彻底摆脱了时间序列序列化假设，使其能够灵活支持单视角、两视角乃至任意无序多视角输入。
4. 结构抗失真 RGB 解码器与分布微调：填补几何大模型颜色空缺
VGGT 本身仅输出相对几何（深度图与点图），缺乏 RGB 解码能力。若直接引入标准 DPT 结构会产生显著的棋盘格混叠伪影与模糊。本文从三个维度对 DPT 架构进行重构：将最粗尺度的单级 \(4\times\) 双线性上采样拆解为两级级联的 \(2\times\) 双线性上采样串联 \(3\times3\) 卷积，避免大跨度插值无法被单层卷积平滑；将输出层 \(1\times1\) 卷积替换为带有空间感受野的 \(3\times3\) 卷积以恢复细微纹理；完全移除输出层重叠叠加的 UV 位置编码，根除周期性棋盘格伪影。此外，针对推理时由流模型生成的隐变量与 Ground Truth 隐变量之间的微小分布偏移，在端到端预训练后，额外引入 1k 步的混合分布微调（按 50% 比例混合同步来自真实 VGGT 特征与流生成特征），显著增强了解码器对流形生成噪声的鲁棒性。
损失函数 / 训练策略¶
训练时，条件黎曼流匹配目标在超球面乘积流形诱导的黎曼度量下优化预测速度场与测地线目标场的均方误差： $\(\mathcal{L}_{\mathrm{RCFM}}^{\mathrm{cond}} = \mathbb{E}_{t, p(x_0), p(x_1, c, \pi)} \left[ \left\| v_w(x_t, t, c, \pi) - u_t(x_t \mid x_1) \right\|_{g_{x_t}}^2 \right]\)$ 在时间采样上，摒弃标准均匀分布，采用非对称偏置变换：先采样 \(\tau \sim \mathcal{U}(0,1)\)，再通过偏移公式 \(t = \frac{\tau}{\tau + s(1-\tau)}\)（取 \(s=6.0\)）将更多监督权重集中于高噪声区域（\(t=0\) 端），引导网络在早期快速形成正确的全局几何拓扑。RGB 头则使用像素级 \(\mathcal{L}_1\)、感知损失 LPIPS 与多尺度结构相似性损失加权训练：\(\mathcal{L}_{\mathrm{rgb}} = 1.0\mathcal{L}_1 + 0.3\mathrm{LPIPS} + 0.1(1-\text{MS-SSIM})\)。
实验关键数据¶
主实验¶
评估在 ScanNet++（复杂室内大幅度运动场景）、RealEstate10K（前向平滑大尺度室内外场景）以及分布外测试集 ETH3D（空间尺度约超 ScanNet++ 7 倍的大型场景）上展开。基线选取前馈高斯泼溅代表方法 DepthSplat 与基于 VGGT+视频扩散的代表方法 Gen3R。
表 1：ScanNet++ 新视角深度估计与生成质量评测（可见区域评估几何精度，未见区域评估生成 FID）
| 设置 | 上下文数 \(N\) | 方法 | RMSE ↓ | ARel ↓ | \(\delta<1.25\) ↑ | 区域 FID ↓ |
|---|---|---|---|---|---|---|
| 单侧观测（高重叠） | \(N=1\) | Gen3R | 0.341 | 0.207 | 0.744 | 55.13 |
| 单侧观测（高重叠） | \(N=1\) | Ours | 0.197 | 0.107 | 0.899 | 47.89 |
| 单侧观测（高重叠） | \(N=4\) | DepthSplat | 0.441 | 0.249 | 0.634 | 32.99 |
| 单侧观测（高重叠） | \(N=4\) | Ours | 0.191 | 0.085 | 0.924 | 24.13 |
| 单侧观测（低重叠） | \(N=1\) | Gen3R | 0.461 | 0.235 | 0.633 | 65.37 |
| 单侧观测（低重叠） | \(N=1\) | Ours | 0.283 | 0.130 | 0.841 | 57.95 |
| 单侧观测（低重叠） | \(N=4\) | DepthSplat | 0.536 | 0.289 | 0.581 | 48.83 |
| 单侧观测（低重叠） | \(N=4\) | Ours | 0.275 | 0.118 | 0.857 | 45.31 |
| 双侧插值（高重叠） | \(N=2\) | Gen3R | 0.303 | 0.159 | 0.818 | 27.10 |
| 双侧插值（高重叠） | \(N=2\) | Ours | 0.202 | 0.085 | 0.913 | 23.47 |
| 双侧插值（低重叠） | \(N=4\) | DepthSplat | 0.453 | 0.263 | 0.607 | 35.73 |
| 双侧插值（低重叠） | \(N=4\) | Ours | 0.208 | 0.089 | 0.911 | 25.41 |
表 2：3D 稠密点云重建与外推质量（融合上下文与生成帧后计算 Chamfer 距离与尺度归一化相对误差）
| 数据集 | 方法 | 准确率 (Acc, cm) ↓ | 完整度 (Comp, cm) ↓ | 倒角距离 (Chamfer, cm) ↓ | 相对误差 (Rel%) ↓ |
|---|---|---|---|---|---|
| ScanNet++ | Gen3R | 17.31 | 22.74 | 20.03 | 2.756 |
| ScanNet++ | Ours | 11.33 | 11.07 | 11.20 | 1.471 |
| ETH3D (OOD) | Gen3R | 171.5 | 183.8 | 177.7 | 8.560 |
| ETH3D (OOD) | Ours | 56.67 | 36.06 | 46.37 | 1.233 |
消融实验¶
消融实验深入验证了超球面黎曼几何与欧氏流动的本质差异，以及网络预测目标与推理步数对结果的影响。
表 3：欧氏流匹配与黎曼流匹配在 ScanNet++（双侧 \(N=2\)，高重叠）上的对比
| 流模型流形设定 | 预测目标形式 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | RGB FID ↓ | RMSE ↓ | ARel ↓ | \(\delta<1.25\) ↑ | 深度 FID ↓ |
|---|---|---|---|---|---|---|---|---|---|
| 欧氏流匹配 (Euclidean) | 速度预测 (\(v\)-pred) | 16.20 | 0.585 | 0.235 | 61.24 | 0.225 | 0.100 | 0.902 | 33.48 |
| 欧氏流匹配 (Euclidean) | 端点预测 (\(x\)-pred) | 15.72 | 0.584 | 0.236 | 51.29 | 0.270 | 0.133 | 0.855 | 34.17 |
| 黎曼流匹配 (Ours) | 速度预测 (\(v\)-pred) | 17.93 | 0.658 | 0.164 | 47.12 | 0.205 | 0.087 | 0.910 | 31.05 |
| 黎曼流匹配 (Ours) | 端点预测 (\(x\)-pred) | 18.12 | 0.661 | 0.163 | 47.50 | 0.202 | 0.085 | 0.913 | 31.15 |
关键发现¶
- 黎曼流形结构是消除模式塌缩的关键：当替换为欧氏流匹配时，外观质量发生断崖式下跌，LPIPS 恶化约 44%，RGB FID 恶化 29%，几何 RMSE 恶化 11%~18%。这强力佐证了高维 LayerNorm 特征必须在几何流形约束下生成，否则特征穿过低概率空洞将彻底失效。
- 大位姿运动与宽基线下的几何超强鲁棒性：从高重叠切换到低重叠时，DepthSplat 的 \(\delta<1.25\) 指标下降 14.9%，Gen3R 下降 18.1%，而本文仅下降 7.3%。这表明直接生成几何大模型特征能够深度保留其预训练所赋予的三维物理先验，在稀疏极端视角下依然保持深度自洽。
- 跨场景泛化与 OOD 鲁棒性显著超越视频扩散：在体量扩大 7 倍且完全未参与训练的 ETH3D 数据集上，Gen3R 的倒角距离高达 177.7cm（相对误差 8.56%），出现严重的视锥扭曲和尺度漂移；本文 Chamfer 距离大幅压缩至 46.37cm（相对误差仅 1.233%），展现出底层几何流形建模卓越的域迁移能力。
- 高效推断步数收敛：得益于黎曼流形上平滑的最短测地线流动，仅需 20 步黎曼欧拉积分即可达到最优的几何与外观平衡，单张推理时间仅约 0.88 秒（RTX A6000），无需视频生成模型动辄数十步的繁重循环。
亮点与洞察¶
- 严格还原特征内生流形：不同于以往将潜在向量直接当作欧氏高斯的粗暴做法，本文严格从 LayerNorm 的数学机制切入，推导出特征所处的四元超球面乘积流形 \(\mathcal{M}=(\mathcal{S}^{C-2})^4\)，利用黎曼几何理论完美闭合了生成分布与几何解码头的特征分布鸿沟。
- 以平行移动规避极点发散：在条件流匹配目标中巧妙运用测地线上的平行移动算子替换对数映射的有限差分，在保持几何物理含义一致的同时完全消除了分母为零时的数值崩溃现象。
- 打破连续轨迹序列化依赖：相比于基于视频扩散的场景外推（必须生成一整段带有平滑过渡的相机轨迹），本文直接将相机姿态作为交叉注意力查询信号，仅需输入目标相对位姿即可单步生成任意方向的未见视角，极大地拓展了具身探索的自由度。
局限与展望¶
- 单视角独立生成时的全局一致性：当前模型一次仅生成单一目标视角，虽然与上下文联合解码的三维点云整体上保持连贯，但在极端稀疏输入下，若连续独立生成多幅距离较远的视点，视角之间可能存在细微的几何未对齐。未来可扩展至多视点联合多流形流匹配生成。
- RGB 与几何的轻微表征失衡：由于 VGGT 预训练权重的底层特征专门针对几何对应与深度图优化，在外观纹理（尤其高频精细纹理）的恢复上主要依赖后续附加的 RGB 头，这使得在密集高质量观测下，其纯外观指标略逊于直接在多视角颜色图像上过拟合的显式 3DGS 方案。
相关工作与启发¶
- vs Gen3R: Gen3R 同样试图利用 VGGT 提取的特征，但它忽略了隐空间的黎曼流形结构，强行将 VGGT 向量映射至预训练视频生成模型（Video LDM）的欧氏潜空间中，导致其必须依赖复杂的 49 帧虚拟插值相机轨迹并饱受视频时间退化之苦；本文直接在 VGGT 原生乘积超球面流形上做流匹配，架构极其精简（仅 50M），无需轨迹中间帧，生成几何一致性更强。
- vs DepthSplat: DepthSplat 依靠直接预测 3D 高斯与几何深度，属于完全确定性的前馈重建模型，至少需要两幅重叠姿态图；当目标视角脱离输入视锥或出现严重遮挡时，DepthSplat 无法像本文一样概率性“脑补”出逼真的几何与外观结构，且单视角下完全无法工作。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示几何大模型潜在空间的乘积超球面流形特性，并将黎曼流匹配成功应用于 3D 几何与场景生成。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 ScanNet++、RE10K 与 ETH3D，深入拆解了看见与未看见区域的严格评测指标，消融实验设计完备扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 几何理论推导严密流畅，数学表述与物理直觉结合紧密，实验分析客观透彻。
- 价值: ⭐⭐⭐⭐⭐ 为打通确定性 3D 几何基础模型与生成式 3D 世界模型提供了一条极具优雅性与通用性的全新范式。