FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry¶
会议: ECCV2026
论文: ECCV 原文
项目: FoundationGeo
领域: 3D 视觉
关键词: 单目深度估计、度量几何、像素尺度场、射线方向校正、焦距覆盖
一句话总结¶
FoundationGeo 先学习高质量相对点图，再用像素尺度场和射线方向校正恢复真实尺度，并以焦距多样化合成数据补齐相机分布，在七个零样本度量深度基准上取得平均 AbsRel 14.8%、\(\delta_1\) 80.8%。
研究背景与动机¶
单张 RGB 图像可以提供丰富的形状和遮挡线索，却不能唯一确定物体的真实尺寸与距离。相对深度模型因此已经能生成清晰的轮廓和合理的前后关系，但这种几何仍带有尺度与偏移歧义，不能直接用于测量。度量深度方法需要进一步利用相机和场景先验，把这种相对结构转换成具有物理单位的几何。
MoGe-2 展示了一个有效起点：保留强大的相对几何预测器，只学习图像级尺度。然而，FoundationGeo 的图 2 指出，尺度误差不一定在整幅图像上相同；把最优尺度拟合从大块逐步缩小到像素，误差持续降低。另一个独立问题是射线方向偏差：即使把点到相机的距离调对，点仍可能落在错误的方向上。单一尺度既不能局部伸缩，也不能旋转射线。
解决图像内部的这两类误差后，还要面对训练相机与测试相机的分布差异。更多训练图像并不自动意味着覆盖更多焦距，模型可能依旧依赖偏置的隐式相机先验。核心 idea：先学好相对形状，再分别校准局部尺度和射线方向，同时按缺失焦距区间补充训练数据，把图像内几何误差与跨相机分布误差分开处理。
方法详解¶
整体框架¶
输入只有单张 RGB 图像，推理时不要求真实相机内参。第一阶段的 DINOv3 初始化 ViT-Large 与轻量上采样卷积解码器预测仿射不变点图和有效性掩码；第二阶段继承其权重，增加两个轻量空间场输出，先调整射线方向，再逐像素缩放，得到度量点图，进一步导出深度与表面法向。
焦距覆盖增强是第二阶段的数据设计，不是测试时读取焦距的额外输入。第二阶段也不是冻结相对分支后拟合几个标量，而是继续联合优化主干与预测头，并保留相对几何监督，防止度量微调破坏原来的局部结构。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["单张 RGB 图像"] --> B["相对几何底座"]
B --> C["射线方向校正"]
C --> D["像素尺度校准"]
D --> E["度量点图<br/>深度与表面法向"]
F["焦距覆盖增强"] -.->|第二阶段训练| C
F -.->|第二阶段训练| D关键设计¶
1. 相对几何底座：先把全局结构和细节学可靠
相对分支不急于回归真实尺度，而是在尺度与偏移可对齐的条件下学习点图。全局对齐损失约束场景布局，多尺度局部块损失保留边缘和高频结构，表面法向一致性约束表面形状，有效性掩码损失处理不可靠区域。边缘损失只在细节丰富的数据集上启用，避免把低质量边界标注同等地强加给所有数据。
编码器不同层级的特征通过逐元素求和融合，让卷积解码器同时得到语义与局部信息。这里的重点不是增加一个庞大解码器，而是让后续尺度校准有可靠的形状可继承；若相对点图已经把物体边界抹平，乘一个尺度场也无法凭空恢复边界。
训练语料覆盖室内、室外、驾驶、合成和开放场景，共 19 个数据集、约 10.2M 帧。作者剔除严重运动模糊和曝光异常的帧、缺少近远排序的俯视图，并按数据集的物理范围裁剪或屏蔽异常深度。表 1 中并非所有数据都具有度量监督，因此相对损失也承担利用异质数据的作用。
2. 射线方向校正：改变方向而保留原始距离
对于每个预测三维点，先把它分成到相机的欧氏距离与单位射线方向。注意这个距离不是相机坐标系的深度分量。模型在垂直于射线的切平面内构建两个正交基，预测两个扰动系数，再用有界的 tanh 映射限制校正幅度。基向量由不接近平行于当前射线的参考轴构造，以避免叉乘退化。
将切向扰动加到单位射线上后重新归一化，再乘回原始距离，就只改变方向、不改变距离。这让方向校正与之后的尺度预测具有明确分工：尺度场负责沿射线远近移动，方向场负责射线朝向。原文第 3.2 节的操作可写为：
其中两个切向基为单位正交向量。训练还约束预测射线与真实射线的夹角，并惩罚不必要的校正幅度；论文采用二次惩罚，即 \(q=2\)。这比直接任意修改三维坐标更能限制方向分支的自由度，但并不保证所有数据集的深度指标都会提高。
3. 像素尺度校准：用直接监督约束局部伸缩
尺度输出块读取共享点图分支特征，为每个像素预测一个尺度，而不是整幅图像共用一个数。最终度量点等于方向校正后的相对点乘以该像素的预测尺度。局部尺度能处理不同区域不一致的缩放误差，但也带来辨识问题：如果只监督最后的度量点，点图分支和尺度分支可能互相补偿，谁在学习形状、谁在学习尺度变得不清楚。
为此，作者用真实点在方向校正后预测点上的最小二乘投影构造尺度训练目标，并把目标裁剪到物理范围内，在对数域施加 Huber 监督。下面的闭式解用于训练时生成监督目标，不是在推理时利用真实点求尺度：
这里的 \(\mathbf p_i\) 为真实三维点。联合度量回归仍对最终预测点施加按真实深度倒数加权的 L1 损失，因此近距离几何获得更高权重。场级监督则把尺度和方向的职责单独固定下来，减少只用最终点误差造成的角色混淆。
4. 焦距覆盖增强：补相机分布缺口而非盲目扩容
作者统计训练集最常见的 50 个焦距值，发现部分测试集落在训练覆盖不足的约 1000–1373 px 区间。单目外观、深度和焦距耦合，模型即使不显式读取内参，也会从训练数据学到隐式焦距先验；测试镜头落到先验之外时，就容易产生系统性的过缩放或欠缩放。
Blender 数据引擎在 7 个室内外场景中生成 23,700 张图像，针对缺失焦距区间均匀变化焦距，并将它们用于度量训练。为了区分“合成图像本身有用”与“焦距多样性有用”，作者保持场景和相机轨迹一致，比较多焦距版本与固定 1320 px 焦距版本。后者能改善部分数据集，却使总体平均指标下降，说明相机覆盖比简单增加同类图像更关键。
损失函数 / 训练策略¶
第二阶段保留相对几何损失，叠加最终度量点回归、对数尺度场 Huber 监督、射线夹角 Huber 监督和校正幅度正则。场级损失的有效像素平均使用真实深度倒数作为权重；尺度、射线和幅度正则的权重分别为 0.2、0.1、0.05。
第一阶段训练 55K 次迭代，编码器与解码器初始学习率分别为 \(1\times10^{-5}\)、\(1\times10^{-4}\)，每 20K 次减半。第二阶段训练 20K 次，主干与预测头学习率分别为 \(1\times10^{-6}\)、\(1\times10^{-5}\)；完整训练使用 32 张 NVIDIA H20。两阶段均使用颜色扰动、高斯模糊、JPEG 压缩解压和随机裁剪。
缓存中的部分损失公式存在 PDF 文本抽取损坏，因此此处用可核对的文字描述损失，不猜写 Huber 阈值、尺度裁剪范围或最大方向扰动的具体数值；原文将这些细节指向补充材料。
实验关键数据¶
主实验¶
表 2 的度量评测覆盖 NYUv2、KITTI、ETH3D、iBims-1、DDAD、DIODE、HAMMER 七个未参与训练的数据集；相对深度评测额外包含 Sintel，共八个。相对评测先做全局尺度与偏移对齐，不能将其分数当成真实尺度误差。
AbsRel 是有效像素上 \(|\tilde d-d|/d\) 的平均值；\(\delta_1\) 是满足 \(\max(d/\tilde d,\tilde d/d)<1.25\) 的像素比例。下表两个指标均以百分数呈现，排名越低越好。
| 方法（原文表 2，度量深度） | 七集平均 AbsRel，越低越好 | 七集平均 \(\delta_1\)，越高越好 | 平均排名 |
|---|---|---|---|
| UniDepth V2 | 21.3 | 75.3 | 3.25 |
| DepthPro | 27.6 | 54.4 | 5.36 |
| Metric3D V2，需真实内参 | 18.3 | 73.9 | 不参与排名 |
| MoGe-2 | 15.7 | 76.8 | 2.82 |
| FoundationGeo | 14.8 | 80.8 | 2.32 |
相较 MoGe-2，平均 AbsRel 减少 0.9 个百分点，约为相对下降 5.7%；\(\delta_1\) 增加 4.0 个百分点，约为相对提高 5.2%。Metric3D V2 使用真实内参，仅作参考；原文也将训练重叠的基准结果排除出排名。DA V1/V2 的比较采用各自室内、室外版本中更好的结果，不能理解为只运行单一统一版本。
消融实验¶
原文表 4 使用约 5% 分层训练子集、相同 ViT-Large 和 8 张 H20。单阶段直接训练 40K 次；双阶段为相对训练 20K 次加度量训练 20K 次。此设置不能与完整训练的 14.8/80.8 直接混比。
| 配置（原文表 4） | 七集平均 AbsRel，% | 七集平均 \(\delta_1\)，% |
|---|---|---|
| 单阶段直接预测 | 22.4 | 57.7 |
| 双阶段直接预测 | 19.6 | 65.9 |
| 双阶段 + 全局尺度 | 20.1 | 66.8 |
| 双阶段 + 空间场 | 19.3 | 68.0 |
| 双阶段 + 空间场 + 场级损失 | 18.8 | 69.7 |
下表摘自原文表 5，均为全量数据设置，FGD 指作者渲染的 FoundationGeo 数据。固定焦距与多焦距版本使用相同场景和轨迹。
| 配置（原文表 5） | 七集平均 AbsRel / \(\delta_1\)，% | DIODE AbsRel / \(\delta_1\)，% |
|---|---|---|
| 不使用 FGD | 15.0 / 79.5 | 20.5 / 55.2 |
| 加固定焦距 FGD | 15.3 / 78.9 | 18.5 / 63.9 |
| 加多焦距 FGD，完整模型 | 14.8 / 80.8 | 17.5 / 69.7 |
| MoGe-2 | 15.7 / 76.8 | 17.5 / 66.4 |
| MoGe-2 + FGD | 15.1 / 79.0 | 16.2 / 72.1 |
关键发现¶
- 表 4 中，从单阶段到双阶段直接预测使 \(\delta_1\) 增加 8.2 个百分点；在这条累积比较里，它大于随后空间场或场级损失的增益，但不是完全独立的因素贡献分解。
- 表 6 仅平均 NYUv2、DIODE、DDAD、HAMMER 四集。射线校正使平均角度误差 MaeDeg 从 2.889° 降至 2.355°，误差在 3° 内的像素比例 Pct3° 从 60.5% 升至 71.0%；对应平均 \(\delta_1\) 为 72.8% 到 76.8%。
- 表 2 中 FoundationGeo-Base 的八集相对深度平均 AbsRel / \(\delta_1\) 为 4.87% / 96.0%。表 3 的 313M 参数 Base 模型在 3600 到 6000 tokens 下，HAMMER 边界 F1 从 4.93% 到 5.78%；这不是度量深度准确率。
亮点与洞察¶
- 将点图误差拆成方向与距离有明确几何意义。对射线施加切向有界扰动并恢复原始距离，避免方向校正顺便承担任意缩放。
- 闭式尺度不是替代网络的测试时算法，而是训练监督的来源。它让辅助预测头有直接目标，不必完全依赖最终三维误差间接学习。
- 焦距实验提供了可操作的数据采集依据。同样的场景和轨迹下改变相机覆盖，比单纯扩大数据量更能检验跨相机泛化的瓶颈。
局限与展望¶
- 作者明确指出，多头联合优化可能互相干扰。表 6 中 HAMMER 的射线角度指标改善，但 \(\delta_1\) 从 72.9% 降至 69.6%，不能把方向更准等同于所有场景深度都更准。
- 平均领先不等于逐集领先：表 2 的 ETH3D 度量 AbsRel 为 17.8%，差于 MoGe-2 的 10.4%；NYUv2 也是 10.2% 对 7.33%。优势主要体现为总体表现更均衡。
- 从实验范围看，训练分布与焦距误差的相关性不能排除场景内容、传感器噪声等共同变化因素。控制渲染强化了焦距解释，但 7 个合成场景仍不足以证明任意镜头和畸变条件下可靠。
- 本文不是压缩或轻量部署方法：完整训练需要 32 张 H20，主文未提供完整延迟对照。作者提出未来引入时序或多视图观测，缓解单目歧义并约束跨帧几何一致性。
相关工作与启发¶
- vs MoGe / MoGe-2：继承相对点图与局部几何监督路线，但将图像级尺度拓展为像素尺度和方向校正；FGD 对 MoGe-2 也有效，说明数据贡献不只依赖本文架构。
- vs Metric3D V2：后者在本文对比中需要真实内参，FoundationGeo 推理不要求该输入，而是通过训练覆盖学习隐式相机先验。两者的信息条件不同，不能只看平均分数。
- vs UniDepth / DepthPro：这些方法显式涉及相机参数估计或焦距建模；本文强调相对几何迁移和数据驱动的相机覆盖，提示相机先验可以通过模型设计与数据设计两条路径改善。
评分¶
- 新颖性: 4/5。方向与尺度分工清楚，并把相机分布诊断落实为受控数据增强。
- 实验充分度: 4/5。包含跨域主结果、子集组件消融、全量数据与射线消融，但缺少完整部署评估。
- 写作质量: 4/5。问题拆解清晰；逐集结果比部分概括性“领先”叙述更有边界，应优先以表格判断。
- 价值: 4/5。适合研究相对几何到度量几何迁移，以及相机分布变化下的数据采集策略。