Depth2Pose: A Pose-Based Benchmark for Monocular Depth Estimation without Ground-Truth Depth¶

会议: NeurIPS 2026
arXiv: 2605.19797
OpenReview: https://openreview.net/forum?id=NVZSWCjNVK
代码: https://github.com/kocurvik/depth2pose
领域: 深度、法线与立体
关键词: 单目深度估计, 相对位姿估计, 任务驱动评测, 基准数据集, 无真值深度评测

一句话总结¶

提出了无需真实深度标签的单目深度评测框架 Depth2Pose，利用深度感知几何求解器将相对相机位姿估计精度作为深度质量代理指标，并构建了包含雕塑与植被等分布外挑战场景的 D2P 数据集。

研究背景与动机¶

单目深度估计（Monocular Depth Estimation, MDE）近年来在大模型架构与海量训练数据的推动下取得了显著突破，预测深度被广泛作为下游几何任务（如运动恢复结构 SfM、视觉重定位与 SLAM）的关键先验输入。然而，现有的单目深度模型评测协议依旧高度依赖全局像素级误差指标（如绝对相对误差 AbsRel、均方根误差 RMSE 和阈值准确率 $\delta_1$）。这类标量指标对图像所有区域一视同仁，无法反映深度在下游几何推理中的实际效用——对于位姿解算而言，算法只需在纹理丰富、特征匹配稳定的几何关键区域具备高精度深度即可，无纹理天花板或远景天空处的大误差通常对最终相机位姿几乎没有影响。

另一方面，传统评测基准必须依赖密集的逐像素真实深度，而高精度深度真值获取成本极为高昂，受限于 RGB-D 相机、LiDAR 或多视角立体匹配（MVS）的适用范围，导致现有评测场景主要局限于室内或受控道路环境。由于测试集与训练数据分布高度重叠，社区难以评估深度模型在无约束真实世界（如大尺度室外、植被遮挡、复杂几何）中的真实泛化性能。相比之下，通过成熟的 SfM 管线（如 COLMAP）获取准确的相机外参位姿不仅成本低廉且场景适应性极广。

基于这一洞察，本文跳出“用密集深度真值评估深度”的传统范式，转向“通过下游几何任务成效评估深度质量”。核心 idea：以深度感知相对相机位姿估计作为下游代理任务，用低成本、高可靠的参考位姿取代密集深度真值，构建不依赖真实深度标签的单目深度评测体系与挑战性分布外基准数据集 D2P。

方法详解¶

整体框架¶

Depth2Pose 评测管线由图像对匹配、深度图查询、深度感知相对位姿解算以及位姿误差度量四个主要阶段构成。给定具有视觉重叠的图像对，管线首先利用学习型特征提取与匹配器获取二维特征对应点；接着在被测 MDE 模型生成的单目深度图中索引对应位置的深度值，并剔除无效估计；随后将带有深度先验的对应点送入鲁棒几何求解器计算相对相机变换矩阵；最后将估计位姿与 COLMAP 生成的高精度参考位姿进行比对，以位姿精度的累积曲线下面积作为深度质量的量化代理得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入立体视差图像对<br/>重叠度 ≥ 10%"] --> B["特征匹配与深度采样<br/>提取2D匹配并查询被测MDE深度"]
    B --> C["深度感知位姿求解<br/>双误差配置：杂合求解器 H 与直接投影求解器 R"]
    C --> D["位姿误差评估<br/>计算旋转/平移偏差与 mAA(10°) 曲线面积"]
    D --> E["任务驱动深度质量评分<br/>反映几何关键区域效用与域外泛化性"]

关键设计¶

1. 几何导向的深度采样与过滤：剔除退化点并锚定几何关键区域

传统指标对全图所有有效像素求平均，稀释了特征点区域的几何权重。Depth2Pose 首先采用先进的特征匹配方法（主实验采用 LoMa，附录对比 SuperPoint + LightGlue）提取最多 2048 对关键点匹配对，在保持原生或长边 1024 分辨率下完成空间关联。对被测单目深度模型输出的深度图，采用最近邻插值采样匹配位置处的深度值。算法严格过滤包含 NaN、无穷大、负数或零的无效深度估计点。这种基于关键点采样的机制天然地将评估焦点聚集在对下游多视角几何起决定性作用的区域，自动规避了无纹理和无匹配前景的全局平均偏差。

2. 隔离深度的双轨鲁棒位姿求解机制：权衡解算稳定性与深度敏感度

为了探究单目深度对几何求解的不同影响机制，评测框架基于 PoseLib 与 LO-RANSAC 实现了两套具有不同几何约束假设的求解器配置： - 杂合误差求解器（$\mathsf{H}$）：采用标定尺度的 P3P 极小求解器。在 RANSAC 采样打分阶段采用仅依赖二维极线几何的 Sampson 误差，在局部优化（LO）与光束法平差（BA）阶段联合使用 Sampson 误差与对称重投影误差（Symmetric Reprojection Error），损失函数采用截断柯西核（Truncated Cauchy Loss）。$\mathsf{H}$ 求解器代表了现代 SfM/SLAM 系统的最佳工程实践，位姿解算更稳健，反映深度作为辅助先验时的综合下游性能。 - 直接对称重投影求解器（$\mathsf{R}$）：在 RANSAC 打分和局部优化阶段均严格仅使用对称重投影误差。由于 Sampson 误差只约束二维对极几何、可能在一定程度上掩盖劣质深度带来的几何畸变，$\mathsf{R}$ 求解器将位姿解算严格绑定在预测深度诱导的三维点重投影一致性上，能够更敏锐、更直接地暴露深度预测的局部形变与误差。

3. 基于参考位姿的旋转平移联合评估指标：对偶阈值与误差累积分布

评测以 COLMAP 重建得到的参考相机位姿为真值基准。对于估计的外参变换 $(\mathbf{R}_{est}, \mathbf{t}_{est})$ 与参考外参 $(\mathbf{R}_{gt}, \mathbf{t}_{gt})$，分别计算测地线旋转角度误差 $e_{\mathbf{R}}$ 与平移方向夹角误差 $e_{\mathbf{t}}$： $$e_{\mathbf{R}}=\arccos\left(\frac{\mathrm{Tr}\left(\mathbf{R}_{est}^{\top}\mathbf{R}_{gt}\right)-1}{2}\right),\qquad e_{\mathbf{t}}=\arccos\left(\frac{\mathbf{t}_{est}\cdot\mathbf{t}_{gt}}{\|\mathbf{t}_{est}\|\|\mathbf{t}_{gt}\|}\right)$$ 单对图像的综合相对位姿误差定义为两者最大值 $e_p = \max(e_{\mathbf{R}}, e_{\mathbf{t}})$。为了全面刻画模型在不同容差要求下的精度分布，采用宽基线匹配评测标准协议，计算在 $10^\circ$ 阈值范围内的归一化累积分布曲线下面积，即平均精确度均值 $\mathrm{mAA}(10^\circ)$。该指标对尺度模糊具有不变性，使得度量与仿射不变深度的几何质量可以直接在统一体系下公正比较。

4. D2P 真实分布外基准数据集构建：攻克主动传感器无法采集的几何盲区

为摆脱传统数据集对 RGB-D 和 LiDAR 传感器的依赖，本文利用消费级设备（Google Pixel 9、iPhone 14/15/16 Pro、GoPro）采集并开源了包含 24 个室外复杂场景、共计 1,942 张图像的 D2P 数据集，划分为两大核心子集： - D2P-Statues（12 个场景）：公共空间雕塑，包含悬挂在建筑物间、立于水面等难以架设立体传感器的场景，具备复杂的有机非对称轮廓与非常规比例结构。 - D2P-Vegetation（12 个场景）：包含树木、灌木丛、树枝细节与密集落叶，涵盖环绕观测与大范围前向运动。植物细小枝叶频繁造成遮挡与深度断裂，且容易造成主动激光雷达光束穿透或吸收，是传统深度真值采集的禁区。

所有场景固定焦距并以 1 FPS 抽帧，使用 COLMAP 结合针对性特征（植被使用 ALIKED + LightGlue，雕塑使用 SIFT）完成高精度重建，剔除重投影误差大于 1 像素的不稳定图像，并使用 easy-anon 对人脸与行人做隐私脱敏，生成可靠的伪真值（pGT）位姿。

实验关键数据¶

主实验¶

在四大传统深度评测基准（ETH3D、ScanNet++、Sintel、LaMAR）以及新建的 D2P 数据集上，采用 LoMa 匹配器对主流单目深度模型（包含代表性骨干网络及是否在推理时提供内参 $\mathbf{K}$）进行了全面对比。

模型	内参 $\mathbf{K}$	传统基准 $\delta_1 \uparrow$	传统基准 AbsRel $\downarrow$	传统基准 $\mathrm{mAA}(10^\circ) (\mathsf{H}) \uparrow$	传统基准 $\mathrm{mAA}(10^\circ) (\mathsf{R}) \uparrow$	D2P均值 $\mathrm{mAA}(10^\circ) (\mathsf{H}) \uparrow$	D2P-雕塑 $\mathrm{mAA}(10^\circ) (\mathsf{H}) \uparrow$	D2P-植被 $\mathrm{mAA}(10^\circ) (\mathsf{H}) \uparrow$
MoGeV2-L	✓	90.59	119.45	82.65	72.22	75.02	83.66	72.93
MoGeV1-L	✓	89.78	110.47	81.35	70.79	76.62	86.39	76.63
Metric3DV2-G	✓	89.71	110.34	80.97	66.38	74.32	82.15	71.84
UniK3D-L	✓	89.09	114.37	81.27	71.59	76.81	82.72	79.95
UniDepth2-L	✓	88.78	112.88	82.25	71.37	76.47	81.80	79.57
Pi3-L	✓	87.86	110.24	82.01	71.16	78.26	86.27	76.50
DAv3-Metric-L	✗	86.78	112.26	80.17	64.68	72.74	79.22	75.66
UniDepth1-L	✓	86.53	113.31	79.53	61.64	75.07	80.93	77.35
DepthPro-L	✗	86.36	208.04	79.66	61.85	74.86	76.91	79.09
MapAnything-G	✓	84.66	115.87	77.46	63.20	75.15	81.31	77.43
DAv3-Mono-L	✗	73.56	119.03	70.33	49.07	50.21	54.35	74.98
DepthAnythingV2-B	✗	60.53	102.49	56.48	30.61	46.22	51.53	69.28
无深度纯几何基准 ($\mathsf{B}$)	✓	-	-	84.01	-	82.34	88.78	86.31
真实三维三角化深度 (GT)	✓	-	-	90.70	93.73	93.39	95.80	94.53

消融与求解器对比实验¶

评估在标定求解设置下不同求解器假设（尺度不变 $\mathsf{H}, \mathsf{R}$ 对比仿射不变 $\mathsf{H}_a, \mathsf{R}_a$）在传统基准上的位姿求解性能差异（使用 LoMa 特征点）：

模型	内参 $\mathbf{K}$	$\delta_1 \uparrow$	$\delta_1^{ai} \uparrow$	$\mathrm{mAA}(10^\circ)(\mathsf{H}) \uparrow$	$\mathrm{mAA}(10^\circ)(\mathsf{R}) \uparrow$	$\mathrm{mAA}(10^\circ)(\mathsf{H}_a) \uparrow$	$\mathrm{mAA}(10^\circ)(\mathsf{R}_a) \uparrow$
MoGeV2-L	✓	90.59	89.22	82.65	72.22	83.45	72.75
MoGeV1-L	✓	89.78	89.04	81.35	70.79	82.82	71.60
Metric3DV2-G	✓	89.71	88.58	80.97	66.38	82.50	68.81
UniK3D-L	✓	89.09	85.11	81.27	71.59	83.43	74.05
UniDepth2-L	✓	88.78	85.89	82.25	71.37	83.45	74.68
Pi3-L	✓	87.86	87.97	82.01	71.16	83.05	73.47
DepthPro-L	✗	86.36	89.65	79.66	61.85	82.69	69.83

关键发现¶

传统指标与位姿精度的脱节：在传统基准上 $\delta_1$ 与 $\mathrm{mAA}(10^\circ)$ 呈现全局相关性，但在高精度区间（如 $\delta_1 > 88\%$）像素准确率的提升无法进一步转化为位姿增益。例如 Pi3-L 的 $\delta_1$ 为 87.86%，明显落后于 MoGeV2-L（90.59%），但其位姿精度 $\mathrm{mAA}(10^\circ)(\mathsf{H})$（82.01）与 MoGeV2-L（82.65）几乎相当。误差多集中在缺乏几何特征的天花板或墙面，根本不参与位姿求解。
严重的域外泛化鸿沟：在传统基准上名列前茅的模型在 D2P 数据集上发生排名洗牌。MoGeV2-L 在传统基准上位姿位列第一，但在 D2P-Vegetation 场景下仅取得 72.93，反而被传统基准倒数第二的 DAv3-Mono-L（74.98）反超；Pi3-L 与 UniK3D-L 在 D2P-Vegetation 上展现了更强的抗遮挡鲁棒性（分别达到 76.50 与 79.95）。
当前单目深度尚无法全面超越无深度基准：无深度信息的纯五点法几何基准（$\mathsf{B}$）在 D2P 上的 $\mathrm{mAA}(10^\circ)$ 达到 82.34（植被场景为 86.31），明显高于当前所有 MDE 模型的预测值（均在 72~79 之间）。这表明当前 MDE 预测的深度存在局部变形和尺度漂移，作为几何约束引入时反倒引入了噪声。相比之下，GT 深度将位姿精度大幅推升至 93.73，证实未来高质量 MDE 仍有巨大的潜在收益空间。

亮点与洞察¶

以位姿代深度的评测范式转换：巧妙利用 SfM 重建位姿的易获取性，打破了单目深度评测必须依赖密集真值深度的硬件桎梏，使得室外广阔空间和非结构化复杂自然场景的大规模自动化评测成为可能。
解耦特征区域与背景区域的有效性评估：传统全局聚合指标掩盖了关键几何特征区域的误差贡献，而深度感知求解器天然赋予了高可信对应点几何权重，使指标直接与实际三维视觉应用性能挂钩。
双求解器设计的诊断价值：$\mathsf{H}$ 与 $\mathsf{R}$ 的对比提供了深度的“几何遮蔽分析”——$\mathsf{H}$ 评估下游应用容错上限，而 $\mathsf{R}$ 剥离了对极几何的保护罩，严苛检验深度本身的几何保真度。

局限与展望¶

依赖 SfM 可行性：评测框架要求场景必须能被 COLMAP 等 SfM 管线准确重建，在动态移动物体密集、极端低纹理或纯旋转退化运动场景下无法建立位姿基准。
对无特征区域深度质量盲目：框架仅能评估存在特征匹配的区域，如果模型在镜面、反光玻璃等无法提取特征的区域深度发生严重崩溃，该指标无法有效侦测。
绝对尺度的评测局限：由于相对位姿估计存在场景尺度的规范化模糊（Scale Ambiguity），该框架更侧重于局部几何结构与相对深度比例的保真度，无法精确评估绝对米制尺度的偏差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了依赖密集真值深度的传统评测思路，构建了优雅、低成本的任务驱动代理评估闭环。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10+ 款主流 SOTA 单目深度模型与多款特征匹配器，覆盖传统基准与新构建的 24 场景 D2P 数据集。
写作质量: ⭐⭐⭐⭐⭐ 动机严密，逻辑推进自然，求解器数学推导与实验洞察详实透彻。
价值: ⭐⭐⭐⭐⭐ 为单目深度估计领域提供了极低获取成本、具备泛化诊断能力的新一代评测基础设施。