Metric Depth Estimation from Arbitrarily Degraded Low-Resolution Depth Prompts¶

会议: NeurIPS 2026
arXiv: 2602.09510
论文: https://arxiv.org/abs/2602.09510
代码: https://github.com/w2kun/AdaDS
领域: 深度、法线与立体
关键词: 度量深度估计, 深度超分辨率, 扩散模型, 自适应采样, 不确定性估计

一句话总结¶

针对低成本测距传感器获取的深度提示常伴随多变退化的问题，AdaDS 利用前向扩散的高斯平滑收缩特性，基于两阶段校准的不确定性自适应选择加噪时间步，并通过轻量采样网络将中间潜变量投射至预训练扩散先验的高密度区域，实现单步去噪恢复高精度度量深度。

研究背景与动机¶

单目深度估计是三维视觉与具身感知的基础任务，但纯单目估计因缺乏绝对物理尺度参考，始终面临几何与尺度的固有二义性。在实际工程与消费级应用中，低成本距离传感器（如飞行时间 ToF 相机、结构光传感器）能够提供宝贵但低分辨率且粗糙的绝对度量深度线索。受此启发，结合单张 RGB 图像语义与低分辨率（LR）深度提示来估计高分辨率度量深度的任务，逐渐超越了传统的深度超分辨率（Depth Super-Resolution, DSR）设定。传统 DSR 通常将低分辨率深度图视作准确无误的地面真值降采样结果，重点在于恢复高频几何边缘；而在真实物理开放场景中，硬件受限的传感器采集到的深度提示往往包含复杂的传感器噪声、运动伪影、离散稀疏孔洞、低比特量化以及未知的非均匀退化。

这种真实退化引发了现有方法的核心矛盾：主流的前向确定性回归方法（如 PromptDA、PriorDA、OMNI-DC 等）高度依赖训练阶段所模拟的退化模式，倾向于强制拟合输入的深度提示；一旦遇到未见过的严重退化，提示中的固有噪声与系统误差便会直接穿透并传导至最终预测中，产生严重的几何畸变。另一方面，近期基于生成式扩散模型的深度估计算法（如 Marigold、GeoWizard 等）展现了优异的高保真几何先验，但标准扩散采样依赖全随机高斯噪声作为初始点，缺乏尺度度量约束；而基于测试阶段条件引导优化的扩散深度补全（如 Marigold-DC）又会因对带噪提示的过度一致性约束而放大误差。

面对提示可靠性缺失与生成先验利用之间的结构性冲突，本文的核心切入点在于：扩散模型的前向加噪过程本质上是一个高斯平滑算子，随着噪声水平递增，退化深度与高质量真实深度之间的分布差异会快速收缩并收敛于各向同性高斯先验，但与此同时过量噪声也会擦除输入提示所携带的宝贵度量结构。核心 idea：利用前向扩散过程的高斯平滑收缩特性，通过第一阶段粗校准输出的不确定性自适应权衡“提示保真度”与“先验分布对齐度”以截断时间步，并注入可学习噪声将中间样本精确定位到预训练深度扩散先验的高密度区域，借由强大的生成先验纠正上游残余退化。

方法详解¶

核心机制¶

AdaDS 的理论基石在于前向加噪过程的分布收缩属性（Contraction Property of Gaussian Smoothing）。对于退化的低分辨率深度输入 $\mathbf{d}_{in}$ 及其潜在编码 $\mathbf{z}_{in} = \mathcal{E}_l(\mathbf{d}_{in})$，当对其执行前向加噪过程 $q(\mathbf{z}_t \mid \mathbf{z}_{in})$ 时，其边际分布与真实高质量深度潜变量的前向分布 $q(\mathbf{z}_t \mid \mathbf{z}_d)$ 之间的统计差异会随着累积噪声系数 $\bar{\alpha}_t \to 0$（即时间步 $t \to T$）而指数级衰减，二者均渐进收敛至标准正态分布 $\mathcal{N}(\mathbf{0}, \mathbf{I})$。这一物理过程意味着：充足的加噪能够抹去低分辨率提示中的退化伪影与结构残差，使得预训练扩散模型能够运用高质量自然深度先验进行重构；但加噪过深则会导致提示中宝贵的绝对米制尺度与宏观拓扑结构彻底丢失。因此，系统必然存在一个唯一的全局最优中间时间步 $\hat{t}$，在保留度量内容与借力扩散先验修复之间达到最佳平衡。

整体框架与流程¶

AdaDS 采用串联解耦的两阶段架构：第一阶段为校准阶段（Calibration Stage），负责融合 RGB 特征与深度提示生成粗略恢复的深度潜变量并估计空间像素级不确定性；第二阶段为采样阶段（Sampling Stage），根据平均不确定性自适应选择最优加噪时间步，并通过紧凑的噪声采样网络构造中间加噪样本，最后输入冻结的 Marigold-LCM 扩散去噪器执行单步去噪生成最终的高分辨率度量深度。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    InRGB["RGB 图像 x"] --> EncRGB["VAE 编码器 / ViT 主干"]
    InDepth["退化 LR 深度提示 d_in"] --> Calib["双分支校准模块 R<br/>(DA v2 图像分支 + ConvNeXt 深度分支)"]
    InRGB --> Calib
    Calib --> RefLatent["粗校准深度潜变量 z^0"]
    Calib --> Uncert["预测不确定性图 σ^0"]

    Uncert --> AdaTime["自适应时间步选择<br/>α_bar_t = τ / σ_bar_0"]
    RefLatent --> NoiseGen["噪声采样网络 S<br/>预测条件噪声 ε^"]
    Uncert --> NoiseGen
    AdaTime --> NoiseGen
    EncRGB --> NoiseGen

    NoiseGen --> Perturb["中间带噪潜变量 ε^_t<br/>ε^_t = z^_t + σ^_t ε^"]
    Perturb --> Denoiser["冻结扩散去噪器 Marigold-LCM<br/>单步去噪 f_θ(z_x || ε^_t, t^)"]
    EncRGB --> Denoiser
    Denoiser --> Dec["VAE 解码器 D_l 与反归一化"]
    Dec --> OutDepth["高分辨率度量深度图 d^"]

关键设计（带序号的紧凑段落）¶

1. 双分支不确定性感知校准网络：实现度量对齐与置信度量化 针对退化输入直接喂入扩散模型会导致时间步选择失衡的问题，校准阶段构建了包含图像与深度双分支的模块 $\mathcal{R}(\mathbf{x}, \mathbf{d}_{in}) = (\hat{\mathbf{z}}_0, \hat{\sigma}_0)$。图像分支采用轻量级 Depth Anything V2（ViT-Small）作为主干，将 patch 大小调整为 16 以匹配潜变量空间分辨率，并通过 DPT 头部逐步上采样特征；深度分支首先将双三次插值后的输入深度利用有效像素的第 2 和第 98 百分位数仿射归一化至 $[-1, 1]$，经冻结的 VAE 编码器 $\mathcal{E}_l$ 压缩至 1/8 潜空间，再经由 ConvNeXt 块构建的多尺度结构提取 1/32、1/16 和 1/8 特征，通过逐元素相加注入到图像分支的 DPT 头中。该模块同时输出粗恢复深度潜变量 $\hat{\mathbf{z}}_0$ 和逐像素标准差 $\hat{\sigma}_0$。为了保证预测不确定性忠实反映重构误差，训练阶段联合采用负对数似然（NLL）损失与像素级 $\ell_1$ 深度重构损失： $$\mathcal{L}_{1} = \log\hat{\sigma}_{0}^{2} + \frac{\|\hat{\mathbf{z}}_{0}-\mathbf{z}_{d}\|_{2}^{2}}{\hat{\sigma}_{0}^{2}} + \gamma \|\mathcal{D}_l(\hat{\mathbf{z}}_0) - \mathbf{d}\|_1$$ 其中超参数设为 $\gamma = 0.5$。像素级深度重构损失能有效抵消 VAE 编解码器带来的高频量化损失，而 NLL 损失确保了方差估计的统计校准度。

2. 基于 Wasserstein 距离界限的自适应时间步推导：权衡内容保留与先验注入 传统扩散重构通常采用经验固定的加噪步长，无法应对动态多变的退化烈度。作者在理论上分析了近似前向分布 $\hat{q}_t(\mathbf{z}_t \mid \hat{\mathbf{z}}_0, \hat{\sigma}_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t}\hat{\mathbf{z}}_0, \bar{\alpha}_t\hat{\sigma}_0^2 + 1 - \bar{\alpha}_t)$ 与真实前向分布 $q_t(\mathbf{z}_t \mid \mathbf{z}_d)$ 之间的 2-Wasserstein 距离。通过在相同高斯噪声下构建耦合，推导得出 Wasserstein 距离的上界为 $\overline{\mathcal{W}}_t = \sqrt{\bar{\alpha}_t} \sqrt{(\hat{\mathbf{z}}_0 - \mathbf{z}_d)^2 + \hat{\sigma}_0^2}$。定义兼顾内容保留项 $\sqrt{\bar{\alpha}_t}$ 与分布对齐项 $\exp(-\lambda \overline{\mathcal{W}}_t)$ 的权衡目标函数 $\mathcal{H}(\bar{\alpha}_t) = \sqrt{\bar{\alpha}_t}\exp(-\lambda \overline{\mathcal{W}}_t)$。作者证明该函数在区间 $(0, 1]$ 内存在唯一的严格全局极大值点。在测试阶段，因真实潜变量 $\mathbf{z}_d$ 未知，利用校准良好的期望误差代换 $\mathbb{E}(\hat{\mathbf{z}}_0 - \mathbf{z}_d)^2 \approx \hat{\sigma}_0^2$，结合空间平均标准差 $\bar{\sigma}_0 = \frac{1}{N}\sum_{i=1}^N \hat{\sigma}_0^{(i)}$，并通过平缓衰减的平方根松弛化，构建了时间步确定准则： $$\bar{\alpha}_{\hat{t}} = \operatorname{clamp}\left(\frac{\tau}{\bar{\sigma}_0},\; \bar{\alpha}_{min},\; 1\right)$$ 设定阈值 $\tau = 0.14$、下界截断 $\bar{\alpha}_{min} = 0.6$。当输入退化严重、不确定性 $\bar{\sigma}_0$ 较大时，模型自适应选取较小的 $\bar{\alpha}_{\hat{t}}$（即较大的加噪步长 $\hat{t}$），引入更多扩散先验抹平严重退化；反之若输入较可靠，则选择靠近 0 的时间步以最大化保护原始度量细节。

3. 条件噪声预测与潜变量后验重定位：确保生成采样落在高概率密度区 若仅简单向粗校准潜变量添加各向同性标准高斯噪声，中间样本往往偏离真实深度扩散轨迹的高概率密度区，导致去噪结果模糊。AdaDS 引入了轻量级噪声采样网络 $\mathcal{S}(\mathbf{z}_x, \hat{\mathbf{z}}_{\hat{t}}, \hat{\sigma}_{\hat{t}})$，该网络由 ConvNeXt 块搭建。它将图像潜变量 $\mathbf{z}_x$、中间均值 $\hat{\mathbf{z}}_{\hat{t}} = \sqrt{\bar{\alpha}_{\hat{t}}}\hat{\mathbf{z}}_0$ 以及包含逐像素不确定性的空间方差 $\hat{\sigma}_{\hat{t}} = \sqrt{\bar{\alpha}_{\hat{t}}\hat{\sigma}_0^2 + 1 - \bar{\alpha}_{\hat{t}}}$ 作为输入，预测自适应偏置噪声 $\hat{\epsilon}$。最终生成的合成加噪潜变量表示为： $$\hat{\epsilon}_{\hat{t}} = \hat{\mathbf{z}}_{\hat{t}} + \hat{\sigma}_{\hat{t}} \odot \hat{\epsilon}$$ 特别地，虽然宏观时间步 $\hat{t}$ 由全图平均不确定性 $\bar{\sigma}_0$ 决定，但扰动幅度 $\hat{\sigma}_{\hat{t}}$ 保留了逐像素的不确定性分布——这意味着粗恢复中误差较大、不确定性较高的像素区域将受到更大幅度的噪声扰动，从而被扩散模型的生成先验更强力地重写修复。最后将 $\hat{\epsilon}_{\hat{t}}$ 喂入冻结的单步一致性模型 Marigold-LCM，直接单步解码出整洁无噪的深度潜变量并反向映射回真实米制深度。

理论分析与设计权衡¶

关于采样步数的权衡，传统扩散模型依赖数十步甚至数百步逐步去噪，而本工作实验表明，单步 LCM 去噪在度量深度保真度上显著优于多步去噪（2步或4步）。多步去噪虽然能够生成微观表面更锐利的法线纹理，但在每一步都需要采样网络预测中继分布，长链条的自回归去噪极易导致尺度漂移累积，破坏全局度量精确性。同时，通过引入针对解算深度的空间梯度损失 $\mathcal{L}_g = \|\partial_x \hat{\mathbf{d}} - \partial_x \mathbf{d}\|_1 + \|\partial_y \hat{\mathbf{d}} - \partial_y \mathbf{d}\|_1$，模型在单步生成的约束下亦能完美保持清晰的几何断裂边缘与面内平滑性。

实验关键数据¶

主实验¶

在真实物理世界数据集 RGB-D-D 与 TOFDSR 上的零样本（Zero-Shot）度量深度估计对比中，输入的低分辨率 ToF 深度提示具有不同的下采样退化比例（原始分辨率 $192\times 144$、下采样 $64\times 48$ 及极低分辨率 $32\times 24$）。如下表所示，AdaDS 在全部尺度与评价指标上均取得最优表现。

数据集	分辨率	评测指标	PromptDA (CVPR'25)	PriorDA (ICLR'26)	AdaDS (本文)	相对优势 / 表现
RGB-D-D	$192\times 144$	RMSE $\downarrow$ / MAE $\downarrow$	0.0706 / 0.0506	0.0655 / 0.0379	0.0607 / 0.0332	误差最低，较次优降低 7.33%
RGB-D-D	$64\times 48$	RMSE $\downarrow$ / MAE $\downarrow$	0.0705 / 0.0505	0.0613 / 0.0377	0.0597 / 0.0330	分辨率骤降下精度几乎不衰减
RGB-D-D	$32\times 24$	RMSE $\downarrow$ / MAE $\downarrow$	0.0704 / 0.0503	0.0691 / 0.0432	0.0597 / 0.0342	极端退化下稳健性超越确定性基线
TOFDSR	$192\times 144$	RMSE $\downarrow$ / MAE $\downarrow$	0.0879 / 0.0623	0.0731 / 0.0411	0.0693 / 0.0336	显著超越专用 DSR 与基础模型
TOFDSR	$64\times 48$	RMSE $\downarrow$ / MAE $\downarrow$	0.0885 / 0.0624	0.0755 / 0.0435	0.0688 / 0.0346	保持卓越的几何边缘恢复能力
TOFDSR	$32\times 24$	RMSE $\downarrow$ / MAE $\downarrow$	0.0884 / 0.0620	0.0833 / 0.0480	0.0700 / 0.0363	性能稳定性显著优于同类方法

消融实验¶

在 $8\times$ 降采样因子的真实场景数据集（RGB-D-D 与 TOFDSR）上对 AdaDS 关键组件进行的系统消融实验结果如下：

配置 / 变体模型	RGB-D-D RMSE $\downarrow$	RGB-D-D MAE $\downarrow$	TOFDSR RMSE $\downarrow$	TOFDSR MAE $\downarrow$	机制分析与结论
(a) DA v2-S 纯图像单目基线	0.1265	0.0900	0.1252	0.0740	缺失物理度量提示，仅靠单目尺度对齐误差巨大
(b) 仅保留校准阶段 (粗恢复)	0.0627	0.0358	0.0694	0.0379	融合提示大幅降噪，但边缘存在伪影与残余形变
(c) (b) + 直接确定性回归潜变量	0.0613	0.0346	0.0710	0.0379	回归网络难以建模多模态退化分布，容量受限
(d) (c) + 朴素前向投影并 MG-LCM 去噪	0.0622	0.0367	0.0723	0.0391	缺乏自适应噪声校正，直接加噪反而破坏已有度量
(e) 随机均匀时间步替换自适应 $\hat{t}$	0.0768	0.0497	0.0809	0.0455	无法权衡提示保留与先验注入，性能发生严重崩塌
(f) 标准高斯噪声替换学习噪声 $\hat{\epsilon}$	0.0668	0.0387	0.0742	0.0394	随机噪声偏离高密度概率流，证明采样网络必要性
完整 AdaDS 模型 (Ours)	0.0597	0.0330	0.0688	0.0346	全组件协同，取得最优的绝对精度与几何平滑度

关键发现¶

退化鲁棒性的本质来源：在合成数据集 ScanNet 和 NYUv2 上模拟高斯噪声、高斯模糊、稀疏散斑与低比特压缩等复合退化时，传统方法（如 PromptDA 与 OMNI-DC）的 RMSE 会显著恶化（ScanNet 上退化至 0.09~0.12 以上），而 AdaDS 始终维持在 0.075~0.083 之间，平均超越次优方法 16.46%，证明了将“带噪样本映射至高密度先验流”相比于直接端到端拟合具有压倒性的鲁棒性优势。
抗上游误差容忍能力：在对第一阶段校准潜变量人为注入高斯扰动（$\eta \in [0.1, 0.3]$）并压制方差（$\kappa \in [0.125, 0.5]$）的强干扰测试下，AdaDS 的 RMSE 仅轻微从 0.0597 浮动至 0.0609，展现了扩散采样阶段强大的自我纠错与残差过滤韧性。
推理效率与时间分解：在单张 RTX 4090 上，校准阶段仅耗时 15ms，噪声采样网络耗时 3ms，核心耗时集中在 Marigold-LCM 去噪器（199ms），总耗时仅 217ms，兼具实时交互潜力与高精度。

亮点与洞察¶

将前向加噪视角转化为退化抹除机制：巧妙发现扩散模型的前向过程不仅是训练时制造噪声的数学工具，更是一个能自然消除传感器复杂未知噪声的高斯收缩平滑器，为基于提示的底层视觉任务提供了优雅的先验利用范式。
不确定性引导的确定性时间步闭式解：借助 Wasserstein 距离推导并以紧凑的经验松弛式 $\bar{\alpha}_{\hat{t}} = \tau / \bar{\sigma}_0$ 建立起粗恢复不确定性与去噪时间步的直接映射，避免了试凑或反复搜索。
空间非均匀方差保留：全局统一的时间步保证了扩散去噪调度的宏观稳定性，而局部保留的像素级方差扰动 $\hat{\sigma}_{\hat{t}}$ 精准实现了“不可靠区域重度生成重绘、可靠区域轻度保留保真”的精细化局部控制。

局限与展望¶

适用场景边界局限：模型专为室内场景及低分辨率稠密/半稠密深度提示（如 ToF、结构光）设计，未针对大尺度室外 LiDAR 稀疏点云（如 16/64 线激光雷达深度补全）进行几何拓扑与测距范围的专门建模。
对基础扩散先验的继承性偏置：模型采用冻结的 Marigold-LCM 作为去噪核心，如果输入场景超出其训练分布（如极端镜面、透明玻璃或大范围无纹理开阔空间），生成先验可能会产生幻觉几何结构。
未来改进方向：可进一步探索将该自适应扩散采样框架拓展至统一的几何多模态引导（如同时接受稀疏点、表面法线或语义草图提示），并引入显式物理遮挡推断。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 创造性地从高斯收缩视角解释扩散模型在深度去退化中的作用，并提出基于不确定性的自适应时间步。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖真实 ToF 传感器、合成复合退化、多步推理分析、扰动鲁棒性及单步耗时评测。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，框架设计逻辑清晰，消融实验针对性极强。
价值: ⭐⭐⭐⭐⭐ 为低成本 RGB-D 传感器在移动端、具身智能及三维重建中的高保真深度重建提供了工业落地的实用范式。

数据集	分辨率	评测指标	PromptDA (CVPR'25)	PriorDA (ICLR'26)	AdaDS (本文)	相对优势 / 表现
RGB-D-D	\(192\times 144\)	RMSE \(\downarrow\) / MAE \(\downarrow\)	0.0706 / 0.0506	0.0655 / 0.0379	0.0607 / 0.0332	误差最低，较次优降低 7.33%
RGB-D-D	\(64\times 48\)	RMSE \(\downarrow\) / MAE \(\downarrow\)	0.0705 / 0.0505	0.0613 / 0.0377	0.0597 / 0.0330	分辨率骤降下精度几乎不衰减
RGB-D-D	\(32\times 24\)	RMSE \(\downarrow\) / MAE \(\downarrow\)	0.0704 / 0.0503	0.0691 / 0.0432	0.0597 / 0.0342	极端退化下稳健性超越确定性基线
TOFDSR	\(192\times 144\)	RMSE \(\downarrow\) / MAE \(\downarrow\)	0.0879 / 0.0623	0.0731 / 0.0411	0.0693 / 0.0336	显著超越专用 DSR 与基础模型
TOFDSR	\(64\times 48\)	RMSE \(\downarrow\) / MAE \(\downarrow\)	0.0885 / 0.0624	0.0755 / 0.0435	0.0688 / 0.0346	保持卓越的几何边缘恢复能力
TOFDSR	\(32\times 24\)	RMSE \(\downarrow\) / MAE \(\downarrow\)	0.0884 / 0.0620	0.0833 / 0.0480	0.0700 / 0.0363	性能稳定性显著优于同类方法