Masked Depth Modeling for Spatial Perception¶

会议: ECCV2026
论文: ECCV 原文
项目: LingBot-Depth
代码: https://github.com/robbyant/lingbot-depth
领域: 自动驾驶（当前归档）；研究主题为通用 3D 视觉
关键词: 深度补全、掩码深度建模、RGB-D、几何表征、机器人抓取

一句话总结¶

MDM 将传感器缺失深度变成有物理来源的掩码，在完整 RGB 与剩余深度的联合注意力中学习几何表征，使 NYUv2 极端缺失设置的 RMSE 从 PromptDA 的 0.324 降至 0.167，并改善真实机器人抓取。

研究背景与动机¶

机器人不仅需要知道画面里有什么，还要知道每个表面在真实世界中距离多远。多视图重建依赖视角和计算，单目深度存在尺度歧义，而 RGB-D 相机能直接提供与图像对齐的度量深度，却会在反光、透明、低纹理表面以及复杂光照下产生空洞和错误。对定位与抓取而言，这些空洞恰好常出现在最需要可靠几何的位置。

PromptDA、PriorDA 等方法已经证明，视觉先验可以帮助修复不完整的传感器深度；本文进一步关注预训练本身：怎样让外观表征真正吸收几何信息，而不只是把稀疏深度接到已有预测器上？自然缺失并非均匀随机，它与材质和成像歧义相关，因此比任意删掉一块深度更接近实际使用时的困难。不过，空洞本身不提供正确答案，仍需要合成真值或真实双目的伪深度作为监督。

MDM 因而同时设计了数据采集和掩码重建任务：保留完整 RGB 作为上下文，只让模型看部分深度，然后要求它恢复稠密深度。核心 idea：将传感器失效位置转化为有针对性的重建任务，通过共享注意力把可见深度的尺度与几何关系写入 RGB 表征，而不是把所有深度缺失都当成同分布的随机噪声。

方法详解¶

整体框架¶

输入是空间对齐的 RGB 图像和不完整的单通道传感器深度，输出是与图像对齐的稠密深度图。训练流程先准备具有真实失效模式的 RGB-D 数据，再进行自然缺失优先掩码、双模态联合编码，最后仅从 RGB 上下文 token 解码深度。

这里最关键的路径是：深度 token 参与编码，但不直接进入最终解码器。因此，预测器要利用深度信息，就必须在编码过程中通过注意力把它传递给完整保留的 RGB token；RGB token 此时已不再是纯外观特征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["对齐 RGB-D 数据"] --> Data["传感器式数据构建"]
        Data --> Mask["自然缺失优先掩码"]
        Mask --> Encode["双模态联合编码"]
        Encode --> Decode["上下文深度解码"]
        Decode --> Output["稠密深度与下游感知"]

关键设计¶

1. 传感器式数据构建：把有缺陷的输入与较可靠的目标分开

合成分支 MDM-S 不是直接把完美渲染深度作为输入，而是在 Blender 中同时生成 RGB、完美深度和带散斑的双目图像，再用 SGM 产生带有传感器式伪影的输入深度。RGB 使用左相机视角，以维持像素对齐；双目基线在 0.05–0.2 m、焦距在 16–28 mm 内采样，从 442 个室内场景生成 1M 样本。这样，缺失和错误来自成像与匹配过程，而监督仍有可用的几何真值。

真实分支 MDM-R 使用可更换商用 RGB-D 相机的采集装置，保存同步 RGB、原始深度和双目观测。由于真实场景没有完美真值，作者使用基于 FoundationStereo、经合成数据训练的双目网络生成伪深度，再用左右一致性筛选质量。正文常用 2M 真实样本加 1M 合成样本概括自采数据，并加入公开数据形成 10M 训练样本；不同段落的自采总量有冲突，见局限部分。数据管线提供监督，不能把整个训练过程理解为仅凭空洞自监督。

2. 自然缺失优先掩码：优先遮住物理失效区域，再补随机掩码

深度先被划分为 14×14 patch。完全没有有效深度的 patch 必定被掩码；有效与无效像素混合的 patch 以 0.75 概率被掩码；若仍未达到目标比例，就继续随机选择完全有效的深度 patch。训练总体目标掩码比例为 60%–90%，RGB 始终完整保留。混合 patch 并非一律删除，剩下的部分不完美观测仍可能提供有用的尺度或平面信息。

这个规则既利用了传感器缺失的结构，又能使用深度较完整的样本：后者主要通过额外随机掩码制造任务。原文对公开完整合成数据同样采用随机掩码，因此 MDM 不是“完全取消随机掩码”，也不能把所有收益都归结为自然掩码。深度补全时利用剩余观测；当深度 token 全部被掩码时，同一编码结构退化为 RGB-only 单目路径，可用于迁移视觉几何先验，但这不意味着无深度锚点时已经消除了物理尺度歧义。

3. 双模态联合编码：在完整 RGB 网格上吸收稀疏几何约束

RGB 与深度分别使用独立 patch embedding，避免把三通道颜色和单通道深度当成同一种输入统计；二者使用同一个 2D 空间位置嵌入，并叠加不同的模态嵌入。模型因此既知道两种 token 对应同一空间位置，又能区分它们表达的是颜色还是距离。所有 RGB token 与未掩码深度 token 拼接后，送入 DINOv2 初始化的 24 层 ViT-L/14，同时保留用于全局上下文的 [cls] token。

共享自注意力使局部可靠深度可以与其他位置的视觉线索交互，例如利用共面性、远近关系和表面连续性填补空洞。作者展示了深度查询对相应 RGB 区域的注意力可视化，用来说明跨模态关联；这支持表征解释，但并不是证明每个注意力头具有明确几何功能的因果实验。稠密预测只保留最后一层输出，而不聚合多层中间特征。

4. 上下文深度解码：丢弃深度 token，保留已经融合几何的 RGB token

编码结束后，全部深度 token 被丢弃，将 [cls] 广播并加到每个 RGB 上下文 token 上，再交给来自 MoGe 的 ConvStack 解码器。它具有共享 neck 和任务专用 head，使用残差块与转置卷积逐级上采样。转置卷积的 kernel 和 stride 均为 2，空间特征从原 patch 网格逐步扩大到 16 倍，预测结果再调整到输入分辨率。

这与普通 MAE 使用浅层 Transformer 重建 RGB 像素不同：本文的 RGB 网格始终完整，每个位置已有可用的上下文载体，卷积解码器可以在该网格上恢复连续几何。也不同于把有效传感器值直接粘回输出，论文描述的是学习到的整图预测，没有给出必须逐点保留原始读数的硬约束。因此它能够修复错误读数，但也可能改变本来正确的深度。

一个完整示例¶

考虑桌面上的透明杯子：相机测到了桌面与杯子周围物体的深度，但杯壁出现空洞。训练时，完全空白的杯壁 patch 被删除，混合 patch 按 0.75 概率删除，再补足 60%–90% 的目标掩码；杯子轮廓与桌面纹理仍保留在完整 RGB 中。

编码器把可靠桌面深度和完整图像一起处理，RGB token 获得周围物体的尺度与几何上下文；解码器随后只接收这些融合后的 RGB token，重建杯子附近的连续深度。合成真值或筛选后的伪深度负责约束输出，而不是让网络把传感器空洞当成目标。

上述是帮助理解信息流的示例，不是作者提供的逐 patch 实测。透明表面仍可能诱发错误补全；真实抓取表中透明收纳盒只达到 10/20 成功，说明“补出合理形状”不等于获得完全准确的几何。

损失函数 / 训练策略¶

作者明确使用有效监督像素上的 L1 深度损失。用等价的常见写法表达这一文字描述如下，并非原文给出的编号公式：

\[ \mathcal{L}_{\mathrm{depth}} = \frac{1}{|\Omega_{\mathrm{valid}}|}\sum_{p\in\Omega_{\mathrm{valid}}}\left|\hat D_p-D_p^*\right|. \]

其中有效集合由监督深度是否可靠决定，不等同于输入中未被掩码的位置；输入被隐藏的区域，只要有可靠目标，仍能提供训练信号。原文没有把损失限定为“只在被掩码 patch 上计算”，也没有在主文中给出额外法向或时序损失，因而不补写这些项。

编码器使用 DINOv2 权重，解码器随机初始化；训练为 250K iterations、batch size 1,024、128 GPUs，采用 BF16 与范数 1.0 的梯度裁剪，耗时约 7.5 天。主文将其他训练细节指向补充材料，当前缓存没有该补充材料，学习率等未披露项不作推断。

实验关键数据¶

主实验¶

原文表 2(a) 的 Protocol 1 从真值深度随机遮挡空间块，并加入 Gaussian 与 shot noise，分为 Easy、Medium、Hard、Extreme。下表只摘录 Extreme，所有指标均越低越好；RMSE 为均方根深度误差，REL 为平均绝对相对深度误差，不是准确率。

数据集 / Extreme	MDM RMSE	PromptDA RMSE	PriorDA RMSE	MDM REL	PromptDA REL
iBims-1	0.303	0.607	0.845	0.063	0.129
NYUv2	0.167	0.324	0.309	0.029	0.074
DIODE-Indoor	0.219	0.465	0.665	0.022	0.083
DIODE-Outdoor	3.913	4.313	5.114	0.085	0.156

NYUv2 Extreme 的最强 RMSE 对照实际为 PriorDA 的 0.309，不是 PromptDA 的 0.324；因此不能直接照搬正文把所有室内数据集的最佳对手统称为 PromptDA。MDM 在这四个 Extreme 设置都领先，但户外仍有明显更大的绝对误差。

Protocol 2 另用稀疏观测测试泛化。表 2(b) 中 MDM 的平均排名为 1.60，PriorDA 为 2.60；但 KITTI DC 列 MDM 为 1.412，而 OMNI-DC-DA 为 1.310，说明并非每个稀疏模式都最优。缓存表头未明确标出该表数值的指标名称，这里只保留原值与排名，不擅自补单位。

消融实验¶

当前主文没有提供自然掩码比例、解码器或数据来源的逐项移除消融。以下使用原文表 4 的“精修深度对比原始深度”下游分析，不能据此单独证明某一个 MDM 组件的贡献；括号内百分比由成功次数除以 20 得出。

抓取对象	每种可测条件尝试次数	MDM 成功次数 / 成功率	原始深度成功次数 / 成功率
不锈钢杯	20	17 / 85%	13 / 65%
透明杯	20	16 / 80%	12 / 60%
玩具车	20	16 / 80%	9 / 45%
透明收纳盒	20	10 / 50%	N/A

N/A 是作者对原始深度严重损坏、无法抓取的标注，不等同于已执行 20 次并得到 0% 成功率。系统采用 Rokae XMate-SR5、X Hand-1 和 Orbbec Gemini 335，基于 RGB 特征与深度点云特征条件化扩散策略，训练数据来自重定向的 HOI4D 手物交互。

关键发现¶

改善的不只是补全图像观感：不锈钢杯和透明杯各增加 4 次成功，玩具车增加 7 次，但每项仅 20 次，不能据此宣称统计显著性。
TUM-RGBD 相机轨迹对照中，ATE 从 0.131 降至 0.118、旋转 RPE 从 0.844 降至 0.791；平移 RPE 却从 0.038 升至 0.039，并非全部指标改善。
FoundationStereo 的 RGB-only 先验替换实验支持表征迁移，但正文训练轮数与图 7 冲突，且缓存图中文字拥挤，因此不转录该图的逐数据集精确数值。

亮点与洞察¶

缺失模式携带任务信息。让训练关注传感器真正容易失败的位置，比只在整洁数据上随机挖洞更贴近部署，不过其独立贡献仍需受控消融。
丢弃深度 token 是理解模型的信息流关键。深度先参加注意力、再退出解码路径，使完整 RGB 网格成为可迁移的几何表征载体。
数据构建保留“有缺陷输入 / 较可靠目标”的区别。这个思路可用于其他传感器修复任务，但伪标签筛选的可靠性同样决定学习上限。

局限与展望¶

原文数据口径不一致：摘要与结论称自采 3M，图 4 写 2.1M 真实加 1.0M 合成，4.1 节又写 3.2M。总训练集写为 10M，不能由此反推并修正自采数据规模。
5.2 节称双目模型训练 15 epochs，随后图 7 与结果文字报告 20 epochs。缺少补充材料及清晰图表导出，无法确定最终对比的训练预算。
自然掩码、数据规模、DINOv2 初始化和解码器共同变化，主文缺少充分组件消融；优势不能全部归因于掩码策略。
透明物体仍可能预测不准，伪深度也继承双目匹配误差。可进一步输出校准的不确定性，让下游规划避免将补全结果当作传感器真值。
当前证据重点是静态深度、室内跟踪和少量抓取对象，没有充分的驾驶闭环或安全验证，也没有可据以复核“实时”的端到端延迟表。

评分¶

新颖性: 4/5。将自然缺失与跨模态掩码预训练结合，信息流设计清晰，但基础组件大多已有。
实验充分度: 3/5。覆盖补全、先验迁移、跟踪与抓取，但受控消融、统计区间和预算说明不足。
写作质量: 3/5。方法可以复述，数据规模与训练轮数的冲突影响复现判断。
价值: 4/5。为 RGB-D 感知与机器人提供实用路线，不能直接等同于已验证的安全关键驾驶系统。