Consistent Monocular Depth Estimation with Contact Region Boundary-Aware Refinement¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/abai969/contact-depth-refinement.git
领域: 深度、法线与立体
关键词: 单目深度估计 / 深度一致性 / 接触边界 / 边界感知特征融合 / 结构几何先验
一句话总结¶
针对单目深度估计在物体接触区域普遍存在虚假深度跳跃的瓶颈，本文提出一种接触边界感知的深度估计与优化框架，通过视觉语言语义过滤提取物理接触边界先验，并将其多尺度融合进深度解码器辅以多阶几何约束，在仅使用 4000 张合成图像微调下显著消除接触面深度断层并支持可控交互修正。
研究背景与动机¶
单目深度估计（MDE）作为从单张 RGB 图像推断逐像素深度信息的关键视觉任务，是机器人具身感知、自动驾驶与三维场景重建的基础。近年来，以 Depth Anything 等为代表的大规模深度基座模型通过弱监督海量数据预训练取得了极高的整体精度与开域泛化能力；随后以 MoGe 为代表的仿射不变三维点图回归方法进一步引入局部与全局三维对齐几何损失，有效克服了传统逐像素回归忽略像素间空间几何连续性的缺陷。然而，无论是直接的深度回归范式还是三维点云表征范式，都在物体接触区域（特别是物体与其支撑面之间、或同一复合结构连接处）表现出系统性的虚假深度不连续现象——物理上明明紧密相贴的界面，在预测的深度或点云中却经常出现异常的断崖式落差甚至结构悬空。
导致这一普遍缺陷的核心矛盾在于：现有深度估计网络的解码过程缺乏对物理接触关系的显式结构先验感知。常规基于图像梯度的平滑约束或边缘感知正则，本质上将图像边缘统统视为潜在的“深度不连续”边界以防止边缘过平滑；然而现实物理场景中的接触区域恰恰表现为相反的几何行为——哪怕界面处存在强烈的外观色差和图像边缘（例如深色笔记本电脑放在浅色木地板上），其三维深度却必须严格保持连续。常规模型在解码时无法获知哪条边缘属于物理接触、哪条属于遮挡轮廓，因而倾向于将所有强边缘均解码为深度跃变，造成接触区域严重的几何伪影。
针对上述矛盾，本文提出了一种显式建模接触几何先验的边界感知单目深度估计框架。该方法首先利用强语义特征从稠密边缘候选集中精细过滤出真实的物理接触边界，进而将接触概率先验升维注入几何解码器，并在优化时结合多阶边界几何约束与退化一致性正则。核心 idea：将物理接触边界作为显式结构先验引入单目深度解码流程，通过跨法向语义差分过滤提取接触区域并施加零阶深度对齐与一阶法向梯度投影约束，从根本上纠正接触区域的虚假深度断裂。
方法详解¶
整体框架¶
本文基于仿射不变三维几何估计基线 MoGe 构建，整体流水线由两大核心阶段构成：第一阶段为接触边界检测与语义过滤模块，负责从原始 RGB 图像中解耦出真实的物体接触轮廓；第二阶段为边界感知特征融合与深度解码模块，负责将接触结构先验多尺度注入三维点图解码器，并通过设计的边界几何损失进行端到端优化。此外，系统天然兼容交互式模式，允许用户通过交互手势手动标注遗漏的接触线并触发局部深度重优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入 RGB 图像"] --> B["接触边界检测与跨法向语义过滤"]
A --> C["结构升维与多尺度边界特征融合"]
B -->|接触边界概率图 B| C
B -->|监督掩码 Mb| D["多阶几何边界约束与退化自洽正则"]
C -->|预测点云 P'| D
C --> E["一致性 3D 点云与连续深度图"]
E -.->|用户指定接触边界| F["交互式接触边界可控修正"]
F -.->|更新边界先验| C整个前向推理流程清晰连贯：给定输入图像，边缘检测器与 SigLIP 编码器协同工作提取候选边缘的跨界面语义差分特征，经轻量级分类器输出逐像素接触边界图；随后由轻量级卷积网络升维至深层多尺度特征空间，与主干视觉特征对齐拼接送入多尺度卷积解码器，最终回归出具备物理连续性的仿射不变三维点云。
关键设计¶
1. 接触边界检测与跨法向语义过滤：从通用边缘中解耦物理接触界面
通用的边缘检测算法（如 MuGE）虽然能完整捕获场景中的多粒度轮廓，但其中包含大量与物理接触无关的纹理边缘、光照阴影线以及远近遮挡轮廓；若不加区分地全量注入解码器，会引入强烈的结构噪声。判定一条边缘是否为接触界面，本质上取决于边缘两侧区域是否满足支撑、摆放或贴合等物理语义关系。
为捕获这一语义依赖，本文利用预训练视觉语言编码器 SigLIP 提取富含空间交互语义的稠密特征图 \(S \in \mathbb{R}^{H \times W \times C}\)。对于由边缘检测器提取的每个候选边缘点 \(q_i = (x_i, r_i)\)（\(x_i\) 为坐标，\(r_i\) 为局部单位法向），沿法向两侧对称采样特征： $\(s_i^+ = S(x_i + \delta r_i), \quad s_i^- = S(x_i - \delta r_i)\)$ 计算跨法向特征差分 \(\Delta s_i = s_i^+ - s_i^-\) 以刻画局部语义跃迁与界面属性，并将点特征拼接为 \(t_i = [s_i, s_i^+, s_i^-, \Delta s_i]\)。随后通过轻量级 MLP 分类器预测接触概率 \(\hat{b}_i \in [0, 1]\)，生成接触边界概率图 \(\hat{B}\)。在训练阶段，除带位置加权的二元交叉熵损失 \(\mathcal{L}_{\mathrm{bce}}\) 外，本文提出连通曲线级方差损失 \(\mathcal{L}_{\mathrm{var}}\)，惩罚沿同一条物理连通曲线 \(l_k\) 上的预测概率波动，保证接触边缘在空间拓扑上的光滑与连续： $\(\mathcal{L}_{\mathrm{var}} = \frac{1}{|L|} \sum_{k=1}^{|L|} \mathrm{Var}(\hat{l}_k)\)$
2. 结构升维与多尺度边界特征融合：将接触先验无缝注入三维解码器
单通道的接触概率图 \(\hat{B}\) 仅表征像素级的静态置信度，缺乏分层上下文与深层表征能力，与主干网络（DINOv2）提取的高维多尺度特征图 \(F\) 存在巨大维度与语义差距。若直接通道拼接会导致浅层噪声干扰全局点云重建。
本文引入基于 ResNet-18 的专用边界编码器 \(R_\phi(\cdot)\) 对 \(\hat{B}\) 进行层级特征升维，获得富含边界几何上下文的多尺度特征表示 \(C = R_\phi(\hat{B})\)。将 \(C\) 逐层对齐并与主干视觉特征 \(F\) 融合后送入多尺度卷积解码器 \(D_\theta(\cdot)\)，输出增强的三维点云 \(\hat{P}' = D_\theta(\psi(F, C))\)。这种升维注入机制使得解码网络在逐级恢复空间分辨率时，能够主动在接触边界位置抑制沿视线方向的发散与跳跃，重建出过渡自然的三维接触面。
3. 多阶几何边界约束与退化自洽正则：兼顾局部平滑与全局几何一致性
单纯依靠点云回归损失不足以在边界处形成严格的连续性引导。为此，本文设计了包含零阶对齐与一阶梯度投影的边界几何约束。在最优化全局尺度和平移因子后，提取对齐深度 \(\hat{d}_i\) 与真实值 \(d_i\)。在预测接触边界像素集合 \(M_b\) 上，首先计算零阶绝对深度对齐损失： $\(\mathcal{L}_{\mathrm{bd}} = \frac{1}{|M_b|} \sum_{i \in M_b} |\hat{d}_i - d_i|\)$ 为了进一步约束接触界面的几何走向并抑制震荡，引入沿真实深度梯度法向 \(n_i = \nabla d_i / \|\nabla d_i\|_2\) 的一阶梯度投影残差损失与平滑正则项： $\(\mathcal{L}_{\mathrm{grad}} = \frac{1}{|M_b|} \sum_{i \in M_b} |n_i^\top (\nabla \hat{d}_i - \nabla d_i)|, \quad \mathcal{L}_{\mathrm{sm}} = \frac{1}{|M_b|} \sum_{i \in M_b} |n_i^\top \nabla \hat{d}_i|\)$ 针对输入边界缺失或不可靠时的网络退化风险，本文进一步设计了退化自洽正则项（Auxiliary Consistency）：当向边界编码器输入全零掩码 \(\hat{B} = \mathbf{0}\) 时，强制解码器预测的三维点云 \(\hat{p}_i^{\mathrm{aux}}\) 与冻结的原始 MoGe 输出 \(\hat{p}_i\) 保持一致： $\(\mathcal{L}_{\mathrm{cons}} = \frac{1}{|M|} \sum_{i \in M} \|\hat{p}_i^{\mathrm{aux}} - \hat{p}_i\|_2\)$ 这一设计保证了模型在面对无接触目标或边界提取失败的平坦区域时，能够平滑退化为稳健的原始点云估计器，避免因假阳性边界导致全局结构扭曲。
4. 交互式接触边界可控修正：人机协作下的局部几何修复
在极端弱纹理、高反光或强遮挡场景下，自动化检测模块可能漏检细微的接触界面。得益于边界引导与深度解码的显式解耦设计，本文框架天然支持用户交互式修正：用户可以在图形界面中通过简单涂抹交互，手动标定缺失的物理接触线条并覆盖至 \(\hat{B}\) 中，网络无需重新微调即可在单次前向传播中实时纠正该区域的虚假深度断裂。
损失函数 / 训练策略¶
模型的整体训练采用两阶段递进式优化策略，总目标函数包含基础几何损失、边界过滤损失与边界感知深度损失： $\(\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{MoGe} + \mathcal{L}_F + \mathcal{L}_B\)$ 其中 \(\mathcal{L}_{MoGe}\) 包含全局仿射对齐损失 \(\mathcal{L}_G\)、三尺度（\(\alpha \in \{1/4, 1/16, 1/64\}\)）局部球对齐损失 \(\mathcal{L}_{S(\alpha)}\)、法向损失 \(\mathcal{L}_N\) 与有效区域掩码损失 \(\mathcal{L}_V\)。边界过滤损失为 \(\mathcal{L}_F = \mathcal{L}_{\mathrm{bce}} + \lambda_e \mathcal{L}_{\mathrm{var}}\)，设置曲线方差平衡权重 \(\lambda_e = 100\)。边界感知深度损失为： $\(\mathcal{L}_B = \lambda_b \mathcal{L}_{\mathrm{bd}} + \lambda_g \mathcal{L}_{\mathrm{grad}} + \lambda_m \mathcal{L}_{\mathrm{sm}} + \lambda_{\mathrm{aux}} \mathcal{L}_{\mathrm{cons}}\)$ 超参数设定为 \(\lambda_b = 0.4, \lambda_g = 0.3, \lambda_m = 0.3, \lambda_{\mathrm{aux}} = 500\)。
在训练实现上，首先冻结 MuGE 边缘检测器与 SigLIP 视觉主干，仅训练边界过滤 MLP 分类器 5 个 epoch（batch size 2，学习率 \(1 \times 10^{-4}\)）；随后联合微调整个模型 12 个 epoch（batch size 8，单张 A100-80G GPU），SigLIP 主干与深度编码器采用微小学习率 \(1 \times 10^{-6}\)，新引入的 ResNet-18 边界编码器及层级使用 \(1 \times 10^{-5}\)，每 200 步学习率减半。整个训练仅使用 Hypersim 合成数据集中随机抽样的 4,000 张图像，展现出极高的数据效率。
实验关键数据¶
主实验¶
评估在三个完全零样本（Zero-shot）未见过的室内基准上进行：NYUv2、高精度局部几何评测基准 iBims-1、以及包含大量无纹理/反光/透明物体的困难基准 HAMMER。评价指标包括绝对相对误差 \(\mathrm{Rel}_d \downarrow\)、阈值内点比率 \(\delta_{d1} \uparrow\)（深度指标），以及相对点误差 \(\mathrm{Rel}_p \downarrow\)、局部点图误差 \(\mathrm{Local} \ \mathrm{Rel}_p \downarrow\)。
下表汇总了跨基准相对深度估计性能（数据完全忠实于原文 Table 1 与 Table 3）：
| 数据集 | 评测对齐设置 | 指标 | 本文 (Ours) | 基线 MoGe | 强基准 Depth Anything V2 | 提升幅度 (vs MoGe) |
|---|---|---|---|---|---|---|
| iBims-1 | Scale-invariant 深度 | \(\mathrm{Rel}_d \downarrow / \delta_{d1} \uparrow\) | 3.35 / 97.7% | 3.46 / 97.0% | 4.32 / 97.9% | \(\mathrm{Rel}_d\) 降低 0.11 / 准确率提升 0.7% |
| iBims-1 | Affine-invariant 深度 | \(\mathrm{Rel}_d \downarrow / \delta_{d1} \uparrow\) | 2.67 / 98.1% | 2.74 / 97.9% | 3.44 / 98.3% | \(\mathrm{Rel}_d\) 降低 0.07 |
| iBims-1 | Affine-inv 视差 | \(\mathrm{Rel}_d \downarrow / \delta_{d1} \uparrow\) | 3.12 / 98.2% | 3.23 / 98.0% | 3.47 / 98.5% | \(\mathrm{Rel}_d\) 降低 0.11 |
| NYUv2 | Scale-invariant 深度 | \(\mathrm{Rel}_d \downarrow / \delta_{d1} \uparrow\) | 3.43 / 98.4% | 3.44 / 98.4% | 5.03 / 97.3% | 保持领先 |
| HAMMER | Scale-invariant 深度 | \(\mathrm{Rel}_d \downarrow / \delta_{d1} \uparrow\) | 3.74 / 98.1% | 3.77 / 98.1% | 5.92 / 97.7% | \(\mathrm{Rel}_d\) 降低 0.03 |
| iBims-1 | 接触区域 (Contact Region) | \(\mathrm{Rel}_d \downarrow / \delta_{d1} \uparrow\) | 1.25 / 98.8% | 1.71 / 98.7% | — | \(\mathrm{Rel}_d\) 显著降低 0.46 (下降 26.9%) |
| NYUv2 | 接触区域 (Contact Region) | \(\mathrm{Rel}_d \downarrow / \delta_{d1} \uparrow\) | 1.31 / 99.2% | 1.59 / 99.0% | — | \(\mathrm{Rel}_d\) 显著降低 0.28 (下降 17.6%) |
在三维点图几何精度评测中（原文 Table 2），本文在 iBims-1 上的仿射不变点相对误差 \(\mathrm{Rel}_p\) 从 MoGe 的 3.61 降至 3.52，\(\delta_{p1}\) 从 97.3% 提升至 98.0%；局部物体点误差 \(\mathrm{Local} \ \mathrm{Rel}_p\) 达到 4.03（对比 DUSt3R 的 5.44 与 UniDepth 的 5.92），证明了几何结构完整性的显著提升。
消融实验¶
在 iBims-1 数据集上对边缘检测模块、接触边界语义过滤模块以及退化自洽损失 \(\mathcal{L}_{\mathrm{cons}}\) 进行逐项剥离验证（数据完全忠实于原文 Table 4）：
| 边缘检测 (Detection) | 语义过滤 (Filtering) | 自洽正则 (\(\mathcal{L}_{\mathrm{cons}}\)) | 尺度不变深度 \(\mathrm{Rel}_d \downarrow\) | 尺度不变点图 \(\mathrm{Rel}_p \downarrow\) | 仿射不变点图 \(\mathrm{Rel}_p \downarrow\) | 局部点图 \(\mathrm{Rel}_p \downarrow\) | 说明 |
|---|---|---|---|---|---|---|---|
| ✗ | ✗ | ✗ | 3.46 | 4.63 | 3.61 | 4.16 | 原始 MoGe 基线 |
| ✓ | ✗ | ✗ | 3.42 | 9.02 | 5.45 | 4.05 | 未过滤融合全量边缘，全局点云几何严重劣化 (\(\mathrm{Rel}_p\) 翻倍) |
| ✓ | ✗ | ✓ | 3.36 | 4.70 | 3.58 | 4.03 | 引入退化自洽损失，成功稳定点图几何畸变 |
| ✓ | ✓ | ✓ | 3.35 | 4.49 | 3.52 | 4.03 | 完整模型：语义过滤剔除伪边缘，深度与几何点图达到最优 |
关键发现¶
- 直接融合未经筛选的边缘会带来灾难性的全局三维畸变：如消融表第 2 行所示，若直接将 MuGE 检测到的所有边缘当做接触边界输入解码器，虽然由于局部梯度增强使得尺度不变深度 \(\mathrm{Rel}_d\) 略微降至 3.42，但尺度不变点图相对误差 \(\mathrm{Rel}_p\) 却从 4.63 暴增至 9.02（误差扩大近一倍）。这充分表明将普通深度断裂边缘或纹理边缘误当作接触边界强行平滑，会严重扭曲三维空间拓扑结构。
- 退化自洽损失是稳定特征融合的关键锚点：引入 \(\mathcal{L}_{\mathrm{cons}}\) 约束零边界输入下的输出自洽后，点图误差由 9.02 迅速回落至 4.70，有效限制了解码器在边缘线索缺失或不可靠时的漂移。
- 接触区域局部改善最为剧烈：常规整图指标容易掩盖细小接触面的误差，在专门聚焦于物体接触区域的局部评测中，本文将 iBims-1 接触区的相对误差由 1.71 压缩至 1.25（降幅 26.9%），NYUv2 接触区相对误差由 1.59 降至 1.31，定性与定量均证明了物理接触面深度断层的有效消除。
亮点与洞察¶
- 跨法向语义差分建模：利用预训练视觉语言大模型（SigLIP）的空间语义表征能力，沿候选边缘的局部法向向两侧采样并计算特征差分 \(\Delta s_i\)，将抽象的物理摆放/支撑关系转化为显式的局部语义跃迁特征，设计十分精巧。
- 多阶几何约束的互补性：零阶深度对齐 \(\mathcal{L}_{\mathrm{bd}}\) 保证了接触点的绝对深度贴合，而一阶梯度投影 \(\mathcal{L}_{\mathrm{grad}}\) 结合沿法向平滑 \(\mathcal{L}_{\mathrm{sm}}\) 保证了跨界面的切向平滑与法向过渡，兼顾了几何连续性与局部边界清晰度。
- 极小训练代价与卓越样本效率：在现有深度大模型动辄需要千万级真实/合成数据预训练的背景下，本文仅使用 4000 张合成室内图像进行轻量级两阶段微调，便在多个未见真实场景基准上全面击败完整基线，展示了结构先验对数据饥渴问题的极大缓解。
- 可复用的交互式几何修复范式：将关键结构信息显式外化为中间边界图，使得深度估计框架天然获得了人机协同的干预接口，这一设计思路在自动驾驶罕见障碍物悬空修正、机器人接触感知规划等领域极具迁移价值。
局限与展望¶
- 作者承认的局限：框架目前依赖于第一阶段边缘检测与语义过滤的准确性；在极端复杂光照、强反射镜面或多重半透明重叠等场景下，自动提取算法仍可能产生漏检或虚警，需要依赖交互式修正介入。
- 实验与现实场景考量：评测主要集中在室内静态场景（NYUv2、iBims-1、HAMMER），尚未在包含动态目标的高速室外自动驾驶场景（如 KITTI、nuScenes）中系统验证高动态接触（如车辆轮胎与地面接触点）的实时性与稳健性。
- 未来改进方向：可考虑将两阶段边界过滤与深度解码统一为一个端到端单阶段端到端网络；同时引入可微分边缘追踪机制，将离散的连通曲线方差约束演进为完全可导的拓扑拓扑正则化。
相关工作与启发¶
- vs Depth Anything V1/V2: 后者主要依赖海量无标签数据的伪标签蒸馏提升泛化性，但在无接触结构先验时极易在支撑界面（如桌面与电脑）产生虚假的深度断裂悬空；本文通过显式融入接触边界先验，不仅克服了这一断层，更在大幅减少训练样本量的前提下取得了更优的局部接触几何。
- vs MoGe: MoGe 转向仿射不变 3D 点图与局部球对齐损失，虽改善了整图几何连贯性，但在细粒度接触面依然欠缺约束；本文以 MoGe 为强基座，补充了针对物理接触边界的语义过滤与多阶梯度约束，显著降低了局部点图几何误差。
- vs 传统 Edge-Aware Depth 方法 (如 GeoNet++, SharpNet): 传统方法将边缘单纯作为锐化深度跳跃、防止过平滑的屏障；本文则反其道而行之，识别出具有“物理相贴连续性”的特殊接触边缘，并利用其约束深度连续，颠覆了传统边缘即断层的单一认知。
评分¶
- 新颖性: ⭐⭐⭐⭐ [创新性地将视觉边缘分解为普通跳变边缘与物理接触边缘，并基于 VLM 法向差分进行解耦，切入点敏锐精准]
- 实验充分度: ⭐⭐⭐⭐ [覆盖三大未见基准的深度、点图与专门接触区域指标，消融实验逻辑扎实严密]
- 写作质量: ⭐⭐⭐⭐⭐ [行文流畅、动机阐述层层递进、数学定义严谨清晰、图表质量高]
- 价值: ⭐⭐⭐⭐ [为单目深度估计领域的物理悬空与接触断层通病提供了切实高效的解决方案，兼具理论指导与交互落地实用性]