Learning to Discriminate Scene Structures Makes Self-Supervised Depth Learning Scalable¶

会议: NeurIPS 2026
arXiv: 2610.23600
代码: https://mias.group/MaSS
领域: 深度、法线与立体
关键词: 自监督单目深度估计、视觉基础模型、特征解耦、场景结构判别、对比学习

一句话总结¶

本文提出 MaSS 自监督单目深度估计框架，通过双向交互架构桥接传统深度编码器与冻结视觉基础模型（VFM），显式解耦上下文与结构表征，并引入基于软化深度直方图对称 KL 散度的场景结构判别对比目标，解决了跨域联合训练时的结构偏差冲突难题，首次实现了在增加数据多样性时自监督深度性能的持续提升与卓越的零样本域外泛化。

研究背景与动机¶

自监督单目深度估计（SSMDE）的核心优势在于无需人工标注即可利用海量单目视频数据进行模型扩展。然而，现有的自监督深度估计研究长期局限于单一场景或同质数据集（如仅在 KITTI 或 NYUv2 上）独立训练。当研究者尝试将现有方法直接迁移到包含室内、室外、动态物体及恶劣天气等多源异构混合数据联合训练时，不仅未能通过增加数据多样性实现性能互惠，反而在测试集与域外泛化上出现了明显的性能退化。这种可扩展性失效严重阻碍了自监督深度模型向通用深度大模型（DFM）演进。

导致这一困境的核心矛盾在于：基于新视角合成的自监督光度重投影损失本质上极易受到遮挡、无纹理区域及光照突变的严重干扰，所诱导的梯度往往无法忠实反映几何深度误差，优化极其容易陷入局部极值。在单一数据集训练时，网络为了在弱监督下促成收敛，被迫过度拟合该数据集固有的结构先验与偏差——例如自动驾驶场景下固定的消失点与道路透视，或是小房间内特定的视场布局。特征分析表明，传统编码器深层的高维特征并未学到通用的前景-背景或透视几何，而是强行编码了数据集专有的结构偏差。当多源异构数据集混合训练时，不同域相互冲突的结构先验在共享网络中发生激烈优化对抗，最终导致表征坍塌。

面对这一挑战，直接微调强大的通用视觉基础模型（如 DINOv2）会因弱自监督噪声破坏其通用语义，而完全冻结 VFM 则使其特征缺乏稠密几何感知线索；此外，若将上下文语义与全局几何结构缠绕在单一表征通道中，亦会诱发优化冲突。本文的核心 idea 是通过双向交互架构桥接传统深度编码器与冻结视觉基础模型，显式解耦上下文与场景结构表征，并引入基于软化深度直方图相似度的场景结构判别对比学习目标，引导网络学习不依赖具体数据集偏见的通用几何布局，使自监督深度学习在异构数据扩增下具备真正的可扩展性。

方法详解¶

整体框架¶

MaSS（Make Self-supervised depth learning Scalable）整体处理流程分为三个协同阶段：特征提取与双向交互、锚定-解耦特征投影、以及场景结构判别与深度解码。输入单张图像首先并行送入可训练的轻量传统深度编码器与完全冻结的通用视觉基础模型（DINOv2 ViT-B/14）。深度编码器负责提取 VFM 所欠缺的多尺度稠密几何细节，VFM 提供强鲁棒性的通用语义表征；两者通过双向交互适配模块在潜空间完成互补对齐与几何注入。

随后，交互后的高层特征分别输入两个专用的特征投影器中：上下文投影器通过特征协方差锚定保留 VFM 的语义关系，结构投影器则通过显式正交解耦损失剥离语义冗余，专注于全局几何布局。结构表征受到创新的场景结构判别目标（多正样本 InfoNCE）约束，通过粗粒度深度图软化直方图的对称 KL 散度拉近结构相似样本、推开结构差异样本。最后，解耦后的上下文金字塔与结构金字塔通道拼接，经维度压缩后送入轻量深度解码器输出度量连续的深度图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 I"] --> B1["冻结 VFM 编码器<br/>(DINOv2 ViT-B/14)"]
    A --> B2["可训练深度编码器<br/>(多尺度特征金字塔)"]
    B1 & B2 --> C["双向交互架构<br/>(交叉注意力几何线索对齐注入)"]
    C --> D1["上下文投影器<br/>(保留物体重建与语义关系)"]
    C --> D2["结构投影器<br/>(专注场景几何与空间布局)"]
    D1 & D2 --> E["锚定-解耦特征投影<br/>(语义协方差锚定 + 结构正交解耦)"]
    E --> F["场景结构判别目标<br/>(软化深度直方图与多正样本对比学习)"]
    F --> G["深度解码器<br/>(双路特征融合与稠密深度预测)"]

关键设计¶

1. 双向交互架构：在保护通用语义的同时注入稠密几何先验

直接对预训练 VFM 进行全参数微调极易在噪声光度自监督下发生灾难性遗忘与语义退化，而完全冻结 VFM 又会导致提取的特征过于侧重高层语义而严重缺乏底层几何与透视线索。为此，MaSS 引入了一个可训练的轻量传统深度编码器与冻结的 DINOv2 骨干网络，两者通过双向交互机制进行信息互补与协同演化。

具体而言，DINOv2 的 ViT 模块被划分为 3 个子集，输出多阶段特征 Token 序列 $\mathcal{T}^{V} = \{\boldsymbol{T}^{V}_{i}\}_{i=1}^{3}$（维度为 $D$）。深度编码器则提取空间分辨率分别为 $1/8, 1/16, 1/32$ 的多尺度金字塔特征 $\mathcal{F}^{E} = \{\boldsymbol{F}^{E}_{i}\}_{i=1}^{3}$，经 $1\times 1$ 卷积对齐通道后展平拼接为深度 Token 序列 $\boldsymbol{T}^{E}_{1}$。两个分支通过交叉注意力机制双向更新：VFM Token 通过以自身为 Query、深度 Token 为 Key 和 Value 的交叉注意力层融入局部几何；深度 Token 随后以自身为 Query、更新后的 VFM Token 为 Key 和 Value 吸收全局高层语义，并经前馈网络（FFN）继续前传： $$\hat{\boldsymbol{T}}^{V}_{i} = \boldsymbol{T}^{V}_{i} + \mathrm{Attn}\big(\mathrm{LN}(\boldsymbol{T}^{V}_{i}),\, \mathrm{LN}(\boldsymbol{T}^{E}_{i})\big)$$ 这一设计使冻结的通用 VFM 特征能够在无需破坏预训练权重的前提下，无缝注入针对深度任务关键的几何结构感知力。

2. 锚定-解耦特征投影器：消除上下文与场景结构通道的表征纠缠与坍塌

在自然场景中，视觉上下文相似的图像（例如包含相似车辆或建筑）可能对应完全不同的空间几何深度，而外观截然不同的场景（如室内走廊与室外峡谷公路）却可能共享高度近似的透视消失布局。若将上下文与结构特征混杂在单一表征通路中，模型在优化时必然产生表征冲突并退化为拟合单一数据集伪影。

为此，MaSS 部署了一对专用的特征投影器（转置卷积与批归一化上采样），分别构建上下文特征金字塔 $\mathcal{F}^{C} = \{\boldsymbol{F}_{i}^{C}\}_{i=1}^{3}$ 与结构特征金字塔 $\mathcal{F}^{S} = \{\boldsymbol{F}_{i}^{S}\}_{i=1}^{3}$。为确保通道不退化并严格各司其职，本文设计了锚定-解耦协同正则化损失 $\mathcal{L}_{\text{ac}}$。对最高层特征经全局平均池化与 $L_{2}$ 归一化后获得批次内描述子序列 $\{\boldsymbol{z}_{i}^{C}\}_{i=1}^{B}$、$\{\boldsymbol{z}_{i}^{S}\}_{i=1}^{B}$ 以及原始 VFM 特征描述子 $\{\boldsymbol{z}_{i}^{V}\}_{i=1}^{B}$，约束定义为： $$\mathcal{L}_{\text{ac}} = \sum_{i=1}^{B}\sum_{j\neq i}^{B} \left( {\boldsymbol{z}_{i}^{C}}^{\top}\boldsymbol{z}_{j}^{C} - {\boldsymbol{z}_{i}^{V}}^{\top}\boldsymbol{z}_{j}^{V} \right)^{2} + \sum_{i=1}^{B} \left( {\boldsymbol{z}_{i}^{C}}^{\top}\boldsymbol{z}_{i}^{S} \right)^{2}$$ 公式第一项为关系锚定项，迫使上下文特征空间在经历特定任务适应时，其样本间相似度矩阵忠实契合预训练 VFM 的语义流形拓扑，避免语义表征失真；第二项为正交解耦项，强制结构描述子与上下文描述子相互正交，从而将结构通路的表达容量严格剥离出语义干扰，仅保留纯粹的场景空间几何变化。

3. 场景结构判别目标：以软化深度直方图分布引导结构表征对比学习

由于自监督光度重建误差主要惩罚局部颜色不一致，对全图大尺度深度布局几乎无法提供有效梯度，必须为解耦后的结构投影器构建专有的监督动力学。由于无法获得真实三维真值，直接回归结构分布并不可行。MaSS 巧妙地将结构学习转化为关系对比学习任务，基于预测深度的全局概率分布构建结构差异度量。

若直接采用传统硬统计直方图计算深度分布，对局部高频伪影与局部结构跳变极度敏感。MaSS 引入软化概率直方图建模：首先将当前预测深度图 $\hat{\boldsymbol{D}}_{i}$ 下采样 8 倍获得粗代理图 $\boldsymbol{M}_{i}$（抑制高频局部噪声），将其深度值划分为 $K=20$ 个区间（中心为 $c_{k}$，宽度为 $\Delta$）。通过连续 Sigmoid 差异函数计算平滑软分配权重： $$\Psi_{k}(d) = \sigma\left(\frac{d - c_{k} + \Delta/2}{\tau_{h}}\right) - \sigma\left(\frac{d - c_{k} - \Delta/2}{\tau_{h}}\right)$$ 在空间所有像素点上边际化累加并归一化，得到反映样本全局场景纵深布局的概率向量 $\boldsymbol{h}_{i} \in \mathbb{R}^{K}$。任意两幅样本 $i$ 与 $j$ 之间的结构差异度量 $\mathcal{D}_{\text{kl}}(\boldsymbol{h}_{i} \parallel \boldsymbol{h}_{j})$ 采用对称 KL 散度计算： $$\mathcal{D}_{\text{kl}}(\boldsymbol{h}_{i} \parallel \boldsymbol{h}_{j}) = \frac{1}{2}\sum_{k=1}^{K}\left[ h_{i,k}\log\frac{h_{i,k}}{h_{j,k}} + h_{j,k}\log\frac{h_{j,k}}{h_{i,k}} \right]$$ 基于此差异度量，将批次内相似度 $\exp(-\mathcal{D}_{\text{kl}}(\boldsymbol{h}_{i} \parallel \boldsymbol{h}_{j})) > \gamma$（$\gamma=0.95$）的样本定义为正样本集 $\mathcal{P}_{i}$，并采用多正样本 InfoNCE 目标显式优化结构描述子 $\boldsymbol{z}^{S}$： $$\mathcal{L}_{\text{scl}} = -\frac{1}{B}\sum_{i=1}^{B} \log\left( \frac{\sum_{j\in\mathcal{P}_{i}}\exp\left({\boldsymbol{z}_{i}^{S}}^{\top}\boldsymbol{z}_{j}^{S} / \tau_{c}\right)}{\sum_{k=1}^{B}\exp\left({\boldsymbol{z}_{i}^{S}}^{\top}\boldsymbol{z}_{k}^{S} / \tau_{c}\right)} \right)$$ 其中温度系数 $\tau_{c}=0.1$。该目标强迫结构投影器拉近具有相似空间几何纵深与透视规律的样本表征，排斥结构迥异的样本，从而迫使网络剥离数据集特定的低层纹理偏好，学会通用的三维场景结构判别能力。

损失函数 / 训练策略¶

模型的整体训练分为两个阶段。在第一阶段（首个 epoch），仅使用经典自监督光度重建损失与平滑度正则项对深度估计器与交互模块进行基础预热，以获得基本合理的初始深度预测，避免早期极端杂乱的伪深度误导结构直方图分布；在第二阶段，全面激活结构判别对比损失 $\mathcal{L}_{\text{scl}}$ 与锚定-解耦正则化损失 $\mathcal{L}_{\text{ac}}$，与光度重建损失联合端到端优化。训练在单张 RTX 4090 GPU 上进行，批大小为 6，混合域训练仅需约 2.5 天即可完成收敛。

实验关键数据¶

主实验¶

论文在 KITTI（室外自动驾驶）、DDAD（长距离自动驾驶）、NYUv2（室内密闭场景）和 nuScenes（多视角及恶劣天气）四个高度异构的数据集上分别进行了单数据集独立训练与混合数据集（Mixed-dataset, 标记为 $\dagger$）联合训练对比。此外，还拓展至 8 个跨域零样本评测集（包括 Waymo、DrivingStereo、Cityscapes、iBims-1、SUN-RGBD、7-Scenes，以及极度异构的 DIML 与 DIODE）。

下表汇总了各代表性方法在四个主数据集上的定量评测表现（单数据集训练与混合多域训练 $\dagger$）：

训练设置与方法	类型	对齐基准	KITTI (Abs Rel ↓ / $\delta_1$ ↑)	DDAD (Abs Rel ↓ / $\delta_1$ ↑)	NYUv2 (Abs Rel ↓ / $\delta_1$ ↑)	nuScenes (Abs Rel ↓ / $\delta_1$ ↑)
SC-DepthV3 (TPAMI'24)	自监督 (SI)	Median	0.118 / 0.864	0.142 / 0.813	0.123 / 0.848	0.167 / 0.784
DCPI-Depth (TIP'25)	自监督 (SI)	Median	0.095 / 0.902	0.140 / 0.815	0.151 / 0.785	0.160 / 0.793
DiMoDE (TPAMI'26)	自监督 (SI)	Median	0.097 / 0.899	0.134 / 0.831	– / –	0.139 / 0.836
MaSS (本文单域)	自监督 (SI)	Median	0.094 / 0.909	0.128 / 0.845	0.109 / 0.868	0.139 / 0.851
Lite-Mono† (CVPR'23)	自监督 (SI)	Median	0.111 / 0.886	0.202 / 0.758	0.198 / 0.672	1.147 / 0.816
Dynamo-Depth† (NeurIPS'23)	自监督 (SI)	Median	0.126 / 0.844	0.165 / 0.764	0.312 / 0.479	0.181 / 0.710
SC-DepthV3† (TPAMI'24)	自监督 (SI)	Median	0.132 / 0.832	0.158 / 0.795	0.156 / 0.773	0.226 / 0.685
DCPI-Depth† (TIP'25)	自监督 (SI)	Median	0.114 / 0.870	0.162 / 0.777	0.331 / 0.472	0.160 / 0.776
MaSS† (本文混合域)	自监督 (SI)	Median	0.092 / 0.913	0.125 / 0.862	0.104 / 0.890	0.134 / 0.852

消融实验¶

论文针对 MaSS 的各个核心组件与结构设计在已训练的混合域（nuScenes, NYUv2）及跨域零样本测试集（Waymo, 7-Scenes）上进行了系统消融（均基于混合训练配置）：

实验变体与配置	nuScenes (Abs Rel ↓ / $\delta_1$ ↑)	NYUv2 (Abs Rel ↓ / $\delta_1$ ↑)	Waymo (Abs Rel ↓ / $\delta_1$ ↑)	7-Scenes (Abs Rel ↓ / $\delta_1$ ↑)	说明与结论
MaSS† (完整模型)	0.134 / 0.852	0.104 / 0.890	0.123 / 0.867	0.120 / 0.855	双向交互 + 锚定解耦 + 场景结构对比学习
(a1) 去除对比学习目标 ($\mathcal{L}_{\text{scl}}$)	0.145 / 0.850	0.106 / 0.891	0.163 / 0.805	0.135 / 0.820	失去显式结构判别引导，零样本泛化急剧恶化 (Waymo Abs Rel 恶化 32.5%)
(a2) 去除表征解耦约束 ($\mathcal{L}_{\text{ac}}$)	0.144 / 0.840	0.116 / 0.862	0.148 / 0.831	0.128 / 0.823	上下文与结构发生表征纠缠与混淆，所有数据集普遍掉点
(a3) 去除双向交互架构	0.147 / 0.837	0.119 / 0.859	0.190 / 0.750	0.139 / 0.805	仅靠冻结 VFM 缺乏几何细节，无法支撑有效结构建模 (Waymo 性能严重暴跌)
(b1) 冻结 DINOv2 + DPT	0.186 / 0.719	0.129 / 0.832	0.163 / 0.757	0.126 / 0.839	替代基线：缺乏几何交互与结构解耦，性能大幅落后
(b2) 全参数微调 DINOv2 + DPT	0.197 / 0.709	0.167 / 0.747	0.226 / 0.681	0.215 / 0.600	噪声弱自监督破坏 VFM 预训练特征，导致灾难性坍塌
(b3) ViT-Adapter + DPT	0.166 / 0.767	0.123 / 0.856	0.147 / 0.822	0.163 / 0.757	仅引入适配器但未建模结构判别，无法解决跨域混合冲突
(c1) 更换骨干为 DINOv3	0.136 / 0.855	0.100 / 0.897	0.152 / 0.826	0.128 / 0.834	性能变化微弱，验证 VFM 主要提供语义锚点而非决定性结构源

关键发现¶

首次突破混合训练负迁移瓶颈：以往领先的自监督方法（如 SC-DepthV3、DCPI-Depth 等）在混合数据集训练时无一例外出现显著的性能崩溃（例如 DCPI-Depth 在 NYUv2 上的 Abs Rel 从单域 0.151 剧烈恶化至混合域 0.331）。而 MaSS† 是首个展现出正向扩展效应的自监督方法，在所有训练集和未见过的零样本测试集上均取得了超越单域模型的更优成绩（KITTI Abs Rel 降至 0.092，NYUv2 降至 0.104）。
对比学习与几何交互是泛化力的两大支柱：在消融实验中，去掉场景结构对比学习 $\mathcal{L}_{\text{scl}}$ 使 Waymo 零样本 Abs Rel 从 0.123 劣化至 0.163；去掉双向交互架构更是恶化至 0.190。这强力证明通用自监督深度估计的核心在于显式建模通用场景布局，而非仅依赖模型容量。
高能效与小数据规模下的惊人表现：在模型开销对比中，MaSS 仅需 93.2M 参数量和 81.6 GFLOPs，在 150K 规模数据上训练即可超越依赖 2.2M 数据的自监督模型（如 KBR+++），甚至在室外零样本数据集（如 DrivingStereo Abs Rel 0.100 vs. Depth Anything V2 0.103）上逼近全监督构建的深度大模型。

亮点与洞察¶

机制本质的敏锐洞察：作者清晰地揭示了自监督单目深度估计长期存在的"结构伪影拟合"隐式缺陷——弱自监督由于缺少三维标签，深层网络实际上是在走捷径拟合特定场景的透视先验；将问题精确归结为跨域结构偏差冲突，为自监督大模型的构建指明了根本方向。
基于软化深度直方图的无监督对比学习构建：巧借软化连续直方图与对称 KL 散度，将原本高度非线性、连续不可导且无法解析度量的全局三维场景结构，巧妙转化为了稳健且不受局部高频噪声扰动的多正样本对比学习监督信号。
可复用的通用解耦范式：提出的"语义关系锚定 + 正交解耦"特征投影设计能够直接推广至其他多模态感知或稠密预测任务中，有效防止多任务或异构数据联合微调时不同源特征的相互干扰与模式坍塌。

局限与展望¶

依赖初始预热阶段：由于场景结构判别依赖于模型自身的深度预测来统计软直方图，在训练初期（首个 epoch）模型必须退化为传统自监督模式以建立基础几何假设，对极度恶劣初始条件可能存在敏感性。
室内绝对深度尺度下依然弱于大监督模型：尽管在室外与复杂异构场景表现亮眼，在标准室内数据集（如 iBims-1, SUN-RGBD）上相比于使用数千万带真值数据预训练的全监督 DFM（如 Depth Anything V2）仍存在精度差距。
更大规模数据扩展潜能有待验证：当前验证的数据规模上限为 200K 样本，相较于现代基础大模型的数千万甚至十亿级数据规模依然较小，更宏大尺度下的渐进规律与算力平衡仍待后续探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深入揭示了自监督深度负迁移的根源，首创将场景布局对比学习与语义解耦引入自监督单目深度。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个训练主数据集、8 个零样本泛化测试集以及严谨的混合域扩展和消融对比。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链条严密，动机深入透彻，图表与数学表述清晰自洽。
价值: ⭐⭐⭐⭐⭐ 为无监督与自监督通用深度大模型（SSMDE Foundation Models）的可扩展训练提供了极具启发性的技术基准。