Last-Layer-Centric Feature Recombination: Unleashing 3D Geometric Knowledge in DINOv3 for Monocular Depth Estimation¶

会议: ECCV 2026
论文: ECCV 官方
代码: https://github.com/book-book24/LFR
领域: 深度、法线与立体
关键词: 单目深度估计, DINOv3, 最后一层为中心, 特征重组, 最小相似度选择

一句话总结¶

本文针对现有单目深度估计方法均匀采样 ViT 中间层构建特征金字塔而忽略几何分布异质性的缺陷，系统揭示了 DINOv3 中深层表征蕴含更强三维几何预测力的规律，进而提出以最后一层为几何锚点、自适应融合语义互补中间层的特征重组模块（LFR），在零样本泛化与全监督基准上刷新 SOTA。

研究背景与动机¶

单目深度估计（MDE）作为计算机视觉中的经典底层三维感知任务，旨在从单张二维 RGB 图像恢复逐像素场景绝对或相对深度。由于单张二维图像在几何投影上对应无限种可能的三维空间排布，MDE 本质上属于病态逆问题。早期方法普遍尝试引入分段平面先验、法向量一致性约束或局部表面平滑假设来约束解空间，但这些手工先验在面对结构复杂、非受限的真实物理环境时鲁棒性不足，极易限制模型的表征表达自由度。近年来，以大规模视觉基础模型（VFM）特别是自监督 ViT（如 DINO 系列）为代表的主干网络彻底重塑了该领域，最新主流方案如 Depth Anything 和 VGGT 均以 DINO 架构为核心构建。

然而，当前利用 ViT 进行密集三维几何预测的架构范式高度统一且存在盲目性：绝大多数模型沿袭 DPT 解码器框架，直接在 Transformer 主干中机械地“均匀等距”抽取若干中间层（例如在 24 层 ViT-L 中抽取第 6、12、18、24 层）来拼装多尺度特征金字塔。这种经验主义做法隐式假设了三维几何知识在 Transformer 各层之间是均匀散布的。但由于 ViT 缺乏类似卷积神经网络那样的局部归纳偏置，自监督模型在不同层级所建立的表征分布差异极大。直接机械抽取中间层不仅会引入高度冗余的特征，还可能冲淡预训练模型真正擅长三维推理的关键几何线索。

本文作者通过对 70 亿参数、经 170 亿图像预训练的 DINOv3-L 进行逐层统计审计发现：中深层特征在跨样本间倾向于收敛到一个共享表征空间，而越靠近顶层的网络层，其线性深度预测能力（\(R^2\)）和解释样本间三维几何差异的能力越强，最后一层本身即具备极高的空间定位与三维结构信息。由此产生的核心矛盾是：既需要利用浅/中层的互补细节来补全多尺度感知，又不能破坏顶层极其珍贵的几何定位主导权。核心 idea：将 DINOv3 最后一层特征确立为主导几何锚点，依据最小相似度准则自适应筛选最具互补增益的中间层，并通过紧凑的残差门控适配器进行特征重组，以极低计算开销最大化释放基础模型的 3D 几何潜能。

方法详解¶

整体框架¶

整体预测流程分为图像输入编码、自适应辅助层选择、最后一层为中心的特征重组（LFR）以及置信度加权的多层级深度预测四个阶段。给定输入图像 \(I \in \mathbb{R}^{H \times W \times 3}\)，通过 Patch 投影为空间分辨率缩小 16 倍的 Token 序列 \(T_0 \in \mathbb{R}^{N \times C}\)（其中 \(N = \frac{H}{16} \times \frac{W}{16}\)），随后经 \(L\) 层 Transformer 编码层提取特征。LFR 模块充当冻结主干与 DPT 解码器之间的即插即用桥梁：以最后一层 \(F_L\) 与 \(\text{Cls}_L\) 为几何基准，自适应选择 \(K=4\) 个余弦相似度最小的前序辅助层，经轻量级瓶颈适配器与门控调节融合后生成 \(K\) 组重组特征，最后由解码器生成各层预测并通过类别 Token 自适应加权输出最终深度图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入 RGB 图像<br/>H × W × 3"] --> B["DINOv3 主干编码<br/>提取 L 层图像与类别 Token"]
    B --> C["最小相似度特征选择<br/>以最后一层为锚点选取 K 个互补层"]
    C --> D["最后一层中心化重组<br/>通道拼接 + 瓶颈适配器 + tanh 门控残差"]
    D --> E["多层级 DPT 解码回归<br/>独立重组尺度特征金字塔构建"]
    E --> F["置信度自适应加权聚合<br/>由重组类别 Token 预测归一化权重"]
    F --> G["最终高精度深度图输出"]

关键设计¶

1. 最小相似度特征选择：最大化语义信息互补并消除层间冗余

针对传统等距固定层抽取导致的信息冗余问题，本文以最后一层为核心参照系筛选辅助层。设第 \(L\) 层的图像 Patch Token 为 \(F_L \in \mathbb{R}^{N \times C}\)，类别 Token 为 \(\text{Cls}_L \in \mathbb{R}^{1 \times C}\)。算法计算 \(\text{Cls}_L\) 与每一前置层 \(l \in \{1, \dots, L-1\}\) 的图像 Token 之间的平均余弦相似度。为了最大化引入与顶层表征差异最大、互补性最强的新知识，系统严格挑选平均相似度最低的 \(K\) 个层（实验设定 \(K=4\)）作为辅助层，记为其对应的图像与类别特征 \(\{F_{ak}, \text{Cls}_{ak}\}_{k=1}^K\)。统计分析表明，该策略自适应选取的辅助层高度集中在第 17 至 22 层之间，成功在“具备一定宏观几何感知”与“与终层形成显著互补”之间找到最佳平衡点，从信息论角度避免了特征重复与容量浪费。

2. 瓶颈残差门控适配器：以最后一层为主干的保真重组

为了防止辅助层特征稀释顶层强大的三维先验，重组模块采用了以终层为主干的残差偏置架构。对每个被选取的辅助层 \(a_k\)，首先将辅助特征与终层特征在通道维度进行拼接，完整保留两者的原始语义空间。随后将拼接特征输入轻量级适配器 \(A^k\)（由下投影线性层、非线性激活函数与上投影线性层组成的瓶颈网络）。为了让网络自适应调节辅助特征的注入强度，设计了可学习标量门控标量 \(g^k\)，并通过 \(\tanh\) 函数将调控幅度约束在 \([-1, 1]\) 之间。最终重组特征由残差连接直接加回终层基底上：

\[F_{rk} = \tanh(g^k) \cdot A^k([F_{ak}; F_L]) + F_L\]

\[\text{Cls}_{rk} = \tanh(g^k) \cdot A^k([\text{Cls}_{ak}; \text{Cls}_L]) + \text{Cls}_L\]

该设计使得重组后的特征本质上是“最后一层特征在特定互补视角下的受控微调与强化”，既保留了顶层敏锐的物体边界和绝对深度辨别力，又吸收了深层共性先验。

3. 置信度驱动的多层级加权聚合：动态整合各重组尺度的预测优势

标准 DPT 解码器仅依赖特征金字塔融合后的单路顶层输出产生预测，容易掩盖不同层级特征在局部或特定距离区间的差异化优势。本文为 \(K\) 个重组特征分别构建对应的金字塔分支并独立进行逐层深度回归，得到 \(K\) 幅候选深度图 \(\{\widetilde{D}_k\}_{k=1}^K\)。为了动态感知各个候选深度的全局置信度，利用各分支重组后的类别 Token \(\text{Cls}_{rk}\) 经线性投影和 Softmax 计算各分支权重：

\[w^k = \frac{\exp(\text{Linear}(\text{Cls}_{rk}))}{\sum_{j=1}^K \exp(\text{Linear}(\text{Cls}_{rj}))}\]

最终深度预测图为各分支的自适应加权和 \(\widetilde{D} = \sum_{k=1}^K w^k \cdot \widetilde{D}_k\)。这使得模型在面对高动态范围或多遮挡复杂场景时，能够根据场景上下文为不同互补分支动态分配裁决权，极大提升了模型预测的稳健性。

损失函数 / 训练策略¶

模型训练采用双重互补的目标函数进行端到端监督。第一项为单目深度估计经典的尺度不变对数损失（Scale-Invariant Logarithmic Loss, \(\mathcal{L}_{s\text{log}}\)）：

\[\mathcal{L}_{s\text{log}} = \sqrt{\frac{1}{N}\sum_{n=1}^N g_n^2 - \frac{\lambda}{N^2}\left(\sum_{n=1}^N g_n\right)^2}\]

其中 \(g_n = \log \widetilde{d}_n - \log d_n\) 表示预测值与真实深度的对数误差，\(N\) 为有效像素总数，平衡系数 \(\lambda\) 设为 0.85。第二项为分层归一化损失（Hierarchical Normalization Loss, \(\mathcal{L}_{HN}\)），通过在多尺度局部图像块 \(M \in \{1, 4, 8\}\) 上分别对预测和真实深度执行块内均值方差归一化 \(\mathcal{N}_u\)，促使全局结构一致性与局部微观几何细节得到协同优化：

\[\mathcal{L}_{HN} = \frac{1}{N}\sum_{n=1}^N \frac{1}{|U_n|}\sum_{u \in U_n} \left| \mathcal{N}_u(d_n) - \mathcal{N}_u(\widetilde{d}_n) \right|\]

最终总损失为两者的直接相加：\(\mathcal{L} = \mathcal{L}_{s\text{log}} + \mathcal{L}_{HN}\)。训练基于 4 张 NVIDIA A100 GPU，使用 AdamW 优化器训练 30 个 Epoch，前 10% 步数线性预热后余弦衰减；主干网络在前 20 个 Epoch 保持微调，最后 10 个 Epoch 冻结主干以巩固适配器收敛。单张 \(640 \times 480\) 图像推理开销仅为 680 GFLOPs。

实验关键数据¶

主实验¶

在室内标准数据集 NYU Depth v2（深度范围 0-10m）和室外自动驾驶基准 KITTI（Eigen 分割，深度范围 0-80m）上，将配备 LFR 的模型与代表性前沿方法进行对比：

数据集	模型	参数量	AbsRel ↓	RMSE ↓	SqRel ↓	\(\delta_1\) ↑
NYU Depth v2	DPT (ViT-Hybrid)	343M	0.110	0.357	-	0.904
NYU Depth v2	NeWCRFs	270M	0.095	0.334	0.045	0.922
NYU Depth v2	VPD (扩散生成模型)	600M	0.069	0.254	0.027	0.964
NYU Depth v2	DAR-L (自回归模型)	2.0B	0.056	0.205	0.011	0.982
NYU Depth v2	Depth Anything v2	343M	0.056	0.206	-	0.984
NYU Depth v2	DINOv3-L (Baseline)	342M	0.060	0.212	0.018	0.981
NYU Depth v2	DINOv3-L + LFR (本文)	350M	0.057	0.206	0.017	0.984
KITTI	NeWCRFs	270M	0.052	2.129	0.155	0.974
KITTI	VPD (扩散生成模型)	207M	0.050	2.072	0.148	0.975
KITTI	DAR-L (自回归模型)	2.0B	0.044	1.799	0.110	0.986
KITTI	Depth Anything v2	343M	0.045	1.861	-	0.983
KITTI	DINOv3-L (Baseline)	342M	0.046	1.794	0.107	0.986
KITTI	DINOv3-L + LFR (本文)	350M	0.043	1.711	0.099	0.988

消融实验¶

在 KITTI 数据集上，从基础的 DINOv3 + DPT 开始，逐步累加各核心组件验证有效性（数据均源自原文表 5）：

配置	最后一层锚点	特征重组适配	HN 分层损失	多层级加权	AbsRel ↓	SqRel ↓	RMSE ↓	\(\delta_1\) ↑
Baseline (均匀等距采样)	\(\times\)	\(\times\)	\(\times\)	\(\times\)	0.046	0.107	1.794	0.986
+ 纯最后一层重复输入	\(\checkmark\)	\(\times\)	\(\times\)	\(\times\)	0.045	0.105	1.743	0.987
+ LFR 瓶颈重组模块	\(\checkmark\)	\(\checkmark\)	\(\times\)	\(\times\)	0.043	0.099	1.721	0.987
+ 引入 HN 分层归一化损失	\(\checkmark\)	\(\checkmark\)	\(\checkmark\)	\(\times\)	0.043	0.099	1.719	0.987
+ 多层级预测置信度加权 (完整模型)	\(\checkmark\)	\(\checkmark\)	\(\checkmark\)	\(\checkmark\)	0.043	0.099	1.711	0.988

辅助层选择策略的横向对比（原文表 6）：

选择策略	策略机理	AbsRel ↓	SqRel ↓	RMSE ↓	\(\delta_1\) ↑
Scores	通过类别 Token 投影预测打分进行筛选	0.044	0.101	1.738	0.987
Node degree	选取类别 Token 与图像 Token 间平均相似度最低的层	0.044	0.100	1.721	0.987
Maximal-similarity	选取与终层类别 Token 余弦相似度最高的层	0.044	0.100	1.723	0.987
Minimal-similarity (本文)	选取与终层类别 Token 余弦相似度最低的层 (互补最大化)	0.043	0.099	1.711	0.988

关键发现¶

最后一层作为主导几何锚点的决定性作用：单纯仅复制最后一层输入 DPT（无需任何中间层），KITTI 上的 RMSE 便从 1.794 下降至 1.743，直接证实了 DINOv3 顶层自身已高度凝聚多尺度三维表达，传统等距抽取前序层实际上破坏了特征的几何一致性。
互补性高于相似性：在辅助层挑选策略上，采用“最小相似度”选取的层（主要位于 17-22 层）效果显著优于“最大相似度”（RMSE 1.711 vs 1.723）。这表明辅助层的作用在于提供主导层所欠缺的全局共享几何线索，而非重复同质信息。
卓越的零样本泛化能力：在跨数据集零样本迁移评估中，仅在 NYUv2 上训练的模型直接在 SUN RGB-D 上测试，AbsRel 达到 0.099、\(\delta_1\) 达 0.907，显著超过 Depth Anything v1（0.119 / 0.864）和 20 亿参数的 DAR-L（0.112 / 0.885）；在 KITTI 训练直接迁移至 Argoverse 上，AbsRel 达到 0.204、\(\delta_1\) 达 0.730，远超基线 DINOv3-L（0.219 / 0.677）。

亮点与洞察¶

从机械先验转向基础模型本征几何分布认知：本文打破了 ViT 密集预测领域长达数年“等距四等分取层”的教条惯性，通过 RDM 相似度分析与线性探针实验，首次定量证明了 DINOv3 几何信息随深度加深而高度聚集的本征特性，提供了强有力的理论依据。
以终为始的高效重组架构设计：设计的残差门控适配器仅增加约 8M 参数量，却通过通道拼接与瓶颈残差巧妙实现了“终层锚定、辅助调制”，既彻底防范了早期层噪声侵蚀，又以即插即用方式榨取了深层互补信息。
单步前向对抗多步生成：在深度预测精度完全持平甚至微幅超越 2.0B 的自回归模型（DAR-L）或重型扩散模型（VPD/ECoDepth）的同时，保持了普通判定式模型的单次前向极速推理（单图仅 680 GFLOPs），工程实用价值极高。

局限与展望¶

主干参数微调计算需求：虽然适配器本身十分轻量，但论文在前 20 个 Epoch 依然解冻了 DINOv3-L 的 3 亿多参数进行微调，未来若能实现完全冻结主干仅微调适配器且不掉点，将大幅降低训练门槛。
任务形式的单一性：目前实验仅聚焦于单目绝对深度估计，尚未探索将以终层为中心的重组范式推广至表面法线估计、三维点云补全或单目 3D 目标检测等更广泛的三维感知任务。
室内外层选择分布差异机制探究：统计显示室外 KITTI 选取的辅助层极其集中（如第 20、21、22 层接近 100% 命中），而室内 NYUv2 分布更为离散（第 19、21 层混合出现），关于场景几何复杂度如何影响自适应层选择的机理尚需更深层次的理论建模。

评分¶

新颖性: ⭐⭐⭐⭐☆ 深入揭示了 DINOv3 内部几何分布规律，以最后一层为中心的最小相似度自适应重组机制简洁而富有启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 NYUv2、KITTI 室内外双主基准，详尽的消融实验、选择策略对比、注意力可视化及 SUN RGB-D / Argoverse 零样本迁移测试。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰流畅，动机由统计数据严密驱动，图表直观精美，数学符号与公式推导定义严谨。
价值: ⭐⭐⭐⭐⭐ 为下游密集预测任务如何科学、高效地迁移视觉基础模型树立了范例，具备极高的实际落地与学术参考价值。