Focusable Monocular Depth Estimation¶

会议: NeurIPS 2026
arXiv: 2605.11756
OpenReview: https://openreview.net/forum?id=LTHElHJrAh
领域: 深度、法线与立体
关键词: 单目深度估计、提示词引导、多尺度对齐、边界锐度、具身感知

一句话总结¶

提出可聚焦单目深度估计任务（FDE）与框架 FocusDepth，利用多尺度空间对齐融合模块（MSSA）将 SAM3 的框/文本提示特征门控注入 Depth Anything 几何表征，在保持全局场景几何一致性的同时大幅提升目标前景精度与物体边界锐度。

研究背景与动机¶

单目深度估计作为从单张 RGB 图像恢复三维场景几何的核心视觉任务，在机器人操作、具身智能与增强现实等场景中具有基础性支撑作用。近年来以 Depth Anything（DA2、DA3）、UniDepth 和 Metric3D 为代表的单目深度基座模型，凭借海量多样化多源数据的预训练，取得了令人瞩目的零样本跨域泛化能力。然而，现有的单目深度模型均基于全图均匀像素误差进行训练与评测，在损失计算和性能指标上对整幅图像的所有像素赋予无差别的平等待遇。

这种图像中心化的均匀加权与实际任务驱动的空间感知存在严重错配。在机器人抓取、精密操作或具身交互等实际下游任务中，人类与智能体天然会优先关注与目标操作相关的特定前景区域，同时仅保留对背景的粗略上下文感知。图像全局的高平均指标并不能保证目标局部几何与深度不连续面（物体边界）的可靠性；均匀损失函数甚至会稀释对高曲率、精细结构及物体突变轮廓处的监督，导致目标边界模糊与局部深度失真。

为了打破这一瓶颈，研究者迫切需要将单目深度估计从被动的整图均匀推断演进为目标条件驱动的聚焦式感知。核心 idea：将单目深度估计重构为以目标为中心的可聚焦任务（FDE），提出 FocusDepth 框架，利用多尺度空间对齐融合模块（MSSA）把 SAM3 的提示词空间选择性门控注入 Depth Anything 的预训练稠密几何表征中，兼顾目标前景精确度、边界突变锐度与全图几何一致性。

方法详解¶

整体框架¶

FocusDepth 针对单目深度估计在特定前景区域精度不足与边界模糊的问题，构建了双分支协同架构：几何深度分支（采用预训练的 DA2 或 DA3）与提示引导分支（采用预训练的 SAM3）。给定输入图像和交互式提示（边界框或文本描述），几何深度分支提取多尺度的稠密几何特征，提示引导分支则解析出具备空间选择性的提示词目标 Token。通过核心的多尺度空间对齐融合模块（MSSA），模型在统一的 ViT Patch 网格下逐尺度进行对齐拼接、路由专家融合与门控注入，最终通过深度解码器输出全图相对深度图，并由辅助分割头输出前景掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 RGB 图像 + 交互提示<br/>(Bounding Box / 文本描述)"] --> B["双分支特征编码<br/>DAs 几何分支 + SAM3 提示分支"]
    B --> C["多尺度空间对齐融合 (MSSA)<br/>1:1 Patch 空间对齐与投影拼接"]
    C --> D["路由条件融合 (Routed MoE)<br/>4 专家条件适应不同区域修正"]
    D --> E["门控残差注入 (Gated Fusion)<br/>可学习 Sigmoid 门控保留预训练几何先验"]
    E --> F["双头输出与区域多任务监督<br/>全图相对深度预测 + 辅助分割掩码"]

关键设计¶

1. 尺度空间对齐投影与拼接：严密对齐提示先验与几何表征 传统特征融合多采用交叉注意力或全局池化连接，容易打乱稠密深度预测依赖的严密二维空间网格结构，破坏预训练几何模型的空间连续性。FocusDepth 巧妙利用 DAs 几何分支与 SAM3 提示分支均基于 ViT 骨干架构且在统一分辨率（输入 1008×1008，Patch 大小 14）下运算的物理特性，确保两分支输出的 Token 在空间上天然具备一维到一维的严格网格对应关系。在第 $s$ 个几何特征尺度（共 $S=4$ 个尺度），提示特征 $X^p \in \mathbb{R}^{N \times C_p}$ 经过尺度专用的线性投影层 $W_s^p \in \mathbb{R}^{C_p \times C_g}$ 映射至几何通道维度： $$\tilde{X}_s^p = X^p W_s^p$$ 随后在 Token 维度上与该尺度的几何特征 $X_s^g \in \mathbb{R}^{N \times C_g}$ 进行逐 Token 拼接： $$Z_s = [X_s^g \,\|\, \tilde{X}_s^p] \in \mathbb{R}^{N \times 2C_g}$$ 这种严格保持空间网格拓扑的无损拼接，为局部几何的高保真度校准奠定了精确的空间锚点。

2. 路由条件专家融合：自适应分配不同区域的特征容量 在单目深度推断中，整图不同空间位置对外部先验的需求差异巨大：背景区域需要依赖成熟的几何先验，目标轮廓需要锐化几何跃变，而目标内部则需要精准的相对深度平滑。统一静态的卷积或 MLP 难以兼顾如此多样的局部需求。MSSA 在拼接后的表征 $Z_s$ 后引入轻量级 Mixture-of-Experts（MoE）路由网络，配置 $E=4$ 个专家网络： $$F_s = \mathrm{MoE}_s(Z_s) \in \mathbb{R}^{N \times C_g}$$ 路由器根据输入的局部线索动态分配各个专家的组合权重，无需显式强行人工划分前景、边界与背景专家标签，而是以数据驱动的方式自适应为不同语义与几何过渡区域提供充分的非线性融合表征能力。

3. 门控残差注入机制：平衡局部精细修正与全局几何先验 直接覆盖或粗暴累加融合特征极易冲垮 DAs 基础模型通过数千万海量数据沉淀的全局单目几何常识，导致背景漂移或整体平面弯曲。为了将提示信息约束在“按需校正”的安全范围内，MSSA 设计了可学习的空间位置自适应门控机制。利用投影向量 $W_s^g \in \mathbb{R}^{C_g \times 1}$ 与 Sigmoid 激活函数计算逐元素门控权重矩阵： $$G_s = \sigma(F_s W_s^g)$$ 最终各尺度的融合输出采用门控残差插值形式： $$Y_s = G_s \odot F_s + (1 - G_s) \odot X_s^g$$ 当目标指示不确定或处于远离目标的背景区域时，门控倾向于保留原始几何表征 $X_s^g$；而在需要强调的特定前景与边界边缘处，门控动态放行融合特征 $F_s$，实现了局部针对性精细雕琢与全局宏观几何稳定的有机统一。

损失函数 / 训练策略¶

FocusDepth 针对可聚焦深度任务设计了空间分区的复合相对深度损失体系。通过形态学膨胀与腐蚀操作，以半径 $r=10$ 像素构建目标边界带 $B$，将有效像素掩码 $V$ 细分为前景有效区 $V_{\mathrm{fg}} = V \cap M$、边界有效区 $V_{\mathrm{bd}} = V \cap B$ 和全局有效区 $V_{\mathrm{glb}} = V$。由于模型输出为相对深度 $\hat{D}$，训练中首先在全图有效像素上闭式求解单图尺度因子 $a$ 与平移因子 $b$，获得对齐深度 $\tilde{D} = a\hat{D} + b$。

区域深度监督由加权掩码 MSE 损失与梯度损失组成： $$\mathcal{L}_{\mathrm{reg}} = \mathcal{L}_{\mathrm{depth}}(\tilde{D}, D; V_{\mathrm{reg}}), \quad \mathrm{reg} \in \{\mathrm{fg}, \mathrm{bd}, \mathrm{glb}\}$$ 结合辅助掩码二元交叉熵与 Dice 分割损失 $\mathcal{L}_{\mathrm{seg}} = \mathcal{L}_{\mathrm{BCE}}(\hat{M}, M) + \mathcal{L}_{\mathrm{Dice}}(\hat{M}, M)$，总体优化目标由四项均匀加权构成： $$\mathcal{L} = \mathcal{L}_{\mathrm{glb}} + \mathcal{L}_{\mathrm{fg}} + \mathcal{L}_{\mathrm{bd}} + \mathcal{L}_{\mathrm{seg}}$$

为了保证模型平稳收敛并保护预训练先验，训练采用两阶段策略： - 阶段一（Stage 1，1 个 epoch）：完全冻结 DAs 与 SAM3 预训练骨干网络，仅训练 MSSA 模块（学习率 $1\times 10^{-4}$），使模型在不干扰骨干特征的前提下快速学习跨模态 Token 几何对齐； - 阶段二（Stage 2，4 个 epoch）：保持两分支特征提取器冻结，放开优化 MSSA、深度解码器、SAM3 提示引导 Transformer 以及辅助分割头（学习率 $1\times 10^{-5}$），实现端到端的下游聚焦深度精细适应。

实验关键数据¶

主实验¶

在 FDE-Bench 基准（涵盖室内杂乱、桌面物体及具身仿真操作等五大真实与模拟数据集，共 252.9K/72.5K 训练/验证三元组）上进行全面评测。在框提示（Box prompt）设定下，FocusDepth 与代表性零样本基座模型及全图微调模型（DA2-ft、DA3-ft）在中位指标上的核心对比数据如下：

数据集	方法	边界 $\delta_1 \uparrow$	边界 $\mathrm{AbsRel} \downarrow$	前景 $\delta_1 \uparrow$	前景 $\mathrm{AbsRel} \downarrow$	全局 $\delta_1 \uparrow$	全局 $\mathrm{AbsRel} \downarrow$
RLBench	DA2 (Zero-shot)	0.922	0.106	0.996	0.097	0.917	0.106
RLBench	DA2-ft	0.982	0.069	1.000	0.066	0.964	0.054
RLBench	FocusDepth(DA2)	0.996	0.054	1.000	0.050	0.992	0.045
RLBench	DA3 (Zero-shot)	0.790	0.148	0.944	0.147	0.889	0.134
RLBench	DA3-ft	0.975	0.073	1.000	0.095	0.983	0.042
RLBench	FocusDepth(DA3)	0.996	0.049	1.000	0.056	0.996	0.030
RoboTwin	DA3-ft	0.949	0.082	0.992	0.075	0.985	0.037
RoboTwin	FocusDepth(DA3)	0.979	0.058	0.998	0.055	0.995	0.029
NYU v2	DA3-ft	1.000	0.051	1.000	0.046	0.977	0.053
NYU v2	FocusDepth(DA3)	1.000	0.049	1.000	0.044	0.978	0.053

在文本提示（Text prompt）设定下，FocusDepth(DA3) 在 RLBench 上的表现同样大幅领跑基线（边界 AbsRel 由 DA3-ft 的 0.068 降至 0.045，前景 AbsRel 由 0.088 降至 0.050，全局 AbsRel 由 0.041 降至 0.029）。

消融实验¶

在 RLBench 数据集上以 FocusDepth(DA3) 为基准，系统验证 MSSA 各核心组件与优化策略对绝对相对误差（AbsRel，越低越好）的贡献：

配置	框提示: 边界 / 前景 / 全局 AbsRel	文本提示: 边界 / 前景 / 全局 AbsRel	说明
Full model (FocusDepth)	0.049 / 0.056 / 0.030	0.045 / 0.050 / 0.029	完整模型
w/o 空间对齐 (随机打乱 Token)	0.054 (+10.2%) / 0.062 (+10.7%) / 0.033 (+10.0%)	0.050 (+11.1%) / 0.056 (+12.0%) / 0.033 (+13.8%)	打乱空间对应，性能断崖式恶化
w/o 多尺度融合 (单尺度)	0.052 (+6.1%) / 0.060 (+7.1%) / 0.032 (+6.7%)	0.048 (+6.7%) / 0.055 (+10.0%) / 0.031 (+6.9%)	缺少分层几何信息适应
w/o 路由 MoE (替换为单层 MLP)	0.052 (+6.1%) / 0.061 (+8.9%) / 0.032 (+6.7%)	0.048 (+6.7%) / 0.055 (+10.0%) / 0.031 (+6.9%)	缺少动态自适应特征容量
w/o 门控机制 (直接累加)	0.050 (+2.0%) / 0.059 (+5.4%) / 0.031 (+3.3%)	0.047 (+4.4%) / 0.051 (+2.0%) / 0.031 (+6.9%)	局部先验冲垮原有几何一致性
仅保留全局损失 (无局部损失)	0.049 (+0.0%) / 0.062 (+10.7%) / 0.028 (-6.7%)	0.045 (+0.0%) / 0.056 (+12.0%) / 0.028 (-3.4%)	全局略优但目标前景被严重牺牲
单阶段端到端训练	0.050 (+2.0%) / 0.059 (+5.4%) / 0.030 (+0.0%)	0.046 (+2.2%) / 0.053 (+6.0%) / 0.029 (+0.0%)	跨模型初始化扰动减弱局部校准

关键发现¶

空间对齐是核心基石：在所有组件中，移除空间对齐（打乱两分支 Token 对应）带来的负面影响最为致命，使文本提示下的全局 AbsRel 恶化达 13.8%，前景 AbsRel 恶化达 12.0%，证明了精确的一致几何拓扑映射对深度聚焦至关重要。
全局损失与局部精度的内在权衡：仅采用全局监督时，全图 AbsRel 虽然略微降低（从 0.030 降至 0.028），但前景误差却大幅反弹 10.7% 至 12.0%，直接证实了常规均匀像素训练会以牺牲局部关键物体几何为代价来迎合背景大面积平坦区域。
提示容错与鲁棒性表现优异：提示扰动实验显示，即便输入错误可见物体、不存在物体甚至是空提示，FocusDepth(DA3) 在边界和前景上的表现（AbsRel 分别为 0.111、0.117 和 0.118）依然系统性显著超越无提示基线 DA3-ft（边界 AbsRel 为 0.162），表明辅助分割分支和融合结构本身注入了额外的多尺度上下文正则化效益。

亮点与洞察¶

任务形式的范式演进：将传统单目深度的“无差别全局被动拟合”重塑为以目标交互为中心的“主动聚焦感知”，精准切中了具身机器人与 3D 交互中对操作主体高精度的刚性需求。
Patch 级空间对齐的高效复用：利用 ViT 统一规则网格特性，规避了代价高昂且不稳定的全局交叉注意力机制，通过 1:1 空间直接拼接结合轻量级 MoE，以极低参数量实现了高密度的提示词注入。
两阶段解耦训练范式：先通过 Stage 1 建立跨基座大模型的空间特征桥梁，再通过 Stage 2 进行下游几何适应，有效化解了不同预训练目标模型联合微调时的梯度冲突。

局限与展望¶

度量深度支持有待完善：当前工作聚焦于相对深度估计，依赖测试时的单图尺度和平移因子后验对齐，未来需要扩展至绝对尺度（Metric Depth）的端到端直接预测。
极端多目标并发开销：当场景中需要同时高精度关注多个不同分散目标时，基于单目标三元组的推断机制需要多次顺序调用或增大 Batch，亟需探索单次前向下的多目标并发聚焦机制。
具身闭环下游验证空间：目前实验主要在离线测试集与单帧评测上进行，尚待进一步接入真实机器人抓取与视觉触觉闭环控制系统中验证其在线增益。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次提出提示词引导的可聚焦单目相对深度估计任务，构建了标准化评测基准与对齐注入机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大真实与仿真数据集、25 万训练三元组、跨框与文本提示，并提供了详尽的鲁棒性与消融分析。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，三阶段设计与评测拆解条理清晰，图表数据丰富详实。
价值: ⭐⭐⭐⭐⭐ 为具身智能、机器人交互与精细三维感知提供了极具实用价值的目标导向几何重构工具。