FoundDP: Revisiting Weak Disparity Observability in Dual-Pixel Depth Estimation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/EchoLighting/FoundDP
领域: 深度、法线与立体
关键词: 双像素成像、度量深度估计、单目深度大模型、视差可观测性、特征对齐

一句话总结¶

针对双像素（DP）微基线在弱纹理与降采样区域视差不可观测导致的结构崩塌，FoundDP 首次将物理接地的 DP 度量深度与单目深度大模型（DAV2）的全局结构先验深度融合，并通过散焦特征对齐与自适应门控引导，实现了高保真、度量尺度一致的稠密深度估计。

研究背景与动机¶

双像素（Dual-Pixel, DP）传感器通过将单个感光像素分割为左右两个子孔径，能够在单次曝光中利用微小的亚像素视差隐式获取立体线索，已成为消费级相机与智能手机中无需额外硬件即可感知真实物理深度的重要手段。传统与现有基于学习的 DP 深度估计方法（如 DPNet、DDDNet、SFBDNet）高度依赖局部子像素对应匹配。然而，DP 传感器左右子孔径之间的等效基线极小（仅相当于光圈尺寸的一小部分），这在物理上根本性地限制了视差的可观测性（Disparity Observability）。在现实场景中广泛存在的无纹理白墙、弱光平面、远景以及传感器空间降采样等区域，DP 视差信号几乎完全衰减至噪声基底之下，导致局部匹配彻底失效，输出的深度图往往出现严重的结构畸变、边缘撕裂与大面积深度空洞。

与此相对，以 Vision Transformer（ViT）为支柱的单目深度基础模型（如 Depth Anything V2、MoGe）凭借在大规模真实与合成数据上的泛化表征，能够依托强大的长程上下文推理能力，在无纹理与低对比度区域重建出极具全局一致性与平滑几何轮廓的相对场景结构。然而，单目深度估计在本质上属于单视图病态逆问题，预测结果仅在统计学意义上合理，并不具备真实的物理尺度约束，输出深度存在严重的仿射尺度未知性与不确定性。这揭示了一对天然的互补矛盾：DP 测距具备物理接地的绝对度量尺度，但在弱观测区域缺乏结构连贯性；单目大模型具备极致的全局几何推理能力，却缺失物理度量基准。

直接将单目基础模型嫁接到 DP 图像上并非平凡任务。DP 传感器在大光圈成像时伴随显著的光学散焦弥散（Defocus Blur），这导致离焦区域高频信息严重衰减，与基础模型预训练所使用的清晰自然图像分布存在显著的域漂移，进而在 ViT 的多头注意力机制中引发灾难性的结构表征偏置与引导振荡。本文的核心 idea 是：将 DP 成像解构出的物理度量深度作为绝对尺度锚点，利用单目深度基础模型恢复弱视差区域的全局拓扑结构，并通过针对 DP 散焦退化的 ViT 特征对齐与度量自适应门控机制，无缝协同物理观测与全局几何先验。

方法详解¶

整体框架¶

FoundDP 采用阶段式级联与渐进引导架构，整体数据流由三个核心模块构成：双像素深度估计模块（DDE）、结构残差精炼模块（SR）以及特征对齐约束下的深度引导模块（DG）。给定输入的左右子孔径图像对 \(I_L, I_R\)，系统首先通过 DDE 从微弱的亚像素视差中回归出具有物理尺度的初始度量深度图 \(D_{\text{dp}}\)；接着由层次化 SR 模块融合原始图像纹理预测残差修正场，补全局部几何空洞并生成结构优化的度量深度 \(D_{\text{metric}}\)；最后，将清晰引导约束下对齐后的 ViT 全局结构特征与 \(D_{\text{metric}}\) 共同送入自适应门控 DPT 解码器，在保持物理度量尺度的同时重塑全图几何保真度，输出最终的高精度深度图 \(D_{\text{guide}}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["左右双像素子孔径视图 (IL, IR)"] --> DDE["对称代价卷与 DDE 度量深度回归<br/>从微弱子孔径视差建立绝对物理尺度锚点"]
    DDE --> SR["结构残差精炼模块<br/>多尺度残差注意力补全几何空洞生成 D_metric"]
    In --> ViTAlign["散焦自适应 ViT 特征对齐<br/>跨域特征距离约束消除散焦模糊引起的注意力偏置"]
    SR --> DG["自适应门控度量条件引导<br/>空间门控自适应权衡局部度量证据与全局结构先验"]
    ViTAlign --> DG
    DG --> Out["高保真度量深度预测 D_guide"]

关键设计¶

1. 对称代价卷构建与 DDE 度量深度回归：消除双像素非对称几何偏差

传统双目立体匹配通常沿单一方向构建非对称搜索范围，然而在 DP 传感器中，左右子孔径像素相对于光轴具有严格的对称光学几何关系。若直接套用单向视差搜索，会导致回归网络在正负离焦过渡区域产生系统性深度偏差。为此，DDE 模块采用权值共享的多尺度卷积网络提取分辨率为原始图像 \(1/4\) 的稠密特征图 \(F_L, F_R \in \mathbb{R}^{C \times H' \times W'}\)（结合空洞卷积与多分支池化增大弱纹理感受野），并显式定义以零视差为中心、对称分布的视差假设空间 \(d \in [-D/2, D/2]\)。在各假设偏移下将左右特征通道拼接，构建维度为 \(2C \times D \times H' \times W'\) 的 3D 代价卷。经过 3D 卷积编码器对空域与视差维度联合正则化后，利用基于 Softmin 的连续期望回归计算像素深度：

\[P(d \mid x, y) = \frac{\exp(-C(x, y, d))}{\sum_{d'} \exp(-C(x, y, d'))}, \quad D_{\text{dp}}(x, y) = \sum_{d \in [-D/2, D/2]} d \cdot P(d \mid x, y)\]

通过端到端期望回归替代离散极大值选取，有效消除了量化截断阶梯伪影，使网络即使在微小亚像素偏移下也能输出具备物理真实尺度的初始深度 \(D_{\text{dp}}\)。

2. 结构残差精炼模块：多尺度残差注意力补全弱视差局部几何空洞

虽然 \(D_{\text{dp}}\) 锚定了度量尺度，但在大面积平坦弱纹理区域，局部代价匹配不确定性极高，易留下结构断裂与离群噪声点。SR 模块旨在保留 \(D_{\text{dp}}\) 整体物理尺度的前提下，借由原图的高频纹理边缘对深度突变进行结构整形。网络采用层次化 U-Net 编解码结构，将输入图像对 \(I_L, I_R\) 与初始深度 \(D_{\text{dp}}\) 在通道维度直接拼接输入。在高分辨率特征层引入高效通道注意力（ECA）机制与 2D 相对位置编码，动态增强几何突变边缘权重并抑制高噪声弱纹理响应。为了避免深度尺度的二次漂移，SR 并不直接预测全量深度，而是预测残差修正场 \(\Delta D\)：

\[D_{\text{metric}} = D_{\text{dp}} + \mathcal{F}_{\text{SR}}(I_L, I_R, D_{\text{dp}})\]

残差公式将搜索约束在微小扰动流形内，既平滑了局部代价噪声并修补了空洞，又严格保留了底层物理视差所提供的宏观距离基准。

3. 散焦模糊自适应的 ViT 特征对齐：消除光学弥散引发的表征漂移

直接将基于清晰自然图像预训练的单目深度基础模型（如 Depth Anything V2 的 ViT）用于 DP 输入时，会遭遇严重的光学退化干扰。DP 图像在焦外景深范围天然具有弥散散焦斑（Defocus Blur），高频空间梯度的丢失致使 ViT Patch 嵌入层提取到的浅层语义被严重平滑，自注意力权重矩阵在模糊边缘出现虚假扩散，进而向后级引导网络输出错误几何假象。为克服此瓶颈，设计了显式特征对齐监督机制：在训练阶段输入成对的清晰场景图 \(I_{\text{clear}}\) 与模拟/真实的 DP 散焦图像 \(I_{\text{blur}}\)，通过权值共享的 ViT 提取多层中继特征 \(\Phi_l\)，施加多层特征空间距离约束：

\[\mathcal{L}_{\text{align}} = \sum_{l \in \{3, 6, 9, 12\}} \|\Phi_l(I_{\text{clear}}) - \Phi_l(I_{\text{blur}})\|_1\]

该约束迫使 ViT 编码器学习对散焦弥散具有鲁棒性的几何等变特征，使焦外模糊区域的潜在表征向清晰参考分布拉齐，将跨模态余弦相似度由 0.8737 提升至 0.9454，为后续跨模块深度引导建立了稳健的先验输入。

4. 自适应门控度量条件引导：动态协同物理尺度与基础模型全局先验

最终的深度引导模块（DG）以对齐后的 ViT 多层特征 \(\{F_1, F_2, F_3, F_4\}\) 构建 DPT 多尺度特征解码金字塔。在各尺度解码特征 \(X\) 处，不仅简单拼接或加法融合，而是设计了自适应空间门控调制机制。将归一化的度量深度条件 \(\hat{D}_{\text{metric}}\) 经轻量化卷积投影解耦为特征调制信号 \(\psi(\hat{D})\) 与动态门控掩码 \(g(\hat{D}) \in [0, 1]\)：

\[X' = X + \phi(X) + g(\hat{D}) \odot \psi(\hat{D})\]

其中 \(\phi(\cdot)\) 为特征残差变换，\(g(\hat{D})\) 具备明确的自适应几何含义：在纹理丰富、局部视差可观测性极佳的强边沿区域，门控权重趋近于 1，主导网络强行锚定物理度量条件 \(\psi(\hat{D})\)，杜绝单目先验带来的尺度发散；而在大面积白墙、暗光或严重降采样等视差信噪比崩溃区域，门控响应自适应衰减，使网络顺畅退回由 ViT 全局自注意力构建的连续几何拓扑先验 \(\phi(X)\)，从而彻底杜绝了深度空洞与结构破碎。

损失函数 / 训练策略¶

损失函数：由于双像素成像具备恢复真实物理尺度的能力，本文坚决放弃单目任务中惯用的尺度不变对数损失（SiLog），以防破坏绝对度量一致性。统一在对数深度空间对三个预测阶段（\(D_{\text{dp}}\)、\(D_{\text{metric}}\)、\(D_{\text{guide}}\)）施加 Smooth L1 监督：

\[\mathcal{L}_{\text{depth}} = \frac{1}{N} \sum_{i=1}^N \text{SmoothL1}\left(\log D^{(i)} - \log D_{\text{gt}}^{(i)}\right)\]

分阶段优化策略： 1. 阶段一（DDE 预训练）：独立训练双像素深度估计模块，使对称代价卷与 3D 正则化网络充分拟合真实视差物理量纲； 2. 阶段二（SR 残差训练）：冻结 DDE 权重，仅训练 SR 模块，利用图像高频纹理强化残差修正场的局部拓扑一致性； 3. 阶段三（ViT 特征对齐）：引入预训练 DAV2 编码器，施加 \(\mathcal{L}_{\text{align}}\) 约束，微调浅层投影与部分注意力层以适应 DP 散焦域； 4. 阶段四（联合引导优化）：冻结 DDE、SR 与 ViT 编码器参数，专门优化 DPT 解码器中的空间门控参数与几何投射头，确保在不破坏底层物理尺度锚点的同时，实现先验知识的无损注入。

实验关键数据¶

主实验¶

在合成数据集 NYUData（利用光线追踪 DP 模拟器生成）与三个主流真实世界数据集（DP2020、DP5K、DP2019）上进行全面测试，对比 baseline 涵盖 DPNet、SFBDNet、DDDNet 以及结合编码孔径的最新方案 CADSNet。统一评估物理深度区间 [1.0m, 10.0m]。评估指标包括仿射不变误差 \(AI(1)\)（越低越好）、排序相关性 \(1 - |\rho_s|\)（越低越好）以及阈值准确率 Acc-1（\(\delta < 1.25\)，越高越好）与 Acc-2（\(\delta < 1.25^2\)）。

数据集	方法	AI(1) ↓	AI(2) ↓	1 - \|\(\rho_s\)\| ↓	Acc-1 ↑	Acc-2 ↑
NYUData (合成)	DPNet	0.9271	1.2896	0.2179	0.2925	0.5777
	SFBDNet	0.5330	0.8576	0.1489	0.6579	0.9174
	DDDNet	0.2271	0.3333	0.0299	0.9520	0.9953
	CADSNet (CVPR'24)	0.2018	0.2931	0.0248	0.9271	0.9933
	Ours (FoundDP)	0.1475	0.2368	0.0178	0.9661	0.9988
DP2020 (真实)	DPNet	0.3509	0.5629	0.1649	0.7521	0.8180
	SFBDNet	0.0633	0.2095	0.0241	0.9963	0.9987
	DDDNet	0.0851	0.2564	0.1138	0.6934	0.9757
	CADSNet	0.0162	0.0424	0.0467	0.8153	0.9997
	Ours (FoundDP)	0.0110	0.0280	0.0232	0.9998	1.0000
DP5K (真实)	CADSNet	0.2680	0.7854	0.0977	0.6716	0.8773
	Ours (FoundDP)	0.2579	0.7562	0.0989	0.7976	0.9251
DP2019 (真实)	CADSNet	0.1313	0.2807	0.3491	0.7335	0.9277
	Ours (FoundDP)	0.1168	0.2622	0.3224	0.8571	0.9404

消融实验¶

为定量剖析各核心组件对几何重建的贡献，在 NYUData 上进行递进消融分析（模块有效性），并在 DP5K 上验证 ViT 特征对齐对散焦域适应的决定性作用。

配置编号	架构配置 (DDE / SR / DG)	AI(1) ↓	AI(2) ↓	1 - \|\(\rho_s\)\| ↓	Acc-1 ↑	Acc-2 ↑	说明
A1	DDE 仅基线	0.2463	0.3764	0.0332	0.9297	0.9610	依赖纯微弱视差，弱纹理伪影显著
A2	DDE + SR	0.2312	0.3486	0.0298	0.9491	0.9715	局部残差修补，边缘锐度提升
A3	DDE + DG (无 SR)	0.1865	0.2871	0.0220	0.9348	0.9883	注入基础先验，全局拓扑改善明显
A4	Full (DDE + SR + DG)	0.1475	0.2368	0.0178	0.9661	0.9988	协同局部连续性与全局先验，性能最佳

针对 ViT 特征对齐机制的独立消融显示：在 DP5K 数据集上，未对齐基线时 AI(1) 为 0.2741、Acc-1 为 0.7839；引入 ViT 特征对齐后，AI(1) 显著下降至 0.2579，Acc-1 提升至 0.7976。特征对齐将散焦特征与清晰参考特征的余弦相似度从 0.8737 拉升至 0.9454，证明消弭光学模糊引发的表征偏移是稳健引导的前提。

关键发现¶

弱视差与极端降采样场景增益最大：在 Sobel 梯度掩码提取的弱视差难例区域评估中，FoundDP 在 NYUData 弱区域将 AI(1) 误差从 CADSNet 的 0.1949 压降至 0.1280；在定制采集的 DPDown70 降采样数据集（空间分辨率大幅缩减导致亚像素对应几乎丧失）上，FoundDP 的 Acc-1 达到 0.7035，而 SFBDNet、DDDNet 与 CADSNet 分别崩溃至 0.4113、0.3524 与 0.5047。
深度直方图机理印证：对比真实分布（Ground Truth）发现，单目基础模型输出存在明显的波峰横向平移（尺度漂移），纯 DP 输出保留了平均尺度但在主峰两侧伴随巨大噪声离散。FoundDP 深度直方图与真实分布高度吻合，完美证明度量深度对全局先验施加了精确的尺度针脚。

亮点与洞察¶

物理可观测性瓶颈与表征先验的范式互补：敏锐指出了计算成像硬件固有物理基线限制与深度学习经验先验之间的张量互补性，打破了“单纯加大 DP 匹配网络容量”或“盲目微调单目相对深度”的思维定势。
光学模糊域漂移的正视与校准：不仅是粗暴的特征拼接，而是深刻洞察到 DP 硬件大光圈散焦物理现象对 ViT Patch 注意力分布的负面冲击，通过成对特征对齐机制优雅消除了跨域先验失效。

局限与展望¶

极端低光与信噪比彻底崩塌场景的退化：框架底层依然将 DP 预测作为尺度锚点。若传感器在极低照度或剧烈过曝下完全无法提取有效子像素梯度，初始度量锚点本身将产生严重系统漂移，可能对后级门控引导产生负面误导。
ViT 基础模型的推理延迟开销：集成了完整的 Vision Transformer 骨干与多尺度特征解码器，模型参数量与算力开销相对轻量级 CNN 显著增加，在移动端或实时消费级相机的片上部署仍面临边缘算力挑战。

评分¶

新颖性: ⭐⭐⭐⭐☆ [精准切中 DP 视差物理观测极限与单目基础模型尺度缺失的互补矛盾，散焦表征对齐设计巧妙]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖合成、真实多设备数据集、弱视差定向切片以及自建降采样鲁棒性评测，消融严密]
写作质量: ⭐⭐⭐⭐⭐ [立意清晰，物理成像原理与深度表征机制分析透彻，问题链条层层递进]
价值: ⭐⭐⭐⭐⭐ [为智能手机单摄高精细度量深度感知提供了极具启发性的计算成像与基础模型融合范式]