SynLF: Zero-Shot Metric Depth from Light Field Cameras via Physics-Grounded Synthesis¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 深度、法线与立体
关键词: 光场深度估计, 单镜头绝对尺度深度, 物理先验光场合成, 零样本迁移, 遮挡推理

一句话总结¶

针对光场相机训练数据稀缺及真实复杂场景泛化差的难题，本文提出 SynLF 框架，通过物理接地的光场合成流水线（PG-LF）从大规模 RGB-D 在线生成含散焦与非朗伯扰动的多视点光场，并结合融合单目先验与显式多视点遮挡推理的迭代估计网络 VisDepth，在自建真实光场数据集上实现了无需微调的零样本绝对尺度深度估计（MAE 30.05 mm，AbsRel 1.38%）。

研究背景与动机¶

从单镜头图像获取高精度绝对尺度（Metric）深度是机器人操作和自主系统感知的基础需求。然而，传统的单目相机在成像机制上天然存在尺度模糊（Scale Ambiguity），即几何上无限多种缩放的 3D 场景可以投影出完全一致的单视点二维图像，导致即使是依赖海量数据训练的先进单目基础模型在跨域应用中也常出现尺度漂移。光场（Light Field, LF）相机通过微透镜阵列在单次曝光下捕捉空间多视角光线，利用镜头内部的微基线视差（Micro-baseline Disparities）直接编码场景绝对尺度几何线索，为单镜头绝对深度恢复提供了严谨的物理与几何基础。

然而，现有的深度学习光场深度估计方案受到监督数据匮乏的严重制约。由于多视角光场图形渲染计算开销巨大，现有基准（如 HCI 和 UrbanLF）的场景规模仅有几十到上千个样本，远落后于单目 RGB-D 数据集规模。这种严重的过拟合于理想化朗伯体（Lambertian）外观模式，导致模型在真实世界复杂的光学干扰下极易崩溃：真实光场相机普遍具有随深度变化的离焦模糊、镜面反射与高光、半透明材质以及无纹理区域，且现有网络往往采用隐式权重融合多视角特征，缺乏显式的视线遮挡物理约束，推断出的视差极易出现斑点噪声与边界撕裂。

为了打破光场深度估计面临的数据天花板并解决跨域退化，本文的核心切入点是：不再费力去物理采集或全量渲染真实光场全景，而是将海量现存单目 RGB-D 数据转化为符合微透镜阵列光学特性的虚拟光场监督。核心 idea：构建基于物理接地的光场合成机制（PG-LF），在由单视角 RGB-D 在线生成多视角时显式建模前向投影遮挡、深度耦合散焦与非朗伯表面视差扰动；并设计前向投影几何算子共用的 VisDepth 网络，利用单目结构先验初始化并进行显式可见性掩码引导的迭代代价聚合，实现真实场景的零样本绝对尺度深度估计。

方法详解¶

整体框架¶

SynLF 由两大核心组件协同构成：用于在线构建大规模训练监督的物理接地光场合成流水线（PG-LF Synthesis），以及用于高鲁棒视差恢复的能感知可见性的深度网络（VisDepth）。在训练阶段，PG-LF 从大规模室内 RGB-D 数据集（Hypersim）实时读取中心视点图像与真实深度图，将其转换为光场微基线视差，并通过前向泼溅投影、深度依赖散焦模糊、以及选择性非朗伯视差扰动，在线合成具有高度物理保真度的多视点子孔径阵列图像。在推理阶段，合成模块完全剔除，真实光场相机捕获的原始多视点图像直接输入 VisDepth 网络，输出中心视点视差后，通过标定获得的相机视差-深度转换参数映射为绝对米制深度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>RGB-D 深度图与中心视点"] --> B["几何一致性视点合成<br/>深度转视差 + 前向泼溅 z-buffer"]
    B --> C["非理想光学建模<br/>散焦切片合成 + 非朗伯视差扰动"]
    C --> D["合成多视点光场图像"]
    D --> E["先验引导视差初始化<br/>DAv2 单目先验 + 3D 原始相关体代价聚合"]
    E --> F["显式可见性引导迭代估计<br/>深度感知几何投影 + 可见性掩码代价聚合"]
    F --> G["多尺度 ConvGRU 残差更新<br/>局部符号视差特征查询与迭代优化"]
    G --> H["输出中心视点视差与米制深度"]

关键设计¶

1. 几何一致性视点合成：深度感知前向泼溅与动态遮挡处理 现有的单图光场合成多采用纯神经生成网络，往往牺牲严格的几何对应关系，无法提供可靠的视差监督。PG-LF 建立在严密的单透镜微基线阵列成像几何之上。给定中心视角深度 $Z_c$，将其映射为光场视差： $$d = \frac{\alpha}{Z_c} + \beta$$ 其中 $\alpha$ 控制视差尺度因子，$\beta$ 确定对焦平面对应的零视差基准。对于角度坐标为 $(u_i, v_i)$ 的目标子孔径视角，中心视角像素 $(x_c, y_c)$ 投影到目标坐标 $(x_i, y_i) = (x_c + u_i d, y_c + v_i d)$。为彻底解决后向形变（Backward Warping）造成的遮挡层级错乱，本设计采用深度感知的前向泼溅（Forward Splatting）机制，在投影碰撞时维护类 z-buffer 结构，只保留深度最近的表面采样点： $$\mathbf{q}^* = \arg\min_{\mathbf{q} \in \mathcal{S}_i(\mathbf{p})} Z_c(\mathbf{q}), \quad I_i(\mathbf{p}) = I_c(\mathbf{q}^*)$$ 对可见采样点进行双线性加权泼溅以消除离散化栅格伪影，并对暴露空洞实施随机几何填充策略，严防网络利用边缘伪影作为视差学习捷径。

2. 非理想光学建模：深度依赖散焦模糊与非朗伯扰动 合成 RGB-D 数据通常遵循针孔相机全焦假设，而真实光场相机受光学孔径限制存在极显著的随深度变化的弥散斑（Circle of Confusion, CoC）。根据薄透镜模型，在对焦点 $z_f$ 与物体深度 $z$ 之间，弥散斑尺寸 $c(z) \propto |\frac{1}{z} - \frac{1}{z_f}| \propto |d|$，说明散焦模糊度直接由视差绝对值决定。PG-LF 通过“视差切片（Disparity Slicing）”将视差分层，逐层施加对应尺寸的高斯核模糊，再按照从后至前的顺序合成 Alpha 混合图层，防止前景纹理污染背景。此外，针对真实场景中镜面高光与透明材质造成的朗伯反射假设破缺，PG-LF 提取局部深度平坦但纹理丰富的区域，仅对合成的子孔径视角注入视差几何偏移，刻意破坏多视点间的光度一致性，迫使网络放弃简单的局部色彩匹配短路，学会依赖稳健的整体几何约束与中心视点语义。

3. 先验引导视差初始化：结构先验注入与代价聚合 直接利用多视角相关体在弱纹理和高反光区域极易崩溃，导致后续迭代优化陷入局部极小值。VisDepth 引入轻量级先验初始化机制：首先利用共享权重的全分辨率 CNN 提取中心视角与所有子视角的空间特征，构建原始光场相关体 $C_{\text{raw}} = \text{Corr}(f_c, \{f_v\})$；接着利用冻结的单目深度基础模型 Depth Anything V2-Small 提取中心视角的稠密语义几何先验 $F_{\text{mono}}$。通过轻量级 3D 卷积代价聚合网络 $\Phi$ 将单目结构先验与多视点几何匹配体进行深层融合： $$C_{\text{reg}} = \Phi(C_{\text{raw}}, F_{\text{mono}})$$ 最后经由 soft-argmin 回归出初始全局视差图 $d_0$，为后续细粒度几何推理提供可靠、无大尺度漂移的起点。

4. 显式可见性引导迭代估计：几何投影算子复用与局部符号视差更新 从初始视差 $d_0$ 开始，VisDepth 在第 $k$ 次迭代中显式推断每个视角的物理可见性，摒弃了以往黑盒注意力加权带来的遮挡误判。网络直接复用 PG-LF 中的深度感知前向几何投影算子，根据当前假设视差 $d_k$ 计算各源视角的可见性掩码 $V_k^{(v)} \in [0, 1]$。在此基础上对多视角原始匹配代价执行带掩码的归一化加权聚合： $$C_{\text{vis}}^k = \frac{\sum_v C_{\text{raw}}^{(v)} \odot V_k^{(v)}}{\sum_v V_k^{(v)}}$$ 被前景遮挡的视线光束被强制抑制，保留无遮挡的高信噪比几何匹配代价。将 $C_{\text{vis}}^k$ 与基座特征体 $C_{\text{reg}}$ 拼接后通过 3D 卷积融合块获得当前融合几何体 $G_k$。鉴于光场微基线视差范围紧凑（仅数十个离散层级），网络直接在 $G_k$ 沿局部有符号视差（Signed Disparity）维度进行中心采样，连同中心视点上下文特征送入多尺度 ConvGRU 中迭代预测残差 $\Delta d_k$，使深度不连续处的边缘几何细节随着可见性掩码的逐步收敛而精细化。

损失函数 / 训练策略¶

训练过程对初始化阶段视差 $d_0$ 和 24 轮 ConvGRU 迭代更新的视差序列 $\{d_k\}_{k=1}^K$ 进行联合监督，综合绝对视差损失与尺度/平移不变梯度正则化损失： $$\mathcal{L} = \mathcal{L}_{\text{init}} + \mathcal{L}_{\text{gru}} + \lambda \mathcal{L}_{\text{grad}}$$ $$\mathcal{L}_{\text{init}} = \|d_0 - d\|_1, \quad \mathcal{L}_{\text{gru}} = \sum_{k=1}^K \gamma^{K-k} \|d_k - d\|_1$$ $$\mathcal{L}_{\text{grad}} = \sum_{l=1}^L \left( \|\nabla_x^l (\hat{d}_K) - \nabla_x^l (\hat{d})\|_1 + \|\nabla_y^l (\hat{d}_K) - \nabla_y^l (\hat{d})\|_1 \right)$$ 其中 $d$ 为真实视差，$\hat{d}_K$ 与 $\hat{d}$ 为经过尺度与平移归一化后的预测与真值。模型在 Hypersim 的 74,013 张室内 RGB-D 数据上训练，使用 AdamW 优化器，学习率经历线性预热至 $5 \times 10^{-4}$ 后按多项式衰减，仅需 8K 次优化迭代即完成快速收敛。

实验关键数据¶

主实验¶

论文采用定制工业相机（配 9×9 微透镜阵列）与高精度结构光传感器搭建了真实光场采集系统，在 173 个包含透明物体、高反光金属、弱纹理等极端复杂场景的测试样本上进行严格的零样本泛化评测（0.5–2.5 m 测量范围）：

数据集 / 场景	方法	训练数据	MAE (mm) ↓	RMSE (mm) ↓	AbsRel (%) ↓	$\delta_1$ (%) ↑
自建真实光场数据集	OAVC [14]	无 (优化算法)	146.99	291.90	7.02	88.75
自建真实光场数据集	OACC-Net [30]	HCI (合成光场)	113.66	200.27	5.99	93.33
自建真实光场数据集	OPAL [17]	无监督光场	141.77	202.35	7.39	93.47
自建真实光场数据集	PlaneNet [7]	HCI (合成光场)	91.31	164.91	4.48	96.03
自建真实光场数据集	ESMNet [6]	HCI (合成光场)	110.86	208.99	5.36	92.20
自建真实光场数据集	Ours (HCI-trained)	HCI (合成光场)	52.95	148.40	3.01	95.01
自建真实光场数据集	Ours w/o Prior	PG-LF (本文合成)	35.75	158.50	1.63	98.50
自建真实光场数据集	Ours w/o Vis	PG-LF (本文合成)	39.03	160.34	1.90	98.04
自建真实光场数据集	SynLF (完整模型)	PG-LF (本文合成)	30.05	144.34	1.38	98.77

同时，在两个公共合成光场基准（HCI 4D 与 Inria Dense）上的跨数据集评测表明，传统在 HCI 上训练的模型跨到 Inria 时 MSE 严重恶化（PlaneNet: 0.69→1.97，OACC-Net: 0.92→2.74），而 SynLF 保持平稳一致的性能（HCI MSE×100: 2.08, BP0.07: 9.36; Inria MSE×100: 2.35, BP0.07: 6.45），展现了跨域泛化的优越性。

消融实验¶

为明确非理想物理效应模拟（散焦与非朗伯扰动）以及架构设计的具体作用，论文在真实光场数据集上进行了细致消融：

配置 / 变量	Defocus (散焦)	NL Pert. (非朗伯扰动)	MAE (mm) ↓	AbsRel (%) ↓	说明
基线合成 (纯几何泼溅)	$\times$	$\times$	50.01	3.41	仅几何投影，未考虑光学退化
引入非朗伯扰动	$\times$	$\checkmark$	43.25	2.40	抑制高光/镜面处的错误匹配
引入深度依赖散焦	$\checkmark$	$\times$	46.28	2.51	弥合全焦与大光圈散焦差距
完整 PG-LF 合成	$\checkmark$	$\checkmark$	30.05	1.38	两者耦合带来最大增益

双向互换控制实验（Reciprocal Control）显示： - PlaneNet 在 HCI 上训练时 MAE 为 91.31 mm，换用 PG-LF 数据训练后 MAE 大幅下降至 53.11 mm（降幅 41.8%）； - VisDepth 在 HCI 上训练时 MAE 为 52.95 mm，换用 PG-LF 数据训练后下降至 30.05 mm（降幅 43.2%）。这证明 PG-LF 带来的数据增益与网络架构自身的增益完全正交。

材料分层分析（Material-Stratified Analysis）显示：漫反射表面（Diffuse, 78 场景）MAE 为 8.83 mm；高光表面（Specular, 31 场景）MAE 为 21.76 mm；透明介质（Transparent, 34 场景）MAE 为 39.81 mm，精确揭示了物理材质对微基线视差匹配的递进挑战。

关键发现¶

数据域鸿沟大于网络结构瓶颈：通过互换实验证实，光场深度模型在真实场景的失效主因在于渲染数据与现实光学的脱节（Lambertian 假定破缺和无模糊假设），PG-LF 仅需在线合成即可让传统模型（如 PlaneNet）性能提升超过 41%。
双物理退化的协同效应：单独加入散焦模拟使 MAE 下降 3.73 mm，单独加入非朗伯扰动下降 6.76 mm，而两者联合则带来了 19.96 mm 的巨大提升（50.01→30.05 mm），表明应对复合光学失真必须协同考虑模糊衰减与几何错位。
可见性显式掩码对遮挡边界至关重要：消融 Vis 模块使 MAE 恶化至 39.03 mm，去除了显式遮挡投影后，网络在前景与背景交界处极易发生视差渗漏。

亮点与洞察¶

任务驱动的光学建模范式：不同于图形学追求全面照片级渲染的庞大开销，本文聚焦于直接破坏“微基线光场视差匹配”的核心物理变量（视线遮挡、深度耦合散焦、反光/透射非朗伯扰动），用极小的计算量撬动了卓越的 Sim-to-Real 泛化能力。
投影算子在生成与判别端的双向复用：PG-LF 生成光场时采用的深度前向泼溅投影几何算子，被直接复用在 VisDepth 推理时的每轮可见性掩码计算中，实现了合成规律与反演网络在几何约束上的完全自洽。
轻量单目先验与多视点几何的解耦协作：单目基础模型提供不含尺度漂移的稠密空间上下文以初始化视差，而多视点微基线相关体则专精于精细度量几何更新，二者分工避免了盲目扩大网络参数。

局限与展望¶

极端透明与镜面反射的物理局限：在强透明玻璃与全镜面物体上，结构光传感器本身缺乏真值，且微基线视差物理上直接穿透或镜像反射，模型在极其苛刻区域的误差仍有待进一步压降（当前透明物体 MAE 达 39.81 mm）。
动态场景与复杂像差适配：目前合成模型假设静态场景且未建模镜头畸变、场曲及慧差等高级像差，室外运动物体或大光圈边缘渐晕可能导致视差推断偏差。
改进方向：引入更精细的可微波前光学/光线追踪模块，探索将物理接地光场合成扩展至 3D 高斯泼溅（3D-GS）微视角合成及单镜头 6-DoF 位姿跟踪等更广阔的下游任务。

评分¶

新颖性: ⭐⭐⭐⭐ [物理接地光场合成结合几何投影双向复用，巧妙攻克了真实光场监督匮乏问题]
实验充分度: ⭐⭐⭐⭐⭐ [自建 9×9 微透镜 + 结构光严谨实测数据集，设计了严密的数据/网络解耦互换实验]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，物理动机阐述清晰，公式与图表配合流畅规范]
价值: ⭐⭐⭐⭐⭐ [为工业级单镜头免标定/零样本米制深度感知提供了极具实用性的大规模合成方案]

配置 / 变量	Defocus (散焦)	NL Pert. (非朗伯扰动)	MAE (mm) ↓	AbsRel (%) ↓	说明
基线合成 (纯几何泼溅)	\(\times\)	\(\times\)	50.01	3.41	仅几何投影，未考虑光学退化
引入非朗伯扰动	\(\times\)	\(\checkmark\)	43.25	2.40	抑制高光/镜面处的错误匹配
引入深度依赖散焦	\(\checkmark\)	\(\times\)	46.28	2.51	弥合全焦与大光圈散焦差距
完整 PG-LF 合成	\(\checkmark\)	\(\checkmark\)	30.05	1.38	两者耦合带来最大增益