AquaStereo: Enabling Underwater Stereo Matching via Depth-Conditioned Diffusion and Geometry Self-Distillation¶

会议: ECCV 2026
论文: ECCV Official
领域: 深度、法线与立体
关键词: 双目立体匹配, 水下视觉, 扩散模型生成, 几何自蒸馏, 感知增强

一句话总结¶

针对水下立体匹配真实数据匮乏与严重特征退化痛点，AquaStereo 提出深度条件扩散生成结合左右一致性校验构建大规模几何保真水下立体数据集，配合冻结陆地教师的跨域几何自蒸馏与时序感知增强特征匹配器，在无需目标域微调下大幅刷新零样本水下泛化性能。

研究背景与动机¶

双目立体匹配作为三维感知与水下自主作业机器人（AUV）导航的核心基础技术，在陆地受控场景下已有长足发展。然而直接将先进陆地立体匹配模型迁移至水下环境时，性能往往严重滑坡。水下成像受到水体吸收、前向散射与后向散射的剧烈干扰，不仅导致严重对比度衰减、波长依赖性色彩失真以及弱纹理退化，更致命的是这些退化现象常表现为强烈的视点依赖性，直接破坏了双目匹配所赖以建立的左右一致性假设和光度一致性约束。

制约水下深度估计突破的关键瓶颈在于监督数据极度匮乏且质量低下。一方面，真实水下环境数据采集极其昂贵且难以规模化，光学折射、浑浊水质使得激光雷达和主动结构光测距在水下有效测程极短且深度注记高度稀疏或存在大量伪影；另一方面，基于物理仿真或游戏引擎（CG）渲染的数据集虽能提供密集真值，但光学物理与外观纹理过于简略，与真实水下图像存在巨大的域差异。既往基于 GAN 的风格迁移方案又容易在双目生成中引入非刚性形变与视差破坏。

面对数据匮乏与特征退化的双重挑战，本文摒弃高成本真实采集与失真 CG 仿真的传统路线，转向受控扩散生成。核心 idea：利用单目深度图与物理机理提示词引导的 ControlNet 扩散模型批量合成几何保真的水下双目对，引入轻量左右一致性校验确保极线几何，并配合跨域特征自蒸馏与融合伪时序先验的感知增强匹配器，全面提升零样本水下立体匹配精度与稳健性。

方法详解¶

整体框架¶

AquaStereo 的完整流程涵盖三个核心阶段：水下双目数据受控生成、跨域几何自蒸馏训练、以及融合感知增强匹配器的立体匹配推理。在生成阶段，首先从陆地立体对中提取单目深度，并结合从物理模型和 CLIP 检索构建的水下退化提示池，通过 ControlNet 引导的 Stable Diffusion 渲染水下立体对，经轻量左右一致性模块过滤几何漂移后建立高质量合成水下数据集 UW-Dataset（40K 对）。在训练阶段，采用冻结的陆地教师模型与接收扰动水下输入的学生模型进行特征对齐自蒸馏，并由伪真值视差监督干净分支保障公制尺度。在推理阶段，匹配网络引入可学习感知帧将双目对拓展为伪时序序列，经视频骨干与 DINOv2 语义特征融合后构建代价体并迭代回归视差。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["陆地双目图像对与单目深度"] --> B["1. 深度条件物理提示扩散生成<br/>ControlNet + 物理退化提示词池"]
    B --> C["2. 一致性增强轻量校验模块<br/>极线配对与视差感知置信度调制"]
    C --> D["合成水下立体数据集 UW-Dataset"]
    D --> E["3. 跨域几何自蒸馏与尺度稳定监督<br/>冻结陆地教师 + 扰动水下特征对齐 + 伪真值监督"]
    E --> F["4. 时序感知增强特征匹配器<br/>可学习感知帧 + 视频骨干 + DINOv2 语义融合"]
    F --> G["高精度水下视差图与稠密点云"]

关键设计¶

1. 深度条件物理提示扩散生成：受控合成保几何的水下双目对 由于真实水下立体匹配缺乏密集公制深度标签，直接收集代价巨大。针对这一痛点，该模块利用预训练的基础立体匹配模型提取高质量陆地双目对的伪视差 $D_{\mathrm{GT}} = F_{\mathrm{FStereo}}(I_L, I_R)$，同时用 Depth-Anything V2 提取深度图。为了逼真还原不同水质的光学退化规律，本文结合水下成像物理文献（如波长衰减、后向散射与浑浊度）和 CLIP 检索，构建了包含丰富光学退化属性的提示词池 $\mathcal{P}$。在生成过程中，随机抽取提示词 $p \sim \mathcal{P}$ 并将双目深度图 $(Depth_L, Depth_R)$ 作为结构条件注入 ControlNet，从而引导 Stable Diffusion 合成外观逼真且保持空间对应关系的水下双目图像 $(I'_L, I'_R)$。

2. 一致性增强轻量校验模块：防止扩散生成破坏极线立体几何 独立的扩散生成过程在复杂退化条件下极易生成左右视角不协调的伪影，破坏双目极线几何一致性。为此，模型设计了轻量级极线采样与互注意力校验模块。该模块沿极线方向提取左图局部特征 $\mathbf{f}_i^L$ 与右图候选特征 $\mathbf{f}_j^R$，结合初始视差先验 $d_i, d_j$ 计算视差感知相似度得分： $$s_{ij} = \frac{\langle\mathbf{f}_i^L, \mathbf{f}_j^R\rangle}{\|\mathbf{f}_i^L\|_2 \|\mathbf{f}_j^R\|_2} (1 - \lambda) \exp\left(-\frac{|d_i - d_j|}{\tau}\right)$$ 所得得分经过归一化后转化为软置信度掩膜，用于动态调制 ControlNet 特征，在极低计算开销下将左右视角不一致像素率（Break px）从 15% 显著降低至 5%，确保生成的双目图像满足高精度代价体匹配的几何约束。

3. 跨域几何自蒸馏与尺度稳定监督：消除域迁移过程中的特征退化与尺度漂移 直接将水下退化图像输入网络会导致特征响应模糊和误匹配。为将陆地域学到的稳健几何结构无缝迁移至水下域，本文提出双分支自蒸馏机制。教师网络 $T$ 接收干净陆地双目图像 $(I_L, I_R)$ 并保持参数完全冻结；学生网络 $S$ 则接收经过浑浊模拟、色彩漂移和噪声扰动的水下样本 $(\tilde{I}'_L, \tilde{I}'_R) = \mathrm{Perturb}(I'_L, I'_R)$。两者在多尺度特征抽取阶段施加 $\ell_1$ 几何对齐损失 $\mathcal{L}_{\mathrm{feat}} = \sum_{k=1}^K \|F_S(\tilde{I}'_L, \tilde{I}'_R) - F_T(I_L, I_R)\|_1$。同时，针对未扰动水下对施加伪真值视差监督损失 $\mathcal{L}_{\mathrm{sup}} = \sum_{k=1}^K \|D_S(I'_L, I'_R) - D_{\mathrm{GT}}\|_1$，避免网络在无约束自适应中产生尺度漂移，总训练目标为 $\mathcal{L} = \mathcal{L}_{\mathrm{feat}} + \lambda_{\mathrm{sup}}\mathcal{L}_{\mathrm{sup}}$。

4. 时序感知增强特征匹配器：吸收水下退化先验并融合高层语义表征 针对水下光照昏暗、浑浊浮游生物及弱纹理区域造成的匹配歧义，本文将传统双目单帧匹配重塑为伪时序跨视角对齐范式。在左右双目帧 $I_L, I_R$ 前后分别拼接两帧可学习的感知帧 $I_{P1}, I_{P2}$，组成序列并通过基于视频骨干的编码器 $\mathcal{F}_{\mathrm{enc}}$ 提取时序对齐特征： $$\mathbf{f}_{\mathrm{left}}, \mathbf{f}_{\mathrm{right}} = \mathcal{F}_{\mathrm{enc}}(I_{P1} \mathbin{\textcircled{c}} I_L \mathbin{\textcircled{c}} I_R \mathbin{\textcircled{c}} I_{P2})$$ 可学习感知帧在端到端训练中充当水下退化自适应提示，引导注意力集中在几何轮廓与结构区域；同时，并行利用 DINOv2 提取高层语义特征 $F^{\mathrm{sem}}_L, F^{\mathrm{sem}}_R$，两者通过通道拼接与投影融合生成强判别力的匹配描述符 $p_L, p_R$，大幅降低代价体模糊度并由后续 IGEV++ 架构完成视差迭代精炼。

损失函数 / 训练策略¶

网络整体端到端优化损失为 $\mathcal{L} = \mathcal{L}_{\mathrm{feat}} + \lambda_{\mathrm{sup}} \mathcal{L}_{\mathrm{sup}}$，其中超参数 $\lambda_{\mathrm{sup}} = 0.2$。训练在 4 张 RTX 4090 GPU 上进行，初始学习率为 $10^{-4}$，批大小为每卡 8，裁剪训练分辨率为 $384 \times 736$ 像素。数据生成基于 Stable Diffusion v1.5 与 ControlNet 深度模型，DDIM 采样 50 步，构建包含 40K 对水下图像的 UW-Dataset 数据集。

实验关键数据¶

主实验¶

在物理仿真水下立体匹配基准 UWStereo 上，AquaStereo 与当前最先进的立体匹配方法进行了全面的零样本性能对比（指标为平均端点误差 EPE 以及视差误差超过 3px 或 5% 的异常点比例 D1）。

数据集 / 场景	指标	AquaStereo (本文)	FoundationStereo	MonSter	IGEV	PSMNet
UWStereo (Coral)	EPE↓ / D1(%)↓	1.528 / 7.180	1.811 / 7.590	1.882 / 9.010	2.262 / 12.310	2.680 / 13.170
UWStereo (Default)	EPE↓ / D1(%)↓	0.338 / 1.320	0.844 / 3.090	0.664 / 2.940	1.088 / 5.580	2.360 / 7.210
UWStereo (Industry)	EPE↓ / D1(%)↓	0.373 / 1.510	0.718 / 2.490	1.061 / 4.870	1.990 / 7.590	2.850 / 10.580
UWStereo (Ship)	EPE↓ / D1(%)↓	0.500 / 2.240	2.750 / 8.890	1.254 / 6.340	2.654 / 12.300	4.950 / 15.700
UWStereo (Total)	EPE↓ / D1(%)↓	0.590 / 2.616	1.669 / 5.768	1.195 / 5.744	2.138 / 9.758	3.540 / 12.360

此外，在真实外场前视水下数据集 FLSea (Canyon/Rock) 及 Squid 评测中，基于本文生成的 UW-Dataset 训练的 IGEV++ 在 FL-Canyon 上取得 3.05 EPE / 18.31% D1，显著优于在 SceneFlow (5.41 / 35.82%) 及 StereoAdapter 渲染数据 (4.05 / 20.51%) 上训练的模型。

消融实验¶

消融实验深入验证了左右一致性模块、自蒸馏训练策略以及特征编码器架构的关键设计作用（均在 UWStereo 基准评测）。

模块 / 配置变体	EPE↓	D1(%)↓	实验说明
左右一致性模块 (LR-Consistency)
Off (关闭左右一致性校验)	3.237	14.820	生成耗时 8.4s/对，不一致像素率达 15%
On (开启左右一致性校验)	2.953	12.140	生成耗时 8.1s/对，不一致像素率降至 5%
自蒸馏策略变体 (基于 IGEV++)
Baseline (无自蒸馏)	2.9530	12.144	纯监督学习基线
自蒸馏（无参数共享）	2.7510	11.195	跨域特征对齐带来直接鲁棒性收益
自蒸馏 + 共享特征提取器	2.7740	11.262	强制共享未带来明显增益
自蒸馏 + $\ell_2$ 正则化	3.0510	13.838	过度约束限制模型适应，性能恶化
自蒸馏 + 干净分支伪标签监督 ($\mathcal{L}_{\mathrm{sup}}$)	2.6350	10.549	杜绝尺度漂移，实现最佳蒸馏收敛
特征编码器设计变体
IGEV++ 原生 CNN 骨干	2.9530	12.144	缺乏水下感知先验与跨视角建模能力
VGG19 + DINOv2	3.0790	12.955	简单结合高层语义但缺乏退化引导
ResNet + DINOv2	3.1410	13.197	传统 CNN 骨干退化严重
VGGT-style 跨帧注意力	3.4090	15.462	缺乏引导的注意力难以抵抗浑浊水体
AquaStereo 感知增强骨干 (Ours)	2.4830	10.824	融合可学习感知帧时序线索与 DINOv2 语义

关键发现¶

扩散数据生成的极线一致性保障至关重要：关闭左右一致性模块会导致合成数据中的不一致像素率增加两倍（从 5% 升至 15%），致使最终模型 EPE 从 2.953 恶化至 3.237。
自蒸馏中保留公制尺度锚点极为关键：单纯进行跨域特征对齐虽有提升，但辅以干净分支的伪视差监督（$\mathcal{L}_{\mathrm{sup}}$）后误差由 2.7510 降至 2.6350，证明共享几何目标有效抑制了特征漂移。
可学习感知帧成功充当了退化自适应视觉提示词：注意力图可视化证实，加入感知帧后模型注意力从漫无目的的散射浑浊区域收敛到物体的真实物理轮廓与强几何边缘，使全流程 EPE 达到最低的 0.590。

亮点与洞察¶

物理机理先验与扩散可控生成的巧妙闭环：利用物理退化提示词池与单目深度引导 ControlNet，跳出传统高成本采集与低质 CG 渲染的二选一困境，生成 40K 级别高质量几何对齐水下立体样本。
伪时序视角下的双目跨帧感知增强：将左右双目帧嵌入带有可学习感知帧的伪视频序列中，借助视频注意力机制完成左右特征的主动交互，赋予双目模型类似时序平滑的退化抵抗力。
跨域教师-学生非对称扰动蒸馏：教师网络只看干净陆地几何、学生网络历经高强扰动，通过特征对齐将纯净几何结构注入退化表征，为多模态与不利天气 3D 视觉提供了高度通用的迁移范式。

局限与展望¶

极端浑浊零可见度工况受限：当水体后向散射极度严重且目标特征完全淹没在雾状悬浮物中时，扩散先验与感知帧仍然可能发生轮廓误锁。
推理与生成时延开销：视频骨干网络融合 DINOv2 带来了额外的计算和显存开销，当前尚难以在算力受限的嵌入式 AUV 边缘端实现极高帧率实时推理。
未来方向：探索轻量化紧凑型感知增强网络结构，并结合偏振水下成像与物理导向的神经辐射场进行在线自适应校准。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深度条件扩散生成结合伪时序感知帧立体匹配构思精巧，打通了水下立体匹配的生成与蒸馏管线。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多个合成与真实外场前视基准，消融实验涵盖生成一致性、自蒸馏架构与特征编码设计，论证严密。
写作质量: ⭐⭐⭐⭐⭐ 结构逻辑清晰，问题定义准确，可视化图表信息丰富且说服力强。
价值: ⭐⭐⭐⭐⭐ 为水下机器人导航、海洋考古及水下三维重建提供了极具实用价值的免微调高精度立体匹配基准。