LiteMatch: Lightweight Zero-Shot Stereo Matching via Cost Volume Stabilization¶
会议: ECCV 2026
论文: ECCV 原文
领域: 深度、法线与立体
关键词: 双目立体匹配, 零样本泛化, 代价体稳定性, 频域特征, 轻量化网络
一句话总结¶
针对传统双目立体匹配严重依赖重型 3D 卷积正则化或大规模单目深度先验导致计算膨胀且跨域易崩的问题，LiteMatch 通过傅里叶高频与跨视角双编码器融合、体素级二值交叉熵代价体一致性损失（CVC-Loss）从源头抑制多模态模糊，以 3.36M–9.58M 的极致轻量参数在零样本泛化与实时推理上大幅超越现有 SOTA。
研究背景与动机¶
双目立体匹配作为三维感知与几何重建的核心技术，广泛应用于自动驾驶、机器人导航与具身智能等实时性要求极高的场景。自 PSMNet 等经典工作确立构建 4D 代价体并配合 3D 卷积神经网络（3D CNN）进行正则化的范式以来，立体匹配的几何建模精度大幅提高，但 3D 卷积立方级的计算和内存开销构成了严苛的计算瓶颈。为缓解这一问题，基于迭代更新的 RAFT-Stereo 与混合范式 IGEV-Stereo、Selective-IGEV 引入了相关性金字塔或轻量 3D 几何编码，却仍然难以摆脱低纹理区域收敛缓慢或局部 3D 卷积的残留开销；与此同时，依赖单目深度基础模型先验的新方案（如 MonSter、FoundationStereo）动辄需要数亿参数，推理延迟完全无法部署到边缘嵌入式设备。
现有方法在跨域零样本场景下泛化脆弱的根源，往往并非后处理正则化或迭代模块不够强，而是早期特征匹配阶段计算出的代价体存在固有的不稳定性与多模态歧义。在域外真实场景中，即使参数庞大的预训练骨干网络也会输出高熵、充满噪声的多峰代价分布；这迫使现有研究陷入了“代价体越噪，就越需要堆叠更庞大的 3D 卷积或耗费数十轮 GRU 迭代去修正”的恶性循环，而噪声的源头却始终未被根本解决。
本文的切入视角是直接在源头切断对代价体不稳定性的依赖：如果能在一开始就提取具有高频结构保真度与全局跨视角一致性的互补特征，并通过显式的分布级对比监督压制所有错误假设，就能完全摒弃计算昂贵的 3D 卷积与外部单目先验。核心 idea：通过结合傅里叶高频滤波分支（HFE）与跨视角注意力编码（CVCE）构建几何保真特征，并提出体素级二值交叉熵 CVC-Loss 显式惩罚所有错误视差 bin，从而在无 3D 卷积与无单目先验的前提下生成超低熵、单峰尖锐的代价体，实现轻量实时的零样本立体匹配。
方法详解¶
整体框架¶
LiteMatch 采用严谨的分阶段渐进式架构与非迭代/迭代可选设计。模型输入为已校正的左右双目图像 \(I_L, I_R \in \mathbb{R}^{H \times W \times 3}\)，输出高质量视差图 \(D \in \mathbb{R}^{H \times W}\)。整个流程分为两阶段：第一阶段联合训练双分支编码器与代价体模块，在 1/4 分辨率下构建初级代价体 \(C_0\) 并经过轻量 2D 卷积细化为 \(C_2\)，全程受到本文提出的 CVC-Loss 和 Smooth L1 损失的强监督；第二阶段冻结第一阶段全部特征与代价体参数，仅训练轻量视差细化模块，利用凸上采样在单次前向传播中生成全分辨率视差图 \(D_{\text{base}}\)，或按需接入快速收敛的 GRU 迭代细化头（IR）输出 \(D_{\text{final}}\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入左右双目图像 IL, IR"] --> FE["双分支互补特征提取<br/>跨视角注意力 (CVCE) + 傅里叶高频 (HFE)"]
FE --> CV["2D 代价体构建与平滑<br/>初始相关 C0 经 2D 卷积残差细化至 C2"]
CV --> Loss["CVC-Loss 分布级监督<br/>体素二值交叉熵强力压制错误假峰"]
Loss --> DRM["双模式视差细化架构<br/>单阶段 Transformer 凸上采样 / 可选快速 IR"]
DRM --> Out["高精度最终视差图 Dbase / Dfinal"]关键设计¶
1. 双分支互补特征提取：长程跨视角对齐与频域结构保真的自适应门控 传统 CNN 骨干容易在无纹理区域产生过平滑，而常规 Vision Transformer 全局注意力往往牺牲边缘高频空间精度。LiteMatch 构建了双分支互补编码器：跨视角对应编码器（CVCE, \(E_1\)）利用可学习缩放因子 \(\alpha\) 的双向跨视角交叉注意力（Cross-Attention）建立左右视图的长程几何对应关系；高频编码器（HFE, \(E_2\)）则先通过 2D 快速傅里叶变换（FFT）滤除频域中心低频分量，仅保留边缘高频纹理后送入卷积流。为了无损融合二者，模型设计了轻量自适应门控机制： $\(G_{L/R} = \sigma\big(\psi_g(\mathrm{Cat}(X_{L/R}^{\mathrm{out}}, H_{L/R}))\big)\)$ $\(F_{L/R} = X_{L/R}^{\mathrm{out}} + \lambda G_{L/R} \odot H_{L/R}\)$ 其中 \(\lambda\) 为初始化为 0 的可学习参数。该门控能够在平坦区依靠全局注意力提供语义一致性，在物体边缘和细小结构处由高频分量精确刻画轮廓，以极小计算量消除了特征源头的模糊性。
2. 代价体一致性损失（CVC-Loss）：体素级全假峰自适应压制 传统立体匹配在代价体概率监督中多使用多类交叉熵（CE），但 CE 仅在真实视差位置提供正向梯度，对未激活的大量错误视差假设惩罚微弱，导致早期代价体熵值过高（熵值达 2.74）、峰值混叠严重。为此，LiteMatch 提出体素级二值交叉熵 CVC-Loss，直接作用于 Softmax 归一化后的代价体概率分布 \(P\)： $\(\mathcal{L}_{\mathrm{CVC}} = -\frac{1}{\sum M \cdot D} \sum_{i,j} M_{i,j} \sum_{d} \Big( Y_{i,j,d} \log P_{i,j,d} + (1 - Y_{i,j,d}) \log(1 - P_{i,j,d}) \Big)\)$ 对特定像素，该损失展开为标准交叉熵项与所有非真值假设的负惩罚项之和：\(-\log P_{d^*} + \sum_{d \neq d^*} -\log(1 - P_d)\)。对于任意非真值视差 bin \(k \neq d^*\)，梯度幅值为 \(\frac{1}{1 - P_k}\)，当错误峰值概率试图升高时梯度急剧放大，形成强力的自适应截断。该机制将代价体信息熵直接拉低 35.4%（降至 1.77），训练初期的峰次比（Peak-to-Second-Peak Ratio）显著拉开，彻底摆脱了昂贵的 3D 卷积正则化网络。
3. 双模式视差细化架构：低延迟单阶段前向与快速收敛迭代扩展 传统方法若想达到极高精度，通常依赖超过 16 至 32 次的循环 GRU 迭代更新，延迟成倍上升。LiteMatch 针对不同算力需求提出双模式细化方案。基础版本（Base Model）设计了非迭代结构，由视差上下文编码器（\(E_{\mathrm{geo}}\)，融合低阶视差与左图特征）与相关性编码器（\(E_{\mathrm{corr}}\)，融合代价体与几何线索）并行提取多尺度特征，送入分层 Transformer 解码器预测中间视差残差与凸上采样权重掩码（Convex Upsampling Mask），单次前向（Single-Pass）即输出锐利视差；若追求极限精度，可无缝串接一个仅作用于 1/4 尺度的紧凑 GRU 迭代头。得益于前期高度稳定的代价体，LiteMatch 的迭代细化在 4 轮以内即可达到竞品 16 轮以上的收敛精度。
损失函数 / 训练策略¶
LiteMatch 遵循两阶段解耦训练策略以保证特征几何稳定性： - 阶段 1（特征提取与代价体稳定）：联合优化特征编码器与 2D 代价体残差模块，损失函数施加在初始代价体 \(C_0\) 和细化代价体 \(C_2\) 上： $\(\mathcal{L}_{\mathrm{stage1}} = \sum_{i \in \{0, 2\}} \big( \mathcal{L}_{\mathrm{CVC}}(C_i, D_{\mathrm{gt}/4}) + \mathcal{L}_{\mathrm{SmoothL1}}(D_i, D_{\mathrm{gt}/4}) \big)\)$ 在 Scene Flow 数据集上以 Batch Size 1 训练 1,000,000 步，采用 AdamW 优化器配合 OneCycle 学习率调度（峰值学习率 \(2 \times 10^{-4}\)），在单张 NVIDIA RTX A6000 上耗时约 4–5 天。 - 阶段 2（视差细化网络训练）：完全冻结阶段 1 的全部参数，防止细化梯度的反向震荡破坏特征分布。仅优化 Transformer 细化网络及迭代头： $\(\mathcal{L}_{\mathrm{stage2}} = \mathcal{L}_{\mathrm{SmoothL1}}(D_{\mathrm{base}}, D_{\mathrm{gt}}) + \sum_{j=1}^{n} \gamma^{n-j} \mathcal{L}_{\mathrm{SmoothL1}}(D_j, D_{\mathrm{gt}})\)$ 衰减系数设为 \(\gamma = 0.9\)。该策略确保了底座代价体极致平稳，且高分辨率残差细化精确收敛。
实验关键数据¶
主实验¶
LiteMatch 在纯合成数据集 Scene Flow 上训练后，直接在多个真实场景数据集（KITTI 2012/2015、Middlebury-F、ETH3D、DrivingStereo）上进行严格的零样本泛化评测。
表 1：跨域零样本多数据集评测与复杂度对比（全部仅在 Scene Flow 训练） 注：推理时间与显存在 KITTI-2015 分辨率（\(384 \times 1248\)）下使用 RTX A6000 测得；MP 表示单目先验。
| 方法 | 类型 | KITTI-12 Bad3.0 (%) ↓ | KITTI-15 Bad3.0 (%) ↓ | Middlebury-F Bad2.0 (%) ↓ | ETH3D Bad1.0 (%) ↓ | 参数量 (M) ↓ | GFLOPs ↓ | 显存 (GB) ↓ | 推理时间 (ms) ↓ |
|---|---|---|---|---|---|---|---|---|---|
| PSMNet (CVPR'18) | 3D-CNN | 15.1 | 16.3 | 57.93 | 23.8 | 5.22 | 939.6 | 7.98 | 332 |
| RAFT-Stereo (3DV'21) | 迭代 | 5.90 | 5.86 | 19.5 | 3.30 | 11.11 | 525.9 | 7.08 | 353 |
| IGEV-Stereo (CVPR'23) | 混合 | 5.19 | 6.06 | 15.1 | 4.00 | 12.60 | 330.6 | 6.06 | 410 |
| Selective-IGEV (CVPR'24) | 混合 | 5.64 | 6.05 | 17.6 | 6.10 | 13.14 | 338.3 | 6.32 | 432 |
| Mocha-Stereo (CVPR'24) | 大模型 | 4.83 | 6.01 | 17.1 | 4.02 | 97.14 | 739.6 | 9.79 | 420 |
| MonSter (CVPR'25) | 单目先验 | 3.62 | 4.00 | 15.2 | 2.00 | 388.8 | 2141.0 | 7.64 | 595 |
| LiteMatch (Base) | 纯双目无迭代 | 5.12 | 5.40 | 18.1 | 5.01 | 3.36 | 79.8 | 1.17 | 45 |
| LiteMatch | 纯双目迭代 | 4.20 | 4.09 | 15.1 | 2.05 | 9.58 | 179.0 | 1.41 | 220 |
表 2：DrivingStereo 恶劣天气零样本泛化（D1-all %）与 Scene Flow 域内评测
| 方法类别 | 方法 | DrivingStereo 晴天 ↓ | 阴天 ↓ | 雨天 ↓ | 雾天 ↓ | DrivingStereo 平均 ↓ | Scene Flow EPE ↓ | Scene Flow D1 (%) ↓ | 参数量 (M) ↓ |
|---|---|---|---|---|---|---|---|---|---|
| 无单目先验 | RAFT-Stereo | - | - | - | - | - | 0.53 | 6.08 | 11.1 |
| 无单目先验 | IGEV-Stereo | 5.3 | 6.3 | 21.6 | 8.0 | 10.3 | 0.47 | 5.21 | 12.6 |
| 无单目先验 | Selective-IGEV | 7.0 | 8.0 | 18.4 | 12.9 | 11.1 | 0.44 | 4.98 | 13.1 |
| 无单目先验 | Mocha-Stereo | 12.8 | 27.4 | 24.6 | 22.8 | 21.9 | 0.41 | 2.35 | 97.1 |
| 本文方法 | LiteMatch (Base) | - | - | - | - | - | 0.53 | 2.29 | 3.36 |
| 本文方法 | LiteMatch (Full) | 2.01 | 2.05 | 2.44 | 1.51 | 2.00 | 0.39 | 1.92 | 9.58 |
| 依赖单目先验 | MonSter | 2.60 | 2.12 | 3.08 | 2.94 | 2.69 | 0.37 | 2.02 | 388.8 |
| 依赖单目先验 | DEFOM-Stereo | 2.05 | 2.50 | 0.95 | 2.68 | 2.05 | 0.42 | 5.57 | 47.3 |
消融实验¶
表 3：各核心模块在 Scene Flow 上的贡献消融
| 配置 | HFE | CA | 代价体细化 | 几何编码 | 相关性编码 | 迭代头 (IR) | CVC-Loss | 参数量 (M) | EPE ↓ | D1-all (%) ↓ |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | \(\times\) | \(\times\) | \(\times\) | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\times\) | 2.27 | 0.98 | 4.48 |
| + CVC-Loss | \(\times\) | \(\times\) | \(\times\) | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\checkmark\) | 2.27 | 0.84 | 3.30 |
| + HFE | \(\checkmark\) | \(\times\) | \(\times\) | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\checkmark\) | 2.42 | 0.70 | 3.18 |
| + HFE + CA | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\checkmark\) | 2.74 | 0.65 | 2.92 |
| + 代价体细化 (w/o Corr) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\times\) | \(\checkmark\) | 3.25 | 0.59 | 2.80 |
| LiteMatch (Base) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\checkmark\) | 3.36 | 0.53 | 2.29 |
| LiteMatch (Full) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | 9.58 | 0.39 | 1.92 |
表 4：第一阶段代价体监督损失函数对比（Scene Flow）
| 第一阶段损失函数配置 | EPE ↓ | D1-all (%) ↓ | 说明 |
|---|---|---|---|
| Categorical CE + L1 | 0.73 | 3.25 | 负样本无显式梯度，代价体分布平缓多峰 |
| Focal Loss (\(\gamma=2\)) + L1 | 0.64 | 2.91 | 虽强化难样本，但未能建立全局互斥对比 |
| CVC-Loss + L1 (本文) | 0.53 | 2.29 | 全负峰动态抑制，熵值下降 35.4%，收敛极快 |
关键发现¶
- CVC-Loss 的降熵定海神针作用：消融数据显示，仅在基础网络上将分类损失替换为 CVC-Loss，无需增加任何模型参数（2.27M），D1 误差即从 4.48% 骤降至 3.30%（相对下降 26.3%）。可视化显示其时代价体信息熵从 2.74 降至 1.77，峰次比大幅拓宽，直接打破了传统方法必须依赖 3D 卷积的死局。
- 频域 HFE 极大增强边缘泛化鲁棒性：HFE 分支使 Scene Flow 边缘区域 D1 误差由 9.45% 降至 7.21%，在 DrivingStereo 边缘区域更是由 10.62% 降至 8.24%，验证了高通滤波对真实域外结构畸变的免疫能力。
- 极致的收敛速度与显存开销：迭代更新仅需 4 步即可媲美其他算法 16–32 步效果；基础单阶段模型以 45ms、1.17GB 显存实现 22.2 FPS，相比 MonSter（595ms、7.64GB）速度提升 13 倍，显存降低 85%。
亮点与洞察¶
- 从“事后补救”转向“源头稳定”的代价体范式：以往工作耗费大量算力设计越来越深沉的 3D 卷积或 GRU 去滤除代价体噪声，LiteMatch 证明只要在早期匹配中通过频域解耦和体素二值交叉熵进行强对比约束，极其轻量的 2D 卷积即可获得尖锐单峰的几何代价。
- 纯双目架构击败单目大模型先验：在 Middlebury-F 与 DrivingStereo 等高难度测试中，LiteMatch 仅用不足 10M 的轻量参数，逆袭了参数量高达 388M 的 MonSter 等单目深度基座方案，证明双目几何一致性只要得到纯粹充分的释放，无需庞大先验注入亦能获得顶尖泛化力。
- 两阶段解耦训练切断梯度震荡：阶段 1 锚定特征与代价体，阶段 2 冻结底座专攻视差残差拟合，有效避免了深层回归梯度对浅层几何匹配空间的破坏。
局限与展望¶
- 作者承认的局限：在极端反光表面与完全缺乏纹理的高反射区域，由于高频傅里叶滤波无法提取有效边缘，模型依然存在少量几何深度突变。
- 自身发现的局限：模型第一阶段在单卡 A6000 上需要训练 100 万步（耗时约 4–5 天），对学术界单卡调试略显漫长；此外目前的凸上采样是局部空间加权，对极大视差跳跃处可能产生微小的阶梯伪影。
- 未来改进方向：可考虑将 CVC-Loss 拓展至多目立体视觉（MVS）或光流估计中；同时可探索轻量化的自适应频域小波变换替代固定阈值的 FFT 滤波，进一步自适应调节低频与高频的切分点。
相关工作与启发¶
- vs PSMNet / IGEV-Stereo: PSMNet 和 IGEV 依赖堆叠 3D 卷积来平滑代价体，计算复杂度与显存占用极其昂贵；LiteMatch 提出 CVC-Loss 进行分布级自适应压制，完全剔除 3D 卷积，在更少参数下取得更优泛化。
- vs RAFT-Stereo: RAFT-Stereo 依赖多轮循环 GRU 进行迭代细化，在平坦无纹理区因缺少强几何代价体支撑而收敛缓慢；LiteMatch 的 Base 模型实现非迭代单次前向（45ms/22.2 FPS），即使加入 IR 扩展也仅需极少轮数即可收敛。
- vs MonSter / DEFOM-Stereo: 这类最新方法通过引入数百兆参数的单目深度基础模型弥补立体匹配缺陷；LiteMatch 坚持纯立体匹配路线，参数量缩小近 40 倍，显存仅需 1.4GB，更适合嵌入式端侧实车部署。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 巧妙将频域高通滤波与体素级二值交叉熵融入代价体稳定，思路独辟蹊径。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大真实公开数据集，包含单次/迭代对比、在域/零样本评测及全方位消融。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰透彻，图表自洽且逻辑链条严密。
- 价值: ⭐⭐⭐⭐⭐ 为轻量级端侧三维感知与实时自动驾驶落地提供了极具实用价值的参考范式。