Revisiting Cross-View Completion: Self-Supervised Pre-Training via Reconstruction Error Comparison¶

会议: NeurIPS 2026
arXiv: 2609.01530
OpenReview: https://openreview.net/forum?id=mUKb5eCadx
论文: https://arxiv.org/abs/2609.01530
代码: https://thibautloiseau.github.io/projects/gekko
领域: 自监督/表示学习
关键词: 自监督学习、跨视角补全、共视预测、掩码自编码器、3D表示学习

一句话总结¶

Gekko 提出将跨视角补全与单目掩码自编码重构误差的相对改善率作为无需标注的共视代理，通过单网络三阶段联合前向与误差自加权损失，无需任何 3D 标注或重叠度筛选即可从原始视频预训练高质量几何表征，在相对位姿估计严格阈值下较 CroCo 带来最高达 6 倍的性能跃升。

研究背景与动机¶

基于跨视角图像补全（Cross-View Completion）的自监督预训练，如开创性的 CroCo 及其衍生架构，已成为学习 3D 视觉表征的重要基石，并被广泛集成于 DUSt3R、MASt3R 等密集几何匹配与重建模型中。该范式通过对目标图像进行极高比例（如 90%）的随机掩码，并借助未经掩码的参考视角来重构目标视角的被遮蔽块。其内在机理在于：当掩码块在参考视角中存在共视（co-visible）对应结构时，网络被迫建立跨视角的密集几何对应与特征对齐，从而学到富含 3D 几何先验的深层表征。

然而，跨视角补全范式存在一个根本性的盲区：当目标图像的掩码块由于遮挡、视场移出或视线盲区而不在参考视角中出现（即非共视区域）时，参考视角无法提供任何补全线索。在这些非共视补丁上，网络的重构行为退化为单目掩码自编码器（MAE）式的局部平滑插值，无法提供任何双目跨视角监督信号。这一缺陷导致跨视角补全极度依赖高重叠度图像对；而在低重叠对上，大量非共视区域反而稀释了几何学习效力。为了规避此问题，现有方法如 CroCo、CroCo v2 以及引入共视先验的 Alligat0R 均依赖高成本的 SfM 姿态与深度图预处理，通过真值几何标注筛选重叠对或计算显式共视标签，背离了自监督学习从无标注自然数据中可扩展预训练的初衷。

本文的研究切入点是直接直面并转化跨视角补全的盲区：既然非共视区域无法借助参考视角提升重构质量，那么跨视角重构误差相较于单目重构误差的相对改善幅度，本身就是一个完美的像素级自监督共视代理。在共视区域，参考视角注入了决定性纹理信息，跨视角重构误差远小于单目 MAE 误差，相对改善率趋近于 1；在非共视区域，两者均只能单目脑补，相对改善率趋近于 0。核心 idea：将跨视角补全相较于单目掩码自编码的重构误差相对改善率作为无需 3D 标注的自监督共视代理，通过单网络三阶段前向同时学习跨视角补全、单目自编码与像素级相对改善率预测，为包括非共视在内的所有掩码区域提供稠密双目几何监督。

方法详解¶

整体框架¶

Gekko 构建在单套与 CroCo 结构严格对齐的主干网络之上，通过同一个网络 $F_{\text{Gekko}}$ 在相同的视频帧对（目标帧 $I_{\text{T}}$ 与参考帧 $I_{\text{R}}$）上串行执行三个互补的前向阶段：跨视角补全分支、单目自编码分支，以及免掩码的相对改善率直接预测分支。网络的主干包含标准 ViT 编码器与基于交叉注意力的解码器，唯一增加的结构是在轻量级像素解码头中将输出通道数由 RGB 3 通道扩展为 4 通道，其第 4 通道用于直接回归相对改善率图 $\hat{C}$。

该系统通过步长递增的无监督课程学习策略直接输入无标注连续视频，并在训练循环中将前两个分支产生的重构误差动态计算为无监督伪标签，监督第三个分支的预测。整个流水线无需任何真值深度图、相机位姿或离线几何过滤。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["视频帧对输入 (目标帧 IT / 参考帧 IR)"] --> Cur["面向无标注连续视频的步长课程学习<br/>动态步长采样 k ~ [1, kmax]，逐步扩大视点跨度"]
    Cur --> Arch["单网络三阶段协同的前向架构<br/>共享权重 ViT + 交叉注意力，仅第四通道输出共视预测"]
    Arch --> P1["分支一：跨视角补全<br/>90% 掩码 IT + IR 重构"]
    Arch --> P2["分支二：单目掩码自编码<br/>90% 掩码 IT 独立补全"]
    Arch --> P3["分支三：共视图直接预测<br/>完整未掩码图像对回归通道 C_hat"]
    P1 & P2 --> Proxy["相对误差比作为无监督共视代理<br/>计算标量比值 C = (l_MAE - l_CroCo) / l_MAE"]
    Proxy & P3 --> Loss["误差自加权的相对提升回归损失<br/>以 MAE 误差自适应降权平坦/纹理缺失伪标签噪声"]
    Loss --> Out["预训练完成的几何特征表征<br/>零样本对应 / 相对位姿 / 点云回归"]

关键设计¶

1. 面向无标注连续视频的步长课程学习：摆脱 3D 几何与重叠度预处理

以往多视角预训练方法必须预先运行 COLMAP 重建或深度渲染以计算视见重叠比例，从而剔除无重叠图像对，这一离线预处理极大制约了海量非受控视频数据的扩展。Gekko 提出一种极简的步长递增课程采样策略，直接作用于原始未经预处理的视频切片。在训练初始阶段，参考帧与目标帧之间的采样步长严格限定为连续帧（步长为 1），确保极高的视见重叠与易学习的对应关系；随着训练推进，每经历固定的步数 $N=5\text{k}$，最大步长采样上限 $k_{\max}$ 线性递增 $\Delta k$（高重叠模式 $\Delta k=2$，全范围模式 $\Delta k=10$），每次采样在 $[1, k_{\max}]$ 内均匀随机抽取。这种渐进式拓宽视点基线的方法使得网络在无需任何离线相机参数或点云先验的情况下，平滑过渡并适应从大重叠到极低重叠的各类复杂几何视差变换。

2. 单网络三阶段协同的前向架构：极低开销共享 ViT 编码器与解码器

针对多任务训练可能带来的显存膨胀与架构异构问题，Gekko 维持了与 CroCo 字节级完全一致的编码器与交叉注意力解码器参数，仅将像素预测输出头的通道数从 3 扩展至 4。同一个网络权重在每个训练步骤中复用三次： - 在跨视角分支中，对目标帧施加 90% 的极端掩码，与参考帧一同送入 ViT 编码器，并通过解码器交叉注意力融合参考信息，重构出 RGB 图 $\hat{I}_{\text{T}|\text{R}}$； - 在单目 MAE 分支中，输入完全相同的 90% 掩码目标帧，但不输入参考帧；此时原本的跨视角注意力退化为无条件掩码自注意力机制，独立输出单目填补图像 $\hat{I}_{\text{T}}$； - 在相对改善预测分支中，网络输入完全未经掩码的原始图像对 $(I_{\text{T}}, I_{\text{R}})$，无需预测重构像素，仅通过轻量级第 4 输出通道直接预测稠密相对改善率图 $\hat{C}$。该设计使推理和下游微调阶段完全不增加额外的浮点运算量与参数负担，且在下游适配时可直接丢弃单目与第 4 通道，保持极高的部署兼容性。

3. 相对误差比作为无监督共视代理：将盲区缺陷逆转为稠密双目监督

单纯使用跨视角重构误差 $\ell_{\text{CroCo}}({\bf p})$ 本身无法有效识别共视区域，因为图像纹理本身的复杂度差异会主导误差大小（复杂纹理即使共视也误差偏高，平坦白墙即使遮挡也误差极小）。Gekko 引入单目重构误差 $\ell_{\text{MAE}}({\bf p})$ 作为基线对比，构建相对改善率度量： $$C({\bf p}) = \frac{\ell_{\text{MAE}}({\bf p}) - \ell_{\text{CroCo}}({\bf p})}{\ell_{\text{MAE}}({\bf p})}$$ 其中像素级均方误差定义为： $$\ell_{\text{CroCo}}({\bf p}) = \|\mathtt{I}_{\text{T}}({\bf p}) - \hat{\mathtt{I}}_{\text{T}|\text{R}}({\bf p})\|_2^2, \quad \ell_{\text{MAE}}({\bf p}) = \|\mathtt{I}_{\text{T}}({\bf p}) - \hat{\mathtt{I}}_{\text{T}}({\bf p})\|_2^2$$ 在共视区域，跨视角几何对应能够将远端参考帧的高频细节精准转移至目标视角，产生 $\ell_{\text{CroCo}}({\bf p}) \ll \ell_{\text{MAE}}({\bf p})$，从而使 $C({\bf p}) \approx 1$；而在非共视遮挡区域，参考视角无法提供有效线索，导致两分支重构误差基本一致，使得 $C({\bf p}) \approx 0$。统计检验表明，该相对比值在 ScanNet 上对真值共视的平均精度（AP）从 CroCo 原始误差的 0.57 跃升至 0.74，形成了无真值标注下的优质几何共视先验。

4. 误差自加权的相对提升回归损失：以单目误差自适应抑制平坦区域伪标签噪声

直接对相对比值 $C({\bf p})$ 实施均方回归会在分母极小的区域引发严重的数值发散与噪声过拟合：在纯色平坦区域（如白墙、天空）或重复自相似纹理中，单目 MAE 凭借简单的邻域均值即可取得极低的重构误差 $\ell_{\text{MAE}}({\bf p}) \to 0$，导致相对改善率计算极易放大细微数值扰动，产生不可信的共视伪标签。Gekko 巧妙地利用分母项自身作为平滑权重，推导出误差自加权的相对提升损失： $$\ell_{\text{RI}}({\bf p}) = \left( sg[\ell_{\text{MAE}}({\bf p}) - \ell_{\text{CroCo}}({\bf p})] - sg[\ell_{\text{MAE}}({\bf p})] \hat{C}({\bf p}) \right)^2$$ 其中 $sg[\cdot]$ 表示停止梯度（stop-gradient）操作。当且仅当 $\hat{C}({\bf p})$ 精确拟合真实相对改善率时损失为 0，而在反向传播中，该项等价于在直接回归目标上乘以了权重因子 $sg[\ell_{\text{MAE}}({\bf p})]^2$。这一机制实现了全自动的“不确定性自适应过滤”：在低纹理区域，微小的单目误差天然地将该处损失权重大幅衰减，从而使网络聚焦于几何结构清晰、纹理显著的关键对应区域，显著抑制了边界伪影。

损失函数 / 训练策略¶

Gekko 的整体端到端自监督预训练目标为掩码区域 $\Omega_{\mathtt{M}}$ 上的三项联合损失和： $$\mathcal{L}_{\text{Gekko}} = \sum_{{\bf p} \in \Omega_{\mathtt{M}}} \left( \ell_{\text{MAE}}({\bf p}) + \ell_{\text{CroCo}}({\bf p}) + \ell_{\text{RI}}({\bf p}) \right)$$ 其中目标图像被随机划分并丢弃 90% 的图像 patch，剩余 10% patch 与参考帧分别经过均值与方差归一化预处理。优化采用 AdamW 优化器，全局批大小为 768，基础学习率设为 $1.5 \times 10^{-4}$，并配合 5000 步线性预热与余弦衰减调度，总训练步数为 100k 步。微调下游相对位姿时，骨干网络参数完全冻结，仅在其输出特征后级联一层微型 MLP 头并配合同方差高斯不确定性损失训练 20k 步。

实验关键数据¶

主实验¶

评估在零样本稠密特征对应（ETH3D）、冻结骨干网络下的相对度量位姿回归（ScanNet-1500）以及稠密点云回归（ScanNet / DL3DV / ETH3D）三大任务上全面展开。下表展示了在 ScanNet-1500 上的相对位姿回归主结果，全部对比模型均在相同结构、相同数据及 100k 步完全对齐的严苛设置下从头预训练：

预训练数据集	模型	10° / 0.25m (↑)	10° / 0.5m (↑)	10° / 1m (↑)	核心优势与倍率说明
ScanNet-50 (高重叠)	CroCo-B	5.5%	12.9%	18.5%	基准跨视角补全模型
ScanNet-50 (高重叠)	Gekko-B (本文)	29.1%	43.3%	47.5%	+23.6% (严格阈值下提升 5.3×)
ScanNet-all (全范围)	CroCo-B	6.6%	15.7%	23.0%	低重叠对导致收益极微
ScanNet-all (全范围)	Gekko-B (本文)	43.7%	54.4%	57.6%	+37.1% (严格阈值下提升 6.6×)
ScanNet-all (全范围)	CroCo-L	7.5%	16.1%	23.0%	大模型在基线上无明显跃升
ScanNet-all (全范围)	Gekko-L (本文)	35.9%	50.6%	56.3%	+28.4% (大模型增益扩大至 4.8×)

在 ETH3D 零样本稠密几何对应任务上，预训练完毕且未进行任何下游微调的 Gekko-B 编码器端点误差（AEPE）从 CroCo-B 的 78.4 骤降至 60.8（相对降低 22.4%），解码器 AEPE 从 101.9 降低至 80.8（相对降低 20.7%）。

消融实验¶

消融实验在统一的基础模型配置下于 ScanNet-50 与 ScanNet-all 上评估了各设计组件对 ScanNet-1500 相对位姿估计精度的具体影响：

配置	损失构成与设计改动	ScanNet-50 (10°/.25m / .5m / 1m)	ScanNet-all (10°/.25m / .5m / 1m)	机制说明
行 1: CroCo-B 基线	$\ell_{\text{CroCo}}$	5.5 / 12.9 / 18.5	6.6 / 15.7 / 23.0	仅使用跨视角补全损失
行 2: 多任务重构	$\ell_{\text{CroCo}} + \ell_{\text{MAE}}$	6.7 / 15.3 / 20.9	6.2 / 14.5 / 21.2	单纯多任务对几何学习几乎无收益
行 3: 置信度预测	$\ell_{\text{conf}}$ (DUSt3R 风格)	26.7 / 38.7 / 45.8	2.2 / 6.1 / 11.2	高重叠可行，但在低重叠完全崩塌
行 4: 绝对差值回归	$\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{AI}}$	14.3 / 23.0 / 25.2	23.3 / 33.6 / 39.4	绝对误差受制于纹理固有难度
行 5: 绝对差值无归一化	$\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{AI}}$, no norm.	20.9 / 38.1 / 42.3	14.2 / 21.9 / 25.1	缺乏 patch 归一化导致低重叠剧烈掉点
行 6: 直接回归相对比率	$\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{RI ratio}}$	27.2 / 39.0 / 42.7	25.7 / 39.6 / 44.4	平坦区域噪声严重污染特征空间
行 7: Gekko-B 完整模型	$\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{RI}}$	29.1 / 43.3 / 47.5	43.7 / 54.4 / 57.6	自加权平滑抑制平坦区域噪声，全指标最佳

关键发现¶

增益源于共视预测而非多任务掩码：单纯在 CroCo 基础上添加 MAE 分支（行 2）在 ScanNet-all 严格阈值下指标几乎无变动（6.6% 变为 6.2%），表明性能飞跃并非由数据重构多样性带来，而是来源于对相对重构误差 gap 的显式显化学习。
低重叠对优势显著放大：在包含丰富遮挡与小重叠视角的 ScanNet-all 上，Gekko-B 相对 CroCo-B 的提升高达 37.1 个百分点（提升 6.6 倍），而 CroCo 在从高重叠扩展到小重叠时几乎停止增长（5.5% 到 6.6%），充分证实 Gekko 成功将“遮挡非共视区域”从原本的学习毒药转变为高价值的双目几何辨别信号。
分母自加权是算法收敛的关键核心：从直接回归比值的 $\ell_{\text{RI ratio}}$（行 6）切换为加权回归损失 $\ell_{\text{RI}}$（行 7），低重叠 ScanNet-all 的 10°/0.25m 精度由 25.7% 直升至 43.7%（单项增益达 18.0 个百分点），有效消除了纯色和低纹理区域分母过小引起的梯度爆炸与噪声伪标签。

亮点与洞察¶

将“盲区缺陷”逆向推导为“监督锚点”：论文没有回避跨视角补全无法处理非共视区域的经典局限，而是极其敏锐地发现跨视角模型与单目模型在非共视区域的性能退化是严格对称的，利用相对变化差分直接消解掉了图像全局纹理复杂度，构造出了极其纯净的无监督几何信号。
第 4 通道具备强大多场景泛化判别力：仅增加一个输出通道并在自监督损失下训练，网络在零次微调、未见场景（如 7-Scenes）上即可直接作为开箱即用的高精度共视分割器使用（AP 达 0.763，ROC-AUC 达 0.737），且其泛化判别能力显著超越了它在训练时拟合的带噪伪标签本身。
原生支持原始连续视频的直接预训练：搭配步长递增课程学习后，模型彻底摆脱了传统 3D 视觉大模型对 COLMAP 位姿、深度对齐、视见角计算等极为繁琐昂贵的前置预处理依赖，使得直接从互联网数十万小时海量未经处理的生视频中预训练 3D 大模型成为现实。

局限与展望¶

预训练计算显存与显卡时间开销偏高：三阶段前向中的第三阶段为全分辨率未掩码前向计算，导致激活值显存占用增加约一倍，使得单卡 batch size 减半（Base 模型由 96 图减为 48 图），同等 100k 步训练下的 GPU 消耗约为 CroCo 的 2.4 倍（在 16 张 H100 上耗时约 25 小时）。
几何优势主要体现于冻结特征（Frozen Features）：评测表明 Gekko 的优势主要在于开箱即用的高质量冻结几何特征表征；当在下游进行包含骨干的全量参数微调（Full Fine-Tuning）时，其相对于经过海量数据清洗的基线模型的优势会部分收敛。
局限于成对立体双目框架：当前相对改善率严格定义于单目标-单参考的双视角体系中，无法直接扩展到任意多视角统一联合建模（如 MuM、Muskie 等），多视角下如何构建综合参考集相对基准依然是一个非平凡的开放研究课题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用跨视角与单目重构误差的相对比值作为无监督共视代理，构思优雅且物理意义极其明确。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖零样本对应、冻结特征相对位姿回归、点图回归及共视探测，并在完全对齐的严苛设置与大规模原始视频下进行了细致消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链条严丝合缝，动机与图表推导极为流畅自然，对局限与适用边界的阐述客观坦诚。
价值: ⭐⭐⭐⭐⭐ 彻底解决了跨视角补全对低重叠数据敏感的陈年顽疾，摆脱了对昂贵离线 3D 预处理的依赖，对跨视角表示学习具有重大推进意义。

配置	损失构成与设计改动	ScanNet-50 (10°/.25m / .5m / 1m)	ScanNet-all (10°/.25m / .5m / 1m)	机制说明
行 1: CroCo-B 基线	\(\ell_{\text{CroCo}}\)	5.5 / 12.9 / 18.5	6.6 / 15.7 / 23.0	仅使用跨视角补全损失
行 2: 多任务重构	\(\ell_{\text{CroCo}} + \ell_{\text{MAE}}\)	6.7 / 15.3 / 20.9	6.2 / 14.5 / 21.2	单纯多任务对几何学习几乎无收益
行 3: 置信度预测	\(\ell_{\text{conf}}\) (DUSt3R 风格)	26.7 / 38.7 / 45.8	2.2 / 6.1 / 11.2	高重叠可行，但在低重叠完全崩塌
行 4: 绝对差值回归	\(\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{AI}}\)	14.3 / 23.0 / 25.2	23.3 / 33.6 / 39.4	绝对误差受制于纹理固有难度
行 5: 绝对差值无归一化	\(\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{AI}}\), no norm.	20.9 / 38.1 / 42.3	14.2 / 21.9 / 25.1	缺乏 patch 归一化导致低重叠剧烈掉点
行 6: 直接回归相对比率	\(\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{RI ratio}}\)	27.2 / 39.0 / 42.7	25.7 / 39.6 / 44.4	平坦区域噪声严重污染特征空间
行 7: Gekko-B 完整模型	\(\ell_{\text{CroCo}} + \ell_{\text{MAE}} + \ell_{\text{RI}}\)	29.1 / 43.3 / 47.5	43.7 / 54.4 / 57.6	自加权平滑抑制平坦区域噪声，全指标最佳