SS3D: End2End Self-Supervised 3D from Web Videos¶

会议: NeurIPS 2026
arXiv: 2604.22686
OpenReview: https://openreview.net/forum?id=t3RKBvndwm
代码: https://github.com/marwanehariat/SS3D
领域: 自监督/表示学习
关键词: 自监督学习、前馈三维估计、单目视频重投影、多视角信号代理、专家蒸馏

一句话总结¶

针对无约束网络视频多视角几何信号微弱和跨领域异质性导致 SfM 自监督崩溃的问题，SS3D 提出基于基础矩阵与单应矩阵误差比率的视差强度代理与课程学习采样，结合 CLIP 子领域专家聚类与统一学生模型蒸馏，实现了首个在大规模网络视频（YouTube-8M）上预训练的端到端单目几何三维估计（深度、位姿、内参联合预测）基础模型。

研究背景与动机¶

近年来以 VGGT、DUSt3R 和 MapAnything 为代表的前馈 3D 基础模型取得了突破性进展，能够直接从单目图像或视频预测连续深度、相机轨迹与场景几何。然而，这些模型极度依赖带有高精度 3D 真值或密集稠密重建的大规模人工标注数据集。与 2D 视觉和多模态模型借助海量无标注互联网数据（如 DINOv2、V-JEPA）实现自监督规模化扩展不同，3D 标注的高昂成本严重制约了模型的数据扩展边界。利用单目视频光度重投影一致性进行自监督 Structure-from-Motion (SfM) 学习虽然早已提出，但长期以来受限于狭窄的室内外基准（如 KITTI 和 NYUv2），无法直接向无约束的网络视频进行自监督扩展。

将 SfM 自监督扩展到无约束网络视频时面临两大核心技术屏障。首先是评估与任务建模的割裂：以往自监督工作大多以深度估计为绝对核心，相机运动和内参往往被视作辅助变量、采用分离网络甚至假设真值已知，导致无法输出时间与几何自洽的三维重建；其次是规模化训练时的数值不稳定与梯度冲突：网络视频中充斥着近乎静态、纯旋转或缩放的弱视差镜头，导致光度重投影提供退化甚至错误的几何梯度，同时不同视频的镜头运动、尺度与外观异质性极大，单模型直接混合训练会出现剧烈的梯度干扰与优化发散。

本文的切入角度是打破以单一深度为中心的局限，将学习目标重新定义为高质量端到端三维几何重建，并通过构建轻量几何代理与领域专家架构来驯服网络视频的异质性。核心 idea：构建基于极几何与单应模型残差比的多视角信号代理（MVSP）实现视差课程学习采样，结合无监督子领域专家训练与跨域知识蒸馏，配合两阶段内参稳定优化，在数百万无标注网络视频上完成统一前馈 3D 估计模型的端到端自监督预训练。

方法详解¶

整体框架¶

SS3D 的整体流水线包含大规模网络视频预处理与课程筛选、子领域专家自监督并行预训练、统一学生模型知识蒸馏，以及前馈端到端联合推理四个阶段。输入为任意无约束单目视频片段，模型通过一个统一的 Vision Transformer 主干网络在单次前向传播中联合预测每帧深度图 $D$、相机外参位姿变换矩阵 $T \in SE(3)$ 以及相机内参矩阵 $K$。

整个方法在系统级的设计与训练流向如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["原始网络视频流 (YouTube-8M)"] --> B["多视角信号代理 (MVSP) 计算<br/>对极几何 vs 单应残差评估"]
    B --> C["分级课程采样与过滤<br/>先大视差后低视差逐步退火"]
    C --> D["子领域无监督聚类<br/>CLIP 语义特征 K-Means 划分"]
    D --> E["子领域专家并行自监督学习<br/>多视角光度重投影 + 动态掩码"]
    E --> F["两阶段内参稳定优化<br/>先暖机定内参，再解冻深度与位姿"]
    F --> G["全域统一学生模型蒸馏<br/>尺度平移无关匹配损失 + Pareto 梯度平衡"]
    G --> H["推理输出：联合预测深度、位姿与内参<br/>反投影诱导全局一致 3D 点云与轨迹"]

关键设计¶

1. 多视角信号代理（MVSP）与视差课程学习采样：解决弱几何信号与退化重投影

无约束网络视频中普遍存在相机静止、原地平摇（纯旋转）或变焦等镜头，此时帧间视差微弱，极几何约束退化，直接施加重投影损失会导致网络学习到错误的深度坍缩解。为了在数百万视频中自动量化有效的多视角几何信号，SS3D 提出了无监督的多视角信号代理（MVSP）。其核心几何直觉在于：当相机发生有效空间平移且场景具备立体深度视差时，相邻帧间的特征点对应关系能够更好地被基础矩阵 $F$（对极几何）解释，而不能被单应矩阵 $H$（平面或纯旋转单应）解释。

具体地，系统提取相邻帧间的 $M$ 组特征点对，分别拟合基础矩阵 $F$ 与单应矩阵 $H$，并计算两者的对称对极几何误差与重投影误差： $$d_F(i) = \frac{({x_{i}^{t+1}}^\top F x_{i}^{t})^2}{(F x_{i}^{t})_1^2 + (F x_{i}^{t})_2^2 + (F^\top x_{i}^{t+1})_1^2 + (F^\top x_{i}^{t+1})_2^2}, \quad d_H(i) = \|x_{i}^{t+1} - H x_{i}^t\|_2^2 + \|x_i^t - H^{-1} x_{i}^{t+1}\|_2^2$$ 帧级别的几何视差强度定义为单应残差与对极残差的均值比率 $r_H / r_F$；视频级别的 MVSP 得分则是该比率在整个视频所有采样帧上的时间平均。若场景为纯旋转或平面，单应矩阵误差很小，比值接近 1；若具有显著平移视差，单应矩阵无法拟合，比值显著放大。基于该分数的累积分布函数 $F(\cdot)$，作者设计了课程采样调度：训练开始时设置严格阈值 $\alpha$，仅在强视差的高分位数子集上优化，确保模型迅速建立正确的空间几何投影关系；随着训练逐步收敛，缓慢调低 $\alpha$，将低视差的困难样本平滑纳入，有效兼顾了几何稳定性与数据多样性。

2. 子领域专家架构与全域学生模型知识蒸馏：平抑网络视频的强异质性

互联网视频覆盖室内、自动驾驶、自然风光、体育运动等极度异质的场景，不同场景的光照分布、运动速度与场景尺度差异极大。直接混合海量数据进行多任务自监督训练时，相互冲突的重投影梯度会导致网络出现剧烈震荡。为了解决领域冲突，SS3D 将数据分布自动解耦为相对同质的子域：利用 CLIP 提取视频片段的时序平均语义嵌入，执行 K-Means 聚类得到 $K=5$ 个相对一致的子领域（例如室内、车载道路、开阔室外等）。

在各个子域内部，由于场景分布和运动先验一致，自监督训练表现出极高的收敛稳定性。作者在每个子领域上分别训练一个领域专家网络 $\mathcal{E}_k$。在完成专家训练后，构建一个架构完全相同的统合学生网络，在全量网络视频上进行蒸馏学习。对于任意训练片段，通过确定其所属聚类获得对应专家的软目标输出 $(D^*, T^*, K^*)$，并与自监督光度损失协同优化。蒸馏损失包含对深度与位姿平移的尺度平移不变匹配损失 $\kappa(\cdot, \cdot)$，以及对旋转矩阵和内参逆矩阵的 Frobenius 范数对齐约束： $$\mathcal{L}_{\text{distill}} = \kappa(D, D^*) + \kappa(t, t^*) + \|R^\top R^* - I\|_F + \|K^{-1} K^* - I\|_F$$ 为了防止自监督光度项与专家蒸馏项在跨域混合梯度下发生抵消，模型采用多目标 Pareto 梯度优化算法动态调整两类梯度的权衡。在推理阶段，所有专用专家模型被丢弃，仅需部署经过蒸馏的单一学生模型，兼具了宽泛的泛化能力与强大的表征容量。

3. 联合预测基础架构与内参先行两阶段优化调度：消除多任务耦合歧义

以往方法通常将深度与位姿割裂为双网络，且普遍假定内参已知。SS3D 采用单模型前馈架构，主干为包含 24 层注意力的 ViT-L 架构（基于 DINOv2 权重初始化），每层均结合帧内自注意力与跨帧全局注意力，并引入 QKNorm 与 LayerScale（初值设为 0.01）确保深度网络长程注意力稳定性。特征层由第 4、11、17 和 23 块引出至 DPT 密集预测头，分支分别输出多视角的深度、相对位姿以及相机内参。内参头预测每帧的视场角 $\mathrm{fov}_x, \mathrm{fov}_y$ 并转换为焦距，主点设于图像中心，并在各镜头切分片段内执行时间平均以增强几何鲁棒性。

直接联合端到端优化深度、外参位姿和内参三个高度耦合的非凸变量极易陷入平凡局部最优（例如内参焦距坍缩导致的伪透视变形）。为此，SS3D 设计了内参先行的两阶段优化策略：在第一阶段，先在少量校准视频上对深度和位姿头进行短暂暖机，随后固定深度与位姿参数，专门释放内参分支进行优化收敛；在第二阶段，冻结学到的内参参数，全力优化深度与相机外参运动分支。这种解耦调度彻底消除了联合自监督训练中的尺度歧义与内参漂移，使得单模型最终能够导出度量比例一致、几何点云平滑对齐的连续 3D 表达。

损失函数 / 训练策略¶

模型的自监督光度损失作用于视频片段 $N$ 帧内的所有非对角有序帧对 $(i, j)$，通过预测的深度、相对刚体位姿变换 $T_{i \to j}$ 与内参将源帧可微变换至目标帧： $$\Psi = \sum_{i \neq j} \sum_{p \in \Omega} m_{i, j}(p) \, \rho\big(\hat{I}_i(p) - I_i(p)\big)$$ 其中 $\rho(\cdot)$ 结合 Charbonnier 鲁棒损失与 SSIM 结构相似度度量。掩码 $m_{i, j}$ 针对性过滤动态移动物体及遮挡区域：通过将基于几何预测反投影诱导的二维重投影位移与预先提取的光流场进行比对，若两者偏差超出阈值则判定为非刚体动态物体，从重投影损失中显式剔除。

统合学生网络的总体训练目标结合自监督光度损失与蒸馏项：$\mathcal{L} = \Psi + \lambda_{\text{distill}} \mathcal{L}_{\text{distill}}$，设置超参数 $\lambda_{\text{distill}} = 0.2$。优化器采用 Adam ($\beta_1=0.99, \beta_2=0.999$)，批大小为 32（每次均匀采样 4 个子领域，每个子域抽取 8 个片段），序列长度取 $N=8$，图像统一缩放裁剪至 $518 \times 518$。大规模预训练依托包含 Kubernetes、KEDA、Kafka 与 Redis 的高容错分布式视频处理集群，在 64 张 NVIDIA H100 GPU 上完成最终学生模型的端到端预训练。

实验关键数据¶

主实验¶

论文在 KITTI（室外大尺度驾驶）与 NYUv2（室内密集场景）上评测零样本（Zero-Shot, ZS）迁移性能，并在 KITTI Odometry、Sintel 与 TUM-RGBD 上评估相机位姿与轨迹精度，验证单一模型在无任何目标域微调下的几何先验。

数据集 / 评测设置	方法类型	论文方法 (SS3D)	对比基准 (Baseline/SOTA)	性能对比与提升
KITTI Depth (ZS)	深度估计 (Abs Rel ↓)	0.092	0.093 (全监督 VGGT) / 0.100 (DPT)	-0.008 优于 DPT，接近全监督 VGGT
KITTI Depth (ZS)	阈值精度 ($\delta_1$ ↑)	0.928	0.917 (VGGT) / 0.901 (DPT)	+0.011 超过全监督 VGGT
NYUv2 Depth (ZS)	室内零样本 (Abs Rel ↓)	0.116	0.098 (DPT) / 0.127 (MiDaS v3.1)	显著超越同类自监督跨域迁移水平
KITTI Odometry (Avg ATE ↓)	前馈位姿估计 (米)	21.37m	22.72m (VGGT-Long) / 25.44m (LoGeR)	-1.35m (轨迹漂移比 VGGT-Long 降低 6%)
Sintel Pose (ZS)	复杂运动 (ATE ↓)	0.090	0.099 (全监督 AnyCam)	-0.009 (自监督超越全监督 AnyCam)
Sintel Intrinsics	相对焦距误差 (RFE ↓)	0.167%	0.181% (AnyCam) / 0.364% (DUSt3R)	-0.014% (内参预测准确度优于 SOTA)

此外，在目标域下游微调（Fine-Tuning, FT）任务中，以 SS3D 预训练权重作为初始化的模型展现出了优异的表征迁移能力：在 KITTI FT 深度评估中 Abs Rel 达到 0.064（对比经典自监督基线 Monodepth2 的 0.110 与最新自监督 SOTA Hariat et al. 2025 的 0.082，误差降低超过 21%）；在 NYUv2 FT 室内深度评估中 Abs Rel 达到 0.090（大幅超越传统室内自监督基准 IndoorDepth 的 0.126 与 Hariat et al. 的 0.115）。在三维点云几何保真度评测（双向最近邻 RMSE）中，SS3D 诱导的点云误差在 2.31m~3.80m 之间，显著低于 Monodepth2 (3.52m~5.18m) 与 FeatDepth (4.27m~7.16m)。

消融实验¶

消融实验聚焦于验证各核心设计在端到端规模化预训练中的独立贡献。表 1 对比了统一 3D 架构、朴素数据堆叠、专家蒸馏及 MVSP 课程采样的递进效果；表 2 进一步拆解了 MVSP 采样机制。

配置方案	MVSP + 课程采样	专家蒸馏 $\mathcal{L}_{\text{distill}}$	YouTube-8M 数据规模	统一 3D 架构	KITTI Abs Rel (ZS / FT) ↓	NYUv2 Abs Rel (ZS / FT) ↓	核心说明
基线 B2 (VGGT 架构)	✗	✗	✗	✗	— / 0.080	— / 0.117	无预训练，仅在目标域单任务训练
+ 统一估计 (+U)	✗	✗	✗	✓	— / 0.078	— / 0.111	联合估计使特征具有三维自洽约束
+ 朴素网络数据 (+YT)	✗	✗	✓	✓	0.190 / 0.079	0.260 / 0.112	无稳定机制时朴素扩展导致 ZS 崩溃
+ 专家蒸馏 (+D)	✗	✓	✓	✓	0.101 / 0.072	0.125 / 0.098	消除跨域梯度干扰，零样本性能大幅回升
完整模型 (Full)	✓	✓	✓	✓	0.092 / 0.064	0.116 / 0.090	课程采样过滤退化帧，各指标达到最优

MVSP 课程采样机制细化消融（在 ResNet-50 KITTI 基线上）： - 无采样策略（Uniform Baseline）：Abs Rel 为 0.104，$\delta_1$ 为 0.885； - 直觉型启发式（仅保留大视差帧对）：Abs Rel 恶化至 0.126，$\delta_1$ 下降至 0.862（表明简单丢弃中小视差会严重损害样本多样性，导致近距离或小位移预测性能退化）； - 完整 MVSP 课程退火策略（Ours）：Abs Rel 提升至 0.098，$\delta_1$ 提升至 0.890（证明从大视差到全分布平滑过渡能够兼顾几何稳定先验与数据泛化性）。

关键发现¶

网络视频单纯“堆数据”不仅无效反而有害：在缺乏几何信号过滤和异质性控制的情况下，直接使用 YouTube-8M 进行光度重投影预训练会导致零样本误差飙升（KITTI Abs Rel 恶化到 0.190，NYUv2 恶化到 0.260），证明弱视差退化解和跨域梯度冲突是规模化 SfM 的死穴。
专家数量存在边际效应拐点：随着蒸馏专家数量由 0 增加至 2 和 5，KITTI FT Abs Rel 稳步从 0.079 优化至 0.069 和 0.064。当专家数继续增加时，性能收益趋向饱和，5 个专家在计算开销与域解耦效果之间取得了最佳平衡。
自监督学习能够涌现度量几何先验：尽管完全没有使用任何激光雷达点云或 3D 标注进行监督，SS3D 仅通过网络视频的大规模重投影蒸馏，即可联合内化相机内参、帧间相对运动与深度稠密图，在未见过的真实世界手持/无人机视频中重建出几何保真度极高的全局点云。

亮点与洞察¶

MVSP 几何代理的设计极为简洁优雅：巧妙利用多视角几何中经典的基础矩阵与单应矩阵残差比率（$r_H / r_F$），无需复杂外部大模型或标注，以接近零的代价精准区分立体平移与纯旋转/平面场景，为大规模视频过滤与动态课程学习提供了坚实的物理准则。
解耦再聚合（Divide-and-Conquer）化解多源异质性：采用无监督聚类将庞杂的网络视频分解为若干独立子域，先在各子域内利用自监督发掘强专精几何先验，再通过尺度平移无关的蒸馏损失统一回传至学生网络，巧妙规避了跨域多任务直接优化的梯度抵消问题。
“内参先行”优化打破非凸联合求解的退化陷阱：将深度、位姿与内参拆分为阶段性解耦优化，通过内参定标与片段时序均值约束，成功防止了焦距自由度带来的投影尺度坍缩。

局限与展望¶

无绝对度量尺度（Metric Scale Ambiguity）：由于纯单目视频 SfM 在物理机制上无法恢复绝对公制尺度，SS3D 预测的深度和相机轨迹在单帧/单序列内均存在未定标的全局尺度因子，在评测时仍需依赖尺度中值对齐或 ICP 配准。
极端剧烈动态物体的干扰：尽管引入了光流与重投影残差掩码过滤移动物体，但在包含密集人群、多车流穿梭等高度动态场景下，静态刚体几何重投影假设仍然受到一定程度的违背，易在动态前景边缘产生深度撕裂或空洞。
未来方向：探索引入单目惯性（IMU）信号或多模态大模型的常识物体几何先验来自动对齐绝对物理度量，同时探索将连续前馈推理拓展至长时无限流视频的在线建图与位姿闭环优化中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通大规模网络视频上的端到端 SfM 自监督前馈 3D 预训练，MVSP 与专家蒸馏机制设计针对性极强。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 KITTI、NYUv2、Sintel、TUM-RGBD 深度/位姿/内参多维评估，包含完备的消融、点云评估与真实网络视频泛化。
写作质量: ⭐⭐⭐⭐⭐ 问题表述清晰，动机阐述层层递进，系统架构与大规模工程细节详实。
价值: ⭐⭐⭐⭐⭐ 为 3D 视觉基础模型摆脱高昂 3D 标注依赖、走向真正以视频自监督为驱动的数据扩展开辟了极具前景的技术路径。