Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation¶

会议: NeurIPS 2026
arXiv: 2609.24850
代码: https://github.com/aoxiangfan/S2S-MVS
领域: 深度、法线与立体
关键词: 多视角立体视觉, 序列到序列模型, 全局代价体, 射线图嵌入, 3D几何重建

一句话总结¶

本文将多视角立体视觉（MVS）从传统的单参考视角序列到单（Seq2One）预测重构为联合预测所有视角几何的序列到序列（Seq2Seq）任务，并引入射线图嵌入与统一全局代价体两种相机诱导先验，在保持前馈效率的同时消除几何畸变并大幅超越现有 MVS 与前馈重建基线。

研究背景与动机¶

从多视角图像恢复高精度 3D 几何结构是计算机视觉的核心基础任务。传统上该问题由运动恢复结构（SfM）与多视角立体视觉（MVS）管线主导。基于深度学习的传统 MVS 方法（如 MVSNet、TransMVSNet、MVSA）依托相机参数构建沿视锥采样的代价体（cost volume）以聚合视角一致性特征，取得了极高精度的局部深度推断。然而，这类方法本质上采用「序列到单」（Sequence-to-One）范式，即在多视角输入下每次仅以某一视角为参考图回归单张深度图。这种设计不仅在多视角重建时需对每张图像重复构建与遍历代价体，导致计算开销随视角数急剧膨胀，更因缺乏全局对齐联合优化而极易在视角间产生尺度不一致与几何错位。

近年来兴起的前馈（Feed-Forward）重建大模型（如 DUSt3R、VGGT、Pi3、DepthAnything3 等）采用 Transformer 架构将重建构建为「序列到序列」（Sequence-to-Sequence）任务，一次前向传播即可联合输出所有视角的点图或深度图。但这类通用前馈模型大多致力于无标定或端到端相机参数联合估计，在相机内外参已知的标准设定下，即便人为输入真实位姿，模型依然倾向于在隐空间内重新调整或无法严密约束投影几何，从而诱发不可忽视的几何失真、各向异性尺度扭曲与重建模糊。

因此，多视角三维重建面临着经典 MVS「局部严密但全局割裂、逐视角计算笨重」与前馈模型「全局联合高效但几何先验缺失、容易扭曲漂移」之间的核心矛盾。本文立足于实际工程中相机位姿已由 SfM 标定就绪的标准 MVS 前提，既继承前馈 Transformer 的序列到序列全局对齐范式，又系统性重塑并显式注入相机几何约束。核心 idea：将多视角立体视觉重构为序列到序列联合预测，利用非归一化射线图嵌入显式赋予 Transformer 相机位姿感知，并构建世界坐标系收缩空间下的对称全局代价体替代传统逐视角代价体，以一次前向推断实现全局一致且亚像素级严密的高效稠密重建。

方法详解¶

整体框架¶

S2S-MVS（Sequence-to-Sequence MVS）以 $V$ 张已知内外参 $\mathbf{g}_i = (\mathbf{R}_i, \mathbf{t}_i, \mathbf{K}_i)$ 的 RGB 图像为输入，联合回归所有视角的密集深度图 $D_i$、点图 $P_i$ 及任意不确定性图 $\Sigma_i$。系统整体分为特征提取、先验注入、交替注意力全局推理与密集几何解码四个阶段。

首先，模型使用预训练 DINOv3 ViT-L/16 提取高维单目图像 patch token，并利用轻量卷积提取低层下采样匹配特征；随后，通过「射线图嵌入」将几何射线原点与方向直接注入到各层 token，并通过「全局代价体」在世界坐标系收缩网格中单次累加所有视角的跨视角匹配相关性，再反向三线性插值到各视角并与图像 token 融合；融合后的多视角 token 进入交替进行的视内（frame-wise）与全局（global）自注意力层，实现多视角上下文与几何约束的深层交互；最终由轻量级卷积与 Pixel-Shuffle 解码头输出密集深度图与不确定性置信图，并通过射线反投影直接解析得到对齐到第一相机坐标系的一致世界点图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像及已知相机参数<br/>(I_i, R_i, t_i, K_i)"] --> B["特征提取<br/>DINOv3 Patch Token + ResNet 匹配特征"]
    B --> C["射线图嵌入<br/>log 射线原点与方向注入各层 Token"]
    B --> D["全局代价体构建<br/>世界收缩网格非局部相关性累加"]
    D --> E["代价体特征融合<br/>三线性采样 + 残差卷积注入多层级 Token"]
    C --> F["交替自注意力骨干<br/>交替 Frame-wise 与 Global-view 注意力"]
    E --> F
    F --> G["密集预测解码头<br/>轻量 MLP + Pixel-Shuffle 输出深度与不确定性"]
    G --> H["几何统一输出<br/>深度图 D_i + 射线解析点图 P_i + 置信图 Σ_i"]

关键设计¶

1. 射线图嵌入：将绝对相机几何显式注入 Transformer 的无参化引导

传统前馈重建模型要么完全忽略显式相机输入，要么引入可学习的抽象相机 token 让网络通过交叉注意力缓慢摸索几何投影，不仅收敛缓慢且容易造成空间扭曲。为了从第一步就消除尺度与朝向模糊，S2S-MVS 为输入图像的每个像素 $\mathbf{y}$ 构造 6 维射线向量 $\mathbf{r} = (\mathbf{t}, \mathbf{d})$，其中 $\mathbf{t} \in \mathbb{R}^3$ 为相机中心世界坐标，未归一化的射线方向向量为： $$\mathbf{d} = \mathbf{R} \mathbf{K}^{-1} \mathbf{y}$$ 保留非归一化模长能直接在向量中携带相机的投影焦距与视场几何比例。在获得稠密射线图 $\mathbf{M} \in \mathbb{R}^{H \times W \times 6}$ 后，模型施加符号对数变换 $\mathrm{sign}(\mathbf{M})\log(1 + |\mathbf{M}|)$ 以压缩大视场场景下的数值动态范围，随后按 patch 划分线性映射为射线 token $\mathbf{r}^I_i$。在交替注意力网络的每一层 $\ell$，射线 token 经由可学习门控标量 $\gamma_\ell$ 注入到视内注意力后的图像 token 中： $$\mathrm{t}^{(\ell)} \leftarrow \mathrm{t}^{(\ell)} + \tanh(\gamma_\ell) \, \mathbf{r}^I$$ 通过将 $\gamma_\ell$ 初始置为 0，模型以平滑残差的方式渐进融合几何位姿先验，既防止了强先验冲击预训练视觉表征，又使全局注意力层具备严密的绝对三维方向感知。

2. 对称性全局代价体：突破二次复杂度的全场景跨视角一致性正规化

传统 MVS 在每个候选深度面上通过投影单应性（homography warping）计算源视图到参考视图的相关性，当面对 $V$ 个视角的序列预测时，重复构建 $V$ 次代价体的计算与显存开销随 $V$ 呈二次方增长（$\mathcal{O}(V^2)$）。S2S-MVS 彻底抛弃参考视图依赖，直接在 3D 世界空间中定义坐标点 $\mathbf{p}$ 的视角不相关代价函数。对于任意空间点 $\mathbf{p}$，设可有效投影至视锥内的 $k$ 个可视集合为 $\mathcal{V}(\mathbf{p})$，采样双线性特征 $\mathbf{f}_i = \mathcal{F}_i(\mathbf{y}_i)$，其对称平均相关性定义为： $$c(\mathbf{p}) = \frac{1}{k(k-1)} \sum_{\substack{i, j \in \mathcal{V}(\mathbf{p}) \\ i \neq j}} \langle \mathbf{f}_i, \mathbf{f}_j \rangle$$ 通过代数展开恒等式 $\sum_{i \neq j} \langle \mathbf{f}_i, \mathbf{f}_j \rangle = \|\sum_i \mathbf{f}_i\|^2 - \sum_i \|\mathbf{f}_i\|^2$，空间点的代价计算被解耦为特征均值与能量的单次逐视图流式累加，使代价体构建的时间与显存复杂度对视角数降至严格线性 $\mathcal{O}(V)$。

3. 收缩空间统一表征与分层注入：无界场景通用覆盖与多尺度特征融合

真实世界场景常常无界且缺乏先验边界框（bounding box），直接在三维欧氏空间均匀网格化会导致远景采样极度稀疏或近景分辨率不足。S2S-MVS 采用对数采样的深度假设反投影点群，计算其几何中位数 $\mathbf{o}$ 与中位距离 $\rho$ 进行中心化尺度归一，并引入 mip-NeRF 360 的 $L_\infty$ 空间收缩变换将无界世界压缩至 $[-2, 2]^3$ 的封闭超立方体内： $$\mathrm{contract}(\mathbf{x}) = \begin{cases} \mathbf{x}, & \|\mathbf{x}\|_\infty \leq 1 \\ \left(2 - \frac{1}{\|\mathbf{x}\|_\infty}\right)\frac{\mathbf{x}}{\|\mathbf{x}\|_\infty}, & \text{otherwise} \end{cases}, \quad \mathbf{x} = \frac{\mathbf{p} - \mathbf{o}}{\rho}$$ 在此紧凑空间内建立统一离散代价体 $\mathbf{C}$。针对任意视角 $i$，利用三线性插值快速读取其视锥对应的局部代价体 $\mathbf{C}_i \in \mathbb{R}^{T \times \frac{H}{s} \times \frac{W}{s}}$。随后设计卷积残差网络 $\Phi$，将通道为 $T$ 的代价切片逐步下采样至 token 分辨率，同时在前向过程中与 DINOv3 的浅层（$1/4$ 与 $1/8$ 分辨率）和深层（$1/16$ 分辨率）特征完成跨层融合，从而使深层语义 Transformer 在开端便拥有严密的高频立体几何支撑。

损失函数 / 训练策略¶

训练目标由深度回归损失、点图回归损失和表面法线损失加权构成： $$\mathcal{L} = \mathcal{L}_{\text{depth}} + \mathcal{L}_{\text{pmap}} + \mathcal{L}_{\text{normal}}$$ 为了适应遮挡与弱纹理区域的测量噪声，模型预测像素级偶然不确定性 $\Sigma_{i,j}$。深度回归在代价体采样的对数深度区间内采用归一化对数误差： $$\mathcal{L}_{\text{depth}} = \frac{1}{HW} \sum_{i,j} \Sigma_{i,j} \left| \log \hat{D}_{i,j} - \log D^{\text{gt}}_{i,j} \right| - \alpha \log \Sigma_{i,j}$$ 点图以第一相机为世界原点，按点云平均到原点欧氏距离 $\mathsf{s}$ 归一化后计算带权 L2 范数（$\alpha=0.2$）。表面法线由预测深度图通过有限差分求得，并在具有有效真值法线的掩膜区域 $\mathcal{M}$ 计算余弦相似度损失 $\mathcal{L}_{\text{normal}} = \frac{1}{\sum \mathcal{M}_{i,j}} \sum \mathcal{M}_{i,j} (1 - \hat{\mathbf{N}}_{i,j} \cdot \mathbf{N}_{i,j})$。模型在 18 个包含室内外、物体及自动驾驶的大规模数据集混合训练，使用 AdamW 优化器（基础学习率 $10^{-4}$，主干 $10^{-5}$，余弦退火）在 4 张 A100 GPU 上历时 4 天（160k 步）完成混合精度训练。

实验关键数据¶

主实验¶

在涵盖室内、室外大场景、自动驾驶与微距物体的权威泛化基准 RMVDB（KITTI、ScanNet、ETH3D、DTU、Tanks&Temples 的 8 帧测试元组）上，将 S2S-MVS 与最先进的通用前馈模型及序列到单 MVS 方法进行点图精度对比（[email protected] / [email protected]，误差按真值深度相对归一化）与推断时间对比。

方法	类型 / 输入相机	ETH3D (0.05 / 0.10)	KITTI (0.05 / 0.10)	DTU (0.05 / 0.10)	ScanNet (0.05 / 0.10)	T&T (0.05 / 0.10)	推断时间 (s)
VGGT	前馈 / 估计相机	0.06 / 0.21	0.01 / 0.03	0.68 / 0.84	0.34 / 0.59	0.02 / 0.08	0.499
Fast3R	前馈 / 估计相机	0.02 / 0.10	0.00 / 0.02	0.16 / 0.31	0.15 / 0.38	0.01 / 0.06	0.153
MapAnything	前馈 / 估计相机	0.04 / 0.18	0.00 / 0.01	0.07 / 0.19	0.15 / 0.40	0.02 / 0.10	1.635
Pi3	前馈 / 估计相机	0.20 / 0.47	0.03 / 0.13	0.62 / 0.79	0.50 / 0.72	0.03 / 0.13	0.235
DepthAnything3	前馈 / 估计相机	0.17 / 0.44	0.03 / 0.13	0.70 / 0.84	0.42 / 0.63	0.03 / 0.13	0.492
VGGT-Ω	前馈 / 估计相机	0.21 / 0.52	0.09 / 0.33	0.70 / 0.84	0.46 / 0.68	0.03 / 0.12	0.296
MapAnything-w/c	前馈 / 真值相机	0.02 / 0.07	0.00 / 0.00	0.19 / 0.41	0.20 / 0.44	0.01 / 0.06	1.425
Pi3x-w/c	前馈 / 真值相机	0.21 / 0.51	0.03 / 0.13	0.60 / 0.78	0.52 / 0.74	0.03 / 0.14	0.276
DepthAnything3-w/c	前馈 / 真值相机	0.24 / 0.55	0.08 / 0.31	0.72 / 0.85	0.48 / 0.66	0.03 / 0.15	0.521
MVSFormer++	经典 MVS / 真值相机	0.30 / 0.46	0.44 / 0.62	0.80 / 0.82	0.16 / 0.25	0.23 / 0.37	2.236
MVSA	经典 MVS / 真值相机	0.33 / 0.50	0.42 / 0.62	0.81 / 0.84	0.35 / 0.53	0.25 / 0.43	2.155
S2S-MVS (本文)	Seq2Seq MVS / 真值相机	0.37 / 0.58	0.47 / 0.67	0.87 / 0.92	0.42 / 0.62	0.28 / 0.44	0.339

消融实验¶

在 RMVDB 五大测试集上系统性评估剥离射线图嵌入与全局代价体对几何重建质量的影响：

配置	ETH3D (0.05/0.10)	KITTI (0.05/0.10)	DTU (0.05/0.10)	ScanNet (0.05/0.10)	T&T (0.05/0.10)	核心发现说明
完整模型 (Full Model)	0.37 / 0.58	0.47 / 0.67	0.87 / 0.92	0.42 / 0.62	0.28 / 0.44	几何指标在所有未见复杂场景达到最优
去掉射线图嵌入 (w/o Ray Map)	0.35 / 0.55	0.44 / 0.62	0.80 / 0.88	0.35 / 0.50	0.24 / 0.40	跨视角全局对齐显著下降，细粒度 [email protected] 出现普遍滑坡
去掉全局代价体 (w/o Global CV)	0.25 / 0.46	0.33 / 0.53	0.61 / 0.72	0.30 / 0.47	0.20 / 0.38	性能呈现断崖式下跌，失去直接多视角匹配立体正则化

关键发现¶

双先验缺一不可，全局代价体决定精度下限：消融显示去掉全局代价体后，模型在 ETH3D 的 [email protected] 从 0.37 剧降至 0.25，DTU 从 0.87 跌至 0.61。这证明基于显式 3D 空间采样的特征匹配约束是阻断 Transformer 产生幻觉几何的压舱石。
超越前馈模型的几何保真度：DepthAnything3 在 Tanks&Temples 等大基线场景下存在严重的各向异性三维空间尺度畸变（长宽比失真）。S2S-MVS 凭借射线嵌入与收缩空间代价体约束，彻底根除了这种大基线视角下的空间拉伸失真。
运行速度达到经典 MVS 的 6 倍以上：得益于序列到序列一次性解码与线性复杂度代价体，S2S-MVS 的推断时间仅为 0.339s，相比逐视角预测的 MVSA（2.155s）和 MVSFormer++（2.236s）提速 6.4 倍，同时在所有无偏数据集上均大幅刷新精度纪录。

亮点与洞察¶

将 MVS 建模为前馈式全视角联合输出：打破了 MVS 领域十年以来固守「单参考图回归」的路径依赖，证明了 Transformer 的全序列自注意力机制能天然消除视角拼合时的接缝与累积漂移。
代数变换实现严格线性显存代价累积：利用两两相关性之和与平方和模长之间的代数恒等式，将任意视角配对的密集相关性运算转化为流式累加，使跨视角立体几何匹配脱离了指数显存陷阱。
可复用的位姿引导 Transformer 范式：将射线图作为非归一化空间向量配合对数变换注入视觉 Token 的做法，为自动驾驶多相机融合及已知位姿的动态神经渲染提供了通用的姿态注入参考。

局限与展望¶

训练数据规模与特定域过拟合差异：作者承认当前所用训练混合集（18 个公开数据集）虽然多样，但在纯室内场景 ScanNet 上，海量预训练的通用前馈模型（如 Pi3）表现出更强的单目先验优势，暗示 S2S-MVS 在弱纹理平面的纯几何匹配仍受制于数据分布多样性。
对初始 SfM 位姿误差的鲁棒性未做显式建模：模型假定输入位姿完全准确；当下游 SfM 产生严重漂移或特征错配时，强硬的射线与投影几何约束可能会产生刚性伪影，未来可探索软性位姿松弛或自适应代价体更新机制。
极度开阔场景的收缩网格分辨率限制：在无人机航拍等远景深度跨度极大的工况下，收缩空间的固定离散网格仍存在量化平滑风险，结合分层级稀疏哈希体是值得深入的扩展方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通前馈 Seq2Seq 架构与经典 MVS 代价体先验，提出线性复杂度全局空间代价体。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大真实跨领域基准，对比了包括相机感知变体在内的 10+ 个 SOTA 基线，消融完备。
写作质量: ⭐⭐⭐⭐⭐ 问题剖析透彻，公式推导与图示直观，逻辑链路极具说服力。
价值: ⭐⭐⭐⭐⭐ 填补了高效前馈大模型与高精传统 MVS 之间的鸿沟，是多视角稠密重建领域的重要里程碑。