Déjà View: Looping Transformers for Multi-View 3D Reconstruction¶

会议: NeurIPS 2026
arXiv: 2605.30215
OpenReview: https://openreview.net/forum?id=Eidz3t6qmk
代码: https://research.nvidia.com/labs/dvl/projects/dvlt/
领域: 重建与渲染
关键词: 多视角三维重建, 循环Transformer, 权重共享, 推理计算自适应, 姿态与深度估计

一句话总结¶

提出显式循环多视角三维重建架构 DéjàView，仅使用单一共享 Transformer 块循环迭代精炼多视角特征，参数量仅 117M，在提供推理时计算旋钮的同时超越十亿参数级前馈 SOTA 模型。

研究背景与动机¶

从多张未标定图像中恢复场景三维几何与相机位姿，传统上依赖运动恢复结构（SfM）流程。SfM 通过特征匹配、位姿估计、三角化与光束法平差（BA）交替注册与调整，具有天生的迭代优化属性；但传统流程在弱纹理、大视角差及野外复杂场景下极易失效。近期以 DUSt3R、VGGT、Pi3 和 Depth Anything 3 为代表的前馈重建网络将整个流程替换为端到端 Transformer，直接从图像单次前向回归三维结构，重建精度随模型深度与宽度显著扩展，参数量迅速膨胀至十亿（1B+）级别。

然而，网络深度的扩展并没有消除迭代计算，而是将迭代隐式吸收进了层叠参数中。近期机制分析（如 RAPTOR 和 DUSt3R 逐层探测研究）表明，深层视觉 Transformer 的连续网络层在表征空间上往往执行高度相似的变换，且多视角解码器逐层输出的点云在深度方向上呈现出明确的递进精炼轨迹。这种依赖堆叠独立参数层来实现渐进优化的做法不仅带来了严重的参数冗余，且导致推理计算预算在部署时完全固化，无法按需调整。

本文切入的角度是：既然深层模型的几何提升本质来源于多次迭代，就应当将循环迭代直接显式化为网络架构，而非用海量独立权重去低效模拟迭代。核心 idea：使用单个在时间区间上连续调制的共享 Transformer 块对多视角特征执行循环迭代精炼，在训练期随机采样迭代步数，仅凭单一检查点提供推理时计算旋钮，用 117M 参数超越 1B 级独立参数前馈模型。

方法详解¶

整体框架¶

DéjàView 采用多视角联合特征循环精炼架构，整体流程由单视图骨干编码、共享块循环精炼和双分支并行几何解码三个阶段构成。给定 $V$ 张输入图像 $\{\mathbf{I}_i\}_{i=1}^V$，模型首先使用预训练的 DINOv2 ViT-B 提取补丁特征，并在各视角添加可学习的寄存器标记（Register Tokens）与相机标记（Camera Token）构成初始多视图状态 $\mathbf{z}_0$。随后，系统将同一个循环 Transformer 块按连续时间调制连续作用 $K$ 次，驱动表征在残差流中进行定向几何精炼。最后，解码头从最终表征 $\mathbf{z}_K$ 中并行解码出各视角的深度图、不确定性权重与像素级射线图，进而解析重建出全局三维点云与相机内外参。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像输入<br/>V 张 RGB 图像"] --> B["DINOv2 补丁编码<br/>拼入寄存器与相机标记 z0"]
    B --> C["权重共享循环块与连续时间调制<br/>帧注意力 + 全局交叉注意力交替"]
    C --> D["变步数弹性训练与推理计算旋钮<br/>训练采样 K ∈ [8,16]，推理按需指定"]
    D --> E["残差流定向精炼机制<br/>余弦相似度收敛，模长递增被LN吸收"]
    E --> F["双分支几何解耦解码<br/>射线分支 + 卷积深度分支"]
    F --> G["输出：全局 3D 点云与相机位姿<br/>解析合成三维点 X = R_origin + D · R_dir"]

关键设计¶

1. 权重共享循环块与连续时间调制：消除冗余参数并支持任意步数插值 传统多视角重建模型为每一层分配独立的注意力与前馈权重，导致参数量随深度线性增长。DéjàView 约束整个精炼骨干仅由单个共享 Transformer 块构成，每个块内部由单视角帧注意力（Frame Attention，带 2D RoPE 位置编码）与跨所有视角的多视角全局注意力（Global Attention）交替串联而成。为了让单一共享块能够感知当前迭代处于精炼的早期粗糙对齐阶段还是后期细粒度几何调整阶段，论文引入了连续时间区间调制机制。将整个精炼过程视作单位时间区间 $[0, 1]$ 上的离散划分 $0=t_0<t_1<\dots<t_K=1$，单步更新映射为 $\mathbf{z}_{k+1} = f_\theta(\mathbf{z}_k, t_k, t_{k+1})$。该块通过包含三个通道级尺度向量 $(\mathbf{s}_{\text{attn}}, \mathbf{s}_{\text{mlp}}, \mathbf{s}_{\text{out}})$ 的残差门控进行自适应缩放调制： $$ \mathbf{z}' = \mathbf{z}k + \mathbf{s}}} \odot \text{LS}_1(\text{Attn}(\text{LN}_1(\mathbf{zk))), \quad \mathbf{z}'' = \mathbf{z}' + \mathbf{s}}} \odot \text{LS2(\text{MLP}(\text{LN}2(\mathbf{z}'))), \quad \mathbf{z}} = \mathbf{s'' $$ 其中尺度向量由正弦时间编码 }} \odot \mathbf{z$\gamma(t_k, t_{k+1})$ 输入零初始化 MLP 得到：$\mathbf{s} = \mathbf{1} + \text{MLP}(\gamma(t_k, t_{k+1}))$。相比离散步数嵌入，连续时间参数化解耦了网络权重对特定步长 $K$ 的过拟合，赋予了单一模型在推理时任意连续步长插值的能力。

2. 变步数弹性训练与推理计算旋钮：单一模型覆盖多档推理算力预算 传统前馈模型的推理算力不可调节，而若针对不同迭代步数分别训练模型将带来巨大的训练开销。DéjàView 提出了变步数弹性训练方案：在训练的每个 batch 中，迭代步数 $K$ 从 Beta 分布 $K \sim \text{Beta}(2, 1)$ 中随机采样并缩放取整到 $[K_{\text{min}}, K_{\text{max}}] = [8, 16]$ 区间内，按照均匀网格 $t_k = k/K$ 划分时间步前向运行并仅在最终状态 $\mathbf{z}_K$ 上施加监督。这种策略免去了 RAFT 等序列模型每步均需解码并计算损失的繁重开销（省去 $(K-1)$ 次解码器前向与反向传播）。训练完成后，该检查点在推理阶段直接将 $K_{\text{inf}}$ 暴露为动态计算旋钮：资源受限时选取较小步数（如 $K_{\text{inf}}=12$），高精度需求时运行完整步数（如 $K_{\text{inf}}=16$），在毫秒级与细粒度几何质量之间自由权衡。

3. 残差流定向精炼机制与双分支解耦解码：表征方向收敛与伪影消除 深入剖析循环块在残差流中的动态行为，论文发现循环 Transformer 并不符合深平衡网络（DEQ）的绝对不动点收缩假设，其特征模长 $\|\mathbf{z}_k\|_2$ 随步数增加呈单调递增态势。然而，表征方向表现出极强的定向收敛性（Directional Refinement）：中间状态与最终状态的余弦相似度 $\cos(\mathbf{z}_k, \mathbf{z}_K)$ 随步数单调逼近 1.0，且相对更新幅度 $\|\Delta \mathbf{z}_k\| / \|\mathbf{z}_k\|$ 从初始步的 $\sim 0.5$ 迅速衰减至最终步的 $\sim 0.1$。解码器前置的 LayerNorm 天然吸收了沿特征方向平行的模长增长分量，使得解码几何呈现出单调提高的对齐精度。在解码架构上，模型将最终标记 $\mathbf{z}_K$ 解耦送入两个并行分支：射线解码分支利用浅层 Transformer 和线性 Pixel-Shuffle 预测像素级射线原点与方向 $\mathbf{R}_\theta \in \mathbb{R}^{H \times W \times 6}$；深度解码分支则引入轻量卷积深度头输出深度图 $\mathbf{D}_\theta$ 及置信度权重 $c_\mathbf{D}$，有效消除了 Vision Transformer 常见的补丁边界方块拼接伪影，解析合成全局三维点云 $\mathbf{X}_\theta = \mathbf{R}_\theta^o + \mathbf{D}_\theta \cdot \mathbf{R}_\theta^d$。

损失函数 / 训练策略¶

训练采用两阶段渐进优化策略。第一阶段在所有 5 个损失项联合下端到端训练 200K 步： $$ \mathcal{L} = |\hat{s}\mathbf{D}\theta - \bar{s}\mathbf{D}|2 + \mathcal{L}}}(\hat{s}\mathbf{D\theta, \bar{s}\mathbf{D}) + |\hat{s}\mathbf{R}\theta - \bar{s}\mathbf{R}|1 + |\hat{s}\mathbf{X}\theta - \bar{s}\mathbf{X}|2 + \mathcal{L}}}(\mathbf{c\theta, \mathbf{c}) $$ 其中 $\hat{s}$ 与 $\bar{s}$ 分别为预测点云与真值点云基于逆均方根距离的归一化尺度因子；$\mathcal{L}_{\text{grad}}$ 为合成数据上的多尺度深度梯度 $\ell_1$ 损失；$\mathcal{L}_{\text{cam}}$ 针对相机平移、四元数旋转与视场角施加权重为 $(1, 1, 0.5)$ 的解耦 $\ell_1$ 约束。第二阶段接入卷积深度头，冻结骨干及射线分支，仅微调深度解码器 40K 步，使用不确定性加权损失 $\mathcal{L}_{\text{unc}}(c, \mathbf{a}, \mathbf{b}) = c\|\mathbf{a}-\mathbf{b}\|_2 - \lambda_c \log c$（正则项权重 $\lambda_c=0.2$）。

实验关键数据¶

主实验¶

论文在涵盖物体级（DTU）、室外大尺度（ETH3D）、室内复杂场景（7-Scenes、ScanNet++）以及自动驾驶（nuScenes）五个通用基准上全面对比了前馈重建 SOTA 模型。

数据集	指标	本文 (DéjàView)	Pi3 (2025)	VGGT-Ω-1B (2026)	DA3-G (2025)	优势/说明
DTU	Rel. L2 ↓ IR (%) ↑ AUC@3° ↑ AUC@30° ↑	0.009 97.1 83.2 98.8	0.009 97.3 70.2 97.3	0.009 97.2 77.4 98.1	0.010 97.1 74.9 97.9	点图精度并列第1，大角度姿态 AUC@30 达 98.8% 领先全场
ETH3D	Rel. L2 ↓ IR (%) ↑ AUC@3° ↑ AUC@30° ↑	0.026 78.3 66.0 95.4	0.034 66.8 43.2 84.9	0.024 78.6 64.1 95.4	0.129 64.7 55.4 82.4	室外复杂场景下位姿精确度超越所有基线，AUC@3 达 66.0%
7-Scenes	Rel. L2 ↓ IR (%) ↑ AUC@3° ↑ AUC@30° ↑	0.035 74.2 13.9 81.7	0.032 77.8 11.3 81.3	0.039 65.3 21.3 87.0	0.037 71.1 12.0 80.9	点图内点率（IR 74.2%）稳居前二，大幅超越 1B 级 VGGT-Ω
ScanNet++	Rel. L2 ↓ IR (%) ↑ AUC@3° ↑ AUC@30° ↑	0.015 93.3 79.4 98.0	0.014 94.3 76.5 97.3	0.032 70.6 29.9 87.3	0.041 57.8 26.4 80.2	密集室内位姿 AUC@3 达 79.4%，超越 Pi3 并领先 VGGT-Ω 49.5 点
nuScenes	Rel. L2 ↓ IR (%) ↑ AUC@3° ↑ AUC@30° ↑	0.067 58.5 43.4 85.3	0.078 51.0 24.8 82.4	0.055 62.3 42.4 85.5	0.080 42.0 37.7 82.0	自动驾驶全环视视角下位姿 AUC@3 斩获 43.4% 最佳表现
五基准平均综合效率	参数量 (M) ↓ 计算量 (TFLOPs) ↓ 显存峰值 (GiB) ↓ 平均 IR (%) ↑ 平均 AUC@30 ↑	117 75.9 4.9 80.3 91.8	959 153.8 6.6 77.4 88.6	1144 99.8 7.9 74.8 90.7	1201 178.7 13.0 66.5 84.7	以仅 117M 参数（约为竞品 1/10）取得全场最高的 80.3% IR 与 91.8% AUC

消融实验¶

1. 循环块架构各组件消融（5个基准平均）：

配置	权重共享	残差门控 (s_attn, s_mlp)	状态门控 (s_out)	Rel. L2 ↓	IR (%) ↑	AUC@3° (%) ↑	AUC@30° (%) ↑	说明
Decoupled (独立参数)	✗	✗	✗	0.056	61.1	23.0	82.0	16层完全解耦独立参数基线
Shared (权重共享)	✓	✗	✗	0.045	66.4	30.2	84.8	仅共享权重即降低误差 20%，参数骤降 16×
Shared + residual gates	✓	✓	✗	0.042	67.0	31.5	85.9	引入注意力与 MLP 连续时间残差缩放
Shared + state gate (完整模型)	✓	✓	✓	0.040	69.2	33.3	86.9	完整时间调制架构，指标全线显著最优

2. 步数训练策略与推理算力旋钮评估：

方案	训练步数采样	推理步数 $K_{\text{inf}}$	Rel. L2 ↓	IR (%) ↑	AUC@3° (%) ↑	AUC@30° (%) ↑	观察结论
Fixed $K=12$	固定 12 步	12	0.044	67.6	30.4	85.5	专为 12 步固化训练的模型
Ours (弹性步数)	Beta(2,1) on [8,16]	12	0.043	66.7	29.6	85.4	单一检查点切换至 12 步，性能与专用模型差距仅 <1%
Fixed $K=16$	固定 16 步	16	0.041	69.6	33.8	86.8	专为 16 步固化训练的高配模型
Ours (弹性步数)	Beta(2,1) on [8,16]	16	0.040	69.2	33.3	86.9	单一检查点在 16 步下与固化模型完全相当，实现无损自由切换

关键发现¶

权重共享展现出比容量堆叠更优的归纳偏置：消融实验最震撼的结论在于，在相同训练数据与计算预算下，参数共享的循环单块（仅 1/16 参数）比 16 个完全独立参数块组成的解耦模型在 Rel. L2 误差上从 0.056 骤降至 0.045，AUC@3 从 23.0% 飙升至 30.2%，强有力地证实了显式迭代是比盲目扩充参数更契合三维几何推演的架构先验。
动态精炼步数具有单调增益特性：逐步探测分析显示，从第 1 步到第 16 步，几何重建误差与位姿误差单调递减，点云结构愈发锐利清晰，相对残差更新速度显著衰减，证明残差流并非无序振荡而是平滑收敛于精确解空间。
单一检查点支持免微调推理加速：利用变步数训练机制，模型在测试时可直接将推理步数从 16 压缩至 12 或 8，以极低的点数损失（<1% AUC）换取近 25%~50% 的 Transformer 迭代延迟缩减，且无需针对不同设备分别部署专属模型。

亮点与洞察¶

循环权重作为架构归纳偏置：摆脱了“更强三维模型必须依赖十亿参数骨干”的军备竞赛思维，证明利用单一循环块将注意力重复作用于多视角表征，能够以 117M 超紧凑体积匹敌 1.2B 庞大网络，为移动端与边缘端高保真三维重建指明了路径。
连续时间区间的门控调制技巧：采用包含始末时间正弦编码的轻量 MLP 生成通道级缩放门控 $(\mathbf{s}_{\text{attn}}, \mathbf{s}_{\text{mlp}}, \mathbf{s}_{\text{out}})$，既打破了循环网络跨步数同质化问题，又保持了时间步长的无限分辨率插值能力。
免解码器中间监督训练：避开了传统 RAFT 等循环流方法对每一个子步骤强行调用解码头计算损失的冗余开销，仅在最终步对残差流计算损失，极大地解放了端到端前向与反向梯度的训练效率。

局限与展望¶

超出训练区间的步数外推崩溃：当测试时设置 $K_{\text{inf}} > 16$ 时，由于残差流模长单调发散，极少数通道的数值会发生漂移发散，模型无法无限制增加推理计算以获取无限收益，仍需引入收缩映射正则或隐式稳定化技术。
动态物体与时变场景缺失建模：当前模型基于刚性静态多视角几何假设构建，面对输入视角中存在行人、车辆位移等动态干扰时容易产生拖影与伪影。
弹性步数训练对极端边缘步数略有妥协：与单独在固定 12 步或 16 步下收敛的最优专用模型相比，泛化多步数模型在特定极值步数上仍存在微弱（约 0.5%~1%）的精度折损。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将连续时间调制的循环 Transformer 成功引入端到端多视角三维几何重建，突破了参数堆叠的思维定势。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大基准、全景对比 8 种前馈基线、细致探测残差流动态与严密消融。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，残差流定向收敛的数理与实验分析逻辑极为严谨清晰。
价值: ⭐⭐⭐⭐⭐ 为轻量化、边缘端实时 3D 重建与可调节推理计算（Test-Time Compute）提供了全新范式。

方案	训练步数采样	推理步数 \(K_{\text{inf}}\)	Rel. L2 ↓	IR (%) ↑	AUC@3° (%) ↑	AUC@30° (%) ↑	观察结论
Fixed \(K=12\)	固定 12 步	12	0.044	67.6	30.4	85.5	专为 12 步固化训练的模型
Ours (弹性步数)	Beta(2,1) on [8,16]	12	0.043	66.7	29.6	85.4	单一检查点切换至 12 步，性能与专用模型差距仅 <1%
Fixed \(K=16\)	固定 16 步	16	0.041	69.6	33.8	86.8	专为 16 步固化训练的高配模型
Ours (弹性步数)	Beta(2,1) on [8,16]	16	0.040	69.2	33.3	86.9	单一检查点在 16 步下与固化模型完全相当，实现无损自由切换