\(R^3\): 3D Reconstruction via Relative Regression¶

会议: NeurIPS 2026
arXiv: 2605.26519
论文: https://arxiv.org/abs/2605.26519
项目: https://kevinxu02.github.io/r3-site
领域: 重建与渲染
关键词: 三维重建, 相对位姿回归, 前馈几何模型, 流式重建, 解耦置信度

一句话总结¶

\(R^3\) 将前馈三维重建重塑为两两相对位姿回归与全局聚合框架，利用轻量级 MLP 预测解耦的旋转与平移置信度，以统一原语驱动损失加权、流式轨迹聚合及有界关键帧库管理，在保持 372M 紧凑参数的同时支持无界长流式与离线全上下文重建。

研究背景与动机¶

基于前馈神经网络的几何基础模型（如 DUSt3R、VGGT、\(\pi^3\) 和 DA3）在单次前向传递中恢复稠密深度和相机位姿，极大地推动了三维重建的发展。然而，现有模型大多强绑定于全局坐标系假设：要么直接预测共享全局世界坐标系下的点图，要么将每个相机的位姿统一回归到以首帧相机或特定规范空间为锚点的单一体积空间中。这种硬编码的设计在处理短视频片段时行之有效，但在面对长视频与连续流式输入时遭遇根本性瓶颈——随着时间推移，全局平移量无界增长，严重超出网络的训练分布；同时，后续新帧的位姿估计被强行绑定在早期脆弱的初始坐标系中，极易发生灾难性累积漂移。

尽管近期工作（如 \(\pi^3\)）尝试引入全视角的相对位姿监督以减轻对硬编码首帧坐标系的依赖，但其输出形式仍旧被迫限制在单一选定全局坐标系中，依然要求模型内部承担复杂的全局坐标抉择，且缺乏对不同视点对可靠性的区分机制。在现实长序列中，不同相机对之间的几何重叠度、运动基线、视差和光照剧烈变化，强行让神经网络直接输出全局位姿不仅加剧了训练负担，也让推理时难以鉴别和剔除不可靠的位姿关联。

本文的切入视角是：前馈几何模型应当专注于学习视角之间的局部相对几何约束，并将全局坐标系的组装解耦为下游聚合任务。两两相对位姿的数值尺度仅取决于相邻两帧间的物理基线，天然具有平移不变性，在长序列扩展中始终保持在良好分布内。核心 idea：将前馈三维重建解耦为两两相对位姿回归与全局置信度聚合，通过轻量级 MLP 解耦预测旋转和位移置信度，作为统一原语驱动损失加权、流式位姿聚合以及有界关键帧库管理，消除对全局固定世界坐标系的依赖并实现无界长视频的流式重建。

方法详解¶

核心机制¶

\(R^3\) 改变了以往前馈模型直接回归全局相机外参的范式，构建了一个完全由两两有向相对约束构成的位姿图。骨干网络采用冻结的因果几何基础模型（DA3），提取每帧的因果几何潜变量 token \(\mathbf{z}_i\) 以及逐像素深度。在骨干网络之上附加一个参数量极小（仅数个全连接层）的共享相对位姿头 \(\text{MLP}_{\text{rel}}\)。给定任意两帧的相机 token \((\mathbf{z}_i, \mathbf{z}_j)\)，该相对位姿头直接预测从相机 \(i\) 到相机 \(j\) 的有向相对刚体变换，并分别输出解耦的旋转置信度 \(c^{\mathrm{R}}_{i\rightarrow j}\) 与平移置信度 \(c^{\mathrm{T}}_{i\rightarrow j}\)：

\[(\hat{\mathbf{q}}_{i\rightarrow j},\;\hat{\mathbf{t}}_{i\rightarrow j},\;c^{\mathrm{R}}_{i\rightarrow j},\;c^{\mathrm{T}}_{i\rightarrow j})=\mathrm{MLP}_{\mathrm{rel}}([\mathbf{z}_i; \mathbf{z}_j])\]

其中 \(\hat{\mathbf{q}}_{i\rightarrow j}\) 为表示相对旋转的单位四元数，\(\hat{\mathbf{t}}_{i\rightarrow j}\) 为在相机 \(i\) 坐标系下表示的相对平移向量。解耦置信度构成了贯穿全系统的统一物理量：在训练阶段，它们充当自适应拉普拉斯似然的加权权重以抑制噪声对；在推理阶段，它们作为位姿融合的权重因子以及活跃关键帧库准入与剔除的效用指标。

整体框架与流程¶

\(R^3\) 的整体前向计算与推理流程涵盖输入特征抽取、局部相对边回归、活跃关键帧库管理与全局位姿聚合四个阶段。输入图像经过因果骨干网络后生成相机 token 与局部深度预测；对于新到达帧，模型仅将其与当前活跃上下文 \(\mathcal{C}_t\) 内的关键帧进行配对，避免了 \(O(N^2)\) 的全历史计算复杂度。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    A["输入图像流 I_1, ..., I_N"] --> B["因果几何骨干网络 (DA3)<br/>提取相机Token z_i 与深度图 D_i"]
    B --> C["活跃上下文管理 (C_t = {1} ∪ B_t)<br/>特征新颖度准入 & 效用剔除"]
    C --> D["轻量级相对位姿头 (MLP_rel)<br/>预测相对位姿 (q, t) 与解耦置信度 (c^R, c^T)"]
    D --> E["置信度门控与异常帧过滤<br/>检测低置信度离群帧并清退KV Cache"]
    E --> F["置信度加权轨迹聚合 (Top-K / Softmax)<br/>融合多参考帧候选位姿生成全局 T_j"]
    F --> G["稠密全局几何点云输出<br/>结合单帧深度构建统一全局 3D 表达"]

关键设计¶

1. 解耦的旋转与平移置信度建模：针对运动自由度失效非对称性的可靠性建模
在三维场景观察中，旋转与平移具有截然不同的退化特性。当相机经历小视差纯旋转或弱纹理运动时，相对平移往往高度欠约束且尺度模糊，但旋转姿态仍能依靠远景视差保持稳健；反之，若在特征丰富但基线极大的场景下，平移基线可信度与旋转估计误差并不均衡。传统模型采用单一标量置信度强行将两者绑定，导致系统要么在平移不准时丢弃可靠的旋转信息，要么在旋转模糊时误信平移向量。\(R^3\) 显式解耦预测标量 \(c^{\mathrm{R}}_{i\rightarrow j} > 0\) 和 \(c^{\mathrm{T}}_{i\rightarrow j} > 0\)（通过 Softplus 激活保证非负），在训练与推理中分别独立加权旋转残差与平移残差，使得位姿融合可以单独提取各参考视点在不同运动分量上的几何确定度。

2. 基于解耦置信度的流式轨迹聚合：消除全局原点累积漂移的自适应融合机制
为了在不执行昂贵全局 BA 优化的前提下实时生成全局坐标系下的相机轨迹，系统采用基于置信度的闭式加权融合。设第 1 帧定义世界坐标系原点（\(\mathbf{T}_1 = \mathbf{I}\)）。对于后续任意新帧 \(j\)，活跃上下文 \(\mathcal{C}_t\) 中的任一参考帧 \(i\) 均可通过其已确定的全局位姿 \((\mathbf{q}_i, \mathbf{t}_i)\) 与相对预测生成一个候选位姿：

\[\mathbf{q}_j^{(i)}=\mathbf{q}_i\otimes\hat{\mathbf{q}}_{i\rightarrow j},\quad\mathbf{t}_j^{(i)}=\mathbf{t}_i+\mathbf{q}_i(\hat{\mathbf{t}}_{i\rightarrow j})\]

为了防止低置信度对或视线遮挡对污染轨迹，系统在候选集合中筛选综合置信度最高的 Top-\(K\) 个邻近参考帧 \(\mathcal{N}_K(j)\)，分别利用 Softmax 归一化后的置信权重 \(\tilde{c}^{\mathrm{T}}_{i\rightarrow j}\) 与 \(\tilde{c}^{\mathrm{R}}_{i\rightarrow j}\) 执行独立加权聚合：

\[\mathbf{t}_j=\sum_{i\in\mathcal{N}_K(j)}\tilde{c}^{\mathrm{T}}_{i\rightarrow j}\mathbf{t}_{j}^{(i)},\quad\mathbf{q}_j=\mathrm{Norm}\!\left(\sum_{i\in\mathcal{N}_K(j)}\tilde{c}^{\mathrm{R}}_{i\rightarrow j}\mathbf{q}_{j}^{(i)}\right)\]

其中候选四元数在加权前统一进行符号对齐。该机制彻底摆脱了将每个新视角强行单链连接到首帧的误差积累链条，使得任何已定标的历史稳定帧均可充当局部锚点。

3. 特征新颖度引导的有界关键帧库与异常帧门控：实现常数显存的长序列流式重建
在长时间连续输入时，全历史回溯会导致显存爆炸。\(R^3\) 维持一个包含第 1 帧和容量上限为 \(M_{\max}=100\) 的动态活跃库 \(\mathcal{B}_t\)。新帧 \(j\) 能否入库由骨干网络编码器 token 的最大余弦相似度决定：仅当 \(\max_{i\in\mathcal{B}_t} \cos(\mathbf{tok}_i, \mathbf{tok}_j) < \tau\)（默认 \(\tau=0.98\)）时才准入，自动过滤连续视角的视觉与几何冗余。当库满时，基于效用分数 \(u_j = d_j c_j\) 驱逐效用最低的帧，其中 \(d_j\) 表示其与库内最近邻的特征距离，而 \(c_j\) 为其对库内其他帧的最大配准置信度。此外，若新帧与当前上下文的平均置信度跌破校准基线阈值（\(\tau_{\mathrm{out}} \bar{c}^{\mathrm{ref}}\)），系统立即判定其为运动模糊或切镜干扰帧，自动清退其在骨干网络中的 KV Cache 并跳过位姿更新，提供单遍在线的鲁棒离群点过滤能力。

4. 动静一体的双模式推理切换：零额外训练支持因果流式与全上下文离线精修
\(R^3\) 的架构设计具备因果注意力的内在对称性。同一个预训练检查点既能在默认状态下以因果单向注意力配合关键帧库进行有界显存流式推断，也能在离线完整序列可用时直接移除因果注意力掩码，启用双向全上下文注意力。在全上下文模式下，系统在流式初值之上运行轻量级 Huber 位姿图优化（PGO），最小化置信度加权的相对位姿残差：

\[\min_{\{\mathbf{T}_i\}}\sum_{(i,j)\in\mathcal{E}}\Big(c^{\mathrm{R}}_{i\rightarrow j}\,H_{\delta_{\mathrm{R}}}(e^{\mathrm{R}}_{ij})+c^{\mathrm{T}}_{i\rightarrow j}\,H_{\delta_{\mathrm{T}}}(e^{\mathrm{T}}_{ij})\Big)\]

该优化仅涉及标量置信度与 6-DoF 位姿残差，无需进行重投影误差计算或深度优化，计算耗时仅为毫秒级，直接赋予紧凑模型匹敌 1B 级离线基础模型的轨迹精度。

理论分析与设计权衡¶

相对位姿 vs 绝对位姿的数值稳定性：绝对位姿预测在数学上破坏了平移不变性，外推误差随着时间跨度呈 \(O(N)\) 累积，且必须由网络本身学习如何将任意视角锚定到不可预测的坐标原点。相对位姿回归将预测目标收敛在局域基线内，数值分布始终与训练集相匹配；同时，一段 \(N\) 帧序列可提供 \(O(N^2)\) 个相互校验的相对几何边，使得网络从有限训练数据中获得显著更高密度的监督信号。
置信度似然学习的博弈平衡：相机损失函数采用拉普拉斯似然形式：\(\mathcal{L}_{\mathrm{rot}}(i,j)=c^{\mathrm{R}}_{i\rightarrow j}\ell^{L_1}_{\mathrm{rot}}(i,j)-\alpha\log c^{\mathrm{R}}_{i\rightarrow j}\)。在此目标下，优化器天然倾向于调低大残差噪声对的置信度 \(c\) 以降低前项惩罚，而后置的 \(-\alpha\log c\) 正则项（\(\alpha=0.2\)）则严厉惩罚所有置信度趋向于零的退化解。两者共同迫使模型在无显式标注的情况下，将几何难度和可见度自发编码为高保真的可靠性置信度。
Top-\(K\) 截断与流式延迟权衡：理论上所有活跃帧加权平均能最大化统计降噪能力（平均 ATE 为 0.0572），但计算耗时随关键帧数量线性增长。引入 Top-\(K\) 截断（如 \(K=10\) 时平均 ATE 为 0.0574）在几乎不牺牲精度的前提下，将单步聚合复杂度锁定为常数级，使得 372M 紧凑模型能够在单张消费级 GPU 上达到 20+ FPS 的实时吞吐量。

实验关键数据¶

主实验¶

在相机位姿估计与稀疏视角稠密点图重建任务中，\(R^3\) 在离线（全上下文）与在线（流式）设置下均取得了领先指标。在 7-Scenes 与 NRGBD 数据集上评估稀疏视角稠密点图重建质量，各项指标全面超越同级别流式基线。

表 1：相机位姿估计对比（离线与在线设置）
（指标为 ATE / RPE-T / RPE-R，越低越好；RPE-R 单位为度；† 表示离线全序列方法）

方法	参数量	Sintel (50帧) ATE / RPE-T / RPE-R	TUM-dynamics (90帧) ATE / RPE-T / RPE-R	ScanNet (90帧) ATE / RPE-T / RPE-R
VGGT†	1.26B	0.172 / 0.061 / 0.471	0.012 / 0.010 / 0.309	0.035 / 0.015 / 0.376
DA3-Large†	385M	0.140 / 0.059 / 0.450	0.013 / 0.011 / 0.310	0.039 / 0.017 / 0.590
\(R^3\) (全上下文)†	372M	0.130 / 0.047 / 0.523	0.012 / 0.009 / 0.318	0.037 / 0.015 / 0.472
Spann3R	—	0.329 / 0.110 / 4.471	0.056 / 0.021 / 0.591	0.096 / 0.023 / 0.661
CUT3R	793M	0.213 / 0.066 / 0.621	0.046 / 0.015 / 0.473	0.099 / 0.022 / 0.600
Point3R	—	0.351 / 0.128 / 1.822	0.075 / 0.029 / 0.642	0.106 / 0.035 / 1.946
StreamVGGT	1.26B	0.251 / 0.149 / 1.894	0.061 / 0.033 / 3.209	0.161 / 0.057 / 3.647
STream3R	1.26B	0.213 / 0.076 / 0.868	0.026 / 0.013 / 0.330	0.052 / 0.021 / 0.850
TTT3R	793M	0.201 / 0.063 / 0.617	0.028 / 0.012 / 0.379	0.064 / 0.021 / 0.592
ZipMap-stream	1.40B	0.159 / 0.065 / 0.750	— / — / —	— / — / —
\(R^3\) (流式模式)	372M	0.115 / 0.068 / 0.548	0.018 / 0.010 / 0.320	0.038 / 0.016 / 0.480

表 2：稀疏视角稠密点图重建评估（7-Scenes 与 NRGBD）
（Acc 和 Comp 越低越好；NC 越大越好；Mean 为均值，Med. 为中位数；† 表示离线方法）

方法	7-Scenes Acc (Mean/Med) ↓	7-Scenes Comp (Mean/Med) ↓	7-Scenes NC (Mean/Med) ↑	NRGBD Acc (Mean/Med) ↓	NRGBD Comp (Mean/Med) ↓	NRGBD NC (Mean/Med) ↑
VGGT†	0.087 / 0.039	0.091 / 0.039	0.787 / 0.890	0.073 / 0.018	0.077 / 0.021	0.910 / 0.990
DA3-Large†	0.086 / 0.034	0.088 / 0.033	0.756 / 0.873	0.045 / 0.020	0.061 / 0.025	0.896 / 0.988
\(R^3\) (全上下文)†	0.081 / 0.043	0.070 / 0.027	0.770 / 0.881	0.038 / 0.020	0.044 / 0.019	0.887 / 0.990
Spann3R	0.298 / 0.226	0.205 / 0.112	0.650 / 0.730	0.416 / 0.323	0.417 / 0.285	0.684 / 0.789
CUT3R	0.126 / 0.047	0.154 / 0.031	0.727 / 0.834	0.099 / 0.031	0.076 / 0.026	0.837 / 0.971
STream3R	0.122 / 0.044	0.110 / 0.038	0.746 / 0.856	0.057 / 0.014	0.028 / 0.013	0.910 / 0.993
StreamVGGT	0.129 / 0.056	0.115 / 0.041	0.751 / 0.865	0.084 / 0.044	0.074 / 0.041	0.861 / 0.986
\(R^3\) (流式模式)	0.092 / 0.038	0.093 / 0.040	0.755 / 0.868	0.047 / 0.022	0.050 / 0.020	0.883 / 0.991

消融与分析实验¶

为了深入验证相对位姿回归目标本身的有效性，作者在完全相同的骨干架构、训练数据和优化算力预算下进行了控制变量消融。

表 3：相对位姿预测目标的有效性消融（Tab. 7）

设置与变体	Sintel ATE ↓	Sintel RPE-T ↓	Sintel RPE-R ↓	ScanNet ATE ↓	ScanNet RPE-T ↓	ScanNet RPE-R ↓
全上下文 (VGGT 初始化, 64k 迭代)
直接绝对位姿骨干 (\(\pi^3\) 损失)†	0.1583	0.0841	0.9492	0.0683	0.0195	0.5143
骨干 + 本文相对位姿目标与损失†	0.1370	0.0757	0.7282	0.0604	0.0189	0.5039
流式环境 (55k 迭代, 绝对位姿预训练骨干)
直接绝对位姿骨干 (VGGT 绝对损失)	0.141	0.079	1.56	0.063	0.026	1.33
骨干 + 本文相对位姿目标与损失	0.146	0.066	0.67	0.052	0.021	0.93

表 4：7-Scenes 长序列重建可扩展性对比（长度 200/500/1000 帧均值，Tab. 4）

方法	长度 200 (Acc/Comp/NC)	长度 500 (Acc/Comp/NC)	长度 1000 (Acc/Comp/NC)
Spann3R	0.215 / 0.122 / 0.535	0.343 / 0.154 / 0.515	0.340 / 0.154 / 0.508
CUT3R	0.087 / 0.045 / 0.566	0.194 / 0.092 / 0.527	0.240 / 0.102 / 0.513
Point3R	0.041 / 0.023 / 0.579	0.056 / 0.031 / 0.555	0.068 / 0.025 / 0.533
TTT3R	0.027 / 0.023 / 0.582	0.065 / 0.030 / 0.552	0.126 / 0.050 / 0.525
StreamVGGT	0.038 / 0.029 / 0.583	OOM	OOM
InfiniteVGGT	0.046 / 0.031 / 0.582	0.040 / 0.024 / 0.561	0.061 / 0.035 / 0.537
\(R^3\) (本文)	0.021 / 0.018 / 0.600	0.022 / 0.017 / 0.562	0.022 / 0.017 / 0.538

关键发现¶

长序列无漂移：如表 4 所示，在 7-Scenes 达到 1000 帧时，经典流式基线（如 CUT3R、TTT3R）重建误差急剧恶化，StreamVGGT 更是直接爆显存（OOM）；而 \(R^3\) 凭借有界活跃关键帧库与解耦置信度聚合，重建 Accuracy 与 Completeness 几乎保持平直（从 200 帧的 0.021/0.018 到 1000 帧的 0.022/0.017），表现出极高的数值稳定性。
参数量与算力极致高效：\(R^3\) 仅有 372M 参数，在 6 张 48GB GPU 上完成训练（仅更新约 110M 参数），仅为业界 1B 级基线（如 VGGT、STream3R、ZipMap）的三分之一体量，却在 ScanNet、TUM 和 Sintel 上的流式位姿估计中全面胜出。
离群干扰帧单遍过滤：在 ETH3D 与 RobustNeRF 的离群点测试中，引入置信度拒绝门控使 \(R^3\) 的成功拒绝率分别达到 100% 和 98.6%，ATE 从 0.998 大幅下降至 0.244，证明所学置信度具备出色的物理真实感与场景语义边界辨识度。

亮点与洞察¶

解耦置信度作为系统统一原语：将旋转与平移置信度独立建模，并在训练损失、测试聚合、关键帧更新以及异常门控中全程复用，用极其轻量的架构设计实现了多模块的高度自洽。
从“学坐标系”到“学局部几何关系”的心智模型转变：打破了前馈模型必须内嵌全局世界坐标系的教条，将学习重点完全约束在具有平移不变性的局部相对运动上，大幅拓宽了前馈几何模型的序列长度边界。
可复用的通用设计：基于特征相似度与配准置信度的动态关键帧管理策略，可以直接迁移至各类在线具身建图、自动驾驶里程计或混合现实 SLAM 系统中，作为即插即用的轻量级上下文选择器。

局限与展望¶

回环检测与闭环重优化能力不足：当前系统依赖有界滑动关键帧库，当相机经历超长距离游走并重新回到初始区域时，因缺乏显式重定位和回环检测头，无法主动闭合大尺度几何回环。
极端大尺度与多运动物体场景的尺度漂移：尽管通过单目深度中位数对齐在分段重置时维持了尺度一致性，但在动态物体主导或纹理极度匮乏的开阔户外场景中，相对平移估计仍可能累积微小的尺度漂移。
未来方向：探索在相对位姿头之上引入轻量级拓扑回环检索机制，并结合神经辐射场（NeRF）或 3D 高斯泼溅（3DGS）实现流式辐射场实时增量更新。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙重构了前馈重建的位姿回归范式，解耦置信度的统一复用极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖位姿轨迹、稠密点图、超长序列扩展性以及离群点鲁棒性测试，数据极其详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图表清晰，动机与设计权衡阐述深刻。
价值: ⭐⭐⭐⭐⭐ 372M 紧凑体量实现 20+ FPS 实时高质量流式重建，对端侧三维视觉落地价值巨大。