Raymap-Guided Coupling for Drift-Robust Unposed Feed-Forward 3D Reconstruction¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 重建与渲染
关键词: 3D高斯泼溅、前馈3D重建、位姿漂移、光线图引导耦合、双频视角调度

一句话总结¶

针对无位姿前馈3D高斯泼溅在长序列重建中因相机位姿漂移累积导致几何与渲染崩溃的问题，本文提出 NoDrift3R，通过光线图引导耦合模块将高斯中心显式锚定至密集射线几何，构建外观反哺几何的双向协同联合优化回路，并配合兼顾视差扩展与高重叠重放的双频视角调度策略，实现了长时序轨迹下漂移鲁棒的全局高保真3D重建。

研究背景与动机¶

基于前馈神经网络的3D高斯泼溅（Feed-Forward 3DGS）因能摆脱耗时的单场景逆向优化过程、在单次网络前向传播中直接预测全局3D高斯表征而备受关注。随着研究从依赖精准已知相机位姿的校准场景转向更具实用价值的无位姿（Pose-Free）设置，现有模型尝试直接从连续未校准图像序列中联合推断相机外参几何与3D场景表征。然而，当输入扩展到较长轨迹序列或宽基线视点时，所有无位姿前馈范式均面临严重的性能崩塌——其根源在于相机位姿估计与场景几何表征之间存在极其强烈的双向耦合：初始微小的相机旋转与平移误差会直接扭曲预测的3D几何分布，而几何结构的失准又会在后续视点推断中反噬位姿回归，形成误差不断滚雪球式放大的累积位姿漂移（Cumulative Pose Drift），最终导致长序列重建出现严重的重影、拉扯模糊和全局结构断裂。

深入分析这一失稳机理可以发现，当前的无位姿训练范式存在两大学习瓶颈。一方面，传统基于运动恢复结构（SfM）生成的伪真实位姿含有不可忽略的传感器与匹配噪声，而若完全退化至无监督的纯渲染重建损失（如 NoPoSplat、Uni3R），高维复杂的3D场景几何与相机外参在缺乏强几何先验约束下同时更新，极易深陷局部极小值；同时，以往尝试将位姿作为条件输入高斯头的做法（如 YoNoSplat）仅仅传递了低维的旋转平移向量，形成了严重的几何信息瓶颈，无法指导像素级密集高斯基元的精准空间落点。另一方面，现有渐进式视差扩展的课程学习策略（如 E-RayZer）线性拉大视角间隔，致使网络在后期完全丧失了对短间隔、高重叠视点对的记忆与局部几何一致性约束，破坏了训练稳定性。

为了打破位姿漂移与训练崩溃的恶性循环，本文的核心切入点是将外观渲染监督与密集射线几何先验紧密咬合，使渲染质量提升与几何位姿修正形成正向反馈。核心 idea：通过光线图引导耦合模块将3D高斯中心显式锚定于预测的每像素密集射线与深度几何，在外观重构与光线图一致性联合约束下构建“渲染反哺几何”的双向闭环，并辅以兼顾视差阶梯退火与高重叠样本随机重放的双频视角调度策略，从根本上抑制长序列位姿漂移。

方法详解¶

整体框架¶

NoDrift3R 的整体前向架构以未经结构修改的 ViT（基于 vanilla DINOv2 骨干，采用 Depth Anything v3 预训练权重初始化）为特征交互主干，后接 Dual-DPT 几何头、高斯属性预测头以及相机回归头。给定输入的无位姿图像序列，系统先通过轻量级 Patch Embedding 映射为视角 Token，送入多视角 Transformer 执行跨视点特征聚合与几何关联推理。紧接着，Dual-DPT 头解码出每像素的六通道射线图（包含射线方向与射线起点）及标量深度图，以此刚性计算出每个高斯基元的三维空间中心；高斯属性头则基于视角潜在特征并行预测不透明度、各向异性缩放、旋转四元数及颜色属性。在训练阶段，模型施加涵盖 RGB 渲染误差、射线图一致性损失和相机参数正则的联合优化目标，依托双向梯度流动实现几何与外观的相互增强。

整个算法处理流程与阶段协同关系如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入无位姿多视图图像序列"] --> B["双频视角调度策略<br/>有界视差退火扩展与小间隔随机重放"]
    B --> C["多视图特征交互编码<br/>基于 ViT 主干提取跨视角潜在表征"]
    C --> D["光线图引导耦合模块<br/>Dual-DPT 预测射线图与深度并锚定高斯中心"]
    D --> E["协同联合优化机制<br/>外观重构与射线几何约束双向闭环反哺"]
    E --> F["输出高精度全局3DGS表征与相机位姿"]

关键设计¶

1. 双频视角调度策略：通过视差逐步退火与高重叠样本随机重放稳定几何优化 针对传统视角课程学习容易顾此失彼的问题，本设计解决网络在学习大视差、长序列几何时对短间隔局部结构发生灾难性遗忘的缺陷。调度策略分为两套协同机制：首先是基于视觉重叠度上界的退火扩展，利用预训练 DINOv2 提取输入帧间的高层语义特征并计算余弦相似度得到视点重叠度评分 $o(i, j) = \cos(\text{DINOv2}(I_i), \text{DINOv2}(I_j))$，随着训练迭代步数 $t$ 的推进，重叠度阈值从 1.0 逐步线性退火下降至 0.75，动态选出最大视角间隔帧数 $g_{\text{curr}}(t)$，并将其硬截断至有界上限 $g_{\text{max}} = 15$（即 $g_{\text{overlap}}(t) = \min(g_{\text{curr}}(t), g_{\text{max}})$），防止过早或过度稀疏的视差造成几何崩塌；其次是随机重放正则化机制，在训练后半程以固定概率 $p_{\text{small}} = 0.5$ 随机介入短间隔高重叠样本对采样（从均匀离散分布 $\mathcal{U}\{6, \dots, 10\}$ 中随机抽取间隔 $g_{\text{small}}$），形成兼具长时序大视差探索与局部密集几何一致性巩固的双频采样机制，确保模型在任意视差跨度下均具备稳定的几何表征能力。

2. 光线图引导耦合模块：将高斯中心刚性锚定于密集射线与深度几何 针对以往方法中相机低维参数瓶颈导致高斯基元空间分布散乱、易受位姿误差带偏的痛点，本设计将 3D 高斯的几何定位与密集相机光线图紧密绑定。网络的多视角特征经 Dual-DPT 几何头解耦输出两个像素级对齐的几何量：六通道射线图 $R \in \mathbb{R}^{H \times W \times 6}$ 与单通道深度图 $D \in \mathbb{R}^{H \times W}$。其中射线图前三通道编码单位视线方向向量 $r \in \mathbb{R}^{H \times W \times 3}$，后三通道编码射线空间起点 $o \in \mathbb{R}^{H \times W \times 3}$；深度图提供沿该射线的标量距离。由此，像素 $j$ 处对应高斯基元的空间中心坐标 $p_j \in \mathbb{R}^3$ 被直接且确定性地刚性计算得到：

\[p_j = o_j + D_j \cdot r_j\]

该三维点 $p_j$ 严格作为高斯基元的空间均值中心 $\mu_j = p_j$，而高斯头仅需从潜在 Token 中预测形状与外观属性（不透明度 $\alpha_j \in [0, 1]$、尺度 $s_j \in \mathbb{R}^3$、四元数 $q_j \in \mathbb{R}^4$ 以及球谐/颜色 $c_j \in \mathbb{R}^3$）。这种设计完全消除了高斯中心在非约束三维空间中的自由漂移，使每一个高斯点的物理位置受到局部射线与深度场几何的密集支撑。

3. 协同联合优化机制：建立渲染外观反哺几何与位姿的双向互惠回路 针对孤立优化位姿或纯靠渲染自监督导致解空间模糊、易陷入局部极值的问题，本设计将外观渲染、射线图回归与相机参数正则整合为强耦合的统一目标。系统构建了被称为“Rendering-to-Geometry Gain”的正向互利回路：高斯中心由射线图和深度图直接复合而成，这意味着端到端可微高斯光栅化计算得到的 RGB 渲染损失 $\mathcal{L}_{\text{rgb}}$ 不仅更新外观特征，而且其梯度能够直接反向穿透高斯投影机制流向射线图 $R$ 与深度图 $D$，使得多视角真实图像的高频纹理和边缘线索直接约束并精细校准底层的密集射线几何；与此同时，显式射线图监督损失 $\mathcal{L}_{\text{ray}}$ 强制纠正视线方向与起点，为高斯点分布提供了强大的刚性几何骨架，有效排除了仅凭色彩拟合产生的“浮空伪影”局部最优。两者在联合优化下彼此促进，形成了“几何先验规整高斯排布以提升渲染清晰度，渲染自监督反向微调射线方向以消除位姿模糊”的自洽闭环。

一个完整示例¶

以一段包含 24 帧长时序轨迹的复杂室内场景为例： 1. 输入与调度采样：输入未标定位姿的 24 帧连续图像序列。调度器依据训练进度与 DINOv2 相似度矩阵动态决定视点间隔，若处于后半程训练且触发 $p_{\text{small}} = 0.5$ 重放分支，则交替抽样密集邻近帧（如间隔 6 帧）与扩展远端帧（最大间隔 15 帧），兼顾局部细微视差与全局大轨迹。 2. 多视角编码与几何投影：图像经 ViT 交互编码后，Dual-DPT 头为每个视角各生成大小为 $224 \times 224$ 的射线图 $R$（含射线原点 $o_j$ 与方向 $r_j$）及深度图 $D_j$。 3. 高斯锚定与光栅化渲染：对于视点内的 $224 \times 224 = 50,176$ 个像素，直接通过 $p_j = o_j + D_j \cdot r_j$ 刚性计算出 50,176 个三维高斯中心位置，结合高斯属性头输出的四元数与尺度构建局部高斯，通过前向光栅化合成为目标视角图像 $\hat{I}$。 4. 双向联合反向传播：合成图像 $\hat{I}$ 与真值图像 $I$ 计算 LPIPS 与 MSE 损失，该外观误差反向传导修正射线图和深度，同时相机回归头输出的预测相机外参 $\hat{\theta}$ 与伪真值计算 Huber 损失，显式光线图绝对误差 $\mathcal{L}_{\text{ray}}$ 压制射线发散，各组件协同收敛，最终输出即便在第 24 视点处也未发生偏折断裂的全局一致点云和精确相机轨迹。

损失函数 / 训练策略¶

训练过程在统一的多任务加权损失函数下进行端到端优化：

\[\mathcal{L} = \mathcal{L}_{\text{rgb}} + \lambda_{\text{cam}} \mathcal{L}_{\text{cam}} + \lambda_{\text{ray}} \mathcal{L}_{\text{ray}}\]

各分项具体构成如下： 1. RGB 外观重建损失：融合像素级均方误差（MSE）与感知一致性损失（LPIPS），对所有 $N$ 个观测视图进行监督： $$\mathcal{L}_{\text{rgb}} = \frac{1}{N} \sum_{i=1}^N \left( \lambda_{\text{mse}} \|I_i - \hat{I}_i\|_2^2 + \lambda_{\text{lpips}} \text{LPIPS}(I_i, \hat{I}_i) \right)$$ 2. 相机参数正则化损失：对相机头预测的相机参数 $\hat{\theta}_i$ 与真实参数 $\theta_i$ 施加鲁棒的 Huber 损失： $$\mathcal{L}_{\text{cam}} = \frac{1}{N} \sum_{i=1}^N \text{Huber}(\hat{\theta}_i, \theta_i)$$ 3. 密集射线图一致性损失：对 Dual-DPT 头输出的射线图 $\hat{R}_i$ 与真值光线图 $R_i$ 施加像素级绝对误差约束： $$\mathcal{L}_{\text{ray}} = \frac{1}{N} \sum_{i=1}^N \mathcal{L}_{\text{abs}}(\hat{R}_i, R_i)$$

训练配置与硬件策略： - Giant 模型（用于同 SOTA 全面对比）：主干网络隐藏层维度 1536，包含 40 个 Transformer Block，参数量极高，提供强大的几何与光线图初始先验。在 8 卡 NVIDIA H100 GPU 上训练 150k steps，单卡 batch size 为 1。 - Large 模型（用于所有消融研究）：主干网络隐藏层维度 1024，包含 24 个 Transformer Block。在 8 卡 NVIDIA RTX 5090 GPU 上训练 150k steps，单卡 batch size 为 1。两者均以 Depth Anything v3 预训练权重进行初始化，输入图像统一调整为 $224 \times 224$ 分辨率。

实验关键数据¶

主实验¶

在涵盖丰富室内外真实场景的大规模评测基准 DL3DV 上，对模型在不同输入视图数量（6视角、12视角、24视角）下的新视角合成（Novel View Synthesis, NVS）质量与相机位姿估计精度进行了系统性对比。

表1：DL3DV 数据集上不同输入视角数量下的新视角合成性能对比（$p$ 表示使用真实位姿，$k$ 表示使用真实内参）

方法	会议/期刊	位姿 $p$	内参 $k$	6v PSNR↑	6v SSIM↑	6v LPIPS↓	12v PSNR↑	12v SSIM↑	12v LPIPS↓	24v PSNR↑	24v SSIM↑	24v LPIPS↓
MVSplat	ECCV 2024	✓	✓	22.659	0.760	0.173	21.289	0.709	0.224	19.975	0.662	0.269
DepthSplat	CVPR 2025	✓	✓	23.418	0.797	0.136	21.911	0.753	0.179	20.088	0.690	0.240
NoPoSplat	ICLR 2025	✗	✓	22.766	0.743	0.179	19.380	0.563	0.318	17.860	0.495	0.397
AnySplat	SA 2025 (TOG)	✗	✗	19.027	0.554	0.235	18.940	0.549	0.262	19.703	0.596	0.249
YoNoSplat	ICLR 2026	✗	✗	24.531	0.804	0.142	22.933	0.746	0.187	22.174	0.720	0.209
E-RayZer	CVPR 2026	✗	✗	24.814	0.791	0.184	20.454	0.639	0.317	18.750	0.571	0.406
NoDrift3R (Ours)	ECCV 2026	✗	✗	24.922	0.826	0.127	24.250	0.797	0.141	24.242	0.794	0.142

表2：DL3DV 数据集上的相机位姿估计精度对比（分辨率 $224 \times 224$）

模型	6v AUC@5°↑	6v AUC@10°↑	6v AUC@20°↑	12v AUC@5°↑	12v AUC@10°↑	12v AUC@20°↑	24v AUC@5°↑	24v AUC@10°↑	24v AUC@20°↑
VGGT (518×280)	0.700	0.848	0.924	-	-	-	-	-	-
$\pi^3$ (518×280)	0.795	0.897	0.949	-	-	-	-	-	-
NoPoSplat (256×256)	0.538	0.735	0.853	-	-	-	-	-	-
AnySplat (448×448)	0.596	0.776	0.884	0.517	0.732	0.864	0.476	0.708	0.851
YoNoSplat (224×224)	0.833	0.917	0.958	0.804	0.902	0.951	0.778	0.885	0.942
E-RayZer (256×256)	0.846	0.972	0.983	0.421	0.699	0.767	0.389	0.654	0.707
NoDrift3R (Ours)	0.967	0.983	0.992	0.961	0.979	0.990	0.949	0.972	0.985

消融实验¶

为了严格验证光线图引导耦合（RGC）中各个监督项的互惠有效性，以及双频视角调度中重放机制的具体收益，论文在 Large 规模主干上进行了系统的解耦消融测试。

表3：Large 模型在不同输入视点数下的联合优化损失消融（验证双向协同增益）

模型配置	6v PSNR↑	6v SSIM↑	6v AUC@5°↑	6v AUC@10°↑	12v PSNR↑	12v SSIM↑	12v AUC@5°↑	12v AUC@10°↑	24v PSNR↑	24v SSIM↑	24v AUC@5°↑	24v AUC@10°↑	说明
w/o raymap-guided	23.062	0.752	0.821	0.907	22.375	0.717	0.753	0.867	21.379	0.599	0.690	0.821	移除光线图引导，退化为相机头推断位姿
w/o raymap loss	21.869	0.708	0.869	0.927	20.933	0.655	0.814	0.902	20.609	0.635	0.782	0.875	保留射线锚定但移除射线图显式监督
w/o rgb loss	12.608	0.321	0.851	0.922	12.375	0.325	0.801	0.891	12.378	0.328	0.754	0.851	移除渲染外观损失，仅依靠几何监督
Ours (Large)	23.302	0.766	0.874	0.935	21.909	0.696	0.829	0.907	21.626	0.675	0.787	0.883	完整双向协同联合优化配置

表4：视角调度采样策略、最大截断间隔 $g_{\text{max}}$ 与重放机制消融（6 视角输入）

调度器配置	范围 0–50 PSNR↑	范围 0–50 SSIM↑	范围 0–50 AUC@5°↑	范围 0–50 AUC@10°↑	范围 0–150 PSNR↑	范围 0–150 SSIM↑	范围 0–150 AUC@5°↑	范围 0–150 AUC@10°↑	机制分析
original sampler	22.696	0.747	0.782	0.884	18.815	0.571	0.591	0.744	基础随机采样，长短程均表现较差
$g_{\text{max}}=10$, 无重放	23.302	0.766	0.874	0.935	19.542	0.579	0.687	0.803	局限在短程间隔，长程扩展受限
$g_{\text{max}}=20$, 无重放	22.892	0.752	0.872	0.935	19.690	0.592	0.709	0.826	扩大间隔后长程改善但短程精度受损
$g_{\text{max}}=\infty$, 无重放	22.744	0.742	0.862	0.930	19.712	0.588	0.722	0.832	无限制退火导致短程局部一致性严重恶化
$g_{\text{max}}=\infty$, 重放 50%	23.006	0.745	0.864	0.929	19.745	0.592	0.721	0.832	注入小间隔重放，完美平衡长程探索与短程保真

关键发现¶

长序列抵抗位姿漂移的断代式跃升：在传统 SOTA 方法（如 YoNoSplat 与 E-RayZer）中，当输入视角数量从 6v 增加至 24v 时，PSNR 均出现断崖式下跌（YoNoSplat 下跌 2.357 dB，E-RayZer 暴跌 6.064 dB，AUC@5° 跌至 0.389）。而 NoDrift3R 从 6v 到 24v 的 PSNR 仅微跌 0.68 dB（24.922 dB $\to$ 24.242 dB），位姿精度 AUC@5° 始终坚挺在 0.949 以上，在 24 视点长序列下较 YoNoSplat 的 PSNR 绝对领先优势达 2.068 dB，证明该框架彻底打破了长序列位姿漂移魔咒。
外观反哺几何与几何锚定外观的双向验证：从消融表3可见，去掉射线图损失（w/o raymap loss）会使渲染 PSNR 严重下滑（24v 下降 1.017 dB），证实严谨的射线几何约束能有效规整高斯排布；而更为关键的是，去掉渲染损失（w/o rgb loss）后，相机位姿 AUC@5° 出现严重暴跌（24v 从 0.787 骤降至 0.754），定量证实了高频纹理重构监督能够作为强有力的反向几何先验，反哺并精细校准相机位姿与全局空间结构。
跨域泛化能力优异：在 DL3DV 训练并直接 Zero-shot 评测至 ScanNet++ 的跨域极端长序列实验中（128v 视点跨度），NoDrift3R 达到 19.714 dB PSNR，相比 YoNoSplat（17.641 dB）优势扩大至 2.073 dB；在 RE10K 上的零样本位姿迁移测试中，AUC@5° 同样超越了专有大模型 MASt3R（0.755 vs 0.609）。

亮点与洞察¶

将连续光线图作为几何-外观交互的致密介质：以往无位姿 3DGS 要么完全脱钩位姿与高斯预测，要么仅将 6 自由度外参以低维向量形式拼接到隐空间，存在严重的几何信息瓶颈。本文通过 Dual-DPT 预测像素级紧耦合的射线起点与方向，将高斯中心绝对锚定在 $o_j + D_j \cdot r_j$，使外观反向梯度无损直达几何底座，设计极具物理直觉。
解开无位姿训练中位姿与几何混淆的死结：论文不仅定性指出了“渲染反哺几何增益（Rendering-to-Geometry Gain）”，更在简洁的无复杂辅助损失架构下，通过单一损失目标联动实现了双向正反馈，为未来 Pose-Free 大模型的训练目标设计提供了全新范本。
低成本且高复用性的双频重放调度器：直接借用轻量预训练 DINOv2 特征计算全局余弦相似度作为视差标尺，配合 50% 概率的短间隔随机重放，巧妙化解了线性课程学习导致的“学了远景忘了近邻”的顽疾，该调度策略可零成本即插即用到任何多视点几何模型训练中。

局限与展望¶

训练阶段仍需伪真值相机与射线监督：虽然模型在推理时完全做到无位姿输入（Pose-Free），但在训练收敛阶段依然依赖预先计算的 SfM 相机参数与密集射线图真值，未来若能将无位姿自监督推演至训练全流程，将进一步降低数据准备门槛。
视点调度超参数尚未自适应场景动态：当前固定采用退火阈值（1.0 到 0.75）与 $g_{\text{max}} = 15$ 的截断超参数，面对不同纹理丰富度或运动视差差异巨大的场景（如大范围开阔航拍与狭小密集走廊），无法动态调整采样分布，自适应场景特性的动态调度器将是下一步极具价值的方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出光线图密集耦合机制与双频调度重放策略，首次在前馈无位姿 3DGS 中确立了渲染反哺几何的双向互利范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6v 到 128v 超长序列的多尺度基准评测，覆盖 DL3DV、RE10K 及跨域 ScanNet++，消融实验深入且严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，对位姿漂移瓶颈和几何耦合机理的剖析极其深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为长序列、大场景实时前馈 3D 重建扫清了位姿漂移累积的核心障碍，具有极高的学术启发性与工程落地价值。