RayTun3R: Online Camera Adaptation in 3D Foundation Models¶
会议: NeurIPS 2026
arXiv: 2607.02711
OpenReview: https://openreview.net/forum?id=YusfyNZLcm
领域: 3D 视觉
关键词: 3D基座模型, 相机自适应, 鱼眼相机几何, 位置编码校准, 在线自监督
一句话总结¶
针对预训练 3D 基座模型在鱼眼等非针孔相机下性能剧烈退化的问题，RayTun3R 揭示了绝对位置编码中内嵌的针孔几何局部雅可比偏差，在完全冻结主干网络的前提下仅通过学习微量极坐标位置编码残差表及免参几何矫正，以仅约 1 万参数在单目鱼眼序列上实现在线几何自适应。
研究背景与动机¶
近年来以 DUSt3R、MASt3R、VGGT、\(\pi^3\) 以及 Depth Anything 3（DA3）为代表的大型 3D 基座模型取得了突破性进展，能够从单张或少量无位姿图像中以极快的 feed-forward 方式直接回归稠密深度、相对相机位姿和稀疏/半稠密点云。然而，这类模型高度依赖于常规针孔（pinhole）相机的透视投影先验。当输入转换为大视场（FOV 达 \(110^\circ \sim 200^\circ\)）的鱼眼（fisheye）或全向相机时，透视假设被彻底打破，基座模型的深度和位姿估计在全图范围内（甚至包括光学中心附近）发生剧烈的几何畸变与漂移。传统应对策略主要采用多视角透视切片投影（如将鱼眼图分割为多个虚拟针孔视锥分别前向推理后再进行预测融合），这不仅成倍增加了计算开销与延迟，且割裂了全景连续视场。
这一几何失效的核心症结在于：针孔模型与鱼眼模型在相同的图像网格坐标下对应着截然不同的视线光线（camera rays）几何分布。具体而言，针孔相机的反向投影局部雅可比矩阵在整幅图像上是恒定不变的常数，意味着任意位置的单位像素位移对应着完全相同的视线角变化率；而基于径向多项式或有理函数的鱼眼相机，其反向投影局部雅可比矩阵随图像半径非线性剧烈变化。令人惊讶的是，对预训练 Vision Transformer（ViT）中绝对位置编码（PE）的局部雅可比奇异值与局部面积元进行谱分析，可以清楚地发现其几乎呈全图水平的平坦分布——这表明预训练 3D 基座模型在隐空间中内隐了严格的针孔相机空间偏置。当面对鱼眼输入时，通用参数高效微调方法（如 LoRA 或添加 Calibration Tokens）试图更新注意力投影或特征变换，并未触及光线几何与图像坐标之间的物理错配本质，容易导致对场景纹理过拟合且位姿难以收敛。
本文的切入角度是：直接对承载相机光线几何映射的「位置编码表」动手术，保持整个预训练骨干网络及特征提取完全冻结不变。核心 idea：显式解耦相机投影失配与通用视觉特征，仅在极坐标系下对绝对位置编码与旋转位置编码（RoPE）引入极紧凑的径向-角度残差查找表（仅约 10K 参数），配合免参的预测网格坐标去畸变与补丁切片线性化重采样，仅利用极短无标注连续视频段构建几何自监督闭环，实现零推理额外开销的在线相机几何自适应。
方法详解¶
整体框架¶
RayTun3R 旨在让冻结的针孔 3D 基座模型直接吸收任意大视场鱼眼相机流。其输入为一段简短的连续鱼眼图像序列 \(\{I_t\}\) 以及已知的标定相机模型 \(\kappa\)（或由通用单图标定网络预估的相机参数）。模型保持预训练 3D 骨干网络（包括全部自注意力权重、MLP 层、特征投影与 DPT 预测头）参数 \(\theta\) 绝对冻结，仅引入可训练的紧凑参数集合 \(\phi\) 来修正图像补丁位置与出瞳光线之间的几何关联。
整个自适应流水线分为输入补丁免参校正、极坐标位置编码残差调制、冻结骨干前向几何预测、以及免参预测网格逆映射四个主要环节。在自适应阶段，系统从连续视频中抽取滑动三帧窗口，利用预计算的鲁棒光流特征匹配与几何对齐损失自监督驱动残差参数更新；优化完成后，学习到的位置残差表被固化，后续帧推理保持原模型单次前向速度，无任何额外计算负担。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入鱼眼图像与相机模型<br/>κ 与图像序列 I_t"] --> B["输入流免参去畸变与切片<br/>局部线性化重采样与无效边界掩码"]
B --> C["位置编码极坐标残差注入<br/>径向+角度查找表修正 PE 与 RoPE"]
C --> D["冻结的 3D 基座模型主干<br/>DUSt3R / VGGT / π³ / DA3"]
D --> E["预测网格相机感知逆映射<br/>DPT 正弦网格去畸变坐标修正"]
E --> F["输出一致性 3D 几何与相机位姿<br/>稠密深度 D_i 与相对位姿 T_ij"]
F -.->|几何自监督反馈: 重投影 + 位姿目标| C关键设计¶
1. 极坐标参数化位置编码残差：精准修正径向畸变主导的光线几何 标准 ViT 的绝对位置编码表 \(P_A \in \mathbb{R}^{H \times W \times C}\) 在针孔数据上预训练，其几何分布无法表征鱼眼视线的非线性弯曲。若直接对整个 \(H \times W\) 网格微调将引入大量参数且极易在短视频序列上发生空间过拟合。考虑到鱼眼光学主要由以光心为中心的径向畸变主导，并伴随制造公差引起的微小切向残差，RayTun3R 创新性地采用以标定主点 \((c_x, c_y)\) 为极点的极坐标离散化建模。将归一化半径 \(\rho_{u,v} \in [0, 1]\) 划分为 \(N_r = 20\) 个区间，极角 \(\theta_{u,v} \in [0, 2\pi)\) 划分为 \(N_\theta = 8\) 个区间，构建径向残差查找表 \(t_r(\rho)\) 与角度残差表 \(\delta_\theta(\theta)\)。任意连续坐标处的修正位置编码 \(P'(u,v)\) 由双线性插值获得： $\(P'(u,v) = P_A(u,v) + t_r(\rho_{u,v}) + \rho_{u,v} \, \delta_\theta(\theta_{u,v})\)$ 公式中 \(\rho_{u,v}\) 权重因子的引入极为巧妙：在主点中心附近，由于极角定义不适定，该调制项自然衰减至零；而随着向边缘大视场视线过渡，角度调制项平滑放大。所有残差表参数严格零初始化，使得微调初始状态与原始预训练模型严格等价。对于采用旋转位置编码（RoPE）的主干架构（如 VGGT），同样引入轻量的共享径向旋转角残差表 \(\Delta_r(\rho_{u,v})\) 进行旋转补偿 \(\omega'(u,v) = \omega(u,v) + \Delta_r(\rho_{u,v})\)，在 DA3-Small 上总学习参数仅为 10,752 个。
2. 免参补丁切片与预测网格几何校正：剔除残余针孔假设 除了自注意力输入侧的位置编码，基座模型内部还有两处隐蔽的针孔几何假设。首先是 ViT 补丁切片过程：鱼眼图像在边缘处存在剧烈的高频拉伸，且有效视场外存在大面积无效的黑色暗角。RayTun3R 在切片时利用中心处的局部一阶导数线性化映射将每个 patch 进行局部微去畸变，并将圆形光瞳掩码外的无效补丁均一化为全局有效均值向量，消除暗角边界引入的畸变特征扰动。其次是稠密预测头（DPT）中的 2D 正弦预测网格：传统 DPT 假定规则平铺的网格对应空间透视光线，本文将其替换为经过鱼眼逆投影映射校正的真实空间视线坐标。这两个模块完全不引入任何可训练参数，彻底打通了光线坐标在特征提取与深度图反投影全流程的几何一致性。
3. 外挂匹配辅助的几何自监督优化：解耦位姿与深度的联合不稳定性 在缺乏真实 3D 监督的在线测试时微调中，常用的光度一致性损失极易在弱纹理区域或鱼眼边缘大视差区域陷入局部极小，导致初期的位姿与深度发生联合发散。RayTun3R 摒弃了脆弱的光度误差，采用冻结的通用特征匹配网络（UFM）提前建立短序列中的高质量稀疏对应关系 \((u,v) \leftrightarrow m_{ij}(u,v)\) 及其置信度 \(w_{ij}\)。更关键的是，利用 MAGSAC++ 从匹配点中单次离线求解高精度的相对位姿伪标签 \(\tilde{T}_{ij} = (\tilde{R}_{ij}, \tilde{t}_{ij})\)，并将其作为固定的几何位姿锚点，强力约束网络预测位姿，使位置编码优化能够集中精力重建深度流形与光线分布。
损失函数 / 训练策略¶
自适应微调在无标注连续鱼眼视频中抽取的 30 组三帧窗口上执行。总优化损失由几何重投影损失、位姿锚定损失、边缘自适应平滑先验以及位置编码正则化共同构成： $\(\mathcal{L} = \mathcal{L}_{\text{reproj}} + w_{\text{smooth}} \mathcal{L}_{\text{smooth}} + w_{\text{pose}} \mathcal{L}_{\text{pose}} + w_{\text{L2}} \mathcal{L}_{\text{L2}} + w_{\text{TV}} \mathcal{L}_{\text{TV}}\)$
1. 加权几何重投影损失：通过当前预测的深度 \(D_i(u,v)\) 与逆投影光线 \(\kappa^{-1}\) 得到三维空间点 \(X_i(u,v) = D_i(u,v) \kappa^{-1}(u,v)\)，将其经由预测相对刚体变换 \(T_j T_i^{-1}\) 变换并重新投影到目标帧 \(j\)，在有效光瞳区域 \(\Omega\) 内计算与特征匹配点 \(m_{ij}\) 的加权 \(\ell_1\) 偏差： $\(\mathcal{L}_{\text{reproj}}(i,j) = \frac{1}{|\Omega|} \sum_{(u,v) \in \Omega} w_{ij}(u,v) \, \left\| \kappa(T_j T_i^{-1} X_i(u,v)) - m_{ij}(u,v) \right\|_1\)$
2. 旋转与平移解耦的相对位姿损失：约束模型回归的相对旋转与平移方向与 MAGSAC++ 伪标签保持对齐，避免初期几何坍塌： $\(\mathcal{L}_{\text{pose}}(i,j) = \arccos\left(\frac{\text{tr}(\tilde{R}_{ij}^\top \hat{R}_{ij}) - 1}{2}\right) + \arccos\left(\frac{\langle \tilde{t}_{ij}, \hat{t}_{ij} \rangle}{\|\tilde{t}_{ij}\| \|\hat{t}_{ij}\|}\right)\)$
3. 空间平滑与位置残差正则：\(\mathcal{L}_{\text{smooth}}\) 施加经典边缘保持的单目深度梯度平滑约束；\(\mathcal{L}_{\text{L2}}\) 与全变分（TV）正则项 \(\mathcal{L}_{\text{TV}}\) 则约束最终位置编码表 \(P'\) 紧密贴合初始表 \(P_A\) 并在空间邻域内连续平滑。超参数统一设置为 \(w_{\text{pose}} = 1\)、\(w_{\text{smooth}} = 10\)、\(w_{\text{L2}} = 2\)、\(w_{\text{TV}} = 20\)。优化器采用 Adam，学习率固定为 \(1 \times 10^{-3}\)，梯度裁剪范数设为 1.0。
实验关键数据¶
主实验¶
论文在五大权威跨视场鱼眼基准上进行详尽测试：涵盖自动驾驶场景 KITTI-360（\(185^\circ\) FOV）、手持双鱼眼视频 TUM-VI（\(195^\circ\) FOV）、室内全向扫描 ScanNet++（\(115^\circ\) FOV）、多相机户外 ETH3D（\(110^\circ\) FOV）以及高难度双鱼眼室内外场景 FIORD（\(200^\circ\) FOV）。评估指标包括相对旋转误差 \(R^\circ\)（度）、平移方向误差 \(t^\circ\)（度）以及基于真实位姿的重投影深度误差 \(d_{\text{reproj}}\)。基线涵盖未经自适应的 Vanilla 模型、中心虚拟针孔裁剪（Center-PH）、五视角虚拟针孔融合（Multi-PH）、通用参数高效微调 LoRA 以及鱼眼专用校准标记（CalTok）。
下表汇报以 Depth Anything 3-Small（DA3-Small）作为基座网络的主实验评测结果：
| 数据集 | 指标 (\(R^\circ \downarrow / t^\circ \downarrow / d_{\text{reproj}} \downarrow\)) | Vanilla | Center-PH | Multi-PH | LoRA (\(r=8\)) | CalTok (\(t=4\)) | 本文 (RayTun3R) | 相对Vanilla提升 |
|---|---|---|---|---|---|---|---|---|
| ETH3D (\(110^\circ\)) | \(R^\circ\) / \(t^\circ\) / \(d_{\text{reproj}}\) | 8.59 / 15.16 / 15.98 | 3.46 / 13.70 / 10.92 | 3.31 / 13.68 / 13.48 | 2.18 / 10.74 / 9.02 | 2.48 / 13.21 / 11.94 | 0.70 / 4.48 / 5.82 | 旋转降低 12.3× / 重投影降 63.6% |
| KITTI-360 (\(185^\circ\)) | \(R^\circ\) / \(t^\circ\) / \(d_{\text{reproj}}\) | 1.69 / 12.81 / 11.64 | 0.79 / 4.17 / 3.10 | 1.71 / 9.75 / 4.72 | 1.37 / 8.49 / 5.56 | 1.66 / 10.05 / 5.83 | 0.84 / 2.92 / 3.88 | 平移误差从 12.81° 降至 2.92° |
| TUM-VI (\(195^\circ\)) | \(R^\circ\) / \(t^\circ\) / \(d_{\text{reproj}}\) | 10.41 / 23.23 / 57.01 | 3.33 / 29.24 / 3.22 | 2.99 / 25.60 / 4.92 | 3.38 / 13.63 / 3.83 | 3.84 / 16.17 / 9.61 | 2.41 / 13.23 / 3.81 | 旋转降 4.3× / 深度重投影改善超 14× |
| ScanNet++ (\(115^\circ\)) | \(R^\circ\) / \(t^\circ\) / \(d_{\text{reproj}}\) | 10.21 / 30.26 / 23.82 | 3.27 / 22.77 / 2.21 | 1.66 / 10.43 / 1.63 | 3.68 / 17.66 / 4.98 | 4.51 / 23.20 / 7.02 | 1.11 / 5.78 / 4.16 | 旋转与平移误差大幅超越 Center-PH |
| FIORD (\(200^\circ\)) | \(R^\circ\) / \(t^\circ\) / \(d_{\text{reproj}}\) | 18.20 / 29.50 / 75.30 | 6.92 / 23.40 / 7.20 | 6.30 / 18.90 / 15.60 | 7.75 / 12.20 / 12.10 | 20.40 / 22.20 / 25.20 | 4.10 / 5.40 / 9.00 | 超大视场下位姿鲁棒性最佳 |
在跨模型架构验证中，RayTun3R 同样显著增强了 \(\pi^3\) 与 VGGT 骨干。例如在 TUM-VI room6 序列上，对于 \(\pi^3\) 模型，RayTun3R 将旋转误差由 Vanilla 的 \(9.12^\circ\) 压缩至 \(1.14^\circ\)（LoRA 为 \(9.01^\circ\)）；对于 VGGT，旋转误差由 \(8.54^\circ\) 降低至 \(1.12^\circ\)，充分验证了相机几何偏差存在于所有透视预训练的 3D Transformer 结构中。
消融实验¶
在 KITTI-360（drive 0000, cam02，前 500 帧评测）上对 RayTun3R 的各个组成部分进行剥离分析，结果如下表所示：
| 配置 | \(R^\circ \downarrow\) (度) | \(t^\circ \downarrow\) (度) | \(d_{\text{reproj}} \downarrow\) (像素) | 说明 |
|---|---|---|---|---|
| Full model (RayTun3R 完整版) | 1.183 | 4.81 | 3.03 | 整体综合几何重投影误差最低 |
| w/o RoPE adapter | 0.942 | 5.56 | 3.27 | 去除 RoPE 径向残差后平移与深度误差略增 |
| w/o DPT pos fix | 1.094 | 4.78 | 3.64 | 缺少 DPT 预测网格去畸变使重投影误差上升 |
| w/o border token | 1.061 | 4.45 | 3.17 | 去除边界补丁均值替换后抗噪稳定性下降 |
| Radial + angular PE (仅学 PE) | 1.038 | 4.21 | 3.39 | 仅保留极坐标径向与角度可训练表 |
| Radial PE only (仅径向 PE) | 1.154 | 5.48 | 3.70 | 缺少角度残差项导致几何误差增大 |
| Naive remap of PE (仅坐标重采样) | 0.810 | 12.93 | 11.53 | 机械重索引预训练 PE 导致严重平移与深度坍塌 |
| Patch undistortion only (仅免参补丁) | 1.397 | 6.66 | 8.96 | 无可学习 PE 时性能远逊于完整适配器 |
此外，针对推理代价与参数量的对比表明：DA3-Small 原模型单帧耗时约 100 ms，参数 0；Multi-PH 耗时约 400 ms（+300% 开销）；LoRA (\(r=8\)) 引入 147.5K 参数并增加 10% 延迟；而 RayTun3R 仅需 10.8K 参数（约 0.01M），前向推理耗时保持在 ~100 ms（≈0% 额外延迟）。
关键发现¶
- 位置编码残差是绝对主力贡献项：消融表明单纯学习 Radial PE 就将重投影误差从 8.96 骤降至 3.70，追加角度残差进一步优化至 3.39；相比之下，简单的几何重索引（Naive remap）虽然旋转数字较低，但平移方向与深度重投影彻底恶化，说明预训练隐空间的拓扑连续性不可通过离散几何坐标简单拉伸。
- 免参局部矫正消除边界瑕疵：预测网格校正和补丁局部微去畸变协同工作，为可学习残差提供了良好的正则化边界，使深度图边缘与几何跳变处保持清晰。
- 参数效率与抗过拟合优异：LoRA 虽然可调参数达到 147.5K（约 RayTun3R 的 14 倍），但在无真实几何标签的短序列自监督场景下容易吸收无关场景纹理，导致在 ETH3D 和 TUM-VI 上位姿误差明显落后于 RayTun3R。
亮点与洞察¶
- 从局部雅可比谱分析切入物理偏置：通过对预训练 ViT 位置编码的 Jacobian 奇异值与局部面积元进行数学刻画，严谨证明了 3D 基础模型存在内在的针孔空间先验，为后续针对性架构设计提供了清晰的理论基石。
- 极坐标解耦与零初始化安全演进：将二维网格修正约束到以主点为极轴的极坐标系，利用极径对极角扰动自然衰减，兼顾了径向主导与微小非对称性，且零初始化确保了自适应过程平稳收敛。
- 测试期在线轻量自适应范式：仅需 30 个连续视频窗口即可在几秒内适配全新相机，适配完成后零参数膨胀、零结构修改、零延迟增加，极易部署到四足机器人、全向无人机等非标准光学硬件端。
局限与展望¶
- 单相机独立适配约束：RayTun3R 目前学习的是特定单目相机光学的专属修正表，更换不同畸变特性的镜头时需要重新进行一轮简短的在线自监督自适应。
- 非径向畸变建模限制：极坐标查找表强力依赖于光学主点明确且畸变主要呈径向对称的物理假设，对于存在超大偏心、剧烈切向畸变或多折轴特殊光学系统尚缺乏针对性建模。
- 对视频运动激励的依赖：自监督优化依赖于连续帧之间的视差与位姿运动。若输入序列处于纯静止、纯旋转或退化退变轨迹，重投影几何约束将显著弱化，导致优化效果受限。
相关工作与启发¶
- vs Fisheye3R 与 FishRoPE: 竞品方法主要依赖大规模合成鱼眼图像或有标注鱼眼数据集进行全量有监督后训练；RayTun3R 则主打完全无监督、完全零离线训练成本的“测试时单样本自适应”，即插即用性更强。
- vs Center-PH 与 Multi-PH: 虚拟切片方法割裂了边缘大视场，并在多视角融合时引入严重模糊与计算倍增；RayTun3R 直接在原始全景鱼眼视场下前向推理，在完整大视场范围内同时兼顾高精度位姿与稠密深度。
- vs LoRA / CalTok: 通用 PEFT 盲目更新注意力投影权重，未隔离相机几何与外观表征；RayTun3R 仅修改直接编码像素与光线方向映射的位置编码模块，以 1/14 的参数量取得了显著占优的位姿几何指标。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从雅可比谱理论证明 3D 基座模型的位置编码针孔偏置，并提出极紧凑的极坐标残差适配机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大鱼眼基准、3 种主流 3D 基座模型，对比了切片融合、通用 PEFT 及鱼眼专用标记等完整基准。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，图表与实验对比逻辑严密，动机与方法阐述极为透彻。
- 价值: ⭐⭐⭐⭐⭐ 为推动 3D 视觉基座模型走向真实机器人非标全景硬件提供了高实用性、免重新预训练的标准演进范式。