LVSPM: Long Sequence View Synthesis and Pose Estimation Model¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://burningdust21.github.io/Projects/LVSPM/
领域: 几何匹配与定位
关键词: 新视角合成 / 位姿估计 / 测试时训练 / 长序列 / 无需位姿

一句话总结¶

LVSPM 提出了一种基于大块测试时训练（LaCT）与可学习相机标记的前向序列预测模型，仅依赖 RGB 渲染与相机位姿监督，在无需稠密 3D 点云真值的前提下，实现了支持多达 256 张未标定长序列图像的高精度位姿估计与高质量实时新视角合成。

研究背景与动机¶

新视角合成（Novel View Synthesis, NVS）长期以来是 3D 视觉与计算机图形学的核心研究方向。从基于单场景神经隐式优化（如 NeRF、3DGS）到前向重构模型（如 pixelSplat、LVSM），现有方法绝大多数建立在一个刚性前提下：必须输入已知的相机外参及内参。这些参数通常依赖运动恢复结构（Structure-from-Motion, SfM，如 COLMAP）进行离线估计。然而，传统 SfM 算法计算极其昂贵，在面对弱纹理、重复图案或光照变化剧烈的真实场景时频现注册失败，极大限制了新视角合成在开放场景中的落地应用。

为了摆脱对已知位姿的依赖，近期涌现出无位姿新视角合成（Pose-Free NVS）与基于几何的前向位姿估计（如 DUSt3R、VGGT、DepthAnything3）两条技术路线。然而，这两类方案均面临严峻局限：现有的无位姿视角合成方法（如 AnySplat、NoPoSplat）大多受限于十张以内的稀疏视角输入，无法扩展到覆盖大尺度连续场景的长序列，且常常依赖预训练几何模型；而几何位姿估计模型虽然具备前向估计能力，却严重依赖昂贵且难以大规模获取的稠密 3D 点云或深度图标签（Dense 3D ground truth），并且自身并不直接支持高质量的新视角渲染。

这一现状背后的核心矛盾在于：如何在摆脱昂贵稠密 3D 监督的同时，实现既能支持上百张连续长序列的全局一致位姿估计、又能保持高保真度图像生成的前向统一模型。本文遵循 LVSM 的最小化 3D 归纳偏置（Minimal-bias）哲学，将该任务转化为自序列到序列的 token 联合预测问题，提出利用测试时训练（TTT）的动态隐状态作为自适应紧凑场景表征，并证明了新视角渲染监督本身即具备强烈的多视角几何约束力。核心 idea：通过引入可学习相机标记的大块测试时训练（LaCT）主干与非对称查询路由，构建仅需 RGB 图像和位姿监督的统一端到端框架，利用视角合成监督反哺相机位姿几何精度，实现多达 256 帧未标定长序列的高精度位姿估计与独立并行新视角渲染。

方法详解¶

整体框架¶

LVSPM 采用最小化显式 3D 偏置的序列到序列转换架构。输入为 $N$ 张未经标定的多视角 RGB 图像序列 $\mathcal{I} = \{I_i\}_{i=1}^N$。每张图像被切分为非重叠 patch，并通过线性层映射为图像 token，同时拼接一个可学习相机 token。第一张视角作为规范参考系，其相机 token 设为固定的参考标记 $c_r$；后续所有输入视角共享另一可学习相机标记 $c_x$。对于目标新视角，模型根据给定的目标相机配置计算对应的普吕克射线（Plücker rays），经由目标线性投影层并拼接触发 token $c_t$ 转化为目标查询 token。

所有输入与目标 token 均送入由 24 层堆叠的 LaCT（Large-Chunk Test-Time Training）块构成的网络骨干中。每个 LaCT 块包含视线内窗口自注意力、大块 TTT 动态更新层和前馈 MLP 混合层。网络输出端配置极轻量级的双层 MLP 解码头：分别从输入视角的相机 token 解码出绝对相机外参（旋转四元数、平移向量）与归一化焦距内参；从目标查询 token 直接解码重组出目标新视角的 RGB 图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["未标定多视角图像序列<br/>N 帧 RGB 图像输入"] --> B["输入视图像切块与线性投影<br/>拼接可学习相机标记与参考系归一化"]
    C["目标视角普吕克射线<br/>Plücker 射线编码与线性映射"] --> D["堆叠 LaCT 转换块 (24层)<br/>窗口自注意力 + 大块 TTT 更新 + FF-MLP"]
    B --> D
    D --> E["非对称查询路由机制<br/>输入键值更新隐状态，目标只读查询"]
    E --> F["轻量化双层 MLP 解码头<br/>解码四元数/平移/焦距与新视角 RGB"]
    F --> G["联合预测输出<br/>高精度相机位姿 + 58.8 FPS 独立并行渲染"]

关键设计¶

1. 可学习相机标记与参考系归一化：解耦位姿参数与无偏序输入表征

传统前向重建模型往往强行将未知的相机外参融入空间位置编码，在未标定长序列下容易产生严重的几何混淆。LVSPM 针对这一痛点，将输入图像切分为 $p \times p$ 的图像 patch，线性投影为基础图像 token，并为每个视角显式附加一个可学习相机 token $c_i$。为了在缺乏绝对世界坐标系的条件下建立全局自洽的空间基准，模型将第一帧视角锚定为规范参考坐标系（Canonical Reference Frame），固定其平移为零向量、旋转为单位四元数，并为其赋予专属的参考相机标记 $c_r$；其余各帧则共享通用的相机标记 $c_x$。同时，模型在特征空间中根据第一帧至最远视角的相对距离实施场景尺度归一化，将整个输入序列约束在单位尺度空间中，并以相同比例缩放目标视角的几何上下文。这一设计使得自注意力机制能够在视线内部充分交换外观纹理与相机先验，避免了手工设计对极几何约束所带来的刚性误差。

2. 大块测试时训练主干与非对称查询路由：长序列稳定聚合与并行渲染解耦

标准全注意力机制在长序列多视角图像下面临二次方计算复杂度与显存爆炸，而传统递归或小块状态更新机制在数十帧连续输入后极易出现灾难性遗忘。LVSPM 引入大块测试时训练（Large-Chunk Test-Time Training, LaCT）作为核心骨干，在每个块内部配置由 SwiGLU-MLP 构成的 TTT 参数层。针对长序列输入，模型以聚合所有输入图像与相机 token 的大块尺度（默认达 8224 tokens）计算梯度并执行单次参数更新： $$G_l = \nabla_{\text{TTT-MLP}_l} \left( 1 - \text{TTT-MLP}_l(k_l) \cdot v_l^T \right)$$ 其中只有输入视角特征投影出的键（Key）和值（Value）参与梯度反向传播并更新动态权重，而目标新视角的射线 token 仅作为查询（Query）在更新后的 TTT-MLP 中执行前向变换。这种非对称 K/V 路由设计带来两大根本优势：一方面，大块单次更新有效抑制了多次小块迭代造成的局部几何过拟合与全局对齐漂移；另一方面，目标新视角之间完全无须相互交互，使得模型在推理时无论查询多少个目标视角，均可以 58.8 FPS 的高帧率实现完全独立、互不阻塞的高效并行渲染。

3. 视角合成逆向驱动的隐式几何自监督机制：无需稠密 3D 点云真值的几何校准

以 DUSt3R、VGGT 为代表的几何位姿估计方案高度依赖稠密 3D 点图（Point Maps）或深度真值，数据采集标注成本极高。LVSPM 提出并验证了一个核心反常识发现：高保真的新视角渲染本身即蕴含着对多视角几何对齐极其严苛的物理约束。在新视角合成任务中，如果模型在 LaCT 隐状态中学习到的场景几何或输入视角的相对位姿发生微小偏移，在目标视角的普吕克光线反投投影下就会导致巨大的光度重构误差与结构感知畸变。因此，通过在全局训练目标中联合优化 RGB 渲染损失与端到端稀疏相机位姿回归损失，新视角合成监督提供了足以媲美乃至超越显式 3D 点图的几何正则化信号，彻底消除了对稠密几何真值的依赖。

4. 轻量化解耦位姿解码头：摆脱重型跨帧交互的极简参数回归

对比 VGGT 等模型为实现位姿回归而引入沉重的帧注意力（Frame-Attention）与双向全注意力模块，LVSPM 在完成 24 层 LaCT 块的时空混合后，仅在最终的输出层为相机 token 配备极轻量级的双层多层感知机 $\text{MLP}_{\text{pose}}$。该解码头直接输出 9 维参数向量：包括表征旋转姿态的 4 维单位四元数 $r_i$、表征相机中心位置的 3 维平移向量 $t_i$，以及图像长宽方向的归一化有效焦距 $(\hat{f}^x_i, \hat{f}^y_i)$。由于 LaCT 块内的局部窗口注意力与全局 TTT 隐状态更新已经充分完成了多视角特征的深度协同，轻量化的输出头不仅显著降低了参数量（全模型仅 312M 参数），并且在严格阈值下的位姿估计精度甚至大幅反超了拥有复杂几何头的专用基线。

损失函数 / 训练策略¶

模型的整体训练损失由光度重构损失 $\mathcal{L}_{\text{rgb}}$、相机位姿损失 $\mathcal{L}_{\text{pose}}$ 以及相机内参损失 $\mathcal{L}_{\text{int}}$ 加权组成： $$\mathcal{L}_{\text{total}} = \lambda_{\text{rgb}} \mathcal{L}_{\text{rgb}} + \lambda_{\text{pose}} \mathcal{L}_{\text{pose}} + \lambda_{\text{int}} \mathcal{L}_{\text{int}}$$ 具体分项形式如下： $$\mathcal{L}_{\text{rgb}} = \|I_{\text{pred}} - I_{\text{gt}}\|_2^2 + \lambda_{\text{LPIPS}} \cdot \text{LPIPS}(I_{\text{pred}}, I_{\text{gt}})$$ $$\mathcal{L}_{\text{pose}} = \|t_{\text{pred}} - t_{\text{gt}}\|_2^2 + \|r_{\text{pred}} - r_{\text{gt}}\|_2^2$$ $$\mathcal{L}_{\text{int}} = \|\hat{f}^x_{\text{pred}} - \hat{f}^x_{\text{gt}}\|_2^2 + \|\hat{f}^y_{\text{pred}} - \hat{f}^y_{\text{gt}}\|_2^2$$

模型在 64 张 NVIDIA H100 GPU 上采用 PyTorch 实施三阶段渐进式训练：第一阶段在合成数据集 ASE 上以 $128 \times 128$ 分辨率进行 90k 次迭代预训练（32 输入视角与 32 目标视角）；第二阶段混合真实与合成场景（DL3DV-10K、ScanNet++、Hypersim、Co3Dv2）继续训练 60k 次迭代；第三阶段逐步将图像分辨率提升至 $512 \times 288$，并将训练规模扩展至 128 个输入视角和 64 个目标视角。得益于 TTT 隐状态随 token 流增量更新的优异外推特性，模型在训练时最多只接触 128 帧输入，而在推理阶段无须任何长序列微调即可直接零样本平滑扩展至 256 帧输入。

实验关键数据¶

主实验¶

为了更真实地反映无人机巡检、手持视频拍摄等实际场景，论文提出了“等时间间隔采样评估协议”（Equi-temporal Evaluation Protocol）：从视频序列前 $N/N_{\max}$ 的片段中均匀采样 $N$ 个输入视角，保证采样空间密度相对恒定，而视角数量增加直接对应于探索场景范围的成倍扩大，从而有效隔离了场景尺度扩大与观测密度增加的耦合影响。

在具有大尺度连续室内外场景的 DL3DV-10K 数据集上，LVSPM 在 16 至 256 视角跨度下的相机位姿估计精度（AUC 评价指标，在 $3^\circ, 5^\circ, 30^\circ$ 下双重判定旋转和位移误差）与新视角合成质量如下表所示。

表 1：DL3DV-10K 上跨 16 至 256 输入视角的相机位姿估计结果（AUC↑）

方法	稠密3D监督	16 views AUC3	16 views AUC5	16 views AUC30	64 views AUC3	64 views AUC5	128 views AUC3	128 views AUC5	256 views AUC3	256 views AUC5	256 views AUC30
Cut3R	是	48.8	60.5	88.2	52.2	64.1	34.1	48.2	19.2	31.4	73.0
Fast3R	是	22.7	34.0	75.2	26.9	39.6	14.8	24.7	8.0	15.3	52.4
Flare	否	60.6	69.9	90.4	76.2	82.5	74.0	80.8	71.1	79.1	92.8
VGGT	是	74.7	81.9	94.7	85.5	89.4	84.1	88.2	83.6	87.9	95.2
TTT3R	否	51.4	63.3	89.3	58.7	68.8	46.5	58.8	36.5	50.7	83.3
DA3	是	84.0	88.7	96.2	86.1	90.0	84.5	89.1	83.8	88.5	95.3
LVSPM (本文)	否	88.4	91.6	96.9	92.0	93.5	90.0	92.0	90.1	92.1	95.7

表 2：DL3DV-10K 上跨 16 至 256 视角的新视角合成表现（PSNR↑ / SSIM↑ / LPIPS↓）

方法	位姿输入设定	16 views PSNR	16 views SSIM	16 views LPIPS	64 views PSNR	64 views SSIM	128 views PSNR	128 views SSIM	256 views PSNR	256 views SSIM	256 views LPIPS
DepthSplat	依赖已知 GT 位姿	24.80	0.849	0.134	18.39	0.617	– (显存/设计崩溃)	–	–	–	–
AnySplat	无需位姿 (Pose-Free)	23.15	0.757	0.158	20.52	0.643	19.45	0.593	18.55	0.543	0.339
LVSPM (本文)	无需位姿 (Pose-Free)	25.77	0.811	0.152	24.33	0.752	23.31	0.710	22.09	0.654	0.250

在 RealEstate10k 与 Co3Dv2 的位姿评测中，LVSPM 同样取得了压倒性优势。在 RE10k 上，16 视角下 LVSPM 的 AUC3 达到 40.0（VGGT 仅为 14.0），128 视角下 AUC3 达到 61.3（VGGT 为 20.6，Flare 为 35.9）；在 Co3Dv2 128 视角下，LVSPM AUC3 达到 68.8，AUC5 达到 76.6，全面超越依赖大模型教师蒸馏和密集几何监督的 DepthAnything3（AUC3 65.7，AUC5 75.3）。

消融实验¶

论文在 DL3DV-10K 与 ASE 合成数据集上（固定 32 输入视角与 32 目标视角）进行了系统的消融分析，验证各模块与监督信号对位姿估计及渲染质量的贡献。

表 3：DL3DV-10K 与 ASE 数据集上的核心设计消融实验

数据集	配置 / 变体	AUC30 ↑	AUC5 ↑	AUC3 ↑	PSNR ↑	SSIM ↑	LPIPS ↓	核心说明
DL3DV	w/o Syn (无合成预训练)	92.7	84.3	79.9	20.08	0.589	0.267	缺乏大规模合成数据先验，真实场景位姿与渲染均明显下降
DL3DV	Full Model (完整模型)	94.5	85.6	80.2	21.12	0.638	0.222	联合合成预训练能有效提升对真实复杂场景的泛化表征能力
ASE	w/o RGB (移除 NVS 渲染监督)	87.9	62.6	50.9	–	–	–	极为关键：AUC3 暴跌 21.0 点，证明渲染监督是高精位姿的基石
ASE	Half Chunk size (分块减半为4112并迭代2次)	88.3	74.3	67.9	24.98	0.702	0.263	多次小块更新引发局部遗忘与全局不一致，位姿明显受损
ASE	12 TTT layers (主干深度减半)	90.1	69.2	59.3	24.18	0.673	0.288	模型参数容量受限，难以同时兼顾长序列几何对齐与纹理重建
ASE	Ours Full (完整架构)	93.7	79.5	71.9	25.01	0.701	0.257	单次大块 8224 token 更新与 24 层 LaCT 取得最优综合指标

关键发现¶

NVS 渲染监督是几何位姿估计的“强心剂”：去掉 RGB 重建监督后（w/o RGB），位姿 AUC3 指标直接从 71.9 骤降到 50.9（跌幅高达近 30%）。这强有力地推翻了“位姿估计必须依赖 3D 几何点图真值”的传统假说，证明图像渲染误差的反传能迫使 TTT 隐状态形成极其精确的多视角几何对齐。
大块单次更新远优于小块多次累积：将块大小减半并更新两次（Half Chunk size），位姿 AUC3 从 71.9 跌落至 67.9。这表明高频频繁更新测试时参数容易导致灾难性遗忘，使网络在局部小视角间过拟合，而单次大上下文覆盖（8224 tokens）能够维持全局统一的坐标一致性。
长序列大场景下的优雅扩展性：在等时间间隔评测中，随着输入视角从 16 帧增加到 256 帧（场景物理空间覆盖扩大 16 倍），基线 Fast3R 和 Cut3R 的位姿 AUC3 分别崩塌至 8.0 和 19.2，DepthSplat 在超过 64 帧后直接无法运行；而 LVSPM 依然维持在 90.1 的极高 AUC3 水平，PSNR 仅出现 3.68 dB 的温和衰减，相对于 AnySplat 的领先优势由 +2.62 dB 进一步扩大到 +3.54 dB。
推理速度与计算效率：在处理 256 帧长序列时，Fast3R、Cut3R 和 VGGT 等传统几何/注意力基线耗时超过 10 秒（VGGT 达 13.6 秒），而 LVSPM 在单个 H100 GPU 上的前向位姿推理耗时低于 2 秒（约 1.78 秒），且独立新视角渲染速度高达 58.8 FPS，呈现近乎线性的序列复杂度。

亮点与洞察¶

渲染即几何的极简监督闭环：该工作最引人入胜的洞见在于揭示了多视角 RGB 渲染监督对相机姿态估计的强大几何反哺作用。以往领域往往认为只有显式监督 3D 点云或深度才能学好位姿，LVSPM 用严谨的消融实验打破了这一观念，为构建低成本、易扩展的大规模 3D 基础模型指明了方向。
非对称 K/V 查询路由设计：通过让输入多视角 token 产生键值更新 TTT 权重，而让目标射线 token 仅作为只读查询通过更新后的网络，巧妙地将“全局场景表征构建”与“独立新视角生成”彻底解耦，实现了渲染视角数量无关的 58.8 FPS 极速推断。
大块 TTT 对 3D 隐式记忆的适配性：将测试时训练框架从一维语言建模成功移植至非结构化多视角几何视觉中，通过长序列大块更新构建紧凑的隐式神经场景表征，既规避了 3D 显式表征（如高斯点云、体网格）的巨额显存占用，又保持了超强的序列扩展能力。

局限与展望¶

作者承认的局限：目前模型依赖渐进式的三阶段训练流水线（合成预训练 → 混合微调 → 高分辨率大尺度提升），训练工程链路较为复杂；此外在面临极端光照剧烈变化或大面积无纹理白墙场景时，由于缺乏特征关联，几何推理与渲染稳定性依然会发生下降。
实验假设与泛化局限：模型在测试时假定首帧作为参考系且场景尺度通过最远点距离进行了标准化。当输入序列存在严重的闭环漂移、或者相机路径存在大幅往返折返时，单向增量积累的 TTT 隐状态是否会出现微小的全局累积扭曲仍有待长期深入检验；此外，模型输出位姿未与物理绝对米制尺度严格对齐。
具体改进思路：探索完全自监督的联合预训练范式，将光度一致性与自监督特征对应相结合以完全脱离真值外参监督；引入双向循环回环检测机制（Loop Closure Token）以消除超长轨迹上的累积漂移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将大块测试时训练（LaCT）与可学习相机标记相结合，打破传统对稠密 3D 点云监督的依赖，实现前向联合位姿估计与新视角合成。
实验充分度: ⭐⭐⭐⭐⭐ 在 DL3DV、RE10k、Co3Dv2 等权威数据集上展开细致测试，独创等时间间隔评估协议，涵盖跨 16-256 视角的全面对比与深入消融。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰明确，叙事逻辑严密，图表对比详实且洞见深刻。
价值: ⭐⭐⭐⭐⭐ 证明了廉价的新视角渲染监督足以替代昂贵的密集 3D 几何监督，为开放场景无标定长序列三维重建与渲染树立了崭新标杆。