CLoSeR: Closing the Loop for Long-Context Streaming Reconstruction¶

会议: NeurIPS 2026
arXiv: 2610.01927
代码: https://github.com/MoyangLi00/CLoSeR
领域: 机器人
关键词: 流式三维重建, 前馈大模型, 回环检测, 位姿图优化, 长程尺度一致性

一句话总结¶

针对前馈流式三维重建模型在长序列中累积漂移严重的难题，CLoSeR 巧妙利用流式主干的尺度一致性与非时序连续推理特性，构建回环条件窗口并在 $\mathrm{SE}(3)$ 流形上执行位姿图优化，实现了公里级无漂移单目重建。

研究背景与动机¶

从单目图像序列中在线恢复精确的相机轨迹与稠密场景几何，是具身机器人与自动驾驶中的基石任务。传统视觉 SLAM 与 SfM 流程通常依赖特征匹配、光度误差最小化或复杂的因子图后端优化，在面对长序列时通过回环检测和位姿图优化来纠正累积漂移。近期以 DUSt3R、VGGT 为代表的前馈几何大模型彻底革新了三维重建范式，能够直接端到端预测密集点云与相机位姿，但在处理公里级超长视频流时，全注意力机制的二次计算复杂度使其无法直接扩展。

为了支持长序列流式推理，学术界演化出两大主要技术路线，但均存在显著短板。其一是基于子地图（submap）分块的独立重建方案（如 VGGT-SLAM、VGGT-Long），将长序列切分为局部片段分别前向推理后再通过重叠帧点云配准进行拼接并施加回环约束；然而各子地图由独立前向预测生成，尺度漂移严重且点云匹配极易受噪声干扰，迫使系统必须在自由度过高的 $\mathrm{Sim}(3)$ 甚至 15 自由度的 $\mathrm{SL}(4)$ 射影流形上进行病态位姿优化。其二是基于全局状态在线更新或测试时训练（Test-Time Training, TTT）的高效流式模型（如 LoGeR、TTT3R、CUT3R），虽然通过滑动窗口注意力与 TTT 快权实现了线性复杂度的上下文传递与全局尺度对齐，但由于显式重访几何约束的缺失以及 TTT 隐式记忆的不可逆压缩损失，在遭遇大闭环或重访旧区域时仍会不可避免地积累跟踪漂移，导致三维地图出现严重重影和几何错位。

本文的切入视角非常敏锐：既然基于 TTT 的流式骨干已经能够跨窗口维持全局统一的绝对尺度，为什么还要退化到复杂的相似变换甚至射影变换流形上做脆弱的点云配准？核心 idea：充分复用流式主干对输入帧时间连续性无强制要求的特性，利用全局特征检索挖掘回环帧并构造交织的「回环条件窗口」，直接以前馈推理提取全局尺度一致的相对位姿约束，从而仅需在刚体变换 $\mathrm{SE}(3)$ 流形上执行高效位姿图优化即可闭合全局长程大回环。

方法详解¶

整体框架¶

CLoSeR 系统以单目视频流为输入，以预训练的流式前馈重建模型 LoGeR 为基础骨干，无需额外微调网络参数。系统采用滑动窗口方式逐步前向推进，包含局部窗口前馈重建、全局紧凑描述子回环检索、回环条件窗口构建、前馈相对位姿约束推理，以及全局 $\mathrm{SE}(3)$ 位姿图优化五个紧密协同的核心环节。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目视频流输入"] --> B["滑动窗口流式推理<br/>DINO特征 + SWA窗口对齐 + TTT全局记忆"]
    B --> C["全局描述子回环检测<br/>SALAD特征余弦相似度 + 时间间隔阈值过滤"]
    C -->|命中回环候选帧对| D["回环条件窗口构建<br/>配对当前窗口与历史窗口各 N_win/2 帧"]
    D --> E["前馈相对位姿约束推理<br/>单次前向直接输出统一尺度下的相对变换 T_loop"]
    B --> F["时序序列约束边 E_seq<br/>局部临近 N_seq 帧相对位姿"]
    E --> G["全局 SE(3) 位姿图优化<br/>Huber鲁棒核函数抑制异常回环 + LM流形求解"]
    F --> G
    G --> H["全局一致的公里级无漂移轨迹与密集几何"]

在系统推断过程中，对于每个到来的滑动窗口，DINO 编码器提取图像表征，结合帧内注意力、跨窗口滑动注意力（SWA）以及 TTT 模块完成局部状态更新并输出相机位姿和稠密点云。同时，SALAD 描述子提取器在线构建全局检索库并检测与历史帧的重访关联；一旦触发回环判定，系统即刻生成混合了当前帧与历史帧的回环条件窗口，送入同一流式主干计算精准的刚体相对约束，最后与局部时序边联合输入位姿图后端求解最优绝对位姿。

关键设计¶

1. 全局描述子回环检索：以紧凑视觉特征捕捉长时重访 在连续流式推理中，仅靠局部滑动窗口无法获知当前帧是否穿越了数分钟甚至数公里前经过的历史区域。为实现低延迟且高召回的重访发现，CLoSeR 引入 SALAD 视觉位置识别网络，在每个新窗口 $\mathcal{W}^{\text{cur}}$ 到达时，为其中的每一帧 $\mathbf{I}_j$ 提取紧凑的全局特征描述子 $\mathbf{d}_j^{\text{cur}}$。系统将新提取的描述子与历史所有帧的描述子库计算余弦相似度 $s(\mathbf{d}_j^{\text{cur}}, \mathbf{d}_i^{\text{prev}}) = \frac{\mathbf{d}_j^{\text{cur}} \cdot \mathbf{d}_i^{\text{prev}}}{\|\mathbf{d}_j^{\text{cur}}\|_2 \|\mathbf{d}_i^{\text{prev}}\|_2}$。为了滤除时间临近引起的视差伪匹配并保证候选对质量，必须同时满足时序间隔约束 $j - i > \tau_{\text{time}}$（实验中设为 4 倍窗口大小）以及相似度截断阈值 $s > \tau_{\text{sim}}$（设为 0.7）。对每帧保留 Top-$k$（$k=5$）最相似的历史帧，构成候选回环对集合： $$\mathcal{C}_k = \bigcup_{j} \left\{ (\mathbf{I}_j, \mathbf{I}_i) \;\middle|\; i \in \mathrm{Top}_k\left(s(\mathbf{d}_j^{\text{cur}}, \mathbf{d}_i^{\text{prev}})\right), \; s(\mathbf{d}_j^{\text{cur}}, \mathbf{d}_i^{\text{prev}}) > \tau_{\text{sim}}, \; j - i > \tau_{\text{time}} \right\}$$ 这种基于紧凑全局向量的设计无需昂贵的密集点云匹配，计算开销仅占总推理耗时的 5.16%，却能高灵敏度捕捉潜在的宏观闭环。

2. 回环条件窗口构建：打破时序连续性假设的联合推理 传统流式模型普遍假定输入帧序列具有连续的物理时序，难以直接评估跨越数万帧的两组非连续视点。CLoSeR 敏锐发掘了 LoGeR 的架构特性：其注意力与前馈推理机制在块级别并不严格强求帧与帧之间的物理时钟连续性。针对与当前窗口 $\mathcal{W}^{\text{cur}}$ 存在回环关联的各历史窗口 $\mathcal{W}_m^{\text{prev}}$，系统分别构建关联边集合 $\mathcal{L}_m = \{(\mathbf{I}_j, \mathbf{I}_i) \in \mathcal{C}_k \mid \mathbf{I}_j \in \mathcal{W}^{\text{cur}}, \mathbf{I}_i \in \mathcal{W}_m^{\text{prev}}\}$。为使窗口尺寸适配预训练模型的固定容量 $N_{\text{win}}$，算法从当前窗口中选出参与匹配程度最高的 $N_{\text{win}}/2$ 帧构成子集 $\mathcal{S}_m^{\text{cur}}$，并从历史窗口中挑选相似度最高的 $N_{\text{win}}/2$ 帧构成 $\mathcal{S}_m^{\text{prev}}$（不足时由窗口内相邻帧自然补齐），组合成统一的「回环条件窗口」： $$\tilde{\mathcal{W}}_m = \mathcal{S}_m^{\text{cur}} \cup \mathcal{S}_m^{\text{prev}}$$ 这一构造既保留了各自局部的时序几何线索，又强制模型在单次前向计算中对两个远距离视点进行跨视图几何关联。通过向主干网络送入 $\tilde{\mathcal{W}}_m$，模型在前向过程中直接预测两组帧在同一参考坐标系下的位姿 $\mathbf{T}_j^{(m)}$ 与 $\mathbf{T}_i^{(m)}$，由此获得跨回环的相对刚体变换约束： $$\mathbf{T}_{ji}^{\text{loop}} = \bigl(\mathbf{T}_j^{(m)}\bigr)^{-1} \mathbf{T}_i^{(m)}$$ 避免了先估计不可靠点云再进行点云 ICP 配准的误差级联缺陷。

3. 尺度一致驱动的 $\mathrm{SE}(3)$ 位姿图优化：舍弃高维变换病态求解 以往以 VGGT-SLAM 或 VGGT-Long 为代表的框架之所以必须在 7 自由度的 $\mathrm{Sim}(3)$ 或 15 自由度的 $\mathrm{SL}(4)$ 射影流形上进行复杂的非线性优化，本质上是因为其子地图独立计算导致各片段之间尺度未知且严重漂移。而 CLoSeR 依赖的流式主干具有长期尺度锚定特性（TTT 记忆保证了跨窗口尺度误差仅 5.8%–6.5%），使得各窗口间的相对位姿天生处于统一的绝对尺度下。因此，位姿图优化完全不需要搜索尺度变换参数，仅在 6 自由度刚体流形 $\mathrm{SE}(3)$ 上求解即可达到极佳收敛稳定性。全局位姿优化目标由局部时序邻接边 $\mathcal{E}_{\text{seq}}$（每个位姿与其前后的 $N_{\text{seq}}=4$ 个邻居连边）与回环边 $\mathcal{E}_{\text{loop}}$ 组成： $$\{\mathbf{T}_t^*\} = \arg\min_{\{\mathbf{T}_t\}} \sum_{(q,p)\in\mathcal{E}_{\text{seq}}} \left\| \text{Log}_{\mathrm{SE}(3)}\!\left((\mathbf{T}_{qp}^{\text{seq}})^{-1} \mathbf{T}_q^{-1} \mathbf{T}_p\right) \right\|_2^2 + \sum_{(j,i)\in\mathcal{E}_{\text{loop}}} \rho_\delta\!\left( \left\| \text{Log}_{\mathrm{SE}(3)}\!\left((\mathbf{T}_{ji}^{\text{loop}})^{-1} \mathbf{T}_j^{-1} \mathbf{T}_i\right) \right\| \right)$$ 其中 $\text{Log}_{\mathrm{SE}(3)}(\cdot): \mathrm{SE}(3) \to \mathbb{R}^6$ 将李群元素映射到李代数正切向量，$\rho_\delta(\cdot)$ 为 Huber 鲁棒核函数（阈值为 $\delta$），用于强力抑制由于极端遮挡或误检索带来的假阳性回环异常值。目标函数采用 Levenberg-Marquardt 算法迭代求解，每次迭代沿李代数切空间更新位姿 $\mathbf{T}_t \leftarrow \mathbf{T}_t \exp(\boldsymbol{\xi}_t^\wedge)$，以极小的计算开销迅速拉直整条轨迹并闭合回环。

实验关键数据¶

主实验¶

论文在极具挑战性的罗马室外超长轨迹数据集 VBR（平均轨迹长度 2.31 km，最高达 5.2 km）、自动驾驶标准评测集 KITTI Odometry（最高 5.1 km）、超长室内外重访基准 Oxford Spires（多达 15,803 帧），以及包含动态行人的真实场景 DROID-W 上进行了全方位对比。评测指标采用 Sim(3) Umeyama 对齐后的绝对轨迹均方根误差（ATE RMSE [m]）。

数据集 / 序列	序列特征 (帧数 / 里程)	CLoSeR (本文)	LoGeR (基础前馈模型)	VGGT-SLAM 2.0 (前馈子地图)	DPV-SLAM++ (优化类SOTA)	性能提升 (相对LoGeR)
VBR `colosseo_0`	8,815 帧 / 1.45 km	14.23 m	25.60 m	102.25 m	55.47 m	误差降低 44.4%
VBR `campus_0`	12,042 帧 / 2.73 km	7.43 m	19.53 m	26.57 m	11.90 m	误差降低 62.0%
VBR `campus_1`	11,671 帧 / 2.95 km	3.71 m	28.90 m	22.42 m	13.11 m	误差降低 87.2%
VBR `pincio_0`	11,142 帧 / 1.27 km	9.78 m	28.11 m	47.05 m	101.84 m	误差降低 65.2%
VBR `spagna_0`	14,141 帧 / 1.56 km	13.04 m	23.04 m	59.91 m	34.12 m	误差降低 43.4%
VBR `diag_0`	10,021 帧 / 1.02 km	12.92 m	35.01 m	36.00 m	74.69 m	误差降低 63.1%
VBR `ciampino_1`	18,846 帧 / 5.20 km	16.93 m	92.94 m	51.53 m	59.47 m	误差降低 81.8%
VBR 平均 (Avg.)	12,383 帧 / 2.31 km	11.15 m	36.16 m	49.39 m	50.09 m	整体误差降低 69.2%
KITTI 平均 (11序列)	2,109 帧 / 2.0 km	12.79 m	25.44 m	54.87 m	53.03 m	整体误差降低 49.7%
Oxford Spires 平均	8,051 帧 / 539 m	5.26 m	6.88 m	7.69 m	–	整体误差降低 23.5%
DROID-W 平均 (动态)	1,831 帧 / 101 m	0.75 m	1.44 m	7.31 m	1.64 m	整体误差降低 47.9%

消融实验¶

论文在 VBR 数据集上对位姿图优化流形的选择、邻域时序边密度以及鲁棒核函数的作用进行了深入消融，证明了各项系统设计的必要性与优越性。

模型配置 / 消融变体	ATE RMSE [m] ↓	相对完整模型的变化	设计机理解析与说明
(a) 基础骨干 LoGeR (w/o 回环检测与优化)	36.16 m	误差恶化 +224.3%	缺乏显式重访几何约束，超长序列下累积漂移显著发散
(b) 仅单邻居时序约束 ($N_{\text{seq}}=1$)	14.25 m	误差上升 +27.8%	时序边密度不足，局部轨迹约束刚度较弱，抗噪能力下降
(c) 移除 Huber 鲁棒损失 (采用普通 $L_2$ 范数)	14.15 m	误差上升 +26.9%	无法有效抑制误检回环导致的假阳性异常位姿跳变
(d) 引入 $\mathrm{Sim}(3)$ 尺度自由度优化	13.33 m	误差上升 +19.6%	引入多余的尺度优化变量，破坏了流式主干已有的尺度一致性
(e) 引入 $\mathrm{SL}(4)$ 15自由度射影流形优化	20.36 m	误差恶化 +82.6%	射影自由度过高产生严重欠约束病态解，导致轨迹畸变
Full method (完整 CLoSeR 模型)	11.15 m	基准最佳	全要素协同：前馈回环窗口 + SE(3) 流形优化 + Huber 核

关键发现¶

流形自由度越小反而越优：将位姿图优化从 $\mathrm{SE}(3)$ 提升至带有尺度因子的 $\mathrm{Sim}(3)$（误差从 11.15 m 恶化至 13.33 m）或 15 自由度的 $\mathrm{SL}(4)$（误差骤增至 20.36 m），精度非但没有提高反而大幅下跌。这实证了流式主干本身已具备优异的尺度维持能力，过度放宽变换自由度只会引入参数病态歧义。
运行效率与显存双赢：在 KITTI 数据集上，CLoSeR 相比 LoGeR 仅带来 6.3% 的吞吐量降低（7.12 FPS vs. 7.60 FPS），位姿图优化仅占总耗时的 1.12%，回环检测占 5.16%，并且由于更加规范的流式显存回收，峰值显存反而从 16.65 GiB 优化降至 15.69 GiB。
跨窗口尺度误差极低：在跨窗口尺度一致性分析中，CLoSeR 在常规窗口与回环窗口的相对尺度误差分别仅为 5.8% 与 6.5%，而基于子地图配准的 VGGT-SLAM 2.0 在回环窗口下的尺度误差高达 147.2%，印证了前馈回环条件窗口的绝对几何对齐优势。

亮点与洞察¶

大道至简的约束形式设计：摒弃了以往子地图方案中昂贵、易错的 3D 点云 ICP 配准与高维射影对齐，直接利用前馈大模型的特征联想能力在像素级窗口内前向恢复相对刚体位姿，展示了「前馈端到端几何表征 + 经典后端因子图」结合的强大生命力。
非连续帧组合的奇妙泛化：敏锐利用模型未硬编码时间连续性的内在机理，将时空跨度极大的两组视频块拼接成半对半的伪连续窗口送入网络，低成本破解了前馈几何大模型无法处理长时闭环的天然缺陷。
直接可迁移的即插即用范式：该流程无需微调前馈神经网络权重，任何具备连续尺度保持能力的视频几何大模型（如基于状态空间模型或 TTT 的流式架构）均可无缝嵌入该回环机制，快速赋能到大尺度机器人建图任务中。

局限与展望¶

极端退化场景依赖前端鲁棒性：作为建立在 LoGeR 之上的外层回环框架，若单目视觉前端由于极度剧烈的剧烈晃动、全动态遮挡或强逆光发生彻底的里程计跟踪发卡和几何塌陷，后端的位姿图优化无法凭空恢复完全失锁的轨迹片段。
回环窗口构造仍受限于固定上下文长度：当前构造的回环窗口平分当前帧与历史帧（各占 $N_{\text{win}}/2$），在场景极度复杂、需要整合多历史时相信息时，固定的窗口容量可能会限制多回环复合约束的充分表达。
未来方向：未来可进一步研究将光流置信度或几何一致性先验引入回环权重计算，并将框架拓展到多机协同建图（Multi-Agent Collaborative SLAM）及边缘端低功耗在线部署场景中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [巧妙发掘流式主干的尺度一致性与非时序推理特性，构建回环条件窗口与 SE(3) 流形优化，架构思路简洁精妙]
实验充分度: ⭐⭐⭐⭐⭐ [横跨 VBR、KITTI、Oxford Spires、DROID-W 四大公里级长序列与动态基准，对比覆盖所有前沿模型与 SLAM 经典，消融全面深入]
写作质量: ⭐⭐⭐⭐⭐ [问题拆解极其清晰，对尺度歧义与流形选择的推导令人信服，图表精良严谨]
价值: ⭐⭐⭐⭐⭐ [成功打通了前馈三维重建大模型走向真实大规模、无漂移机器人巡检与自动驾驶实用的关键瓶颈]