Horizon-Stream: Long-Horizon Attention for Streaming 3D Reconstruction¶

会议: NeurIPS 2026
arXiv: 2605.23889
代码: https://3dagentworld.github.io/horizonstream/
领域: 重建与渲染
关键词: 流式三维重建、几何注意力机制、长序列泛化、线性注意力、度量尺度估计

一句话总结¶

针对流式 3D 重建中因历史信息同质化衰减引发的长序列漂移与崩溃问题，HorizonStream 将几何传播形式化为证据影响核并做时空解耦，通过可学习通道级衰减率的几何线性注意力维持有界循环状态，仅用 48 帧片段训练即稳定外推至万帧序列。

研究背景与动机¶

在线流式三维重建要求在因果时序和有界内存约束下连续估计相机轨迹与场景几何，是具身智能、机器人自主导航和自动驾驶的核心底层能力。传统的优化类视觉里程计或 SLAM 方法依赖耗时的迭代求解，吞吐量受限；而近年来以前馈方式为主的离线重建模型（如 DUSt3R、VGGT 等）虽然具备优异的全局一致性，但通常依赖全注意力或双向非因果感知，无法直接应用于实时的单向视频流。现有的流式重建方法将因果注意力引入长序列时，往往面临严重的轨迹漂移、位姿抖动甚至几何崩溃。

造成这一退化现象的根本症结在于：现有架构通常纯粹依据「时间邻近性（recency）」来管理历史上下文，忽视了几何证据固有的时间异质性。在流式建图中，不同性质的几何证据具有截然不同的有效生命周期——局部的图像 2D-3D 对应关系会随着相机位移迅速失效（短生命周期），而全局度量尺度与刚性结构先验则必须跨越长时程保持可靠（长生命周期）。现有流式架构却强行对所有几何特征施加均一的传播规则：滑动窗口施加硬截断丢弃了宝贵旧先验，因果 Softmax 注意力退化为注意力汇聚（Attention Sinks）并带来 \(O(t)\) 的显存爆炸，无门控的循环状态又会引发不受控的重尾误差累积与状态污染。

本文将几何传播过程建模为一个空时联合的「几何证据影响核」，把上述长序列失败归结为病态核形状。核心 idea：将几何证据影响核显式解耦为长程时间核与短程空间核——跨窗口使用带有通道级指数衰减率的几何线性注意力维护 \(O(1)\) 有界循环状态，窗口内通过空间局部注意力与空时 RoPE 完成鲁棒稠密匹配，并结合度量读出标记直接从长生命周期通道稳定恢复尺度与位姿。

方法详解¶

整体框架¶

HorizonStream 采用因果序列处理架构，其骨干网络基于 ViT-L 初始化（结合 VGGT 与 DINOv2 特征），在局部处理阶段仅维护当前长度为 \(W\)（默认为 10）的滑动帧窗口。整体流水线在每层交替执行帧内注意力与全局交互，并将时间影响机制清晰地分解为时空证据影响核：

\[K(t, i) = K_{\mathrm{spatial}}(t, i) \cdot K_{\mathrm{time}}(t, i)\]

其中 \(K_{\mathrm{time}}\) 通过几何线性注意力在不同通道维持具有不同有效时间尺度的 \(O(1)\) 循环状态矩阵 \(\mathbf{S}_t \in \mathbb{R}^{d \times d}\)，解决跨窗口几何沉淀与更新问题；\(K_{\mathrm{spatial}}\) 则通过局部几何注意力和头部可靠性门控在当前窗口内筛选高质量的 3D 匹配点，抑制注意力汇聚；最终由度量读出标记（MRT）从持久状态中抽取度量尺度，驱动相对位姿融合网络输出高精度全局轨迹与稠密深度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入因果视频流<br/>当前滑动窗口 W 帧"] --> B["几何局部注意力<br/>空时RoPE相对编码 + 头部可靠性门控"]
    B --> C["几何线性注意力<br/>通道级指数衰减更新 O(1) 循环状态矩阵"]
    C --> D["度量读出标记与位姿融合<br/>MRT尺度恢复 + 窗口内多候选相对位姿聚合"]
    D --> E["流式几何输出<br/>相机位姿 SE(3) + 绝对尺度深度图 + 稠密点云"]

关键设计¶

1. 几何线性注意力：基于贴现状态估计的有界多时间尺度记忆 针对传统线性注意力与测试时训练（TTT）在无限流式场景下状态范数线性增长、初始状态永久污染（零遗忘污染）的问题，该设计引入具有通道级贴现因子的几何状态估计目标：

\[\mathbf{S}_t = \mathrm{diag}(\boldsymbol{\gamma}_t) \mathbf{S}_{t-1} + \phi(\mathbf{k}_t) \tilde{\mathbf{v}}_t^{\top}\]

衰减向量 \(\boldsymbol{\gamma}_t = \sigma(\mathbf{W}_{\gamma} \mathbf{x}_t + \mathbf{b}_{\gamma}) \in (0, 1)^d\) 由当前特征自适应预测。每个通道 \(c\) 对应独立的特征半衰期与有效记忆视野 \(\tau^{(c)} = -1 / \log \bar{\gamma}^{(c)}\)。这种通道级连续谱机制使得网络自然将状态矩阵拆解为“快变通道”（低 \(\gamma\)，用于短时对应与局部运动过滤）与“慢变通道”（高 \(\gamma\)，用于存储宏观场景几何结构与度量基准）。数学证明表明，当上确界 \(\bar{\gamma} < 1\) 时，状态矩阵的 Frobenius 范数严格有界（\(\limsup_{t\to\infty} \|\mathbf{S}_t\|_F \le B_k B_v / (1-\bar{\gamma})\)），且初始状态残余按指数衰减为零，无需依靠暴力清空缓存即可彻底杜绝记忆饱和。

2. 几何局部注意力：空时 RoPE 与头部可靠性门控 在局部窗口内部，单纯依靠线性压缩状态无法保证高精度的 2D-3D 几何对应。该设计在窗口内应用全注意力计算局部空间核 \(K_{\mathrm{spatial}}\)，并从两个维度重塑局部注意力：首先将旋转位置编码（RoPE）拓展为时间、高度、宽度三轴正交的三维空时 RoPE，把特征向量切分为三段并施加相对时空坐标旋转偏置，使注意力机制严格感知帧间相对几何与空间拓扑；其次引入基于均值池化窗口特征的头部可靠性门控 \(g_h = \sigma(\mathbf{W}_g \bar{\mathbf{x}} + b_g)\)，对每个注意力头的输出进行动态缩放。此门控能够自动抑制因局部重复纹理、快速运动退化或早期不相关标记导致的注意力汇聚（Attention Sinks），保障局部几何特征干净地注入全局循环记忆。

3. 度量读出标记与相对位姿融合：无尺度漂移的刚性位姿解耦 传统的自回归位姿估计大多采用关键帧串联累加，尺度与旋转误差会在长程运动中剧烈放大。HorizonStream 在每帧序列中引入专用的可学习度量读出标记（MRT），该标记不参与局部时空编码（偏置设为零），直接在几何线性注意力中查询持久循环状态中的高维持率（慢变）通道，并通过轻量尺度预测头回归绝对尺度因子 \(\hat{s} = \exp(g(\mathbf{z}^{\mathrm{metric}}))\)，统一缩放平移向量 \(\hat{\mathbf{t}} = \hat{s} \cdot \hat{\mathbf{t}}^{\mathrm{raw}}\) 与深度预测值 \(\hat{D} = \hat{s} \cdot \hat{D}^{\mathrm{raw}}\)。对于帧间相机位姿，模型使用轻量级 Transformer 聚合局部窗口内的所有位姿标记，迭代执行多轮残差校准，输出当前帧相对于窗口上下文的稳健相对位姿，避免了长序列单步因果外推引起的位姿颤抖。

损失函数 / 训练策略¶

模型采用多任务联合监督目标函数：

\[\mathcal{L} = \lambda_{\mathrm{pose}} \mathcal{L}_{\mathrm{pose}} + \lambda_{\mathrm{depth}} \mathcal{L}_{\mathrm{depth}} + \lambda_{\mathrm{scale}} \mathcal{L}_{\mathrm{scale}}\]

其中平移与深度采用几何尺度归一化；深度损失采用置信度加权的 SmoothL1 损失；尺度损失仅在具有真实绝对物理尺度的样本子集上计算。训练机制高度贴合流式推理：全流程在包含 24 个多样化真实/合成数据集的大规模混合语料上进行两阶段训练。每个训练序列仅使用包含 48 帧的短视频片段，并以 21 帧为块（chunk）沿因果时序滑动更新状态矩阵，证明了模型无需接触超长训练序列即可学习到具有无限外推特性的通道衰减动力学规律。

实验关键数据¶

主实验¶

在多项极具挑战性的室内外数据集上全面评估全序列因果流式重建能力，包含 KITTI（自动驾驶长程轨迹）、VBR（罗马城万帧超长街景）以及 ETH3D/Oxford Spires 等稠密重建基准。

表 1：KITTI 自动驾驶数据集平均绝对轨迹误差（ATE，单位：米 ↓）

方法类型	方法	平均 ATE (m) ↓	显存复杂度	是否需要重置
传统/优化类	COLMAP	37.79	\(O(N^2)\)	否
传统/优化类	DROID-SLAM	50.71	\(O(W)\)	否
离线前馈类	VGGT-Long	25.94	\(O(N)\) 分块	否
离线前馈类	LoGeR* (优化版)	16.35	\(O(N)\)	是
流式前馈基线	STream3R	227.77	\(O(1)\)	否
流式前馈基线	StreamVGGT	226.15	\(O(1)\)	否
流式前馈基线	CUT3R (无重置)	209.78	\(O(1)\)	否
流式前馈基线	CUT3R (带重置)	91.62	\(O(1)\)	是
流式前馈基线	TTT3R (带重置)	72.86	\(O(1)\)	是
流式前馈基线	LongStream	51.90	\(O(1)\)	是
流式前馈基线	Lingbot-map	25.29	\(O(N)\) 键帧	否
本文流式方法	HorizonStream (Ours)	19.75	\(O(1)\)	否
本文流式方法	HorizonStream w/ LC (Ours)	16.44	\(O(1)\)	否

表 2：跨基准稠密三维重建 Chamfer Distance (CD ↓) 与 F1-Score (↑)

方法	ETH3D (CD ↓)	ETH3D ([email protected] ↑)	Oxford (CD ↓)	Oxford (F1@4 ↑)	7Scenes (CD ↓)	7Scenes ([email protected] ↑)
StreamVGGT	1.86	0.14	15.45	0.27	6.23	0.66
STream3R	1.81	0.14	15.44	0.26	6.31	0.72
CUT3R	0.41	0.60	8.22	0.41	6.35	0.48
TTT3R	0.43	0.59	9.95	0.30	6.63	0.48
InfiniteVGGT	0.46	0.61	9.65	0.43	6.43	0.69
LongStream	0.77	0.55	6.28	0.55	2.26	0.64
Lingbot-map	0.37	0.68	8.69	0.43	6.33	0.72
HorizonStream (Ours)	0.32	0.74	4.97	0.89	2.98	0.93

消融实验¶

在 vKITTI2 数据集上考察不同测试序列长度（80 帧、200 帧、1000 帧）下各核心模块对绝对轨迹误差 ATE (m ↓) 的影响。

表 3：各设计模块在不同序列长度下的 ATE 消融分析

配置	80 帧 ATE (m) ↓	200 帧 ATE (m) ↓	1000 帧 ATE (m) ↓	说明
Full model (完整模型)	0.42	0.71	1.20	基准配置，长程保持极佳收敛
去掉几何线性注意力	0.83	2.06	5.38	丧失跨窗口记忆，长程误差暴增 348%
几何线性注意力去通道级门控	0.67	1.43	3.21	退化为标量衰减，多时间尺度异质性破坏
替换为类似 TTT 的快权重更新	0.58	1.56	3.96	无贴现累积导致长序列状态污染
去掉几何局部注意力	0.78	2.64	7.46	局部窗口对应崩溃，整体性能剧烈退化
几何局部注意力去头部输出门控	0.61	1.74	4.06	失去抗注意力汇聚能力，匹配漂移
去掉三维空时 RoPE (仅保留 2D)	0.64	1.22	2.58	丢失连续帧时空拓扑先验
去掉度量读出标记 (MRT)	0.55	1.32	3.34	无法跨窗口稳定度量尺度，尺度漂移严重
单 token 位姿预测 (无多轮聚合)	0.51	1.10	2.67	局部窗口多假设位姿平滑能力下降

关键发现¶

几何线性注意力及其通道级自适应衰减率是保证超长序列鲁棒性的决定性因素：当移除通道门控或换成普通 TTT 累积时，短序列（80 帧）性能下降尚可忍受，但当外推至 1000 帧时 ATE 误差急剧放大 3 倍以上。这确证了“几何证据具有异质生命周期”并需各自匹配衰减范围的理论预判。
定期重置机制的弊端：CUT3R、TTT3R 等对比方法在不加重置时发生发散崩溃（KITTI ATE > 200m），加入人工重置后虽能勉强维持跟踪（70~90m），但在重置边界丢失了全局坐标系统一致性。HorizonStream 凭借有界的指数衰减内生消解了状态过载，实现了真正的零断点连续流式推理。
在包含超过 10,000 至 18,000 帧的极限超长真实序列（VBR 基准）中，HorizonStream 的平均 ATE 达到 25.30m，不仅超越了全部流式前馈基线，更接近或匹敌基于离线全局优化的 LoGeR*（25.24m）。

亮点与洞察¶

将长序列崩溃统一于证据影响核病态：论文没有停留于工程调优，而是从注意力稀释定理（Geometric Attention Dilution）与零遗忘状态污染（Zero-Forgetting Contamination）出发，数学形式化证明了因果 Softmax 和无衰减循环记忆在长序列下的必然失败，立论深刻严谨。
通道级连续时间谱的高效实现：通过极其轻量的对角阵指数衰减 \(\mathrm{diag}(\boldsymbol{\gamma}_t) \mathbf{S}_{t-1}\)，将复杂的连续时间尺度多分辨率记忆赋予线性注意力，计算与显存开销完全严格收敛于 \(O(1)\)，优雅打通了高效推理与长期记忆的理论壁垒。
短片段训练与超长序列泛化的外推奇迹：模型仅基于 48 帧合成/真实短视频切片完成训练，却在实测中平滑外推超过 10,000 帧至 18,000 帧的极限长视频流，打破了长序列大模型依赖超长训练上下文的算力枷锁。

局限与展望¶

极端回环处微观细节的表达瓶颈：作者在讨论中坦承，固定的 \(O(1)\) 循环状态容量在面对多次重访同一区域的超大尺度场景时，可能会丢失局部的微观高频几何纹理细节，需要依靠外部回环模块进行全局位姿图校正补足。
动态前景干扰脆弱性：当前模型基于刚性静态世界假定，如果输入的连续视频流中包含大量大幅度移动的动态前景物体（如车辆、行人），会直接污染局部窗口内的几何匹配证据，进而渗入循环记忆。
回环优化模块的联合端到端演进：目前的回环候选检索与位姿图优化（PGO）仍作为推理期的可选外挂模块独立参数化，未来有望将回环重访约束进一步融入循环注意力状态的内生更新循环中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将流式 3D 重建中的时空历史传播严谨形式化为影响核分解，通道级几何线性注意力的设计兼具理论美感与工程极简性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖从室内 RGB-D、自动驾驶 KITTI 到破万帧的罗马大尺度 VBR 等 9 大公开基准，包含详尽的理论数学证明与各模块微观消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，从现实问题层层推导至数学形式化，图表规整且文字说服力强。
价值: ⭐⭐⭐⭐⭐ 为具身智能与自动驾驶提供了一个真正能够无限时长运行且兼备常数内存与线性计算复杂度的端到端流式建图范式。