GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction¶

会议: NeurIPS 2026
arXiv: 2605.15852
OpenReview: https://openreview.net/forum?id=qhHNkQs6l0
代码: https://github.com/lokiniuniu/GHOST
领域: 重建与渲染
关键词: 流式3D重建, KV Cache压缩, 几何层级打分, Token驱逐, 显存预算分配

一句话总结¶

针对长序列单目流式3D重建中KV Cache线性膨胀的显存瓶颈，GHOST提出一种无需训练的几何层级Token驱逐框架，利用模型自身的位姿、深度与点图置信度进行双尺度动态淘汰，结合特殊标记特权保护与余弦相似度层间预算分配，在显存削减近半的同时实现1.75倍推理加速且重建精度无损。

研究背景与动机¶

基于前馈 Transformer 的单目 3D 重建模型（如 DUSt3R、VGGT）能够以单次前向传播直接预测稠密深度图、3D 点图与相机位姿，但在扩展到超长视频序列时，跨帧联合全自注意力机制面临随序列长度二次方爆炸的显存开销。为此，以 StreamVGGT 为代表的流式架构引入自回归式的因果单帧处理范式并维护历史观测的键值缓存（KV Cache），而 InfiniteVGGT 进一步引入基于固定显存预算的 Token 驱逐策略，通过计算历史 Token 与当前查询帧 Key 的余弦相似度来淘汰冗余缓存。

然而，单纯依赖 Key 相似度或注意力权重的启发式策略存在根本性的几何盲区。当前查询帧的瞬间注意力响应无法真实反映历史观测在全局三维场景结构中的长期几何价值：统计表明，Key 相似度与相机位姿变化的斯皮尔曼相关系数仅为 -0.07，与深度梯度方差的相关性也仅有 -0.31。这意味着由大幅度相机运动带来的新颖视点，或者包含丰富边界与几何跳变的特征区域，往往因与当前局部视线不重合而被错误驱逐，造成三维场景的大面积空洞与漂移；同时，现存方案默认在所有 Transformer 块中平均分配缓存预算，忽视了浅层与深层在表征变换强度上的巨大异质性。

本文的切入角度是：单目重建模型在推理过程中自身已经输出了位姿、深度梯度以及点图置信度等丰富的多模态几何线索，完全可以直接作为 Token 价值的判定标准，而无需引入额外的额外前向开销或依赖不靠谱的注意力启发式规则。核心 idea：利用模型自身输出的几何状态构建「视角级-Patch级」层级双尺度重要性评分，配合对相机/寄存器特殊标记的确定性特权保护，并在离线余弦相似度指导下对各 Transformer 层自适应分配显存预算，实现无需训练的高效长序列流式 3D 重建。

方法详解¶

整体框架¶

GHOST 构建于流式 3D 重建基座模型（如 StreamVGGT）之上，针对序列输入每帧包含的 $N_p$ 个图像 Patch Token 与 $p_0 = 1 + R$ 个特殊 Token（包含 1 个相机标记 $\mathbf{c}_t$ 和 $R$ 个寄存器标记 $\mathbf{r}_t^i$），在各全局自注意力层中维持总上限为 $B_{\text{total}}$ 的动态 KV Cache。在整体流程上，GHOST 分为离线分析与在线流式驱逐两个阶段：离线阶段通过分析网络各层输入输出的特征余弦相似度，自适应确定各 Transformer 层的 KV 缓存预算配额；在线推理阶段，每当新帧到来且缓存超出预算时，模型综合视角级的全局几何变化（相机位姿变化、深度方差、时序偏置）与 Patch 级的局部重建质量（特征显著性、深度置信度、点图置信度），计算每个 Token 的综合几何重要性分数，并施加特殊标记特权提升，最终贪心淘汰低价值 Token。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频序列帧输入<br/>单帧增量流式到达"] --> B["离线层间相似度分析<br/>测算变换强度分配各层预算"]
    B --> C["几何层级重要性评分<br/>融合视角级与Patch级多模态信号"]
    C --> D["特殊标记特权保护<br/>确定性提权防全局位姿漂移"]
    D --> E["层级KV Cache动态驱逐<br/>按层配额淘汰冗余Token"]
    E --> F["输出高保真3D几何<br/>连续预测稠密点图/深度/位姿"]

关键设计¶

1. 几何层级双尺度重要性评分：将几何先验与局部置信度解耦融合 传统注意力驱动的 Token 筛选仅依赖当前查询帧的局部匹配，无法评估历史观测对整场三维几何的一致性贡献。GHOST 提出将 Token 重要性解耦为「视角级宏观几何权重」与「Patch级微观重建质量」两层，全面利用模型前向过程中自然生成的几何输出。在视角级（Frame-Level），评分 $s_{\text{frame}}(t)$ 综合相机运动位移、深度梯度方差与时序衰减。相机变化项 $s_{\text{cam}}(t) = \|\mathbf{T}_t - \mathbf{T}_{t-1}\|_2 + 1 - |\frac{\mathbf{q}}{\|\mathbf{q}\|}_t \cdot \frac{\mathbf{q}}{\|\mathbf{q}\|}_{t-1}|$ 同时惩罚平移和旋转的临近性，确保大位姿转折的视点获得高权重；几何复杂度项 $s_{\text{geo}}(t) = \operatorname{Var}(\|\nabla d_t\|)$ 提取深度图梯度方差，优先保留富含物体边缘与几何断裂的结构性视点，压制平坦无纹理白墙视点；时序项 $s_{\text{temp}}(t) = t / T_{\text{cur}}$ 维持近期因果上下文连续性。各分量通过 Sigmoid 函数映射后在全局缓存帧集合 $\mathcal{T}$ 中按最大值归一化，形成平滑的视角级先验： $$s_{\text{frame}}(t) = \frac{w_{\text{cam}}\sigma(s_{\text{cam}}(t)) + w_{\text{geo}}\sigma(s_{\text{geo}}(t)) + w_{\text{temp}}\sigma(s_{\text{temp}}(t))}{\max_{t'\in\mathcal{T}}\left(w_{\text{cam}}\sigma(s_{\text{cam}}(t')) + w_{\text{geo}}\sigma(s_{\text{geo}}(t')) + w_{\text{temp}}\sigma(s_{\text{temp}}(t'))\right) + \epsilon}$$ 在 Patch 级（Token-Level），评分 $s_{\text{token}}(t, p)$ 综合视觉特征图 $\mathbf{F}_t$ 的空间差分梯度显著性 $s_{\text{sal}}(t, p) = \sqrt{\|\delta_x \mathbf{F}_t(p)\|^2 + \|\delta_y \mathbf{F}_t(p)\|^2}$，以及深度头与点图头输出的置信度 $c_t^d(p)$ 和 $c_t^p(p)$。低置信度通常对应反光、遮挡边界或视差不确定区域，直接分配更低权重。两级得分通过加权和融合成最终单 Patch 重要性： $$\phi(t, p) = w_f s_{\text{frame}}(t) + w_k s_{\text{token}}(t, p)$$ 该设计保证了只有来自高几何信息量视角且自身具备高重建确定性的结构性 Patch 才能被长期保留在显存中。

2. 特殊标记特权保护机制：确定性保底防止全局位姿与结构崩塌 在基于 ViT 的流式 3D 重建中，每帧前置的特殊标记（包括 1 个相机位姿 Token $\mathbf{c}_t$ 和 $R$ 个寄存器 Token $\mathbf{r}_t^i$）负责聚合全局场景状态、坐标对齐和位姿连续性推理。然而，这些特殊 Token 并不对应具体的局部图像纹理，其特征梯度的视觉显著性极低，在开放竞争的驱逐准则下极易被误淘汰，从而造成相机轨迹漂移乃至整个 3D 重建体系的灾难性崩溃。为此，GHOST 为所有特殊标记设计了确定性的特权保护公式： $$\phi(t, p_{\mathrm{sp}}) = s_{\text{frame}}(t) + \Delta_{\text{boost}} + \epsilon_{\text{tb}} \cdot r_{p_{\mathrm{sp}}}$$ 其中偏置项 $\Delta_{\text{boost}} = 0.3$。由于普通 Patch 的归一化综合得分 $\phi(t, p) \in [0, 1]$，该常数偏置在数学上严格保证了任何特殊标记的优先级恒高于所有普通图像 Patch；同时，设定微小扰动系数 $\epsilon_{\text{tb}} = 10^{-6}$ 结合组内相对序号 $r_{p_{\mathrm{sp}}} \in \{0, 1, \dots, p_0 - 1\}$（相机标记为 0，寄存器标记依次为 $1 \dots R$），在特殊标记内部提供严格确定且可复现的平局仲裁机制，避免随机淘汰扰动模型状态。

3. 余弦相似度指导的层间预算自适应分配：按变换强度动态倾斜显存 现有多视角 Transformer 通常假定所有网络层同等重要，盲目采用等额配额 $B_\ell = B_{\text{total}} / L$。然而，Transformer 内部不同模块的表征进化规律存在显著差异：部分层输入与输出高度重合（近似恒等变换），即使大幅压缩缓存也不会对下游特征造成损伤；而承载跨视图几何解耦和深层特征交互的关键层则对历史上下文高度敏感。 GHOST 在推理前通过少量代表序列进行无需反向传播的轻量级离线分析，计算每层输入 $\mathbf{x}_\ell$ 与输出 $\mathbf{y}_\ell$ 的均值余弦相似度 $\bar{\rho}_\ell = \frac{1}{|S|}\sum_{s\in S}\frac{\langle\mathbf{x}_\ell^{(s)}, \mathbf{y}_\ell^{(s)}\rangle}{\|\mathbf{x}_\ell^{(s)}\|\|\mathbf{y}_\ell^{(s)}\|}$。以变换强度 $a_\ell = 1 - \bar{\rho}_\ell$ 作为层重要性指标，利用温度系数 $\tau$ 的 Softmax 分布自适应分配总预算： $$\pi_\ell = \frac{\exp(a_\ell / \tau)}{\sum_{\ell'} \exp(a_{\ell'} / \tau)}, \qquad B_\ell = \lfloor \pi_\ell \cdot B_{\text{total}} \rfloor$$ 在 24 层结构中，前 9 层浅层余弦相似度极高（$\bar{\rho} \approx 0.95 \sim 1.00$），被赋予较低配额；而变换最为剧烈、特征重构最核心的第 15 层（$\bar{\rho} \approx 0.61$）被分配最大配额（86,000 Tokens）。这种非均匀分布以零额外推理代价显著提升了全网络显存利用率。

实验关键数据¶

主实验¶

论文在 Bonn、7-Scenes、NRGBD 以及超长序列基准 Long3D（最长达 9,545 帧）上全面评测了重建精度（Accuracy、Completeness、Chamfer Distance）与表面法向一致性（Normal Consistency, NC）。以下为主流序列长度下的定量结果：

数据集与序列长度	评估指标	GHOST (本文)	InfiniteVGGT	TTT3R	Point3R	CUT3R
7-Scenes (300帧)	Acc Mean ↓ / Med ↓	0.023 / 0.006	0.040 / 0.015	0.041 / 0.025	0.047 / 0.027	0.135 / 0.091
7-Scenes (300帧)	Comp Mean ↓ / Med ↓	0.022 / 0.004	0.025 / 0.005	0.024 / 0.005	0.029 / 0.011	0.071 / 0.032
7-Scenes (300帧)	NC Mean ↑ / Med ↑	0.573 / 0.612	0.570 / 0.607	0.565 / 0.599	0.563 / 0.596	0.543 / 0.562
NRGBD (300帧)	Acc Mean ↓ / Med ↓	0.046 / 0.020	0.051 / 0.032	0.103 / 0.045	0.076 / 0.043	0.224 / 0.126
NRGBD (300帧)	Comp Mean ↓ / Med ↓	0.025 / 0.003	0.022 / 0.005	0.025 / 0.005	0.014 / 0.005	0.074 / 0.012
NRGBD (300帧)	NC Mean ↑ / Med ↑	0.690 / 0.835	0.649 / 0.756	0.608 / 0.673	0.618 / 0.695	0.579 / 0.624
7-Scenes (500帧)	Acc Mean ↓ / Med ↓	0.027 / 0.006	0.043 / 0.018	0.062 / 0.036	0.063 / 0.026	0.183 / 0.130
7-Scenes (500帧)	NC Mean ↑ / Med ↑	0.565 / 0.595	0.561 / 0.593	0.552 / 0.577	0.555 / 0.583	0.530 / 0.543
NRGBD (500帧)	Acc Mean ↓ / Med ↓	0.045 / 0.021	0.080 / 0.054	0.165 / 0.084	0.113 / 0.048	0.326 / 0.243
NRGBD (500帧)	NC Mean ↑ / Med ↑	0.672 / 0.781	0.643 / 0.746	0.594 / 0.648	0.613 / 0.684	0.556 / 0.582

在超长序列基准 Long3D 上，GHOST 在所有场景中全面领先：

场景名称 (帧数)	指标	GHOST (本文)	InfiniteVGGT	TTT3R	CUT3R
Classroom (2128)	Acc Mean ↓ / NC Mean ↑ / CD ↓	0.332 / 0.592 / 0.197	0.357 / 0.576 / 0.207	0.396 / 0.530 / 0.239	0.496 / 0.520 / 0.291
Dormitory (4208)	Acc Mean ↓ / NC Mean ↑ / CD ↓	1.135 / 0.541 / 0.996	1.438 / 0.526 / 1.007	1.965 / 0.515 / 1.147	1.800 / 0.501 / 1.102
Library (4726)	Acc Mean ↓ / NC Mean ↑ / CD ↓	0.745 / 0.514 / 0.834	1.121 / 0.508 / 0.846	2.175 / 0.494 / 1.303	1.907 / 0.504 / 1.050
Badminton Court (6067)	Acc Mean ↓ / NC Mean ↑ / CD ↓	1.312 / 0.531 / 1.612	1.843 / 0.510 / 1.848	2.791 / 0.509 / 2.975	2.489 / 0.495 / 4.146
Academic Building (9545)	Acc Mean ↓ / NC Mean ↑ / CD ↓	4.325 / 0.511 / 3.251	5.733 / 0.495 / 3.470	7.710 / 0.513 / 6.951	8.062 / 0.496 / 4.638

在 Bonn 数据集（深度估计）上，GHOST 在 200/300/400/500 帧下的 Abs Rel 分别达到 0.054 / 0.062 / 0.064 / 0.061，相比基线显著降低，且非流式离线模型 VGGT 与无驱逐的 StreamVGGT 在该序列长度下均直接发生 OOM 崩溃。

消融实验¶

消融实验在 7-Scenes 数据集（300 帧）上评估了层间预算分配准则、特殊标记保护以及预算缩减下的系统吞吐率：

配置 / 准则	Acc ↓	Comp ↓	NC ↑	NC Med ↑	显存与速度
Uniform allocation (均匀分配)	0.027	0.023	0.565	0.608	基线配额
Fisher information 准则	0.033	0.024	0.570	0.610	需要梯度回传
Gradient magnitude 准则	0.028	0.023	0.568	0.611	需要一阶梯度
Hessian saliency 准则	0.026	0.022	0.566	0.608	需要二阶曲率分析
Magnitude pruning 准则	0.025	0.023	0.571	0.606	权重幅值剪枝启发式
Cosine similarity (GHOST 默认)	0.023	0.022	0.573	0.612	离线前向钩子，免反向传播
去除特殊标记提升 ($\Delta_{\text{boost}} = 0$)	0.026	0.025	0.566	0.599	特殊标记与 Patch 自由竞争
GHOST 默认 ($\Delta_{\text{boost}} = 0.3$)	0.023	0.022	0.573	0.612	保护相机位姿与寄存器标记

不同显存预算下的敏感性分析（7-Scenes 300 帧）：

方法与预算规模	Acc ↓	Comp ↓	NC ↑	KV Cache 显存	推理加速比
InfiniteVGGT (1,200,000)	0.040	0.025	0.570	6.94 GB	1.00×
GHOST (1,000,000)	0.023	0.022	0.573	5.80 GB	1.38×
GHOST (800,000)	0.024	0.022	0.573	4.65 GB	1.53×
GHOST (600,000)	0.041	0.029	0.568	3.51 GB (-49%)	1.75×

关键发现¶

几何引导大幅优于注意力启发式：InfiniteVGGT 仅凭 Key 相似度淘汰 Token，导致序列长度从 300 增加到 500 帧时，在 NRGBD 上的 Acc Mean 从 0.051 恶化到 0.080（退化 56.9%）；而 GHOST 凭借几何层级打分，在 500 帧时仍保持在 0.045，几乎没有发生性能衰减。
层间变换强度的异质性显著：第 15 层输入输出余弦相似度低至 0.61，需要多达 86,000 个 Token 维持强特征映射；而前 9 层浅层相似度高达 0.95~1.00，分配较少 Token 即可保证表征无损。基于余弦相似度的配额分配比 Fisher、梯度幅值及均匀分配在 Acc 指标上更具优势，且完全不需要反向传播。
极端预算下的高性价比：GHOST 在仅使用 600,000 预算（减半）时，Accuracy（0.041）仍与 InfiniteVGGT 在全额 1,200,000 预算下的表现（0.040）相当，同时显存从 6.94 GB 骤降至 3.51 GB，推理速度提升 1.75 倍。

亮点与洞察¶

将下游 3D 几何输出内化为上游 KV Cache 驱逐准则：巧妙利用多任务 3D 大模型原生预测的相机位姿、深度梯度和点图置信度，打破了过往大模型上下文压缩仅能在注意力矩阵内部做启发式统计的狭隘范式。
确定性常数特权保护避免位姿漂移：通过简单的标量偏置 $\Delta_{\text{boost}}$ 直接建立特殊标记与普通视觉 Patch 之间的绝对优先级壁垒，零参数且零训练代价解决了多视角流式重建中全局坐标锚点易被冲刷的技术痛点。
轻量级余弦相似度指导层级预算：无须复杂的一阶梯度计算或二阶 Hessian 矩阵推导，仅通过离线单次前向的特征余弦相似度即可准确定位表征瓶颈层，为大模型推理显存优化提供了通用的层间非均匀分配范式。

局限与展望¶

依赖单目重建基础模型输出质量：几何层级打分直接建立在模型自身的位姿、深度和点图预测之上，若前端模型在极度恶劣视角（如严重运动模糊、纯暗光）下给出严重误导的高置信度伪预测，可能产生错误的驱逐判断。
离线分析假设输入序列分布一致：层间预算分配依赖离线代表序列测定的余弦相似度静态配额，尚不能根据实时动态画面的复杂度在线自适应调整各层的 Token 上限。
未来方向：探索结合几何不确定性的在线跨层动态预算流动，以及将几何指导的驱逐思想扩展到大场景神经辐射场（NeRF）和 3D 高斯泼溅（3DGS）流式建图系统中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次利用单目模型原生 3D 几何输出来驱动无训练的流式 KV Cache 驱逐与层预算非均匀分配]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7-Scenes、NRGBD、Bonn 以及长达近万帧的 Long3D，涵盖多种消融及显存延迟全面实测]
写作质量: ⭐⭐⭐⭐⭐ [问题拆解层层递进，统计相关性分析支撑扎实，数学形式化表达严谨统一]
价值: ⭐⭐⭐⭐⭐ [对具身智能、长视频 3D 建图与边缘端设备上的实时流式三维感知具有重大实用价值]