SpatialBench: Is Your Spatial Foundation Model an All-Round Player¶

会议: NeurIPS 2026
arXiv: 2605.27367
OpenReview: https://openreview.net/forum?id=5Fvw97JTqm
代码: https://github.com/Ropedia/SpatialBench
领域: 3D 视觉
关键词: 空间基础模型、几何三维重建、确定性多密度基准、具身视角泛化、DA-Next

一句话总结¶

针对空间基础模型评测协议碎片化与具身泛化盲区，本文提出首个覆盖 6 大范式 41 个模型变体、聚合 19 个数据集与 546 个场景并支持确定性多密度采样的评测基准 SpatialBench，揭示全上下文与有限内存模型的互补边界，并发布 5.5M 帧具身数据集 DA-Next-5M 与基线模型 DA-Next。

研究背景与动机¶

空间基础模型近年来正加速渗透进具身智能、机器人自主导航、自动驾驶与增强现实等核心领域，逐步成为从单目或多视角视觉输入中直接恢复精确三维几何与相机位姿的通用空间智能基座。然而，真实世界下游应用的部署环境本质上极其动态与严苛，要求模型必须能够从容应对大幅度的跨场景域漂移、极度稀疏到长程连续密集的任意输入采样密度，以及移动计算平台上受限的硬件显存与推理延迟。

然而，现存的评测协议存在四大关键脱节：首先是模型范式覆盖极其狭窄，大多基准仅局限于端到端前向或特定优化管线，无法横向打通流式、分块、SLAM 与测试时训练等新兴分支；其次是横向对比缺乏标准化，不同研究在私有测试集切分、帧索引挑选或时间窗选择上各自为政，造成性能数字无法真实归因；再者是评估协议普遍忽视了序列密度的长程可扩展性，无法检验有限显存模型与全局注意力模型的物理承载极限；最后是评测域高度偏向常规室内与合成物体，严重忽视了机器人腕部与第一人称具身操作等近场强动态视角。

为此，建立一个跨范式、全确定性、感知输入密度且覆盖极端具身视角的综合评测基准势在必行。核心 idea：通过基于三维体素覆盖的确定性多密度采样与跨 6 大范式适配器构建标准化基准 SpatialBench，不仅系统性划定全上下文与有限显存模型的精度与长程扩展边界，更针对暴露最严重的具身视角泛化断崖构建 5.5M 帧高质量数据集 DA-Next-5M 与显式尺度解耦模型 DA-Next。

方法详解¶

整体框架¶

SpatialBench 整体分为基准构建引擎与具身适应基线（DA-Next）两大核心系统。基准构建端首先汇聚 19 个涵盖真实/合成、静态/动态与普通/第一人称/手腕视角的异构视觉几何数据集，经过包含五阶段清洗的几何标准化流水线与专用的 DROID 动态前景剥离光度平差管线后，以严格的三维体素集合覆盖算法预计算确定性帧索引，划分为 Single、Sparse、Medium 和 Dense 四大密度档位，并通过统一适配器驱动 5 项下游几何任务评估。在此基础上，针对评测暴露的具身严重失真问题，提出了融入可学习尺度 token 与显式绝对尺度解耦回归机制的 DA-Next 模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["异构多模态 3D 数据集<br/>19个数据源 / 546个场景"] --> B["五阶段几何清洗与 DROID 动态平差管线"]
    B --> C["基于体素覆盖的确定性多密度评测体系"]
    C --> D["跨六大范式统一适配器与多维度几何评测"]
    D --> E["具身视角域外断崖诊断与 DA-Next-5M 数据集"]
    E --> F["DA-Next 显式绝对尺度解耦与几何基础模型"]

关键设计¶

1. 几何清洗与基于动态解耦的光度平差管线：保障异构数据几何真值的高一致性 针对原始深度图与机器人双目传感器常见的近场噪声、边界飞点与动态干扰，流水线首先执行五阶段后处理清洗：深度量程刚性截断、基于局部空间梯度的飞点自适应过滤、引导联合双边滤波保边平滑、连通域连通面积阈值筛选孤立碎块，以及利用语义分割模型在室外场景生成的绝对天空掩码过滤。尤为关键的是，针对 DROID 机械臂手腕真实序列，设计了专用的立体深度与动态解耦优化链路：先采用 S2M2 估计高置信度公制深度，通过 MapAnything 预测相机初值，再使用 SAM 3 检测并沿时序传播机械臂夹爪及接触物体的动态前景掩码，将其从光度平差的静态背景假设中完全剥除，最终运行深度与光度联合光束法平差（Bundle Adjustment），解算得到全局刚性对齐的高保真点云与连续位姿真值。

2. 基于体素覆盖的确定性多密度采样体系：解耦序列长度与场景固有难度 为彻底杜绝以往评测中随机抽帧或任意截断造成的评测指标漂移，评测基准引入基于三维体素空间覆盖的确定性多密度生成机制，在同一底层场景上统一派生 Single（单帧单目基线）、Sparse（极端稀疏宽基线）、Medium（中等重叠度）和 Dense（长程流式连续）四套固定索引集合。对于稀疏体系，将候选帧挑选形式化为三维空间体素集合 $\mathcal{V}$ 的加权贪心覆盖问题：每一候选帧 $f$ 覆盖体素子集 $V_f \subseteq \mathcal{V}$，算法以最大化空间几何多视角多样性为导向贪婪累加体素覆盖直到预设帧预算上限，从而消除移动速度变化带来的偏差；中等密度档位在粗化体素集合上执行长自适应覆盖，强力约束相邻视角的适度视觉重叠；密集档位则面向数百至数千帧连续流式输入，在规避极小位移冗余帧的同时强行压测各模型显存极限与几何漂移累积。

3. 跨六大范式的统一几何评测规范：全景覆盖主流与新兴几何范式 系统开发了统一输入输出适配器，将当前视觉几何领域收敛为 6 种主流范式并纳入 31 个模型（41 个变体）：以 DUSt3R 和 MASt3R 为代表的优化对齐模型、以 VGGT、$\pi^3$ 和 DA3 为代表的纯前向端到端模型、以 Stream3R 和 InfiniteVGGT 为代表的流式在线模型、以 VGGT-Long 为代表的全局分块拼接模型、融合经典滤波与跟踪的 SLAM 混合系统（MASt3R-SLAM、VGGT-SLAM），以及测试时训练模型（TTT3R、Scal3R、LoGeR）。在统一数据驱动下评估 5 类核心几何任务：相对相机位姿精度（RRA、RTA 及曲线下面积 AUC）、全局 Sim(3) 对齐下的相机轨迹绝对误差（ATE）与相对误差（RPE）、单双目深度绝对相对误差（AbsRel）与内点率、稠密点云重建 F-score，以及外置真实深度与位姿注入下的先验增强鲁棒性，全面揭示几何模型的物理性能上限。

4. DA-Next 具身几何基线模型：引入尺度 Token 学习场景全局绝对公制尺度 针对 SpatialBench 发现的具身领域外泛化严重滑坡与尺度模糊痛点，构建了包含 22K 场景、5.5M 帧的 DA-Next-5M 具身与手腕视角数据集，并提出 DA-Next 基础架构。模型在 ViT-Giant 架构中交替堆叠帧内局部注意力与跨帧全局注意力，输入端除常规图像 Patch Token 外，额外并联可学习全局尺度 Token $\mathbf{e}_s$ 与相机几何 Token $\mathbf{e}_c$。在训练阶段，利用伯努利分布以 $p=20\%$ 概率注入标准化外参与内参进行辅助几何引导；在输出端，Patch Token 与相机 Token 输入双分支 Dual-DPT 头部解码稠密深度图 $\hat{\mathbf{D}}$、射线图 $\hat{\mathbf{R}}$ 与置信度，而尺度 Token 经轻量 MLP 回归标量绝对尺度因子 $\hat{S}$。

损失函数 / 训练策略¶

模型训练采用多任务联合加权损失函数： $$\mathcal{L} = \mathcal{L}_{\text{depth}} + \alpha \mathcal{L}_{\text{grad}} + \mathcal{L}_{\text{ray}} + \mathcal{L}_{\text{pmap}} + \mathcal{L}_{\text{scale}}$$ 其中设置平衡超参数 $\alpha = 1$。为解除跨异构数据集的尺度模糊，在反向传播前将所有真值统一规范到首帧相机坐标系下，并除以真值点云到原点的平均欧式范数： $$S = \frac{1}{|\Omega|} \sum_{p \in \Omega} \|\mathbf{P}_p\|_2$$ 归一化后将标量 $S$ 作为尺度预测头部 $\hat{S}$ 的监督真值。尺度损失采用对数压缩空间的 $\ell_1$ 范数，有效平衡小场景微观物体与开阔大场景之间的数值动态梯度跨度： $$\mathcal{L}_{\text{scale}} = \|f_{\log}(\hat{S}) - f_{\log}(S)\|_1, \quad \text{其中} \quad f_{\log}(\mathbf{x}) = \frac{\mathbf{x}}{\|\mathbf{x}\|} \cdot \log(1 + \|\mathbf{x}\|)$$ 深度损失 $\mathcal{L}_{\text{depth}}$ 与光线损失 $\mathcal{L}_{\text{ray}}$ 采用置信度加权 $\ell_1$ 结合置信度自适应惩罚项，多尺度梯度差分损失 $\mathcal{L}_{\text{grad}}$ 施加在 $J=3$ 个层级尺度上保持深度结构边缘锐利，反投影三维世界点云损失 $\mathcal{L}_{\text{pmap}}$ 则直接监督反投点与真实三维点在欧氏空间的一致性。

实验关键数据¶

主实验¶

在涵盖 19 个数据集的 SpatialBench 上，41 个模型变体在多密度输入下接受了系统检验。下表展示了代表性范式及核心模型在单帧、稀疏、中等和密集档位下的综合几何能力表现。

范式类别	代表模型	参数量 (M)	单帧 AbsRel↓	稀疏 AbsRel↓	稀疏 AUC@30↑	中等 ATE↓	中等 F-Score↑	密集 ATE↓	密集 F-Score↑
优化匹配对齐	DUSt3R	571.2	0.385	0.257	0.498	1.691	0.343	OOM	OOM
优化匹配对齐	MASt3R	688.6	0.456	0.209	0.568	1.911	0.370	OOM	OOM
端到端前向	VGGT	1256.5	0.184	0.105	0.700	0.727	0.661	OOM	OOM
端到端前向	$\pi^3$	958.7	0.478	0.092	0.742	0.565	0.649	16.39	0.332
端到端前向	DA3-Giant	1355.7	0.368	0.095	0.785	1.161	0.742	OOM	OOM
在线流式处理	StreamVGGT	1256.5	0.219	0.154	0.598	4.940	0.397	26.90	0.251
在线流式处理	InfiniteVGGT	1256.5	0.217	0.154	0.596	4.964	0.402	27.01	0.254
在线流式处理	LongStream-B	1190.6	0.523	0.153	0.549	0.925	0.135	5.766	0.083
全局分块推理	VGGT-Long	1256.5	0.184	0.105	0.700	0.512	0.633	8.467	0.467
全局分块推理	DA3-Streaming	1355.7	0.368	0.095	0.785	0.563	0.725	8.575	0.516
测试时训练 (TTT)	TTT3R	793.3	0.247	0.202	0.469	2.343	0.294	21.07	0.173
测试时训练 (TTT)	Scal3R	1266.1	0.227	0.114	0.732	0.400	0.671	2.396	0.498
测试时训练 (TTT)	LoGeR	1254.6	0.251	0.095	0.687	0.591	0.504	5.217	0.335
具身增强 (Ours)	DA-Next	1303.8	0.166	0.050	0.809	1.442	0.727	OOM	OOM

注：OOM 表示在 140GB 显存预算下溢出崩溃。DA-Next 相对于前代最强基准 DA3-Giant，在稀疏与中等输入下的深度 AbsRel 显著削减了 47.4% 与 59.3%，位姿 AUC@30 分别提升 3.1% 与 5.5%。

消融实验¶

为探究引入几何先验及测试时训练（TTT）在不同时序密度跨度下的实际收益，下表展示了基础模型与 TTT 衍生模型在位姿 AUC@30 与轨迹 ATE 上的跨密度对比分析：

测试密度档位	对比模型对 (Base → TTT)	相机位姿 AUC@30 ↑	轨迹全局 ATE ↓	性能变化归因与现象说明
Sparse (4-15帧)	CUT3R → TTT3R	0.519 → 0.470	—	稀疏大基线缺少时序重叠，TTT 梯度更新反而恶化几何
Sparse (4-15帧)	VGGT → Scal3R	0.700 → 0.732	—	全局上下文记忆在少量关键帧仍能微幅改善位姿
Sparse (4-15帧)	$\pi^3$ → LoGeR	0.742 → 0.708	—	缺乏足够长程连续观测支撑时序参数自适应
Medium (中等序列)	CUT3R → TTT3R	0.469 → 0.493	2.68 → 2.34	适度重叠下时序微调开始显现抑制漂移的正面作用
Medium (中等序列)	VGGT → Scal3R	0.687 → 0.670	0.73 → 0.40	轨迹绝对误差大幅降低 45.2%，但位姿局部精度微退
Medium (中等序列)	$\pi^3$ → LoGeR	0.749 → 0.714	0.57 → 0.57	轨迹误差持平，滑动窗口受局部最优牵制
Dense (长程连续流)	CUT3R → TTT3R	0.165 → 0.321	25.5 → 21.1	位姿指标近乎翻倍 (+94.5%)，ATE 减少 17.5%
Dense (长程连续流)	VGGT → Scal3R	N/A (OOM) → 0.480	N/A (OOM) → 2.40	原生 VGGT 在长序列直接 OOM，TTT 赋予长程推理能力
Dense (长程连续流)	$\pi^3$ → LoGeR	0.524 → 0.598	16.4 → 4.60	轨迹 ATE 显著暴降 72.0%，长程累积漂移被有效锚定

关键发现¶

全上下文注意力界定精度上限，有限内存架构解开长程物理封印：在显存充足与中短序列（如 $N \le 800$）下，DA3-Giant 与 $\pi^3$ 等全注意力端到端前向模型在几何重建与深度估计上始终占据 Pareto 最优前沿；但一旦踏入 Dense 密集长序列，全注意力模型遭遇 140GB 显存 OOM 熔断，而流式、分块或 TTT 架构通过滑动窗口或参数化记忆虽损失少许局部点图精度，却成功实现了连续低漂移建图。
TTT 机制不是“免费午餐”：测试时训练呈现高度两极化——在密集长程视频中，LoGeR 与 Scal3R 能斩获超过 70% 的 ATE 漂移抑制或规避 OOM；但在稀疏宽基线视角下，缺乏时序平滑重叠使得测试时在线梯度更新极易过拟合破坏先验，导致性能出现倒退。
具身操作与手腕视角是当前领域的最大盲区：所有主流预训练模型在室内与室外常规视角表现尚可，但在第一人称头戴与机械臂手腕视角下出现悬崖式性能跌落，根因是现有预训练数据集缺失该类视角的超近距离、高动态模糊与严重夹爪自遮挡交互。通过定向构建针对性的 DA-Next-5M 具身数据集进行领域对齐微调，DA-Next 在稀疏与中等视角下直接斩获约 50% 的深度误差降幅。

亮点与洞察¶

确定性体素覆盖抽帧采样打破评测随机性：基准摆脱了简单依赖固定时间步长跳采的缺陷，利用场景 3D 体素投影覆盖的贪心解算实现物理视点多样性最大化，使各模型的几何上限在无数据偏见下被公允评测。
全方位打通六大流派形成统一坐标系：打破优化、端到端、流式、分块、SLAM 与 TTT 长期各自为政的壁垒，让社区第一次清晰看到“显存换精度”与“漂移换可扩展性”在系统层面的量化代偿。
显式标量尺度 Head 赋能公制绝对几何重建：DA-Next 将场景尺度的回归解耦给单独的尺度 Token，并以对数压缩空间的 $\ell_1$ 损失监督，让深度与光线图专注相对几何的同时具备一键升维至真实米级空间的能力。

局限与展望¶

密集流式显存瓶颈尚未彻底解决：尽管 DA-Next 在具身与常规场景展现了极致的深度与位姿几何精度，但由于保留了完整的双向全注意力机制，在 Dense 极长序列测试中依然会触发 OOM，未来亟需结合分块推理或自适应内存池。
动态物体分离仍依赖外部大模型串联：在 DROID 等极端动态场景的数据提纯中，管线强依赖 SAM 3 与 S2M2 等多阶段外挂模型，流程较重，尚不能做到统一前向端到端自监督动静态分解。
高自由度灵巧操作下的位姿退化：在极端近距离快速晃动、大范围手部交互遮挡时，即使有 DA-Next 具身先验注入，复杂接触界面的深度边缘依然存在轻微平滑化迹象。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出覆盖六大范式与多密度时序采样的空间智能综合基准，并揭示了具身视角与内存尺度的关键系统性规律。
实验充分度: ⭐⭐⭐⭐⭐ 评测 41 个前沿模型变体、聚合 19 个数据集与 546 个场景，涵盖 5 大任务与细致的消融及外挂先验分析。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密，图表详实且对各类范式的本质物理权衡分析极其透彻。
价值: ⭐⭐⭐⭐⭐ 为快速演进的视觉几何基础模型提供了可复现的试金石，所发布的 DA-Next-5M 与 DA-Next 为具身智能空间感知奠定了坚实基石。