Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests¶

会议: NeurIPS 2026
arXiv: 2607.22864
论文: https://arxiv.org/abs/2607.22864
代码: https://github.com/NVIDIA/Spatial-IQ
领域: 其他
关键词: 空间智能, 层次化评测, 遮挡推理, 多模态大模型, 强化学习

一句话总结¶

针对多模态大模型在三维空间遮挡计数中普遍依赖表面捷径而非真实因果推理的缺陷，本文提出了受发育心理学启发的层次化诊断基准 Spatial-IQ 与两阶段可验证奖励强化学习范式，首次在理论与实验中将空间智能解构为显式的因果依赖链条。

研究背景与动机¶

空间智能是具身智能与物理世界 AI（Physical AI）实现可靠交互、避障导航与精细操作的基础基石。现实物理世界中的典型场景——例如仓储机器人对货盘箱体进行拆垛与码放——要求模型能够准确区分独立图元、追踪局部承重关系，并根据重力法则推断处于视线盲区但为上层结构提供必要物理支撑的隐藏物体。然而，当前最先进的多模态大语言模型（MLLMs）在空间感知与物理常识上表现出令人费解的脱节：它们既能流畅生成房间的三维漫游描述或识别表层相对方位，却又在基础的三维堆叠物体计数任务中频繁崩溃，甚至无法完成人类儿童在卡夫曼儿童评估量表（KABC-II）积木测试中能轻松应对的遮挡推断。

这种失败暴露出现有前沿模型本质上仍可能只是“表层像素模拟器”，过度依赖文本与二维像素之间的统计相关性，缺乏因果接地的三维物理世界模型。更为严重的是，现有的多模态空间评测基准（如 VSI-Bench、SpaCE-10 等）大多将模型视为端到端的黑盒系统，仅通过最终任务的二值准确率或多项选择题得分进行评判。一旦模型在三维计数任务上失败，研究人员无法诊断这一故障究竟源于底层的感知崩塌（如未能分割物体边界、混淆相邻列），还是源于高层的因果推理缺陷（如忽略重力支撑约束、无法推理隐蔽几何）；同样，黑盒评测也无法察觉模型是否通过虚假的表面统计捷径碰巧猜中了最终答案。

要真正诊断并修复模型的空间智能，必须打破黑盒，将复杂目标任务解构为符合人类认知规律的前置子能力依赖图谱。核心 idea：将堆叠 3D 结构的物体计数解构为 9 项由感知到认知的层次化子任务（涵盖图元组织、局部支撑追踪、遮挡推断与求和整合），通过程序化生成的 8 万个仿真场景与多模态诊断，揭示当前模型的捷径推理，并以此层级监督与可验证奖励强化学习显著提升空间因果推理能力。

方法详解¶

整体框架¶

Spatial-IQ 框架将空间智能解构为一个具有因果依赖关系的层次化能力测试网络。整个系统以标准认知评估中的 3D 堆叠物体计数为目标任务（Target Task T1，同时辅以多视角心理旋转 T2 作为独立互补探针），在底层通过 NVIDIA Isaac Sim 5.1 引擎在物理仿真环境中程序化生成具有重力支撑的刚性结构。系统从输入的三维视网膜图像出发，沿着感知组织到因果认知两条主干路径向下解构为 9 项子任务（S1–S9），形成内部引用链、可见支撑层级、隐蔽支撑层级以及最终的求和整合机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["三维堆叠场景输入<br/>Isaac Sim 物理仿真环境"] --> B["图元感知组织<br/>S1类别 S2聚类 S3列数 S4层数"]
    B --> C["局部结构与支撑链<br/>S6顶层定位→S7直接支撑→S8支撑列"]
    B --> D["可见物体计数 S5<br/>可见前景图元精确枚举"]
    C --> E["遮挡物体推断 S9<br/>基于重力物理支撑反推隐变量"]
    D --> F["求和机制整合 T1<br/>可见数 + 遮挡数 = 总物体数"]
    E --> F
    F --> G["目标任务输出<br/>总物体数 / 心理旋转探针 T2"]

关键设计¶

1. 认知发育心理学启发的层次化子任务体系：解构空间智能因果依赖 传统基准只测试最终总数，导致能力归因模糊。Spatial-IQ 参考皮亚杰认知发育阶段理论与认知诊断学（Rule Space 与属性层级模型），将目标任务显式解构为 4 个层级的 9 个子任务： 1. 图元感知组织（S1–S4）：包含物体分类（S1）、聚类计数（S2）、立柱计数（S3）与层数统计（S4），检验模型将连续像素离散化为空间几何组织基元的能力； 2. 局部结构与引用链（S6–S8）：定位顶层物体（S6）、识别直接支撑顶层的方块（S7）以及追踪包含顶层的完整支撑立柱（S8），检验沿重力方向的物体间指代追踪能力； 3. 遮挡敏感计数（S5, S9）：可见物体计数（S5）依赖感知组织主干，而隐藏物体推断（S9）则要求模型基于重力支撑条件反推不可见隐变量； 4. 求和机制整合（T1）：要求模型将可见物体数与隐藏物体数显式相加获得结构总数。

作者形式化定义了四类先验依赖关系并量化评估模型对层级结构的保全度。其中求和机制定义为条件概率： $$P(\text{T1}=\text{true} \mid \text{S5}=\text{true}, \text{S9}=\text{true})$$ 内部引用链则要求模型满足 $S_6 \to S_7 \to S_8$ 的传递性，并通过场景内增益（within-scene lift）剔除场景难度混淆： $$\Delta_{\text{lift}} = P(C=1 \mid P=1) - P(C=1 \mid P=0)$$

2. 物理约束场景生成与深度缓冲遮挡测试：消除空间隐变量病态性 在单目相机图像中推断隐藏物体存在固有的单图病态性（单凭二维投影无法断定一个完全遮挡的方块是否存在）。Spatial-IQ 在 Isaac Sim 中设定 $4 \times 4 \times 4$ 体素网格并对物体位置进行重力塌陷（gravity collapse），确保所有立柱自底向上物理稳定。为消除观测歧义，提出严格的像素级深度缓冲区遮挡测试：对场景中任意体素，光线追踪查询其是否在相机视线内有至少一个可见表面像素；若完全不可见，则判定其是否处于某一保留方块的正下方以承担重力支撑。凡既非相机直接可见、亦非上层保留结构必要物理支撑的体素，一律强制剔除。这一物理过滤机制从根本上保证了场景中的每一个隐藏物体都具有严密的物理必要性，杜绝了无因果依据的臆测。

3. 多模态响应格式与因果干扰项设计：阻断统计捷径 为了跨模态全面诊断并阻断模型利用提示词格式的捷径漏洞，基准设计了三种输出模态：自由文本（直接输出整数）、多项选择题（MCQ，提供 3 选、4 选与 5 选图像选项）与图像编辑（通过重着色对目标物体像素级高亮）。在多项选择题中，作者没有采用传统的随机浮动干扰项，而是构建了对应特定认知错误的确定性干扰图谱（例如顶层虚构方块、相邻立柱颜色合并、漏标直接支撑物等）。对于目标计数任务，选项采用偏移枢轴 $P = N + d$（其中 $d \in \{-3, \dots, 3\}$ 均匀离散采样）生成干扰区间，彻底破坏了大语言模型惯用的“选择选项分布中位数”的无视觉启发式偏好。

4. 分层思维链与可验证奖励强化学习（RLVR）：从诊断工具转化为训练范式 Spatial-IQ 的层级分解不仅用于评测，更为模型注入了归纳偏置。作者提出两阶段训练方案： - 第一阶段（SFT-CoT）：在 6.8 万个训练场景上使用监督微调，强制要求模型以结构化 CoT 格式依次回答 S1–S9 各子任务的中间结论，最终输出总数；相比之下，仅学习直接输出数字的传统监督被称为 SFT-plain； - 第二阶段（DAPO-tight）：借鉴 DeepSeek-R1 与 DAPO 强化学习方案，以 10% SFT 数据轻度预热后，在剩余 90% 数据上使用 GRPO 算法进行可验证奖励强化学习（RLVR）。奖励函数直接校验最终整数答案的真实性，促使模型自发收敛到遵循前置物理因果链条的推理轨迹上。

损失函数 / 训练策略¶

在监督微调阶段，SFT-CoT 优化针对包含完整分层推理轨迹的目标序列的标准自回归自注意力交叉熵损失： $$\mathcal{L}_{\text{SFT}}(\theta) = -\sum_{t=1}^{T} \log P_\theta(y_t \mid y_{<t}, x)$$ 其中 $x$ 为图像及结构化指令输入，$y$ 包含按因果顺序排布的子任务中间判断及最终答案标签。在强化学习阶段，DAPO 采用轻量级组相对策略优化（GRPO），针对每个输入采样一组候选输出，使用环境真实标签计算确定性二值可验证奖励 $r \in \{0, 1\}$，无须额外训练价值网络（Critic）： $$\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( \frac{\pi_\theta(y_i \mid x)}{\pi_{\text{old}}(y_i \mid x)} \hat{A}_i, \text{clip}\left(\frac{\pi_\theta(y_i \mid x)}{\pi_{\text{old}}(y_i \mid x)}, 1-\epsilon, 1+\epsilon\right) \hat{A}_i \right) \right]$$ 其中优势值 $\hat{A}_i = (r_i - \text{mean}(\mathbf{r})) / (\text{std}(\mathbf{r}) + \delta)$ 由组内奖励标准化得到。

实验关键数据¶

主实验¶

主实验在 3,000 个独立的评测场景上对人类及前沿模型进行测试。下表展示了自由文本回答模态下各模型在目标计数任务、主要子任务及层级依赖关系上的表现（数据对应论文 Table 1 与 Table 6）。

评估对象	目标计数 (T1)	内部引用链	可见计数 (S5)	可见支撑层级	隐藏计数 (S9)	隐蔽支撑层级	求和机制 (T1\|S5,S9)
Human	82.1%	90.1%	76.8%	84.5%	79.9%	78.5%	69.1%
Qwen (3.5-27B)	17.7%	50.7%	19.2%	78.2%	49.2%	47.9%	64.2%
Gemini 3 Pro	14.8%	64.5%	17.7%	56.7%	43.6%	34.6%	18.6%
Claude Opus 4.6	14.1%	52.4%	15.7%	48.5%	51.4%	32.5%	43.7%
Kimi K2.5	13.6%	47.2%	11.5%	52.9%	33.1%	24.5%	25.0%
GPT 5.4	8.3%	54.3%	8.7%	56.2%	47.4%	28.4%	32.8%
VLA-0	4.2%	16.7%	1.2%	0.0%	19.0%	7.4%	19.9%
GLM 4.6	3.5%	39.9%	2.9%	32.8%	16.4%	9.5%	8.2%
Qwen3.5-3B	2.1%	17.1%	0.2%	0.0%	19.0%	6.4%	24.7%

消融实验与分层训练效果¶

为检验层次化子任务监督作为训练信号的价值，作者在 Qwen2.5-VL 7B 与 32B 架构上对比了端到端直接训练（SFT-plain）、分层思维链监督（SFT-CoT）与结合可验证奖励的强化学习（DAPO-tight）（数据对应论文 Table 4）。

模型与配置	目标计数 (T1)	内部引用链	可见计数 (S5)	隐藏计数 (S9)	隐蔽支撑层级	求和机制整合
Qwen2.5-VL-7B (Zero-Shot)	4.3%	48.1%	3.4%	45.3%	56.6%	44.7%
+ SFT-plain (仅目标总数)	39.7%	0.0% (-48.1)	29.2%	0.0% (-45.3)	0.0% (-56.6)	0.0% (-44.7)
+ SFT-CoT (分层思维链)	40.8%	93.7% (+45.6)	41.9%	76.7% (+31.4)	85.2% (+28.6)	89.6% (+44.9)
+ DAPO-tight (分层RLVR)	50.7%	93.7% (+45.6)	51.7%	76.0% (+30.7)	85.5% (+28.9)	90.0% (+45.3)
Qwen2.5-VL-32B (Zero-Shot)	2.9%	41.1%	1.9%	50.4%	80.3%	51.0%
+ SFT-plain (仅目标总数)	40.1%	0.0% (-41.1)	30.9%	0.0% (-50.4)	0.0% (-80.3)	0.0% (-51.0)
+ SFT-CoT (分层思维链)	46.7%	95.5% (+54.4)	48.9%	79.2% (+28.8)	85.7% (+5.4)	92.9% (+41.9)
+ DAPO-tight (分层RLVR)	62.6%	95.0% (+53.9)	64.5%	78.2% (+27.8)	86.1% (+5.8)	93.3% (+42.3)

关键发现¶

模型能力与因果机制的解耦：人类具有极高的求和一致性（精确匹配率 69.1%，条件正确率 90.6%），而模型在总分相近时机制差异巨大。例如 Qwen 与 Gemini 目标准确率相近（17.7% vs 14.8%），但 Qwen 高度符合求和机制（求和精确匹配率 64.2%），而 Gemini 的求和精确匹配率仅有 18.6%，表明 Gemini 依靠其他绕过分步物理因果的表面捷径作答。
端到端纯目标微调的“捷径坍塌”：SFT-plain 虽然将 7B/32B 的目标准确率拉升至约 40%，但其在内部引用链、隐蔽支撑和求和机制上的得分全线归零（0.0%），说明端到端标签监督教会了模型走捷径拟合数据，彻底摧毁了物理常识推理结构。
分层强化学习展现强大的可扩展性：在 SFT-CoT 的基础上结合可验证奖励（DAPO-tight），在 32B 模型上将物体计数直接提升至 62.6%（相比零样本提升近 60 个百分点），同时求和机制保持在 93.3% 的极高水准。
具身动作预训练对空间智能的正向迁移：仅在机器人动作轨迹上预训练的 VLA-0 即使从未见过积木计数数据，其在目标计数及支撑关系上的准确率仍明显优于其语言基座 Qwen3.5-3B（4.2% vs 2.1%），证实了物理世界的具身交互有助于形成内隐空间表征。

亮点与洞察¶

将发育心理学转化为可量化的依赖图谱：创新性地利用皮亚杰空间认知阶段理论与认知诊断模型，将模糊的“空间感知能力”分解为互为先验的严密条件概率矩阵，为评估物理世界的认知模型提供了标准范式。
深度缓冲区遮挡测试从根源消除主观歧义：通过光线追踪与重力支撑反向推演，使得三维场景中“不可见的隐藏方块”具备唯一可判定的物理合法性，避免了过往数据集中的主观标注噪音。
揭穿了端到端微调的表象假象：实验强有力地证明，单纯依靠最终数字监督的 SFT 会导致模型内部认知链条彻底崩塌，必须通过显式因果分解的思维链与强化学习才能引导出真正的空间智能。

局限与展望¶

跨模态评测的等价性偏差：自由文本直接推断完全隐藏方块，而 MCQ 与图像编辑要求模型高亮隐蔽方块上方的可见支撑块，导致跨模态绝对指标不可严格按点对比。
单目标任务泛化限制：当前层次化结构是为堆叠物体计数专属设计的，未能自动泛化至多视角空间折纸、流体高度预测等其他复杂物理空间任务。
动作接地的深层机理有待探索：虽然 VLA-0 展现出正向迁移，但受限于算力与模型规模，尚未在大规模动作基座与全闭环物理交互中系统验证具身学习对空间因果表征的塑造效应。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将认知诊断学与儿童发育阶段理论引入空间大模型评测与因果训练中，设计巧妙且物理接地严密。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 万仿真场景、3 种交互模态、9 种主流大模型与人类专业对照，消融与诊断极具说服力。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，因果机制与数学定义严谨，分析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为具身智能与物理世界大模型从黑盒表面统计转向可解释因果推理提供了关键基准与范式突破。