CausalSpatial: A Benchmark for Object-Centric Causal Spatial Reasoning¶

会议: NeurIPS 2026
arXiv: 2601.13304
代码: https://github.com/CausalSpatial/CausalSpatial
领域: VLM Reasoning
关键词: 空间因果推理、多模态基准、因果世界模型、4D轨迹控制、物体中心化

一句话总结¶

本文构建了首个物体中心化因果空间推理诊断基准 CausalSpatial，揭示了多模态大模型过度依赖虚幻文本思维链而脱离物理实景的缺陷，并提出了基于4D轨迹控制视频生成的外化因果世界模型 COW。

研究背景与动机¶

人类具备天然的环境感知与心理世界建模能力，仅凭一张静态画面便能瞬间预判即将发生的物理连锁反应——例如在桌面上推移水杯是否会撞倒花瓶、将盘子放入橱柜是否会引起堆叠溢出。这种将因果干预预测锚定在三维空间拓扑结构上的能力被称为“因果空间推理（Causal Spatial Reasoning）”。现有多模态大模型（MLLMs）在二维图像识别以及静态三维空间关系感知（如物体朝向、相机视角、相对距离测量）上取得了显著进展，但这类能力本质上仍停留在描述“物体是什么、在哪里”的静态观察阶段，根本无法解答物理世界交互中至关重要的假设性“What-if”问题。

现有针对空间与动态推理的评测基准普遍存在维度断层或物理保真度缺失：要么受限于静态三维空间关系检测，忽略了动态交互反馈；要么聚焦于全局被动运动追踪或纯粹的合成无交互玩具场景，缺乏对具体可操控实体间物理碰撞、几何相容与接触约束的细粒度因果预测评估。由于缺乏严格的因果空间评测体系，社区对前沿 MLLM 究竟能否在脑海中完成时间与物理连续的因果模拟一直缺乏清晰认知。

进一步的机理剖析显示，现有多模态模型在面对此类反事实或假设性运动提问时，极易陷入语言先验诱导的“虚幻思维链（Textual Chain-of-Thought）”：模型往往生成表面上词句通顺、逻辑缜密但完全脱离视觉几何证据的长篇叙述，使得后续推理不可避免地演变为脱缰的物理幻觉。本文的核心 idea 是：将空间推理从静态观察推进至可干预的 4D 动态因果预测，建立物体中心化的诊断基准 CausalSpatial；同时提出因果物体世界模型 COW，通过显式渲染 4D 轨迹约束的假设动态视频，将抽象的内部心理模拟外化为视觉证据，从而强行把语言模型的推理拉回物理实景之中。

方法详解¶

整体框架¶

CausalSpatial 和配套模型 COW 共同构成了因果空间推理的“诊断-增强”双轮驱动闭环。对于输入的单张初始静态场景图像 $I_0$ 与针对特定物体的假设性运动干预指令 $m$（例如“如果玩具小车向前平移…”），传统多模态模型试图用文本自回归逼近未来状态转移 $f: S_0 | I_0, m \to S_{future}$，而本文提出的因果物体世界模型（COW）则将此过程解构为实体级视觉外化模拟管线。

系统首先通过 MLLM 提示解析出运动实体及其二维像素锚点与空间运动朝向，随后在三维物理先验下外推实体级 4D 时空轨迹张量。接着，轨迹张量与运动语义描述作为连续控制信号注入可控视频扩散模型（ATI），合成具有三维一致性与时间连续性的假设演变视频。最后，由 MLLM 联合观测原始场景与外化视频的关键演变帧，完成高保真、有视觉依据的因果物理判断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：初始静态图像 I0 + 假设性运动指令 m"] --> B["实体定位与运动分析<br/>解析运动目标实体、像素中心及初速度方向"]
    B --> C["4D 时空轨迹数值外推<br/>构建六维状态张量序列与物理调制"]
    C --> D["轨迹可控视频外化渲染<br/>高斯软掩模特征传播与扩散去噪合成动态视频"]
    D --> E["时空多模态联合因果决策<br/>结合模拟视频关键帧抑制文本思维链幻觉"]
    E --> F["输出：碰撞/相容/遮挡/轨迹反事实预测答案"]

关键设计¶

1. 四类物体中心化因果空间子任务与双层难度分级：解耦多维物理约束评估 基准紧扣物理世界中实体因果交互的核心形态，系统性解耦为四大核心任务类别： - 碰撞预测（Collision Anticipation）：判断目标物体沿特定方向平移时是否与场景内其他障碍物发生碰撞，以及在反事实地移除某一特定物体后，原本的碰撞连锁反应是否被打破或改变； - 几何相容性评估（Compatibility Anticipation）：评估将物体放入特定容器或凹槽中的物理容纳可行性，精确检验模型是否具备对体积、三维外形、重心稳定性以及空间穿透的细粒度几何感知； - 动态遮挡演变（Occlusion Anticipation）：评估目标物体空间位移后对视线投影锥内其他物体可见性的动态改变，考察模型在复杂视锥深度关系下的视点投射能力； - 动力学轨迹推演（Trajectory Anticipation）：考察物体在重力、反弹、动量守恒等基础物理定律约束下的时空位移路径与多体碰撞转移。

针对上述四类任务，评测体系设立了由简入繁的双层难度分层机制： - Level 1（一对一交互）：仅涉及目标物体与单件参照物体之间的成对碰撞或几何比较； - Level 2（一对多组合交互）：要求模型同时追踪目标物体在多物体密集复杂场景中的全局空间连锁效应，测试组合推理极限。

所有场景由 50 余类标准化三维资产构建，横跨 130 多个相机视角，在 Blender Bullet 物理引擎中严谨模拟碰撞网格求交与动力学，确保因果标注绝对具备物理真实性。

2. 实体级 4D 轨迹数值构建：离散空间状态的连续外推 针对静态图像中因果假设难以直接解析的问题，COW 首先建立物体的显式动力学表征。将目标物体的时空状态建模为六维向量序列： $$Obj_i = \{x, y, z, v_x, v_y, v_z\}$$ 其中，物体初始三维包围框中心坐标 $(x, y, z)$ 以及运动朝向向量 $\vec{v} = (v_x, v_y, v_z)$ 通过结合 MLLM 像素提示词与空间定位指示器进行联合估计。对于无固有朝向的对称物体（如台球、球体），基准引入显式可视轨迹箭头引导朝向。在获得初速度后，系统在时间步上数值积分更新位置序列，并施加重力加速度等外部刚体动力学算子进行状态调制，得到实体级多帧时空轨迹张量 $\tau = (x_t, y_t)_{t=0}^T$。

3. 显式轨迹引导的视频扩散合成（COW）：将心理模拟外化为视觉证据 为将离散轨迹转化为视觉可信的动态演化画面，COW 接入可控图像到视频生成模型（基于 ATI 架构）。输入首帧图像先通过 VAE 编码器映射至潜在特征空间 $L_1 \in \mathbb{R}^{H \times W \times C}$。随后在轨迹起始点双线性采样对应的外观特征向量。为防止全局相机视角漂移并维持场景刚性，算法在远离运动区域的背景区域随机采样静态背景锚点集合 $\Phi_s = \{\phi_s\}^N$。

在视频扩散去噪生成的各帧 $t$ 中，模型以轨迹坐标 $(x_t, y_t)$ 为中心构造空间高斯平滑掩模，使外观特征沿时间轴向邻近潜空间单元平滑传播： $$F_{later} = \mathcal{W}_\theta(F_{init} \mid \tau^t, d)$$ 通过在 DiT 骨干网络交叉注意力机制中注入带有空间高斯掩模的轨迹条件张量与动作描述文本 $d$，生成满足物理接触拓扑与几何边界的动态演变视频序列，将传统黑盒 MLLM 内部易漂移的自回归符号链替换为可见的真实像素动力学过程。

损失函数 / 训练策略¶

作为诊断基准与推断期外化模拟架构，CausalSpatial 的核心评测侧重在无需重新预训练的前提下测试模型的零样本反事实泛化能力。在评测流程中，为抑制 MLLM 常见的“强行蒙猜”幻觉倾向，问答选项中显式引入“不确定（Not Sure）”机制。评价体系采用双指标协同审视： 1. 真实准确率（True Positive Rate, TPR）：衡量模型在全集上有坚实因果把握时的预测准确率： $$\text{TPR} = \frac{N_{\text{correct}}}{N_{\text{total}}}$$ 2. 不确定弃权率（Not Sure Rate, NSR）：量化模型主动回避无依据盲猜的认知校准程度： $$\text{NSR} = \frac{N_{\text{notsure}}}{N_{\text{total}}}$$

视频生成模块直接复用在海量动态物理先验上预训练的 Wan2.1-14B / DiT 架构，推断阶段仅使用首段前 3 帧图像作为 MLLM 的视觉提示增强，无需额外的端到端微调开销。

实验关键数据¶

主实验¶

在 CausalSpatial 基准测试中，评估了涵盖闭源前沿商业模型（GPT-5、Gemini 2.5 系列、Claude 3.7 Sonnet）、开源多模态通用模型（Qwen3-VL 系列、Qwen2.5-VL、LLaVA-OneVision）以及空间微调专用模型（Spatial-VLM、Spatial-MLLM）在内的代表性架构，并与人类评估员对比。

模型类别	模型名称	L1 Avg. (NSR)	L2 Avg. (NSR)	全任务综合总分	排名
人类基准	Human	85.44 (-)	83.54 (-)	84.49	-
随机猜测	Random	30.34 (-)	24.50 (-)	28.60	-
空间专用模型	Spatial-VLM	36.24 (3.83)	28.25 (7.17)	33.50	15
空间专用模型	Spatial-MLLM	47.93 (1.91)	24.56 (0.72)	40.00	12
开源通用模型	LLaVA-OneVision-8B-I	38.17 (15.91)	27.84 (23.30)	34.62	14
开源通用模型	Qwen2.5-VL-7B-I	42.66 (2.21)	33.79 (5.73)	39.61	13
开源通用模型	Qwen3-VL-2B-I	46.69 (0.88)	28.98 (1.79)	40.60	11
开源通用模型	Qwen3-VL-4B-I	47.19 (6.92)	40.11 (10.39)	44.76	8
开源通用模型	Qwen3-VL-8B-I	47.55 (2.95)	35.85 (7.89)	43.53	9
开源通用模型	Qwen3-VL-8B-Thinking	49.43 (1.03)	29.71 (1.79)	42.65	10
开源通用模型	Qwen3-VL-30B-A3B-I	48.15 (1.47)	41.32 (1.08)	45.80	6
开源通用模型	Qwen3-VL-30B-A3B-Thinking	53.49 (0.00)	44.79 (0.36)	50.50	3
闭源前沿商业模型	GPT-5-mini	42.31 (6.19)	51.41 (3.94)	45.44	7
闭源前沿商业模型	Claude 3.7 Sonnet	50.12 (5.04)	44.16 (17.29)	48.07	5
闭源前沿商业模型	Gemini 2.5 Flash	50.02 (0.15)	46.53 (1.79)	48.82	4
闭源前沿商业模型	Gemini 2.5 Pro	51.44 (0.00)	48.85 (0.36)	50.55	2
闭源前沿商业模型	GPT-5	54.00 (1.47)	54.52 (1.08)	54.17	1

消融实验¶

评估因果世界模型（COW）提供显式外化动态视觉线索后，对代表性强力开源模型 Qwen3-VL-30B-A3B-Instruct 各子任务因果推理精度的影响（仅注入生成视频的前 3 帧图像作为测试时推断提示）：

任务类别	仅静态输入（Baseline）	COW 显式视觉模拟注入	增益 / 变动
碰撞预测（Collision）	30.16%	32.56%	+2.40%
运动轨迹预测（Trajectory）	52.55%	54.75%	+2.20%
几何相容性（Compatibility）	52.78%	53.60%	+0.82%
动态遮挡预测（Occlusion）	31.48%	30.20%	-1.28%
平均得分（Average）	41.32%	42.78%	+1.46%

关键发现¶

人机鸿沟触目惊心：人类在基础一对一（85.44%）和复杂一对多（83.54%）中表现出极高稳定性，而顶尖模型 GPT-5 仅能达到 54.17%，且大多数开源 7B~8B 级别模型徘徊在 35%~43% 之间，在复杂 Level 2 碰撞场景下部分模型甚至暴跌至接近随机猜答（15.38%）。
空间微调模型不具备因果外推能力：专注于静态空间度量的 Spatial-VLM（33.50%）与 Spatial-MLLM（40.00%）得分甚至不如通用 Qwen3-VL 基础版，证实了“学会度量距离与朝向”无法自动转化为“理解物体受力与运动干预后的连锁因果”。
长思维链导致过度自信与幻觉脱缰：模型规模增大与开启“Thinking”长思维链模式后，不确定率 NSR 显著断崖式暴跌（从 18.77% 直降至 0.00%~0.10%），但准确率并未同步跃升。文本 CoT 极易被语言模式先验带偏，制造看似长篇大论实则违背图像视觉证据的虚假解释。
COW 外化模拟的有效性与时效局限：COW 生成的显式演化帧在碰撞与轨迹推演上带来了显著的绝对性能跃升（+2.40%、+2.20%），但因为仅取前 3 帧，在遮挡这类需要长时间持续推演的子任务上略显后劲不足，展现了测试时显式物理视觉扩展的广阔潜力。

亮点与洞察¶

提出首个物体中心化因果空间评测基准：打破了过去空间智能只测静态“在何处”、视频智能只测被动“看什么”的桎梏，率先定义了包含碰撞、几何相容、动态遮挡与物理轨迹的干预性评测体系。
直击长思维链多模态模型的“语言漂移”顽疾：深刻揭示了多模态模型过度沉溺于文本 Chain-of-Thought 反而丧失对底层像素几何约束的根本原因——纯文字推理缺乏物理交互检验机制。
将内部心理模拟外化为视觉世界模型（COW）：极富洞见地将 4D 轨迹控制与图像扩散生成结合，在测试期直接合成短视频帧，用“所见即所得”的真实视觉特征锚定模型逻辑，为具身智能与大模型空间物理交互开辟了全新路径。

局限与展望¶

单图物理初始参数估计存在累积误差：仅从单张二维静态照片推断物体的绝对重力矢量、初速度与摩擦力时仍有歧义，一旦初始 4D 轨迹解析出现偏差，视频生成模型可能输出具有误导性的演化动态。
连续时间与长程状态推演不足：当前 COW 仅抽取生成视频前序 3 帧辅助推断，对于多体连续弹性碰撞、多次反弹或长程遮挡等长时间跨度因果链条的建模能力仍受算力与窗口限制。
形变与非刚体交互尚未覆盖：基准目前主要基于刚体网格碰撞，未来可进一步拓展至流体、柔性布料与可形变物体的复杂连续因果空间交互。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统定义并标准化评估物体级因果空间推理任务，跳出静态几何感知范畴。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 17 款前沿开源、闭源与空间微调专用多模态模型，结合双层难度、细化 NSR 指标与高质量人类基线。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，问题定义清晰，实验数据分析深刻直击多模态大模型的虚假自信缺陷。
价值: ⭐⭐⭐⭐⭐ 为多模态大模型迈向具身物理交互与真实世界建模提供了至关重要的诊断工具与外化世界模型范例。