MindBlock: Probing Spatial Assembly and Structure in Unified Multimodal Models¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/yyyybq/MindBlock
领域: 3D表示与场景理解
关键词: 统一多模态模型, 空间智能, 3D高斯泼溅, 空间装配, 几何等变性

一句话总结¶

针对统一多模态模型空间推理局限于被动 2D 问答的缺陷，本文提出首个以像素级主动构建为核心的评测基准 MindBlock，并设计基于 3D 高斯泼溅的 3DGS-Eval 体积几何一致性评测协议，揭示了当前模型存在的 2D-3D 一致性脱节、多步空间漂移与感知-执行鸿沟。

研究背景与动机¶

三维物理世界中的空间智能不仅体现于对静态场景的被动观察，更核心的是在空间中进行主动构建、操作与状态推演。人类儿童在四至六岁便能通过观察图纸有目的地搭建复杂积木结构，并在脑海中进行三维视角的心理旋转推理。然而，当前视觉语言模型与多模态大模型的空间能力评测长期停留在被动的视觉问答（VQA）或选择题范式上。模型即使在多选题中取得高分，也往往依赖于统计捷径或表面语义关联，既无法证明其拥有真实的内部 3D 世界模型，更无法将这种能力迁移至具身装配或真实物理操纵中。

随着统一多模态模型（UMMs）的兴起，模型已经具备任意交错图文输入与输出的统一生成能力，这使得在像素空间直接检验模型的空间推理成为可能。然而，现有评测指标主要依赖 CLIP-S、PSNR、SSIM 等 2D 图像感知相似度，极易掩盖严重的 3D 几何矛盾：一个模型生成的各视角图像在单张看可能质感逼真、轮廓合理，但跨视角聚合时却存在积木相对拓扑突变、遮挡关系翻转以及支撑关系悬空等根本性空间违背。

为了打破被动问答的局限并穿透 2D 指标的表象欺骗，本文将空间智能的核心评测任务从“被动选择”转向“主动构建”。核心 idea：构建涵盖单步原子操作、长程装配-解构循环及跨视角几何变换的像素级主动构建基准 MindBlock，并提出基于 3D 高斯泼溅重构的 3DGS-Eval 体积一致性验证协议，以三维几何收敛性作为隐式世界模型的“测谎仪”。

方法详解¶

整体框架¶

MindBlock 建立了从物理仿真数据生成、主动构建任务探测到 3D 隐式几何验证的完整评测与分析体系。整个框架由数据合成层、双轴任务探测层以及 3DGS-Eval 几何一致性验证层串联构成。在生成端，利用物理引擎生成受力平衡且包含层次化因果依赖的积木装配轨迹与多视角真值；在探测端，通过“空间装配”（包含原子级增删与长程序列循环）和“空间结构”（包含局部组件旋转与全局相机变换）全面激发模型的生成式空间规划能力；在评测端，将模型生成的多视角图像输入 3DGS 优化器，利用多视角几何能否稳定收敛为连续的三维辐射场来量化其空间内在一致性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：目标配置/局部观测与文本指令"] --> B["物理引擎约束的数据合成<br/>Genesis 物理仿真 + 360度多视点渲染 + CoT 轨迹"]
    B --> C["双轴空间智能探测任务<br/>空间装配：单步/长程装配解构 + 空间结构：局部/全局旋转等变性"]
    C --> D["统一多模态模型生成推理<br/>自回归/扩散交错生成 intermediate 状态图与推理链"]
    D --> E["3DGS-Eval 体积几何一致性评测<br/>互斥视点子集独立重构 3DGS 并交叉比对外观/深度/点云"]
    E --> F["输出：空间感知与执行诊断指标<br/>2D 感知得分 + 3D 几何误差与感知-执行差距"]

关键设计¶

1. 物理引擎约束的因果装配数据合成：确保每步状态的物理稳定性与多视角真值

现有多模态数据集通常缺乏严格的物理受力约束，容易产生悬空漂浮或动力学不稳定的错误样本，破坏了空间因果推演的严肃性。针对此问题，MindBlock 基于 Genesis 物理引擎搭建了仿真合成管线，生成兼具几何严谨性与物理稳定性的积木结构库。数据涵盖语义结构（如家具、建筑、载具、动物等具有现实常识先验的物体）与随机结构（排除语义常识干扰、纯粹考察几何拓扑组合能力）两大分支，序列长度从简单的 2 块积木延伸至超过 40 块积木的长程复杂构型。在自底向上的增量装配过程中，每一步均强制检验物理力学平衡，确保必须存在底层支撑结构；同时在空间 360 度范围内均匀采集 8 个自中心视角的观测渲染图，并同步自动化生成描述精确三维空间坐标 \((x, y, z)\)、方块属性与空间接触支撑关系的思维链（CoT）轨迹，为长程因果与空间等变性提供细粒度标定。

2. 覆盖原子到长程的双轴空间智能探测体系：将空间推理显式转化为像素级状态转移

以往评估往往只能探测单一的静态关联，无法衡量模型在动态状态转移中的因果推演与坐标系对齐。MindBlock 将空间智能解耦为“空间装配”与“空间结构”两大轴线、共六项子任务： - 空间装配轴：包含单步原子操作（目标删除与目标补全）和多步长程循环（正向装配与逆向解构）。“目标删除”要求模型在移除指定积木的同时准确修复被遮挡的背景纹理，检验三维实体的独立表征；“目标补全”要求根据当前不完整装配与目标图像自主推断并生成最关键的下一步；“多步长程循环”则要求模型自回归交替生成思维链文本与中间步骤图像，模型在逆向解构时必须具备识别承重块的物理因果常识，避免结构倒塌。 - 空间结构轴：包含局部组件旋转与全局相机变换。要求模型对单一积木部件执行绕局部中心的旋转，或对整座场景执行不同视角的平移旋转。这强制检验模型是否具备旋转等变性，即当观察视角变化时，内部潜空间能否生成完全自洽的拓扑遮挡与透视投影变换。

3. 3DGS-Eval 体积几何一致性评测协议：穿透 2D 像素欺骗的几何测谎仪

纯 2D 像素级或特征级相似度（如 CLIP-S、SSIM）在多视角空间生成中极易失效：模型可以分别生成数张视觉上非常平滑逼真的独立图像，但在三维拓扑中方块位置却在不同视角间跳跃冲突。为了量化这种隐蔽的几何不一致性，本文提出 3DGS-Eval 评测协议。将模型针对同一物体生成的 8 个视角图像划分为两个互不相交的视点子集，分别作为输入独立优化两个 3D 高斯泼溅（3D-GS）隐式体积辐射场。每个高斯基元均包含三维位置、不透明度、各向异性协方差以及球谐颜色参数，通过可微光栅化最小化重构误差。如果模型生成的视角在内部形成了连贯的 3D 几何实体，两个独立优化的 3DGS 将在自适应密度控制下收敛至完全相同的几何形体；若生成的多视角存在拓扑矛盾，3DGS 优化过程将无法收敛，产生大量浮空伪影甚至几何坍塌。最终，在统一测试视角下对两组 3DGS 进行交叉渲染，综合计算外观一致性（PSNR、SSIM）、深度图平均绝对误差（Depth Err.）以及高斯点云空间分布的倒角距离（Chamfer Distance, CD），从而在数学上严格量化跨视角三维自洽性。

损失函数 / 训练策略¶

在长程交错图文推理评测中，针对大多数现成 UMM 缺乏交错图文长程生成能力的瓶颈，作者在 BAGEL-zebra-CoT 骨干网络上进行了增量多任务持续训练，衍生出 MindBlock-Random 与 MindBlock-Semantic 专业变体。训练策略采用两阶段课程学习：模型被联合监督于正向装配与逆向解构两个核心操作算子，每个离散状态转移过程均同时在 4 个正交观察视角下提供图像监督信号，迫使多模态潜空间在生成交错 reasoning steps 时保持视点不变的 3D 空间结构约束，避免在长文本-图像迭代中出现模式退化。

实验关键数据¶

主实验¶

MindBlock 在通用 UMMs 及专用图像编辑模型上对单步空间装配（Spatial Assembly）与几何等变性结构变换（Spatial Structure）展开了系统性评测。

任务	评测模型	2D 图像相似度 (CLIP-S ↑)	3DGS 外观 (PSNR ↑)	3DGS 结构 (SSIM ↑)	3DGS 深度误差 (Depth Err. ↓)	3DGS 倒角距离 (CD ↓)
单步空间装配	BAGEL	0.77	13.83	0.73	75.97	11.72
	Blip3-o-next	0.81	11.90	0.69	83.20	13.05
	ILLUME	0.68	9.94	0.64	99.67	18.20
	Emu3.5	0.75	13.10	0.71	79.20	12.10
	Step1X-Edit	0.86	15.20	0.78	68.50	9.10
	Ovis-U1	0.76	14.10	0.75	73.10	10.40
	Omni-Gen	0.70	8.70	0.59	108.40	17.80
空间几何等变性	BAGEL	0.74	12.26	0.76	82.64	10.73
	Blip3-o-next	0.79	10.80	0.70	90.50	12.90
	ILLUME	0.68	8.90	0.64	107.33	18.58
	Emu3.5	0.72	11.50	0.73	86.70	11.80
	Step1X-Edit	0.83	13.80	0.80	74.20	9.30
	Ovis-U1	0.73	12.90	0.77	79.60	10.20
	Omni-Gen	0.68	7.90	0.57	118.60	19.30

消融实验¶

为了进一步探究长程装配稳定性、符号思维链（CoT）对三维几何的脚手架作用，以及模型在感知与执行层面的差异，作者进行了三组针对性诊断实验。

表 1：长程正向装配与逆向解构任务表现对比

任务阶段	模型配置	CLIP-S ↑	3DGS-PSNR ↑	3DGS-SSIM ↑	深度误差 (Depth Err.) ↓	倒角距离 (CD) ↓
第一阶段：正向装配	BAGEL-zebra-CoT	0.78	13.5	0.74	71.3	11.8
	ThinkMorph	0.76	15.1	0.79	77.4	9.6
	MindBlock-Random (本文)	0.84	17.8	0.86	62.5	7.4
	MindBlock-Semantic (本文)	0.90	20.4	0.91	55.8	5.9
第二阶段：逆向解构	BAGEL-zebra-CoT	0.73	12.4	0.71	83.6	13.2
	ThinkMorph	0.75	14.0	0.76	76.8	10.7
	MindBlock-Random (本文)	0.82	16.3	0.83	67.9	8.5
	MindBlock-Semantic (本文)	0.88	19.1	0.88	60.2	6.8

表 2：符号 CoT 对三维结构一致性的脚手架增益分析（单步装配）

生成范式	评测模型	CLIP-S ↑	3DGS-PSNR ↑	3DGS-SSIM ↑	倒角距离 (CD) ↓	增益说明
直接图像生成	BAGEL (Direct)	0.782	13.42	0.712	12.4	基线表现
CoT 引导生成	UniCoT	0.814	20.88	0.785	6.5	引入符号坐标与接触规划
相对增益量	\(\Delta_{SR}\)	+0.032	+7.46	+0.073	-47.6%	几何倒角误差缩减接近一半

表 3：BAGEL 模型的感知与执行鸿沟诊断（四选一问答 vs 图像像素级生成）

任务场景	判别感知准确率 (Perception Acc. ↑)	生成执行匹配率 (Execution Match ↑)	感知-执行鸿沟 (\(\Delta\) ↓)
单步空间装配	52.5%	28.2%	24.3%

关键发现¶

2D-3D 空间一致性脱节：Blip3-o-next 在单步装配中取得了高达 0.81 的 CLIP-S 相似度（显著高于 BAGEL 的 0.77），但在 3DGS 评测下，其深度误差高达 83.20、倒角距离达 13.05，明显劣于 BAGEL（75.97 / 11.72）。这证明 2D 语义高分可能严重掩盖跨视角的 3D 拓扑结构崩塌。
空间几何等变性是全行业通用瓶颈：对比单步装配与空间结构任务，所有评估模型的 2D 与 3D 指标均出现一致性下滑（如 Step1X-Edit 的 3DGS-PSNR 从 15.20 跌至 13.80）。这表明当要求模型绕特定局部轴或全局相机视角变换时，模型很难在潜空间维持视角不变的刚体变换约束。
长程交错推理中的“空间漂移”：在多步装配与解构中，ThinkMorph 等模型会随生成步数增加发生几何误差累积，导致后期结构失稳垮塌；逆向解构由于涉及承重判断，各模型误差均高于正向装配（如 BAGEL 逆向 CD 升至 13.2）。
CoT 是空间三维几何的符号脚手架：对比直接生成的 BAGEL 与显式输出三维坐标/支撑关系的 UniCoT，CoT 使得 3DGS 倒角距离从 12.4 骤降 47.6% 至 6.5，3DGS-PSNR 提升 7.46 dB，证实文本符号锚点能有效约束潜空间扩散过程。
显著的感知-执行鸿沟（24.3%）：在解耦实验中，BAGEL 能在 52.5% 的情况下通过四选一选择题挑出正确的下一步状态，但在像素生成上仅有 28.2% 能准确对齐正确选项，说明当前模型缺乏将内部空间认知映射为物理自洽像素的生成落地能力。

亮点与洞察¶

将 3DGS 转化为生成式空间智能的“测谎仪”：巧妙利用 3D 高斯泼溅对多视角几何自洽性的严苛要求，将互斥视角重构的交叉误差作为隐式世界模型评测协议，彻底摆脱了 2D 局限。
发现并形式化定义了三大核心痛点：精准提炼出“2D-3D 一致性脱节”、“长程空间漂移”以及“感知-执行鸿沟”，为空间智能领域的后续演进提供了清晰的诊断框架。
厘清了符号思维链在空间生成中的本质作用：证实了显式文本 CoT 并非简单的推理装饰，而是作为不可或缺的“符号脚手架（Symbolic Scaffold）”，强行锚定了隐空间生成的几何连续性。

局限与展望¶

基元类型局限于刚性积木块：当前 MindBlock 的构建基元全部为离散规则的刚性积木，尚未涵盖铰接机构（Articulated objects）、柔性可变形体或连续的三维场景交互。
多步长程长模型支持受限：由于现有多数开源 UMMs 仅支持单轮图像生成，无法原生执行长上下文交错图文循环，多步长程评测主要依赖针对性微调模型。
未来改进方向：需要探索将多视角三维几何一致性损失或物理动力学奖励直接引入 UMMs 的预训练与对齐中，缩小感知-执行差距，并向真实机器人具身操控场景拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多模态模型的空间智能从被动选择推向像素级主动构建，并创新性提出基于 3DGS 的隐式几何世界模型评测协议。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 款主流 UMMs 模型、六项原子与长程子任务，从 2D 指标、3D 几何、CoT 机制及感知-执行鸿沟展开了细致深入的诊断。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络极度清晰，动机阐述发人深省，图表与实验设计相互印证，学术表达连贯严谨。
价值: ⭐⭐⭐⭐⭐ 为具身智能与统一多模态模型的物理世界建模奠定了坚实的诊断与评估基准，极具启发性与实用价值。