LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?¶

会议: ECCV2026
论文: ECCV 原文
领域: 视觉语言推理（vlm_reasoning）
关键词: 多步空间推理、积木装配、序列规划、评测基准、图像生成

一句话总结¶

LEGO-Puzzles 用从基础空间问答到带干扰项的装配规划、再到逐轮生成中间状态的递进评测，发现 29 个多模态模型仍有明显能力缺口：GPT-5 在 Lite 子集落后人类 21.8 个百分点，在规划测试中从一步的 90% 降到八步的 0%。

研究背景与动机¶

看懂一张图中的左右关系，并不意味着能指导别人完成一次装配。真实的空间任务往往要求模型先理解当前结构，再想象装上某个部件后的变化，并把这个新状态作为后续决策的起点。已有空间基准覆盖物体属性、相对位置、视角变化等能力，但很多题目只涉及一个静态场景或一次假想动作。即使模型在这些题目上表现不错，也不能据此判断它能否保持多个中间状态的一致性，或排除看起来相似、实际上装错了的候选步骤。

LEGO 装配提供了一个可控而非纯抽象的测试载体：开源工程通常附有零件清单和逐步说明，能够直接得到真实设计者给出的状态序列。渲染工具又允许固定相机、调整零件方向和安装位置，从而构造外观接近但空间关系不同的错误答案。相比把“规划”简化为语言常识排序，这种设计迫使模型关注具体的部件、连接关系与状态差异；相比真实机器人实验，它也更容易控制输入并获得可检查的答案。

本文因此先分解装配所需的基础能力，再把这些能力组合成长度可调的规划任务，最后去掉候选图片，让模型真正生成中间状态。重点不是提出更强的求解器，而是用不同输出形式定位能力断点：模型究竟不会识别部件、不会选择合法状态，还是无法在生成过程中维持装配约束。核心 idea：以同一类 LEGO 装配状态为载体，把基础空间判断、带干扰项的步骤选择与排序、逐轮视觉生成串成递进评测，并分别检查局部判断与完整轨迹是否正确。

方法详解¶

整体框架¶

LEGO-Puzzles 包含 Elementary 和 Planning 两个测试集合，输入均围绕积木零件及装配状态的渲染图展开。 Elementary 用 11 类问答诊断基础能力；Planning 给定初始状态和目标状态，要求模型从候选图片中选出并排列中间步骤，或逐轮生成这些步骤。前者测“能否识别正确过程”，后者进一步测“能否画出空间上成立的过程”，两者的输出与评分不能混为一谈。

数据侧先收集带装配说明的开源 LEGO 工程，渲染并整理状态与零件，再使用任务模板生成问题，最后进行人工核验。评测侧不微调模型：Elementary 的主实验采用零样本设置，Planning 选择其中表现较强的模型继续测试。本文是基准与诊断研究，不存在需要学习的专用网络、训练损失或把真值中间状态提供给生成模型的训练阶段。其主要设计分别是可控数据构建、分层能力诊断、带噪序列规划和多解生成评估。

关键设计¶

1. 可控数据构建：用真实装配说明建立能追溯的状态变化

作者选择最终规模适中的工程：过大的结构会让每次增加零件带来的视觉变化过小，过小的结构又缺少足够的空间复杂性和步骤数。工程覆盖多种物体类别，使用 Studio 渲染装配说明，并在连续装配步骤间固定相机，以免把视角变化误当成结构变化。零件类型、数量、颜色和位置可以编辑；旋转与多视角任务则专门改变视角或朝向，并采用 POV-Ray 风格渲染与光照调整。这种控制能力使错误候选不只是随机选一张不相关图片，而是可以针对某个空间属性制造具有迷惑性的错误状态。

随后通过 PDF-Extract 提取零件和组装对象等结构化信息，统一图像命名，再用人工设计的任务模板明确每张输入图的角色。例如安装位置题会同时给出当前结构、待装零件和安装后结构，模型必须根据前后差异判断具体连接点，而非只辨认零件外形。质量控制包括图像相似度去重、人工检查相机和零件属性，以及由三位受训标注者核验问题、图片引用顺序与答案。无法消除分歧的样本会修改或剔除，因此“题目本身是否有清楚答案”被作为数据构建的一部分处理。

2. 分层能力诊断：把静态识别与状态推演分开测试

Elementary 从 407 份 LEGO 装配说明构建，每类任务 100 题，11 类合计 1,100 题；原文部分位置使用“超过 1,100”的概述措辞，这里按明确的分项配置说明规模。第一层包含 Height、Adjacency、Rotation 和 Multiview，分别检查真实三维高度关系、相邻关系、旋转角度与视角变换后的外观。这里的高度不是图像纵坐标：透视投影中看起来更高的零件，在三维空间里未必更高，恰好能检验模型是否依赖二维捷径。第二层包含 Rotation Status、Position、Next-Step 和 Dependency，关注是否需要旋转零件、装在哪里、装完是什么状态，以及前后状态之间增加了哪些部件。

第三层包含 Backwards、Ordering 和 Outlier：从目标状态判断合法中间状态，对给定状态排序，以及找出不属于装配过程的状态。这三类题不只是增加输入图片数，而是要求模型跨状态约束自己的判断，理解某一步是否与后续目标兼容。任务均使用准确率，但随机猜测水平不同：例如二选一的 Adjacency 为 50%，四张图片排序的 Ordering 为约 4.2%。作者还给出显著性水平 0.05 下超越随机的临界准确率，因此不能把所有任务上的相同分数解释为相同程度的能力。

3. 带噪序列规划：先选对状态，再判断顺序

Plan-k-Step-VQA 将排序、错误状态识别和反向判断组合起来。给定初始状态 \(x_0\) 与目标状态 \(x_{k+1}\)，模型面对 \(2k\) 张候选图片，其中恰好 \(k\) 张是正确中间状态，另 \(k\) 张来自错误或不属于该路径的状态构造。模型必须选出正确图片并输出装配顺序；每个 \(k\) 从 1 到 8 的设置各有 20 个测试样例。注意这里的 \(k\) 指待恢复的中间状态数量，不应直接等同于从初始到目标的全部物理装配动作数。

这个设计把“排序”变成了更接近实际使用的状态选择问题，因为用户不会事先保证模型看到的每张步骤图都是正确的。三个指标帮助拆解失败：exact match 要求整个序列与真值完全一致；set match 只要求选中的步骤集合完全正确，不检查次序；overlap ratio 衡量预测步骤中属于真值集合的比例，也不检查次序。在输出包含 \(k\) 个不同候选的规定格式下，overlap ratio 就是选对的步骤数除以 \(k\)，再按样例汇总。如果 exact match 下降而 set match 仍高，问题主要在排列；两条曲线同步下降，则说明模型连合法步骤集合都没有稳定选出来。

4. 多解生成评估：允许不同合法路线，但要求整条路线成立

Plan-k-Step-Generation 不再提供候选答案，而是让模型根据初始图和目标图生成第一个中间状态，再依赖自己已经生成的历史继续输出后续状态。测试采用 \(k=2,3,4,5\)；后续轮次面对的是模型自身输出，而不是被真值纠正过的状态，因此局部放错一个部件可能影响整条轨迹。为避免把合理的不同装配顺序判错，作者先依据物理和装配约束扩展出多条合法拓扑路径，例如下面的零件必须先于上面的零件安装。这一步属于评估器的候选真值构造，不是向被测模型提供额外规划工具。

评分时，每张生成图使用均方误差（MSE）与该步骤所有合法候选图匹配，再检查匹配得到的状态能否连接成候选集合中的一条完整合法路径。整条路径合法记 1，否则记 0；它不是把各步图像相似度平均后作为“规划成功率”。原文没有在这段协议中给出独立的图像匹配阈值或充分的对齐细节，因此不能自行补写成严格的像素相等判定，也不能把视觉近似当作已验证的几何等价。为进一步判断失败是否从第一步就发生，作者还把五类 Elementary 任务改成单轮图像生成，分别用外观相似度和指令遵循度进行人工评分。

损失函数 / 训练策略¶

本文没有提出训练损失或执行基准专用微调。 Elementary 的 29 模型比较为零样本评测，选择题优先用规则抽取答案，规则失败时采用 ChatGPT 辅助抽取；Ordering 也采用相同的序列抽取思路。这些辅助操作用于解析被测模型的输出，不负责替模型求解积木问题。单轮生成分析每类取 20 题，共 100 题，由五位专家分别给外观和指令遵循打 0–3 分。这套人工分数既不是百分比，也不同于多轮生成中整条轨迹是否成功的二元指标。

实验关键数据¶

主实验¶

下表摘录原文 Table 1 与 Table 2 的总体准确率（%）。Elementary 是 11 类各 100 题的零样本评测；Lite 是每类抽 20 题、合计 220 题的人类对照子集，人类实验邀请 30 位专家。同一列内才是同一测试集上的比较，不能拿人类 Lite 分数直接减去模型的全量分数。

模型 / 基线	Elementary 总体	Lite 总体
GPT-5	72.0	71.8
GPT-o3	69.1	70.9
Gemini-2.5-Pro	68.8	65.9
Qwen3-VL-32B-Instruct	57.0	60.5
InternVL3-78B	47.7	48.2
人类专家	未报告	93.6
随机猜测	27.5	未报告

原文 §3.2 的叙述将 GPT-5 和 Gemini-2.5-Pro 的 68.8 与 72.0 对调；本笔记采用 Table 1，并明确保留这一来源冲突。 Lite 上的人类与 GPT-5 差距为 21.8 个百分点，是总体平均差距，不代表每一类任务都至少相差 20 个百分点。

消融实验¶

本文没有新网络模块的去除消融，下面对应 §4.1 与 Figure 3 的规划长度分析。同一 VQA 协议每个长度 20 例，指标为完整序列 exact match（%）；只记录原文文字明确给出的点或范围，不从曲线猜测小数。

模型 / 组别	长度条件	完整序列准确率	诊断意义
GPT-5	\(k=1\)	90	短序列仍可可靠解决较多样例
GPT-5	\(k=8\)	0	长序列完整成功率降至零
Qwen3-VL-32B-Instruct	\(k>4\)	0	较早失去完整路径恢复能力
InternVL3-78B	\(k>4\)	0	同样在更长序列中失败
四个被测模型	\(k>3\)	均低于 50	包含 Gemini-2.5-Pro
五位人类专家	\(k=1\) 至 \(k=8\)	100	所有长度均保持满分

另一个独立诊断是单轮生成：Table 4 在 100 题上给出 Nano Banana Pro 的外观 / 指令遵循均分为 2.52 / 1.99，GPT-5 为 2.25 / 1.88，量表均为 0–3。多轮生成的 §4.2 则报告三个被测模型在 \(k=3\) 时已经全部失败；这不能与上述人工均分直接比较。该节同时写“50 个样例”和“四种长度、每种 10 例”，两者不一致，因此不把总样本数自行修正为某个确定值。

关键发现¶

GPT-5 的 exact match 与 set match 曲线几乎重合，支持“错误已发生在选步骤阶段”，而非单纯不会排列正确候选。
部分闭源模型在 \(k=7/8\) 时即使完整成功率降至零，overlap ratio 仍约为 65%；完全成功与部分识别能力必须分开解读。
Height 中 22/29 个模型低于超越随机的临界值。作者观察到模型常按二维投影高度回答，而非真实三维高度。

亮点与洞察¶

同一装配场景同时支持局部问答与长程规划，能把总分下降追溯到更具体的能力。尤其集合匹配指标让“选错”与“排错”有了可区分的证据。
多解拓扑评估承认装配顺序可能不唯一，避免只接受某一份说明书路径。它仍检查整条轨迹能否成立，而不只检查每张图片分别像不像。
外观与指令遵循分开评分揭示了“画得像”不等于“装得对”。这种诊断方式适合迁移到需要精确空间编辑的视觉助手评测。

局限与展望¶

作者展示的主要不足是模型能力：基础三维判断、多步状态整合和空间精确生成都不稳定；论文没有单独展开系统性的基准局限章节。
本笔记判断：渲染积木缺少真实操作中的接触误差、遮挡变化和执行反馈，不能据此直接断言真实机器人任务上的成功率。
本笔记判断：每个 VQA 规划长度只有 20 例，人类基线也来自专家而非普通用户；结果有诊断价值，但细粒度排名仍需要更大样本和不确定性报告。
本笔记判断：MSE 匹配可能受渲染风格和图像对齐影响，后续宜加入结构或部件级验证，并公开与人工判定的一致性。
原文分数叙述与样本数存在上述冲突，且所给全文不含文中提到的附录评分细则；复现实验应先核实这些口径，不从缺失材料推定实现细节。

评分¶

新颖性: 4/5，积木题材本身并不新，但分层诊断与带噪规划、生成评测的组合具有清晰目标。
实验充分度: 4/5，覆盖 29 个模型、人类与两类生成分析，但长程样本较少且部分统计口径需核实。
写作质量: 3/5，任务定义总体清楚，正文与表格分数以及生成样本总数的冲突影响精确引用。
价值: 4/5，适合识别空间推理的具体失败环节，不应当作真实世界装配能力的完整替代指标。