ZAP: Zero-Shot Assembly Planning with Large Language Models¶

会议: ECCV 2026
论文: ECCV 论文页面
代码: https://github.com/ZJU-PLP/ZAP
领域: 机器人 / 装配规划
关键词: 零样本装配、多视角感知、结构化零件档案、数字孪生验证、回溯搜索

一句话总结¶

ZAP 先从多视角零件图像推断结构化的“隐式装配手册”，再让 VLM 提议下一步装配动作，并用数字孪生验证与回溯搜索纠错，在 150 个 ASAP-G 装配任务上取得 88.67% 的规划成功率，但这一数字衡量的是仿真验证通过率，不是同等规模的实机成功率。

研究背景与动机¶

机器人装配不仅要识别桌面上有什么零件，还必须理解零件之间如何连接，以及先装哪一件才不会挡住后面的操作。传统几何规划器可以利用准确的 CAD 模型搜索无碰撞顺序，但模型获取和真实感知误差限制了部署；强化学习和示范学习能够学习动作，却往往需要大量任务相关交互。遇到新零件和新连接拓扑时，已有经验不一定能够直接复用。

视觉语言模型提供了另一种先验：看到底座、支撑杆和轮轴，人可以借助功能常识推断它们的大致装配关系，VLM 也可能具备类似能力。不过，像 Manual2Skill 这样的系统仍以人类写好的说明书为入口；如果只有零件和一个目标指令，系统首先要自己推断“说明书”。直接让 VLM 根据图片一次性输出完整顺序又不可靠，因为外观上合理的连接可能存在碰撞，当前能装上的零件也可能封死后续装配入口。

ZAP 因此把问题放在感知、语义先验和几何验证的交界处，而不是宣称语言推理能够替代物理约束。核心 idea：用多视角视觉生成装配相关的结构化零件档案，让 VLM 缩小候选顺序空间，再通过数字孪生的逐步可行性验证与回溯，把“看起来能装”变成“在验证器约束下能装”。

方法详解¶

整体框架¶

输入是摆放在受控准备区域、彼此留有足够间距的一组散件，以及语言形式的装配目标。三台经过外参标定的 RGB-D 相机从近似正面、侧面和顶部观察，自动实例分割与裁剪得到每个零件的三视图。这里的分割只是获取零件级输入的预处理，论文真正研究的是机器人装配顺序规划，而非分割算法。

整个方法依次包含三个关键设计：多视角结构化解析由 VLM-Parser 生成零件档案和关系摘要；物理语义启发式提议由 VLM-Planner 根据当前子装配体和剩余零件判断下一步；数字孪生验证与回溯由迭代决策聚合器 IDA 组织，检查候选连接、更新状态，遇到死路则撤回之前的决定。最终输出从基础零件开始、逐件加入其余零件的完整顺序，再交给机器人执行系统。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["零件三视图<br/>与装配目标"] --> B["多视角结构化解析"]
    B --> C["物理语义启发式提议"]
    C --> D["数字孪生验证与回溯"]
    D -->|通过后更新状态，继续装配| C
    D -->|死路时回溯，改选分支| C
    D -->|全部零件装配完成| E["经验证的装配顺序<br/>与机器人执行"]

需要区分“规划器的输入”和“整个系统的依赖”：精确物体网格不作为 VLM 的主要规划输入，但数字孪生仍用网格构建仿真、检查碰撞和连接对齐。因此，ZAP 减少的是规划阶段对人工说明书和显式几何先验的直接依赖，不是实现完全无几何模型的端到端装配。深度图主要保留给执行阶段的抓取位姿恢复，不能把本文理解成将稠密深度直接输入 VLM 做全三维动力学推理。

关键设计¶

1. 多视角结构化解析：把图片压缩成可用于装配推理的零件档案

零件的名称不足以决定如何连接，完整图片又混有大量不影响装配的纹理细节。VLM-Parser 因而采用面向装配的稀疏结构编码：利用制造零件的正交投影先验，从正、侧、顶视图推断外形包络，把连接特征定位到六个主要轴向端部，而不是要求模型凭单张图自由想象整个三维形状。三视图的作用是相互约束，例如某个视角像实心圆柱的部件，另一个视角可能显露中心孔，从而改变它能否与轴配合的判断。

每个结构化零件档案包含三类字段。sem_sum 保存名称、颜色和材料等辅助属性，以及零件相对于全局目标的功能角色；phys_prop 保存基于跨视图一致性和标定工具获得的几何量，例如轴对齐包围体与三维中心；interfaces 保存同心孔、轴向插头等配合特征及其轴向位置，并把图像中的定性特征与程序检查的几何尺寸对应起来。前者依赖 VLM 的语义理解，后两者又受到确定性几何工具的约束，构成语义流与几何流协同的表示。所谓“隐式手册”是从观察中推断出的功能和关系说明，结构化档案则是其机器可读版本，并不是事先提供的正确装配顺序。

2. 物理语义启发式提议：选择下一件时，同时考虑现在能否站稳和以后还能否装入

规划器不是在开始时一次性写完所有步骤，而是在当前子装配体上进行短程“心智预演”。它读取零件档案，并保留直接视觉证据作为补充，从剩余零件中提出候选移动件。原文用思维链解释候选的物理理由，再依据三方面进行启发式评价：结构稳定性关注视觉估计的质心相对于支撑底座的位置；功能可供性关注零件是否符合整体装配目标；装配先后约束关注当前动作会不会损害后续零件的几何可达性。原文没有给出这些评分项的明确权重或完整数值实现，不能据此补造一个固定的加权求和公式。

这一步的价值不是替代碰撞检测，而是降低昂贵验证面对的组合数量。例如，底座通常应先提供支撑，外罩即使现在能安装，也可能遮挡内部零件的入口；这样的功能和顺序常识可以把“所有剩余零件都试一次”变成优先检查少数合理候选。图像与档案也不是二选一：档案让功能、接口和尺度约束易于检索，原始图像则补充文字摘要可能遗漏的细部几何。后面的模态消融专门比较了保留档案但去掉图像，以及保留图像但跳过档案的两种退化方式。

3. 数字孪生验证与回溯：允许语义提议犯错，但不把局部错误直接固化为后续状态

IDA 将启发式提议放入递归的“提议—验证—更新”循环。每个高置信候选都要经过数字孪生的物理可行性验证：网格用于离散碰撞检测、关节对齐和连接一致性检查，只有满足运动学与拓扑约束的连接才进入装配序列。通过验证后，系统把移动件加入当前子装配体，同时记录序列和状态历史；如果所有剩余零件都无法通过验证，则退回先前稳定的子装配状态，重新评估其他分支。搜索最终或者覆盖全部零件，或者在无法继续回溯时返回失败。

原文 Algorithm 1 给出的状态机很清晰：从选定基础件开始，维护当前子装配体、剩余零件集合、已接受的动作序列以及历史记录。对于总共 K 个零件，完成装配需要 K−1 次“把一个移动件加入子装配体”的转移。有效性同时要求每步运动路径无碰撞，以及末态包含全部初始零件；因此，最后看起来形状接近目标但中间存在不可执行插入动作的顺序，也不能算成功。IDA 在这里是 Iterative Decision Aggregator，不能仅凭图中出现的“IDA”字样，就将其等同于有明确代价界限、可证明最优的经典 IDA 搜索算法。

一个完整示例¶

以原文 Figure 2 的托盘上玩具车为例，系统首先观察车身、轮轴、防滚架和装配托盘。解析器把车身记录为具有座舱空腔的主体，把轮轴记录为具有圆柱轴连接的滚动部件，把弯折防滚架记录为提供结构保护的支撑件，把托盘记录为带定位特征的参考基座。这些描述回答的是“它是什么、与哪里连接”，尚不是固定顺序。

随后，规划器在当前基座上提出下一件，验证器确认其插入和连接可行后才更新状态。原图给出的完成过程展示了“基座与车身 → 加入车轮 → 加入框架”的顺序。如果某一步虽局部成立，却让剩余部件无法再装入，IDA 就沿历史记录退回之前的状态，尝试其他分支；这里描述的是算法处理死路的机制，不代表该示例实际发生了多少次回溯，原文没有提供这条执行轨迹的完整搜索日志。

损失函数 / 训练策略¶

本文没有为 ZAP 定义新的训练损失，也没有在 ASAP-G 上微调 VLM。其零样本协议包含三条边界：不使用 ASAP-G 样本做提示调优或模型对齐；不向代理提供真实装配图或目标连接矩阵；对全部测试样本使用冻结骨干、固定提示模板和固定采样温度。原文只说明使用 Gemini 与 GPT 模型家族，温度为 0.1，没有明确给出足以复现的具体型号、版本和各模块组合。低温采样也不意味着调用结果在所有条件下严格确定。

ASAP-G 是评测数据，而不是 ZAP 的训练集。它从 ASAP 中按拓扑与类别分层选择 150 个装配体，每个包含 3–30 个零件；简单、中等、困难三档比例为 7:5:3，对应 3–5、6–10、11–30 件。多视角图像由本地渲染生成，零件语义标注先由 VLM 草拟，再由研究人员核查，约 6.5% 的零件标注需要修改，典型问题是对称或重复结构计数错误。网格还经过水密性检查和初始零件间碰撞清理。人工修订的是基准标注，不应误写成每次机器人规划都有人给出装配答案；但论文也没有把评测时人工修订档案与在线解析结果的使用边界交代得足够细。

实验关键数据¶

主实验¶

主要指标为规划成功率 PSR：生成的序列通过数字孪生可行性验证，并形成目标装配拓扑的任务占比。若存在多个合法顺序，任何满足可行性和连接要求的顺序均计为成功。以下数字来自原文 Table 1，评测覆盖全部 150 个 ASAP-G 装配体，单位均为百分比；增量比较使用“百分点”。

方法	简单：3–5 件	中等：6–10 件	困难：11–30 件	总体 PSR
ASAP（原表合并 Heuristics / Learning）	90.00	86.00	76.67	86.00
Random Permutation + 物理验证	88.57	84.00	76.67	84.67
ZAP	90.00	88.00	86.67	88.67

ZAP 相对 ASAP 的总体优势是 2.67 个百分点，困难档优势为 10.00 个百分点，简单档则完全持平。按类别，原表的玩具类从 ASAP 的 76.19% 提高到 ZAP 的 95.24%，提升 19.05 个百分点；但家具类从 87.14% 降到 84.29%，其他类也从 92.86% 降到 89.29%。因此，优势不是所有类别全面领先，而是集中体现在困难装配和玩具这类非标准几何组合上。

该对比也不是完全相同输入条件下的替换实验：ASAP 基线能够访问完整几何先验，且 ASAP-G 来自原 ASAP 语料；ZAP 的 VLM 不直接读取真实连接图或精确网格作为主要规划输入，但其验证器仍使用网格。Manual2Skill 没有出现在这张定量主表中，不能声称本文用相同实验协议数值证明了优于它。

实机部分使用 MuJoCo 3.3.4 对应的 UR5e、Robotiq-85 夹爪、定制 3D 打印装配夹具及三台 RealSense D435。台灯、凳子、玩具车各做 10 次独立试验，成功率依次为 100%、90%、80%，即 10/10、9/10、8/10。作者明确将其定位为端到端可行性的先导实验，不是覆盖 150 个装配体的实机评测。

消融实验¶

下表合并原文 Table 2 的总体结果与 Table 3 的难度分档结果；总体变化量以 Table 2 的完整系统为参照，单位为百分点。去掉 IDA 的版本是直接接受首选提议的贪心开环策略，同时失去递归提议—验证循环和回溯，并非只移除一个孤立的回溯开关。

配置	总体 PSR（Table 2）	总体变化	简单（Table 3）	中等（Table 3）	困难（Table 3）
完整 ZAP	88.67	—	90.00	88.00	86.67
去掉 IDA：贪心策略	74.00	−14.67	81.42	68.00	63.33
去掉图像输入，保留档案	86.00	−2.67	88.57	86.00	80.00
去掉结构化档案，保留图像	86.67	−2.00	88.57	84.00	83.33

原文数字存在汇总不一致，以上保留原表而不擅自修正。 按原文 7:5:3 的难度比例加权 Table 3，去掉 IDA 的总体值约为 73.33%，不是 Table 2 的 74.00%；去掉档案约为 86.00%，不是 86.67%。二者差距约为 0.67 个百分点，无法仅用两位小数舍入解释。完整系统和去掉图像版本能够按同样方式对齐；原文没有解释是否存在不同运行批次或统计口径，精确汇总值应保留这一疑点。

关键发现¶

最明显的收益来自闭环搜索。 去掉 IDA 后，原表总体下降 14.67 个百分点，困难档从 86.67% 降到 63.33%，下降 23.34 个百分点；简单档下降 8.58 个百分点。越长的装配序列越需要发现早期错误并撤回，而不是把一次 VLM 判断视为不可更改的决定。
结构化档案不能完全替代图像。 去掉图像时，困难档下降 6.67 个百分点；去掉档案时，中等档下降 4.00 个百分点。前者提示语言摘要会损失细部几何，后者提示仅靠像素推理又容易遗漏功能和先后约束。
验证器本身提供了很强的基础能力。 随机排列加物理验证已有 84.67% 总体 PSR，距离 ZAP 为 4.00 个百分点。作者称两者使用相同验证预算，但正文未给出预算数值、搜索次数或时延，不能从成功率单独断言计算效率提高了多少。

亮点与洞察¶

把“理解零件”和“证明动作可行”分开。 VLM 负责从功能与外观形成有用的候选排序，确定性工具负责拒绝不成立的连接。这比要求基础模型直接输出可信机器人动作更符合其能力边界。
隐式手册是一种受约束的中间表示。 它既比原始像素更方便搜索，又不等于人工提供答案；六轴接口和跨视图几何约束让语义推断与装配所需结构发生联系，而不只是生成一段自然语言描述。
回溯比一次性长链推理更重要。 实验中闭环搜索的退化远大于单独撤去一种输入模态的退化，说明可靠装配不仅取决于第一次想得对不对，还取决于系统能否识别错误状态并恢复。

局限与展望¶

仍依赖可用的数字孪生。 网格没有直接交给 VLM，不代表验证器不需要它们；对于完全未知且难以建模的真实散件，如何获得足够准确的验证环境仍是部署前提。
感知条件相对受控。 初始零件需要有足够间距，三视角也经过标定。自遮挡、细小接口与对称结构仍会导致误解析，不能把初始分割避开严重遮挡的设置泛化成任意杂乱堆叠场景。
机械真实性尚有限。 作者指出，基准中的连接点不总是清晰，许多零件缺少精细紧固机制和摩擦模型。几何验证通过不等于能在严格公差、真实接触力和柔性变形条件下稳定执行；力反馈控制与接触丰富操作是作者提出的后续方向。
复现与统计报告有缺口。 具体 VLM 版本、启发式评分实现、搜索预算和运行成本未充分给出；两张消融表的部分汇总值不一致，主实验也未提供置信区间。实机各对象只有 10 次试验，不能用其百分比证明广泛的统计稳健性。
失败分析的分母不明确。 原文报告复杂案例中 12.5% 出现对称接口误识别，且回溯挽回其中 60% 的级联错误，但没有清晰列出对应样本量。这些数字可说明观察到的失败类型，不能直接与 30 次实机试验合并推导总体恢复率。

评分¶

新颖性：4/5。将多视角隐式手册、语义候选与验证回溯结合，面向无手册装配形成了完整问题设定，但核心仍属于已有模型与搜索工具的系统性集成。
实验充分度：3/5。具备 150 个任务、难度与模态消融以及实机试验，但消融汇总矛盾、复现细节和小规模实机统计限制了结论强度。
写作质量：3/5。模块职责和方法动机较清楚，然而标题版本差异、算法称谓及部分数字口径需要作者进一步澄清。
价值：4/5。清楚展示了如何用物理检查器约束基础模型规划，适合关注零样本装配、具身推理及模型与工具协同的读者。