RoboWits: Unexpected Challenges for Robotic Creative Problem Solving¶

会议: NeurIPS 2026
arXiv: 2605.30326
OpenReview: https://openreview.net/forum?id=0dyy3qodV0
代码: https://github.com/umass-embodied-agi/RoboWits
领域: 机器人
关键词: 双臂机器人操作, 认知推理, 创造性工具使用, 意外挑战与策略适应, 多智能体基准生成

一句话总结¶

提出了首个针对双臂机器人创造性问题解决与意外挑战适应能力的评测基准 RoboWits，并设计了包含任务生成、变异与物理验证的多智能体生成管线，系统揭示了当前主流 VLA 和模块化规划器在几何、材料与装配深层认知推理上的脆弱性。

研究背景与动机¶

智能体在现实复杂环境中执行任务时，常常会遇到初始方案失效、工具物理属性不符预期或场景中存在具有迷惑性替代物的意外挑战。人类与动物面对此类障碍时，能够灵活推理物体几何形状、材质刚柔、摩擦阻力以及复合约束，并在假设被打破时迅速修正行动策略。然而，现有的具身机器人基准（如 RLBench、LIBERO、RoboTwin 2.0 等）绝大部分仍停留在既定条件下的动作执行层面，如规范轨迹抓取、定式推移或预定义工具装配，模型只需拟合浅层的视听动作关联，无法有效衡量系统在深层物理规律理解与自适应策略迁移上的认知推理能力。

这种局限性带来的核心矛盾在于：现阶段 Vision-Language-Action (VLA) 模型虽然在演示视频中展示了诸如纸盒折叠、薄板聚拢小物体等创造性表象，但由于缺乏统一、高难度且支持反直觉扰动的系统化评测基准，学界既无法定量评估具身大模型在遭遇意外阻碍时的认知适应边界，也难以诊断其在空间几何、物理属性及工具组合推理中的核心失效模式。若完全依赖人类专家手动构建包含多重因果扰动的操作场景，不仅耗时耗力，而且极易陷入特定模式、难以大规模扩充。

针对上述挑战，本文将评测重点从低层运动执行转向高阶认知推理与策略自适应，提出了一套兼顾物理仿真保真度与任务多样性的双臂操作基准。核心 idea：通过构建多智能体协同的任务生成管线，自动演化并严格验证几何、材料与装配三类认知任务，并引入 Pivot、Trap、Add 三重因果变异策略形成渐进难度阶梯，全方位评测与诊断机器人在意外物理约束下的创造性问题解决能力。

方法详解¶

整体框架¶

RoboWits 的任务设定在基于 Genesis 物理引擎构建的桌面双臂机器人系统上。双臂各配备 7 自由度机械臂及平行夹爪，操作空间包含形状、尺寸及材质各异的日常物体。每个操作任务形式化定义为一个五元组：

\[T = (\mathcal{I}, \mathcal{O}, \mathcal{C}, \mathcal{M}, s)\]

其中 \(\mathcal{I}\) 为仅指明终极目标而不透露任何动作解法的自然语言指令（例如“拾取银行卡”而非“将卡推至桌沿后捏起”）；\(\mathcal{O}\) 为定义了外观与功能属性的结构化物体列表；\(\mathcal{C}\) 为包含 3D 资产、物理参数（刚体/流体/弹性体/颗粒）及空间位姿的初始场景配置；\(\mathcal{M}\) 为包含二元成功判断与连续进度分数的评测准则；\(s \in \{1, 2, 3, 4, 5\}\) 为操作与认知综合难度评分。

为了规模化产出高质量的意外场景任务，RoboWits 设计了由 5 个基于大模型驱动的专用 Agent 构成的多智能体协同流水线。流水线串联了种子任务生成、三维资产与场景物理实例化、仿真环境可行性与捷径验证、渐进难度因果变异，以及自动化执行评测代码合成的全流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言概念 &amp; 3D资产库"] --> B["多属性抽象种子任务生成<br/>输出结构化规范 (I, O, 候选解, 推理阐释)"]
    B --> C["仿真可行性与捷径验证<br/>资产检索与物理执行/捷径双重过滤"]
    C --> D["三维物理场景与评测度量实例化<br/>材质参数绑定/四视角物理沉降与指标生成"]
    D --> E["渐进因果变异流水线<br/>Pivot 策略阻断 / Trap 属性陷阱 / Add 杂物感知"]
    E -->|通过验证加入候选池| F["RoboWits 评测基准<br/>30 种子任务 + 208 变异分级任务"]

关键设计¶

1. 多属性抽象种子任务生成：解耦功能角色与具体几何实例 传统任务规范通常直接指定特定实体名称，导致生成模型极易过拟合浅层词共现。针对该问题，种子任务生成 Agent 采用统一任务模式，将物体列表 \(\mathcal{O}\) 抽象解耦为外观属性（如细长、透明、开口窄于夹爪）、功能属性（如刚性、可移动、稳定基底）以及潜在日常实体候选集（如细颈花瓶、窄口玻璃瓶、细高水杯）。这种结构化表示促使模型聚焦于物体在力学与几何交互中扮演的底层功能角色，既规范了物理环境约束，又为后续跨材质、跨外形的场景泛化与因果变异奠定了组合空间。

2. 仿真可行性与捷径双重过滤验证：兼顾执行上限与认知挑战真实性 大模型自动构想的任务极易出现超出物理引擎能力或存在超额简易捷径的问题。任务验证 Agent（Task Verifier）作为仿真感知的质检模块，从三个维度执行严格把关：首先是可仿真性检验，调用资产检索与生成工具在本地和在线库中匹配合法 3D 资产，无法生成稳定网格或超出接触模拟精度的任务直接剔除；其次是解法可行性与非捷径性检验，排除需要极限动力学或微米级精度的操作，同时重点筛除能够绕过核心物理推理的捷径动作，确保智能体必须通过推理环境约束才能破局；最后根据动作步数、元语类型及双臂协同需求输出执行难度分 \(s_o\)。

3. 三重因果变异策略：构建梯级递增的认知反直觉挑战 为了系统性测试具身策略面对意外障碍的自适应与容错恢复能力，任务变异 Agent（Task Mutator）与验证 Agent 形成协同博弈，基于种子任务演化出由浅入深的变异任务树，采用三类核心变异算子： - Pivot（方案支点重构）：通过移除关键工具或改变几何约束（例如将杯子固定在桌面使其无法倾倒倒出方块），彻底阻断先验直接解法，并引入全新功能物体（如长柄小勺或注水漂浮机制），迫使机器人发现根本不同的全新行动路线； - Trap（属性与几何陷阱）：在场景中注入高迷惑性物体，其外观看似吻合任务需求，但在微观尺度或物理参数上暗藏阻碍（例如尺寸过大的勺子、弹性极软无法撬动的杠杆板、表面摩擦力不足的斜面），专门检测模型是否具备物理因果归纳与失误试错恢复机制； - Add（杂乱扰动注入）：在保持核心推理链路不变的前提下，随机加入无用杂物，增加桌面感知遮挡与视觉注意力干扰，考察控制策略的鲁棒性。

变异流程通过维护动态任务池进行多轮反馈修正（最多 3 轮交互），且每种变异算子在单条链路上的重复次数不超过 2 次，在早期重点探索 Pivot 拓扑分支，随后注入 Trap 与 Add，构建出难度阶梯平滑分布的评测家族。

4. 评测度量逻辑继承与全场景物理实例化：最小化人工审计瓶颈 场景生成 Agent（Scene Generator）将变异后的符号化配置落实为物理引擎代码，自动设定物体质量、摩擦系数、弹性模量等连续物理参数，并进行多物理步的预沉降仿真与四视角渲染，确保物体摆放无穿模、接触处于静力学平衡。与此同时，评测度量 Agent（Metric Generator）利用底层状态接口合成包含布尔成功判定与连续进度函数 \(\mathcal{M}\)。由于变异任务保持任务根本目标不变，同一变异家族的所有派生任务均复用种子任务的判定逻辑，评测代码的生成与人工审计开销从 208 次骤降至 30 次，从架构上消除了大规模自动化基准构建的验证瓶颈。

损失函数 / 训练策略¶

RoboWits 针对基准中的种子任务采集并开源了高质量的人类遥操作示范轨迹（每项任务采集 50 条双臂协同轨迹）。针对基线模型的评测与微调策略配置如下： - ACT：基于 Transformer 的动作分块（Action Chunking）模仿学习策略，在多任务混合数据集上从头训练 100,000 步，动作块大小 chunk size 设为 50，batch size 设为 256； - \(\pi_0\) 与 \(\pi_{0.5}\)：基于 Flow Matching 的 3B 规模预训练 Vision-Language-Action 基础模型，在多任务 50 演示样本配置下微调 100,000 步，有效批大小设置为 64，利用其互联网级与多机器人预训练权重迁移跨场景先验； - VLM 模块化规划器（GPT-4o / Gemini 3 Pro）：分为具有完美动作元语的规划器（VLM Planner）与依赖固定底层控制脚本的控制器（VLM Controller），输入场景状态符号描述并闭环接收执行反馈，调用高层重规划逻辑。

实验关键数据¶

主实验¶

在 10 项具有代表性的种子任务（覆盖几何、装配、材料三大类）及其衍生变异任务上，对各主流机器人策略进行了 50 轮随机位姿测试。评测指标为任务成功率（SR, Success Rate）与进度得分（PS, Progress Score，范围 0~1）。

模型类别	模型名称	任务类型	几何任务 (平均)	装配任务 (平均)	材料任务 (平均)	全任务平均 SR	全任务平均 PS
模块化规划器 (Oracle状态)	VLM Planner** (GPT-4o)	Seed	60.8%	86.7%	34.7%	60.8%	-
模块化规划器 (Oracle状态)	VLM Planner** (GPT-4o)	Mutation	35.2%	69.1%	28.6%	44.4%	-
模块化规划器 (脚本控制)	VLM Controller* (GPT-4o)	Seed	4.0%	13.3%	3.3%	7.0%	0.45
模块化规划器 (脚本控制)	VLM Controller* (GPT-4o)	Mutation	6.7%	4.8%	3.0%	4.8%	0.36
端到端模仿学习	ACT (From Scratch)	Seed	21.2%	0.0%	0.7%	11.0%	0.43
端到端模仿学习	ACT (From Scratch)	Mutation	9.6%	0.0%	4.8%	4.8%	0.31
预训练 VLA	\(\pi_0\) (3B)	Seed	24.4%	0.0%	12.2%	12.2%	0.46
预训练 VLA	\(\pi_0\) (3B)	Mutation	13.0%	0.0%	6.5%	6.5%	0.32
预训练 VLA	\(\pi_{0.5}\) (3B)	Seed	25.2%	0.7%	12.0%	12.6%	0.45
预训练 VLA	\(\pi_{0.5}\) (3B)	Mutation	17.2%	4.3%	7.8%	9.8%	0.31

注：* 表示具有 Oracle 真实状态输入；** 表示假设完美执行动作元语且无进度分统计。

消融实验¶

1. 不同变异算子对模型性能的影响对比 为深入分析各模型在不同认知干扰下的鲁棒性衰减模式，统计了三类变异策略下的成功率分布（其中 Add(n) 表示加入 n 个无关干扰物体）：

策略模型	Pivot 变异 SR	Trap 陷阱变异 SR	Add(1) 干扰 SR	Add(2) 干扰 SR	Add(3) 干扰 SR
ACT	1.7%	5.1%	13.3%	13.5%	4.3%
\(\pi_0\)	2.0%	6.4%	13.3%	17.6%	11.1%
\(\pi_{0.5}\)	3.7%	5.4%	15.0%	12.1%	7.7%

2. 示范数据规模扩展实验（\(\pi_0\) 微调对比） 在单解最优型任务（Dominos 骨牌连环推）与多模态策略调整任务（Align Blocks 尺子对齐积木）上，对比了 50 条与 200 条遥操作轨迹微调后的性能迁移效果：

训练演示规模	Align Blocks (Seed SR)	Align Blocks (Mutation SR)	Dominos (Seed SR)	Dominos (Mutation SR)
50 演示轨迹	44.0%	24.0%	70.0%	47.0%
200 演示轨迹	54.0%	33.0%	94.0%	52.0%

关键发现¶

VLA 模型泛化存在表面相关性瓶颈：即使经过 50 次演示微调，\(\pi_0\) 和 \(\pi_{0.5}\) 等先进 VLA 也仅在部分几何种子任务上初见成效，在装配和复杂材料交互任务上成功率接近归零；一旦进入因果变异任务，成功率平均跌去 30%~50%，这表明端到端策略严重依赖浅层视觉共现，并未掌握背后的物理支撑与力学关系。
Pivot 变异对策略构成毁灭性打击：在三种变异算子中，Pivot 的成功率最低（全模型均低于 4%）。视频分析显示，机械臂在原有工具失效后依然盲目执行固化动作轨迹（例如持续推挤被固定的杯子），完全缺乏策略重规划能力。
高阶规划与低阶执行存在脱节：即使在完美动作元语假设下，基于 GPT-4o 的 VLM Planner 在种子任务上能达到 60.8% 的成功率，但一旦接入真实运动控制脚本（VLM Controller），成功率断崖式跌落至 7.0%，凸显出高层符号推理与低层连续接触控制之间的巨大鸿沟。
数据扩展无法弥合认知推理缺陷：扩充演示数据至 200 条能显著提升 Dominos 这类固定机械轨迹的执行率（70% 升至 94%），但对应变异任务的提升极为有限（47% 仅至 52%），证明演示模仿只能巩固既定控制，无法自主习得对意外物理挑战的自适应推理。

亮点与洞察¶

自动化多智能体任务进阶演化机制：将基准设计解耦为生成、过滤、变异、物理配置与度量合成五大角色，借助 Pivot/Trap/Add 算子自动生成层级分明的意外物理障碍，摆脱了传统基准完全依赖人工设计的扩展瓶颈。
复用判定逻辑化解评测审计危机：巧用“变异任务目标不变”的因果同构性，让同一家族变异任务共享种子评测度量，使人工审计从数百份代码收缩至 30 份，为大规模高保真仿真评测提供了优雅的工程典范。
闭环反馈是具身认知适应的立足之本：实验证实闭环动态重规划（每步动作后重新判定）在种子和变异任务上分别优于开环规划 27.4 和 29.3 个百分点，实证指明了未来 VLA 必须深度结合实时状态反馈与反思机制的进化路径。

局限与展望¶

Sim-to-Real 动力学鸿沟与算力权衡：基准高度依赖非线性接触动力学仿真（如颗粒流体、软体与薄膜），计算开销显著高于刚体仿真，大规模批处理评估耗时较长；且模拟中的理想化接触与真实物理世界存在不可忽视的 Sim-to-Real 漂移。
零样本端到端适应能力尚不具备基线支持：当前测试依然依赖少量示范微调或符号化 Oracle 状态，缺乏能够在完全未见变异场景下自主感知物体材料属性、推导意外阻碍并闭环执行动作的真正统一端到端基线。
未来方向：探索与结合显式物理动力学预测的世界模型（World Models），结合强化学习试错探索（RL with Curiosity/Affordance）构建具备物理常识自我修正与工具创造性组合的下一代 VLA 架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出机器人创造性问题解决与应对意外物理挑战的评测基准，多智能体因果变异流水线极具创新性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖端到端模仿、预训练 VLA 及多种 VLM 规划器，结合多难度变异分析与数据扩展实验，诊断深入全面。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，因果变异与多智能体框架阐述详实，图表规范严密。
价值: ⭐⭐⭐⭐⭐ 明确指出了当前 VLA 模型在物理推理上的致命软肋，为具身智能从单纯模仿迈向真实认知自适应提供了关键评测底座。