ManiTaskGen: A Comprehensive Task Generator for Benchmarking and Improving Vision-Language Agents on Embodied Decision-Making¶

会议: NeurIPS 2026
arXiv: 2505.20726
领域: 机器人
关键词: 具身智能、移动操作、任务生成、3D场景图、视觉语言模型决策

一句话总结¶

针对具身智能在有限场景与手工任务标注下的评估与泛化瓶颈，ManiTaskGen 基于环境交互循环与容器感知3D场景图，在任意场景中自动化生成海量过程型与结果型移动操作任务，不仅构建了高难度分级基准，还通过基于自省的推理期强化微调显著提升了 VLM 具身智能体的决策能力。

研究背景与动机¶

构建能够执行任意日常任务的通用具身智能体（Embodied Agent）是迈向具身通用人工智能（E-AGI）的核心目标。近期基于大语言模型与视觉语言模型（VLM/VLA）的研究，通过串联底层技能基元（如导航、抓取、放置）或直接端到端输出关节控制动作，在移动操作（Mobile Manipulation）领域展现出广阔前景。然而，现存具身决策基准与策略训练严重受限于极少数特定场景及高度受限的人工任务指令。研究人员通常依赖高成本的人工标注在固定环境里设计少量任务，导致评测基准规模小、任务形式僵化、复用性差，难以外推到真实开放世界的复杂多样环境中。

这种评测与训练困境的本质矛盾在于：机器人所面对的物理交互空间理论上近乎无限（只要物体可移动、放置表面有空间，就存在排列组合出的庞大任务流），但现有算法探索的交互轨迹却高度局部且同质化。现有自动化任务生成方法（如 ALFRED、GenSim 等）要么局限于扩充固定场景的任务执行轨迹而非生成新的任务定义，要么依赖特定物理模拟器的规则硬编码，无法覆盖任意给定场景中所有合法的操作任务空间；直接使用大模型端到端生成任务又容易因缺乏三维几何和物理支撑而产生大量无法执行的荒谬指令。

为了打破场景受限与任务稀疏的壁垒，本文从具身智能体与环境的最基本物理交互循环出发，将所有可行任务归纳为“过程型任务”（动作序列与轨迹导向）与“结果型任务”（目标场景状态导向）两大范畴。核心 idea：通过构建容器感知的3D场景图精确刻画物体的层级几何容纳关系，结合离散状态转移循环形式化枚举与采样原子操作序列，并引入人工模板与多VLM投票机制提炼高层结果型任务，在任意输入场景下近乎完备且自动化地生成可行、多样的移动操作任务集。

方法详解¶

整体框架¶

ManiTaskGen 的核心目标是给定任意场景的几何与物体信息（物体三维位姿、三维包围框边界，以及可选的网格模型），自动解析场景物理结构并生成近乎完备的双轨任务集。系统首先将场景解析为容器感知3D场景图（Receptacle-Aware 3D Scene Graph），结构化记录物体拓扑支撑、内部与表面可用容器空间及可行走区域；随后依据智能体与环境的交互循环（$S_t \xrightarrow{a_t} S_{t+1}$），衍生出两种任务生成分支：过程型任务（通过采样与串联原子重定位动作序列生成）与结果型任务（通过实例化 ManiTaskOT-200 模板并结合多 VLM 联合投票过滤生成）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入场景信息<br/>位姿 / 3D包围框 / 网格模型"] --> B["容器感知3D场景图构建<br/>空间树初始化 + 8向容器区域细分与合并"]
    B --> C["原子动作空间推导<br/>枚举所有可行的物体-容器重定位操作"]
    C --> D["过程型任务生成<br/>交互循环轨迹链式采样 + 空间关系语言化"]
    B --> E["结果型任务生成<br/>ManiTaskOT-200模板实例化 + 多VLM投票过滤"]
    D --> F["自动化仿真基准与推理期自省优化<br/>四级难度测试 + 分步奖励与长短期记忆反思"]
    E --> F

关键设计¶

1. 容器感知三维场景图构建：空间树初始化与八向放置区域细分 为了让任务生成器具备精确的空间物理常识并规避物体穿透或悬空，系统将场景几何解析为层级化的三维场景图 $\mathbb{S}$。首先，算法根据物体在垂直重力方向（Z轴）的相对包围框关系构建空间支撑树，以地面为根节点，所有直接接触地面的物体（如桌子、柜子）被标记为地面物体（Ground Objects），而放置在支撑表面的物品则递归作为子节点标记为表面物体（Surface Objects）。针对具备 3D 网格模型的物体，进一步提取抽屉、柜门内侧等内部容纳表面，并基于障碍物检测以 50cm 为阈值计算地面物体周围的可行走区域（Walkable Spaces）作为智能体导航目标。

在支撑树基础上，系统通过细分物体周围的自由空间来显式建模容器（Receptacle）。对于空置表面，默认采用 $3\times 3$ 规则网格划分为 9 个矩形区域（中心及 8 个方向）；对于已有物体附着的表面，则将各个表面物体作为锚点（Anchor Object），向外沿垂直边投影生成前后左右 4 个主方向容器，沿顶点路径投影相交生成 4 个对角方向容器，边界延伸至接触相邻物体包围框或平台边缘为止。当目标放置物品尺寸超过单一容器容积时，算法支持动态合并同一表面上至多 4 个相邻或重叠的容器区域，从而在几何上保证所有候选放置点均具备真实的物理承载能力。

2. 基于状态转移循环的过程型任务生成：动作采样与空间关系语言表征 过程型任务（Process-based Tasks）的形式化定义为显式指定的一连串原子操作动作序列 $\langle a_1, a_2, \dots, a_n \rangle$。智能体在场景状态 $\mathcal{S}_t = \{s_1, \dots, s_N\}$ 下执行参数化重定位动作 $a_t \in \mathcal{A}$（将物体 $o_i$ 从原位姿 $p_i$ 移动至合法容器位姿 $p'_i$），促使场景状态转移至 $\mathcal{S}_{t+1} = a_t(\mathcal{S}_t)$。基于这一离散交互循环，单步任务直接从推导出的合法动作集合 $\mathcal{A}$ 中均匀采样；多步任务则依据物理转移后的新状态重新推导可用动作空间，并通过逻辑连接词（如 THEN、AND、OR）串联多个动作步。

为了使生成的自然语言指令具备丰富的空间描述多样性，系统基于场景图信息为每个重定位动作赋予不同的空间关系模板： - 移动至命名表面（如“放置在茶几表面”）； - 移动至特定锚点物体周围区域（如“放置在台灯附近”）； - 移动至相对于锚点物体的特定方向区域（如“放置在咖啡杯的左侧”）； - 移动至两个物体之间的互补空间区域（如“放置在笔记本电脑和水杯之间”）。这种分层语言化策略结合可选的 LLM 句式润色，使生成的指令兼具几何严谨性与日常自然语言的多样性。

3. 结果型任务生成与多VLM投票过滤：抽象目标模板与可行性审校 相比于具备确定操作步骤的过程型任务，结果型任务（Outcome-based Tasks）仅指定期望的最终场景状态 $\mathcal{S}_{target}$（如“整理桌面使其整洁”），对智能体的高层常识推理与规划能力要求极高。端到端使用大模型盲目生成常常产生脱离实际或不可解的指令，因此本文提出结合先验模板与大模型审查的混合生成范式。

首先，作者通过亚马逊众包（AMT）收集人类在真实及虚拟房间中对高层整理任务的开放式指令，清洗整理出包含 200 个抽象任务模板的 ManiTaskOT-200 数据集（如“按高度和类别排列某平台上的物品”、“清理某桌面的右半部分使其腾空”等）。接着，算法将目标场景中的实际平台与物体组合填充进模板槽位。最后，引入多视觉语言模型集成投票机制，由 GPT-4o、Gemini-2.5-pro 与 Claude-3.7-sonnet 组成评审团，根据当前场景全局及平台局部图像对每条候选任务的可行性进行评估（分为可行、部分可行、不可行三级）。仅有获得至少两个模型判定为“可行”的指令才被最终纳入结果型任务集，确保了高层任务在保持语义抽象的同时兼具物理可解性。

4. 推理期自省强化微调：利用分步评估反馈实现跨场景泛化 针对现有 VLM 在长程具身决策中的易错性，ManiTaskGen 探索了利用其自动化评估反馈提升策略的路径。不同于依赖昂贵专家示教的 SFT 训练，本文借鉴 Reflexion 与 ReAct 范式，构建了基于推理期强化自省（Inference-time RFT）的记忆增强架构。由于系统能够在仿真器中自动跟踪状态转移，因而在每轮尝试（Episode）结束后，均能对智能体轨迹进行精确打分：涵盖最终成败判定与四个阶段的中间过程得分（起始导航、物体抓取、目标导航、最终放置）。

规则驱动的自省模型会根据评估结果自动提炼出包含结构化反思文本的试错报告： - 任务目标、完整动作执行历史及最终结果； - 失败情形下明确指示停滞在哪个中间阶段（例如“已成功导航并抓取目标杯子，但在移动至目标书架时导航失败”）； - 针对未完成的子目标生成纠错操作建议，并附带关键交互步骤的视觉观测帧。这些反省文本被存入长期情境记忆库（Long-term Memory），在后续相同或跨场景的测试中动态注入 VLM 输入提示，驱动智能体利用历史教训修正后续决策。

一个完整示例：从场景图构建到两步操作任务生成与自省¶

以 ReplicaCAD 典型公寓场景为例，系统经历以下完整生成与执行流程： 1. 场景解析与场景图建立：输入检测到餐桌（地面物体）及其上的陶瓷调味罐、深蓝色平底锅与杯子。系统在餐桌表面以调味罐为锚点划分出 8 个方向的空置区域，并在无遮挡边缘设置步行导航点。 2. 两步过程型任务推导：算法首先采样第一步原子动作 $a_1$：将调味罐由餐桌移至厨房操作台的右侧区域；执行状态转移模拟更新后，调味罐原位置空出，算法在更新后的场景图上采样第二步动作 $a_2$：将平底锅移动至餐桌原调味罐所在区域。 3. 语言化生成指令：拼接生成双步任务指令：“Move the kitchenware_spice_container from the dining table to the right side of the kitchen counter THEN move the kitchenware_dark_blue_saucepan to the area near the salt shaker.” 4. 智能体交互与自省反馈：VLM 智能体在仿真环境中执行该任务。若模型在第一步抓取调味罐后误将其放置在水槽边缘导致失败，系统自动记录中间得分（IP=50），并将失败节点“未将物体放置在厨房操作台右侧”及修正建议写入记忆库。下一轮迭代中，模型检索该反思提示，纠正放置策略，成功完成全流程任务（IP=100，SR=100%）。

损失函数 / 训练策略¶

在基准测试中，系统定义了标准化的离散动作空间，包括：go_to(platform_id)、change_view、pick(object_id)、show_receptacle(object_id)、place_r（随机合法放置）、place_s([receptacle_ids])（指定区域放置）以及 call_end（终止并提交）。

任务难度划分为 4 个级别： - Level 1：单步拾取-放置任务，操作对象为场景中外观唯一的物体； - Level 2：单步拾取-放置任务，引入同类多物体共存的视觉歧义（如同一桌面上存在多个茶杯，需结合属性描述消除歧义）； - Level 3：两步长程任务，由两个单步任务通过 THEN 逻辑串联而成； - Level 4：基于 ManiTaskOT-200 的高层结果型抽象任务。

核心评测指标包括成功率（Success Rate, SR）与中间得分（Intermediate Points, IP）。对于 Level 1 与 Level 2 任务，完整轨迹分为四个子阶段（正确起步导航、正确抓取、正确终点导航、正确放置），每个子阶段达成即获得 25 分，满分 100 分： $$\text{IP}_{\text{single}} = 25 \times \sum_{k=1}^4 \mathbb{I}(\text{Step}_k \text{ achieved})$$ 对于 Level 3 两步任务，总中间得分取两段子任务得分的算术平均值： $$\text{IP}_{\text{Level 3}} = \frac{1}{2} \left( \text{IP}_{\text{sub1}} + \text{IP}_{\text{sub2}} \right)$$

实验关键数据¶

主实验：多款前沿 VLM 在 ManiTaskGen 基准上的具身决策评估¶

评测在 ReplicaCAD 与 AI2THOR 仿真场景中开展，每个难度级别随机抽取 1000 个任务实例，单步任务步数上限为 20，两步任务步数上限为 40。对比涵盖人类专家、随机策略、闭源顶尖模型与开源代表模型。

模型	Level 1 IP	Level 1 SR (%)	Level 2 IP	Level 2 SR (%)	Level 3 IP	Level 3 SR (%)	平均 IP	平均 SR (%)
Human (人类专家)	96.0	82.5	95.0	80.5	95.0	80.0	95.3	81.0
Random (随机 baseline)	0.7	0.0	0.7	0.0	0.7	0.0	0.7	0.0
闭源前沿模型
GPT-4o	71.6	40.1	42.9	16.3	57.0	8.2	57.2	21.5
GPT-4.1	67.5	36.4	46.4	20.4	54.4	4.2	56.1	20.3
GPT-4.1-mini	67.0	34.0	45.9	22.4	45.3	0.0	52.7	18.8
Gemini-2.5-flash	75.0	40.3	40.8	14.3	56.0	4.1	57.3	19.6
Gemini-2.5-pro	82.3	51.5	54.1	22.4	68.9	13.3	68.4	29.1
Claude-3.7-sonnet	73.9	45.7	55.6	28.6	54.7	8.9	61.4	27.7
Claude-3.5-haiku	60.0	31.5	40.3	12.2	37.8	2.2	46.0	15.3
开源代表模型
Qwen-2.5-VL-72B-Ins	55.1	28.2	37.2	8.2	43.5	4.4	45.3	13.6
Llama-3.3-70B-Vision-Ins	66.1	37.6	42.9	12.2	51.4	0.0	53.5	16.6

消融与质量分析：生成任务的物理真实度与大模型推理期优化增益¶

下表展示了 ManiTaskGen-RAS-40K 与基于提示词直接让 GPT-4o 生成的基线方法（GPTTaskGen-RAS）在人工核验下的任务真实有效性（Validity Rate），以及各模型经 10 轮自省经验优化后的迁移表现提升（在 ReplicaCAD 优化，跨场景测试于 AI2THOR 的 100 个 Level 1 任务）。

任务生成方法 / 优化模型	过程型有效率 (%)	结果型有效率 (%)	优化前 IP	优化后 IP	优化前 SR (%)	优化后 SR (%)
任务有效性对比
GPTTaskGen-RAS (纯Prompt基线)	29.4	21.1	-	-	-	-
ManiTaskGen-RAS-40K (本文方法)	94.0	86.5	-	-	-	-
推理期自省优化迁移实验
GPT-4.1	-	-	75.5	79.4	38.0	49.0 (+11.0%)
Gemini-2.5-flash	-	-	79.4	81.7	36.0	58.0 (+22.0%)
Claude-3.5-haiku	-	-	68.9	79.4	36.0	51.0 (+15.0%)

关键发现¶

模型能力与人类存在巨大鸿沟：即便是当前表现最佳的商业多模态模型 Gemini-2.5-pro（平均 SR 仅 29.1%）和 Claude-3.7-sonnet（27.7%），其决策成功率仍远低于人类专家的 81.0%，这表明真实场景的移动操作对于前沿 VLM 而言依然极其棘手。
任务难度递增导致断崖式下跌：从 Level 1 到 Level 3，所有模型的成功率均呈现断崖式下跌。在 Level 3 两步长程操作中，GPT-4.1-mini 与 Llama-3.3-70B 的成功率直接归零，表明多轮规划中的误差累积与长程状态追踪是现有智能体的致命短板。
错误根源集中于空间放置理解：对 Gemini-2.5-pro 在 Level 3 任务中的子步骤错误分布统计表明，“错误放置（Wrong Placement）”占据了所有失败原因的最大比例。智能体能够较好地导航并找到目标物体，但在细粒度三维几何空间定位上存在明显瓶颈。
推理期自省强化效果显著：仅通过 10 个先验尝试样本的结构化反思沉淀，Gemini-2.5-flash 在跨场景测试中的成功率便由 36% 跃升至 58%（相对提升超 60%），证明了 ManiTaskGen 提供的精确分步反馈能够有效赋能免训练的智能体进化。

亮点与洞察¶

几何严谨的容器自适应细分机制：利用包围框投影与动态多区域合并算法定义容器，使抽象的放置任务具备严格的物理支撑几何边界，彻底避免了过往基于 LLM 直接生成任务时物体漂浮或严重穿透的问题。
状态转移图与离散交互循环的完备推导：将移动操作形式化为基于离散交互循环的状态转移系统，使任务空间在理论上具备无限扩展能力，同时确保每一步子任务的因果合法性。
分步可溯源的自动化具身评测体系：不仅能判断最终任务成功与否，还能精确定位导航、抓取与放置各阶段的中间状态得分，为具身智能体的自省反思与奖励强化提供了高质量反馈信号。

局限与展望¶

技能基元范围受限：当前任务生成主要基于移动（navigate）、抓取（pick）与放置（place）三类高层基元，尚未覆盖涉及关节物体开合（如开柜门、拧瓶盖）或物体非位姿状态改变（如清洗、切片、加热）等精细操作任务。
结果型任务评估暂未闭环：由于抽象目标（如“把桌面整理得美观”）具有主观性与开放性，目前的基准测试主要聚焦于过程型任务，针对 Level 4 结果型任务的自动化精确裁决机制仍需结合人类反馈强化学习（RLHF）进一步探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从环境交互循环与容器感知场景图出发，建立通用于任意三维场景的双轨任务生成体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖虚拟与真实三维数据集，生成近4万条任务，评测9款前沿模型并验证了推理期RL优化。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，形式化定义清晰，图文及实验数据翔实。
价值: ⭐⭐⭐⭐⭐ 解决了具身决策评测中场景与任务匮乏的根本瓶颈，为多模态智能体演化提供了无限数据源。