TaskGround: Structured Executable Task Inference for Full-Scene Household Reasoning¶
会议: NeurIPS 2026
arXiv: 2605.18109
OpenReview: https://openreview.net/forum?id=cF8ulidmGk
领域: 多模态推理
关键词: 具身智能、全场景家庭推理、结构化可执行任务推断、免训练框架、端到端评测基准
一句话总结¶
针对家庭具身智能体面对庞杂场景与模糊情境请求时难以直接生成可执行动作的难题，本文提出免训练的“定位-推断-执行”（Ground–Infer–Execute）框架 TaskGround，并在包含 400 项任务的 FullHome 基准上，以高达 18 倍的输入 Token 成本降幅实现了性能的大幅跃升。
研究背景与动机¶
在真实的家庭物理部署中，家庭服务智能体极少能收到如同规划算法输入般规整、完备的任务规约（task specification）。用户日常发出的指令往往高度嵌入在特定生活情境中，例如“暴风雨越来越大了，雨水正飘进书房，我孙子马上要打电话过来，你能把我的杯子和小桌子弄好吗？”。这类情境化请求不仅不会主动枚举任务相关的全部物理实体（如打开的书房窗户、脏杯子、小桌子、抹布），也不会直接言明最终期望达成的条件状态，更不会交代潜在的物理与逻辑因序约束（如必须先关窗防雨、擦干净脏桌子并洗干净杯子后，方可将杯子置于桌上）。智能体必须从包含大量无关杂乱实体、状态与关系的完整家庭全景中，自主推断出足以指导执行的中间表示，即结构化可执行任务（executable task structure）。
然而，当前基于大语言模型（LLM/VLM）的具身规划体系大多建立在“任务条件已被前置提炼”的理想化假设下。先前主流工作通常假定目标物体集合、明确目标谓词或可执行动作约束已经显式交代，规划模型只需解决从清晰子目标到动作原语的映射。当把未经精简的完整家庭场景（往往包含数百个物体、复杂拓扑与大量无关关系）与模糊情境请求直接输入模型进行端到端提示（Naive complete-scene prompting）时，前沿大模型极易迷失在冗长上下文中，出现严重的目标遗漏、实体符号幻觉或物理前置条件违反。更严峻的是，受家庭隐私保护、本地低功耗算力与实时响应等严苛限制，家庭边缘端倾向于部署紧凑型开源小模型（如 9B~12B 规模），而这类模型在超长杂乱上下文下的复杂逻辑推理能力尤为受限。
面对这一困境，研究团队跳出了“用更大上下文窗口暴力硬吃整场景”的粗暴思路，转而从人类解决家务杂事的认知分工中汲取灵感：人在处理模糊请求时，首先会快速锚定与任务关联的核心实体切片，继而在该紧凑子图上推断需要达成的有序目标状态，最后调用熟练的肢体运动技能完成落地。核心 idea：将全场景家庭推理显式解耦为免训练的“定位-推断-执行”（Ground–Infer–Execute）三阶段范式，先通过轻量清单提取任务相关场景切片以大幅过滤噪声与 Token 消耗，再推断并确定性补全有序谓词目标序列，最后交由技能执行器落实为符合物理前置条件的动作序列。
方法详解¶
整体框架¶
TaskGround 是一个无需额外微调（training-free）且与底座模型解耦（model-agnostic）的具身推理与规划框架。它接收初始完整家庭场景 \(\mathcal{S}_0 = (\mathcal{V}, \mathcal{E})\)（以场景图形式组织，包含房间、家具、物品、代理人节点及其包含、支撑、邻近等拓扑关系）和情境化家庭请求 \(u\)，输出一条有物理落地实体参数的技能级动作序列 \(a_{1:T} = (a_1, \ldots, a_T)\)。
整个流程划分为三大核心阶段：定位（Ground）、推断（Infer） 与 执行（Execute）。在定位阶段，场景定位器 \(R\) 压缩全景图，提取紧凑的任务相关场景切片 \(\mathcal{S}_r\)；在推断阶段，推断模块 \(T\) 预测有序目标序列 \(\hat{\mathbf{g}}\)，并由补全模块 \(C\) 依据常识先验扩充为包含关键过程状态的完整可执行任务结构 \(\tilde{\tau}\)；在执行阶段，技能级执行器 \(E\) 维护符号状态并自动注入导航与操作前置条件，编译出最终动作序列 \(a_{1:T}\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["完整家庭场景 S₀ + 情境化请求 u"] --> B["任务相关场景定位<br/>轻量清单抽取→节点召回→局部子图重构"]
B --> C["紧凑场景切片 Sᵣ"]
C --> D["任务结构推断与常识补全<br/>有序目标谓词预测→确定性过程先验增广"]
D --> E["有序可执行任务结构 τ̃"]
E --> F["技能级执行器编译<br/>前置条件注入与动态符号状态步进"]
F --> G["有根可执行动作序列 a₁:ᴛ"]关键设计¶
1. 任务相关场景定位：轻量清单提取与局部子图重构
完整家庭场景直接序列化会产生数万 Token 的极长提示词（在 VirtualHome 中高达约 8.4 万 Token），导致极高的调用开销与严重的注意力涣散。针对这一痛点，TaskGround 采用“节点优先（Node-first）”的自适应抽取机制。系统首先从场景图 \(\mathcal{S}_0\) 中滤除冗余的成对全局边，提取轻量级实体清单（按房间罗列可见物体类型及其开关、洁净、容器等浅层状态）。语言模型基于情境请求 \(u\) 与清单，以高召回为导向预测潜在相关实体集合 \(\hat{\mathcal{V}}_r\)（涵盖显式提及的实体、隐式工具、容器及交互表面）。随后，系统以确定性规则在原始全图中进行拓扑扩充，加入所在房间、智能体自身、直接关联的容器表面及交互邻域，得到扩充点集 \(\mathcal{V}_r\)。最终的场景切片 \(\mathcal{S}_r = (\mathcal{V}_r, \mathcal{E}_r)\) 仅恢复两个端点均在 \(\mathcal{V}_r\) 内的原始关系边 \(\mathcal{E}_r\)。该设计彻底剔除了无关区域的杂乱实体与边，将模型下游推理的输入成本降低了 3.9× 至 18×，同时完整保留了支撑动作推断所必需的局部空间拓扑。
2. 任务结构推断与常识补全：将长程动作生成收敛为有序谓词推断
直接让底座模型在场景中生成底层动作序列，极易出现步长过长、遗漏步骤或动作幻觉。TaskGround 将模型的核心推理负担收敛到“目标级（Goal-level）”表示上。在紧凑场景切片 \(\mathcal{S}_r\) 的支持下，推断模块 \(T\) 预测有序目标原子序列 \(\hat{\mathbf{g}} = (\hat{g}_1, \ldots, \hat{g}_M)\)，每个原子均为有根实体上的谓词状态（如 CLEAN(table)、INSIDE(cup, dishwasher)、ON(cup, table)）。由于日常口语指令常常默认省略许多过程操作，模型直接给出的 \(\hat{\mathbf{g}}\) 容易遗漏过程关键子目标（例如推断出了将脏杯子放入洗碗机和启动洗碗机，却遗漏了“关闭洗碗机门”）。针对此问题，补全模块 \(C\) 引入免训练且与真值环境解耦的确定性家庭常识先验，针对典型家务模式（如电器启动前必须关门、表面放置物体前必须清洁表面、放入物体后关闭容器）进行局部目标插入与拓扑校验，生成最终的有序可执行任务结构 \(\tilde{\tau} = (\tilde{g}_1, \ldots, \tilde{g}_K)\)，在保证无特权泄露的前提下大幅提升了动作逻辑的物理完备性。
3. 技能级执行器编译：确定性前置条件注入与符号状态闭环追踪
即便高层任务结构正确，如果直接要求大模型规划每一步细粒度动作，紧凑型模型仍极易因为漏掉“先走到目标旁边”、“先腾空双手再抓取”等低层物理前置条件（preconditions）而触发物理引擎报错终止。为此，TaskGround 配备了确定性的规则化技能级执行器 \(E\)。执行器针对每个有序目标谓词 \(\tilde{g}_k\)，利用预定义的标准家庭技能库（导航 WalkTo、抓取 Grab、放置 PutBack/Place、擦拭 Wipe、开关容器 Open/Close、电器控制 SwitchOn/SwitchOff 等）进行微观动作分解。执行器内部维护了一张同步更新的符号场景状态表，每发出一项原子动作便执行一次虚拟状态转移，从而动态感知当前双手持物状态、物体当前开闭状态及空间距离，按需自动补全导航靠近、开关门、腾出空手等前置步骤。这使大模型专注于宏观语义推断，底层物理执行的可靠性则交由确定性逻辑完全兜底。
损失函数 / 训练策略¶
TaskGround 是一套完全免训练（Training-free）的提示与符号编译框架，不改动任何底座大模型的权重参数。所有需要调用语言模型的阶段均采用确定性贪婪解码（Temperature = 0）。
在具体提示与推断工程中： - 场景定位提示：采用高召回率提示词，要求模型不仅输出指令字面提及的物体，还要输出完成潜在需求所需的工具、支撑面、容器与关联房间； - 结构推断提示：严格约束模型输出标准 JSON 格式的谓词列表，实体 ID 强制约束在场景切片 \(\mathcal{S}_r\) 的候选范围内；格式解析器提供自愈机制，自动丢弃无效实体 ID、不支持的谓词、未改变初始状态的冗余目标； - 计算成本优化：全流程仅需两次轻量 LLM 调用（一次用于实体清单筛选，一次用于场景切片上的目标推断），相较于直接在完整场景图上展开超长上下文单次调用，总输入 Token 数实现了指数级收敛。
实验关键数据¶
主实验¶
论文构建了包含 400 项任务的 FullHome 基准评测套件，涵盖 VirtualHome（200 个目标导向任务 VG-200、100 个过程约束任务 VP-100）和 BEHAVIOR（65 个目标导向任务 BG-65、35 个过程约束任务 BP-35）。智能体仅接收完整初始场景与情境化口语请求，评测指标为最终状态满足率 Goal SR 与轨迹及过程约束全满足率 Process SR。
| 模型 | 方法 | VirtualHome Goal SR (%) | VirtualHome Process SR (%) | BEHAVIOR Goal SR (%) | BEHAVIOR Process SR (%) |
|---|---|---|---|---|---|
| GPT-4o | Naive | 8.0 | 5.0 | 32.3 | 23.3 |
| GPT-4o | TaskGround (本文) | 49.0 (+41.0) | 37.0 (+32.0) | 52.3 (+20.0) | 35.5 (+12.2) |
| GPT-4.1 | Naive | 14.0 | 4.0 | 32.3 | 17.1 |
| GPT-4.1 | TaskGround (本文) | 57.0 (+43.0) | 34.0 (+30.0) | 64.6 (+32.3) | 45.7 (+28.6) |
| Gemini-2.5-Flash | Naive | 0.5 | 2.0 | 9.2 | 5.7 |
| Gemini-2.5-Flash | TaskGround (本文) | 48.5 (+48.0) | 19.0 (+17.0) | 38.5 (+29.3) | 37.1 (+31.4) |
| GPT-5 | Naive | 45.5 | 26.0 | 46.2 | 31.4 |
| GPT-5 | TaskGround (本文) | 73.5 (+28.0) | 46.0 (+20.0) | 64.6 (+18.4) | 51.4 (+20.0) |
| DeepSeek-V4-Flash | Naive | 28.5 | 15.0 | 27.7 | 25.7 |
| DeepSeek-V4-Flash | TaskGround (本文) | 63.0 (+34.5) | 36.0 (+21.0) | 47.7 (+20.0) | 42.9 (+17.2) |
| MiMo-V2-Flash | Naive | 5.0 | 1.0 | 10.8 | 11.4 |
| MiMo-V2-Flash | TaskGround (本文) | 43.5 (+38.5) | 23.0 (+22.0) | 43.1 (+32.3) | 40.0 (+28.6) |
| Gemma-3-12B | Naive | 0.0 | 1.0 | 0.0 | 5.7 |
| Gemma-3-12B | TaskGround (本文) | 37.0 (+37.0) | 19.0 (+18.0) | 29.2 (+29.2) | 34.3 (+28.6) |
| Qwen3.5-9B | Naive | 0.0 | 10.0 | 1.5 | 14.3 |
| Qwen3.5-9B | TaskGround (本文) | 47.5 (+47.5) | 29.0 (+19.0) | 43.1 (+41.6) | 40.0 (+25.7) |
消融实验¶
在 FullHome 的 VirtualHome 分割上，论文系统性剖析了各组件的增益来源，并评估了定位阶段诊断指标（实体召回率 Recall、精确率 Precision 及隐藏任务条件恢复率 Task Rec.）。同时测量了输入 Token 开销对比。
| 模型 | 配置 / 变体 | 实体召回 Recall (%) | 实体精确 Precision (%) | 目标任务 Task Rec. (%) | 过程任务 Task Rec. (%) |
|---|---|---|---|---|---|
| GPT-5 | Naive (直接端到端) | 80.8 | 75.5 | 77.9 | 49.8 |
| GPT-5 | Retrieve+Act (仅检索实体直接动作) | 88.8 | 40.1 | 76.3 | 51.6 |
| GPT-5 | Ground+Act (场景切片直接动作) | 96.0 | 32.4 | 81.8 | 49.3 |
| GPT-5 | TaskGround (完整框架) | 96.0 | 31.7 | 91.2 | 67.2 |
| Qwen3.5-9B | Naive (直接端到端) | 37.4 | 43.2 | 18.0 | 21.3 |
| Qwen3.5-9B | Retrieve+Act (仅检索实体直接动作) | 50.5 | 22.7 | 19.5 | 25.0 |
| Qwen3.5-9B | Ground+Act (场景切片直接动作) | 86.5 | 35.8 | 43.8 | 15.8 |
| Qwen3.5-9B | TaskGround (完整框架) | 85.6 | 37.3 | 79.3 | 52.5 |
各环境任务单次推理总输入 Token 消耗对比：
| 测试子集 | Naive 单次输入 Token | TaskGround 总输入 Token (Ground + Infer) | Token 压缩降幅 |
|---|---|---|---|
| VirtualHome (VG-200) | ~84,300 | ~4,710 (2,030 + 2,680) | 17.9× |
| VirtualHome (VP-100) | ~84,300 | ~4,690 (2,030 + 2,660) | 18.0× |
| BEHAVIOR (BG-65) | ~30,800 | ~5,300 (2,000 + 3,300) | 5.8× |
| BEHAVIOR (BP-35) | ~23,800 | ~6,100 (2,000 + 4,100) | 3.9× |
关键发现¶
- 小模型逆袭前沿大模型：参数量仅为 9B 的紧凑型开源模型 Qwen3.5-9B，在 Naive 直接提示下几乎完全瘫痪（VirtualHome Goal SR 为 0.0%，BEHAVIOR Goal SR 为 1.5%）；而装备 TaskGround 后，其在 VirtualHome 上取得 47.5% Goal SR / 29.0% Process SR，在 BEHAVIOR 上取得 43.1% Goal SR / 40.0% Process SR，全面追平甚至超越了直接端到端提示下的前沿闭源大模型 GPT-5（45.5% / 26.0% 与 46.2% / 31.4%）。
- 高召回场景切片是必要条件而非充分条件：对比
Ground+Act与TaskGround可以发现，单纯提供高召回率的场景切片（如 Qwen3.5-9B 的切片召回率高达 80.7%~86.5%），若依然要求模型直接输出技能序列，在过程约束任务上的 Task Rec. 反而发生倒退（由 25.0% 暴跌至 15.8%）。原因在于更多物体的暴露促使小模型生成更长、更易犯错的动作链；唯有通过中间“有序谓词推断与规则前置条件编译”，才能将高召回信息转化为高任务成功率。 - 任务结构推断与常识补全是核心性能引擎：消融实验表明，去掉结构补全模块（w/o Completion）后，无论是闭源的 GPT-4.1 还是开源的 Qwen3.5-9B 均出现明显掉点，证明现实家务中大量如“关上微波炉门再启动”、“放杯子前先抹桌子”的隐式因序约束，必须依赖显式结构推断与确定性常识先验进行联合兜底。
亮点与洞察¶
- 认知任务分工彻底解构了复杂长上下文瓶颈：TaskGround 没有将长上下文视为算力展示的舞台，而是精准地将具身大任务解耦为“语义筛选”、“目标推断”、“常识补全”与“物理编译”，使得轻量边缘模型能够规避注意力分散与长链幻觉。
- 低成本边缘部署的重大现实可行性：通过“节点优先”的场景切片重构，不仅节省了高达 18 倍的 Token 开销，更消除了对高昂闭源商用 API 的依赖，为保护家庭起居隐私的本地化部署扫清了关键工程障碍。
- 提出了更贴近真实物理落地的评测新标准 FullHome：传统基准往往人为简化了任务输入（提供干净的目标描述与预筛选物体），掩盖了大模型在真实场景理解中的致命短板；FullHome 的“全场景图输入 + 情境化日常语言 + 隐式过程约束”范式，为具身智能体评测树立了更高水准的标杆。
局限与展望¶
- 依赖结构化场景图与理想化感知：论文目前的完整场景 \(\mathcal{S}_0\) 来自仿真器导出的结构化场景图（包含完美的对象类目、状态与几何拓扑），未考虑现实中多视角 RGB-D 传感器建图存在的位姿漂移、物体遮挡、小物体漏检与几何噪声。
- 动作执行依赖预定义的理想技能原语：底层的
WalkTo、Grab、Wipe等动作假定底层控制器 100% 可靠执行，缺乏针对现实中机械臂抓取滑落、碰撞卡滞等物理执行失败的在线重规划与动态交互修复机制。 - 未来改进方向：可进一步将 TaskGround 扩展至连续物理环境与端到端主动视觉探索（Active Vision）场景，结合多模态具身 VLA 模型，构建从原始视觉点云到隐式任务推断再到闭环全身运动控制的完备家庭服务系统。
相关工作与启发¶
- vs EMBODIED RAG [3] / UniPlan [48]: 传统基于 RAG 或 PDDL 的具身规划多基于已明确给出的用户目标或子图检索，主要关注规划求解器本身；TaskGround 则面向全场景家庭推理这一全新信息条件，核心攻克从含混情境指令中推导“到底该做什么”的可执行任务结构。
- vs ProgPrompt [37] / SayPlan [32]: 经典 LLM 规划方案多依赖详尽指令或大模型直接编写端到端动作代码，面对全场景复杂拓扑时极易出现严重前置条件遗漏与参数幻觉；TaskGround 将模型推理严格局限在紧凑切片上的高层谓词有序推断，将低层物理前置条件剥离给确定性执行器，兼具语义灵活性与物理可靠性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化全场景家庭推理信息条件，并提出紧凑且实用的免训练解耦架构
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 400 项任务的自建新基准、跨 2 大主流仿真器（VirtualHome/BEHAVIOR）、横跨 8 款前沿与开源模型并包含详实的诊断消融
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，数学表达与符号定义清晰，图表数据丰富且具有极强说服力
- 价值: ⭐⭐⭐⭐⭐ 显著缩小了小模型与商业前沿模型的具身推理差距，输入开销锐减 18 倍，对家庭服务机器人端侧落地极具指导意义