OntoPlan: An Ontology-Grounded Scene Representation and Agentic Framework for Scalable Robot Task Planning

会议: NeurIPS 2026
arXiv: 2610.07649
OpenReview: https://openreview.net/forum?id=7YcnWpfSWA
代码: https://github.com/namhyeongwoo/OntoPlan
领域: 机器人/具身智能
关键词: 机器人任务规划, 本体世界模型, PDDL规划, 具身智能体, 符号场景图

一句话总结

针对大语言模型在大型室内场景中长程任务规划容易产生空间上下文幻觉、前置条件失效和上下文随场景爆炸的问题，OntoPlan 提出了本体对齐的统一符号场景表示与分工协作的智能体框架，利用 SPARQL/嵌入混合查询与 PDDL 规划工具实现高效可执行规划。

研究背景与动机

大语言模型（LLM）凭借其丰富的常识知识和灵活的自然语言理解能力，正被广泛用于机器人开放式任务规划中。在真实生活场景中，用户的需求往往高度抽象、包含未明确指代的物体与模糊前提，机器人必须自主补全上下文、理解空间与物体关系，并生成满足真实物理世界约束的长程动作序列。然而，纯基于 LLM 的端到端规划在面对大型室内环境时面临两大严峻瓶颈：一方面，若将 3D 场景图等结构化空间知识直接展平为自然语言文本输入给 LLM，不仅上下文 Token 开销会随环境规模急剧膨胀甚至突破窗口限制，且模型极易在长文本中迷失，产生虚假或遗漏的空间关系；另一方面，LLM 缺乏严格的物理与逻辑状态推演能力，直接自回归生成的动作序列往往违背动作前置条件、物理可达性或安全约束。

现有混合方法尝试利用 LLM 将自然语言目标转换为 PDDL 领域与问题文件，再交由经典符号规划器求解。然而这一过程依旧高度脆弱，LLM 在编写 PDDL 问题时经常遗漏初始状态事实、误用未定义谓词或遗漏关键约束，导致规划器直接报语法错误或无解。其核心矛盾在于：缺乏一个将“非结构化语言理解”、“结构化场景几何与语义接地”以及“严密符号逻辑状态推演”严格统一的底层表示中枢，使得感知接地、意图形式化与底层可执行规划之间存在语义漂移与事实不一致。

本文的切入角度是遵循 LLM-modulo 范式，将 LLM 的角色严格限定于高层意图解析、澄清交互与任务形式化，而将底层空间检索与动作序列推演完全解耦给结构化工具；同时，构建一个与 PDDL 领域定义一一映射的 OWL 2 RL 本体世界模型作为唯一真相源。核心 idea：通过构建本体类与属性直接镜像 PDDL 谓词的共享世界模型，并由流程协调器、场景探索器、任务形式化器与规划管理器协同调用场景查询与 PDDL 规划工具，实现大场景下低 Token 开销、高前置条件满足率的可扩展长程任务规划。

方法详解

整体框架

OntoPlan 假设环境为完全可观测的符号实例与状态事实构成的场景，并具备预定义的 16 种机器人底层基元动作集合。整个系统围绕三层本体世界模型与两套工具接口（Scene query tool 与 PDDL plan tool）展开，并通过共享内存驱动四个职能明确的 LLM 智能体协同工作。整体流程包含用户意图分类与交互路由、场景证据选择性检索、目标与时序约束形式化、以及有序子目标 PDDL 求解与回环重规划。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    User["用户自然语言指令"] --> FO["Flow Orchestrator<br/>意图识别与工作流路由"]
    FO -->|"发现模糊 / 冲突 / 缺失"| Clarify["请求用户澄清<br/>(User Clarification)"]
    Clarify --> FO
    FO -->|"指派探索"| SE["Scene Explorer<br/>基于推理机与混合检索的场景接地"]

    subgraph S_WM ["共享本体世界模型 (GraphDB / OWL 2 RL)"]
        direction TB
        WM_Ont["本体层 (Entity Types & Semantics)"]
        WM_Stat["静态层 (Topology & Connectivity)"]
        WM_Dyn["动态层 (Instances, States, Relations)"]
    end

    SE <-->|"Scene query (嵌入检索 + SPARQL)"| S_WM
    SE -->|"写入接地事实"| Mem["共享内存<br/>(Shared Memory)"]
    Mem --> TF["Task Formalizer<br/>目标与时序约束形式化"]
    TF -->|"生成 at_end / always / sometime"| PM["Planning Manager<br/>有序子目标编排与规划管理"]

    subgraph S_Plan ["可执行规划后端"]
        direction TB
        FD["Fast Downward 规划器<br/>(Lazy Weighted A* + FF)"]
    end

    PM <-->|"PDDL plan (状态提取 / 约束编译)"| S_Plan
    PM -->|"更新动作效果 (tell)"| S_WM
    PM --> Exec["可执行动作序列输出"]

关键设计

1. 本体对齐的三层世界模型与推理驱动更新：解决空间知识碎片化与语义割裂 为了杜绝传统方法中场景描述向 PDDL 转化时的谓词拼写不一致与事实遗漏，OntoPlan 构建了由本体层（Ontology Layer）、静态层（Static Layer）与动态层（Dynamic Layer）构成的三层世界模型。其关键机制是使 OWL 本体与 PDDL 领域规范严格同构镜像：本体类 1:1 映射为 PDDL 对象类型（如 Artifact、Space、Door），本体属性 1:1 映射为同名 PDDL 谓词（如 isInsideOf、isOntopOf、holds），逻辑公理相互对齐。模型提供基于 SPARQL 的只读 ask 与 RDF 三元组增删 tell 接口，底层使用 GraphDB 引擎运行 OWL 2 RL 正向链式推理。当环境发生变动或执行动作时，系统仅需直接插入或删除少量原始显式三元组，推理机会自动闭包物化出全部衍生命题。例如定义属性链 \(\text{hasHand} \circ \text{holds} \sqsubseteq \text{carries}\)，机器人持有物体时自动衍生携带关系；且物体的空间位置根据其容器/支撑面和机器人的空间归属沿层级拓扑自动传播更新。以 Marstons 中等规模场景为例，显式断言的 2,908 条三元组在推理物化后扩展为 19,394 条完整知识，使得空间查询和当前世界状态提取不再依赖 LLM 冗长的上下文推理，直接保证了物理与空间事实的完备性与自洽性。

2. 基于嵌入与 SPARQL 的场景查询工具（Scene query tool）：杜绝全图序列化带来的 Token 爆炸 在大型场景中，若将成百上千个物体与房间拓扑完整序列化至 Prompt，不仅超出上下文窗口，而且模型无法准确定位目标。OntoPlan 的 Scene query 包含两个专有接口：semantic_search 和 find_path。semantic_search(query, reason, space_id, floor_id, object_id) 将文本查询转换为 OpenAI text-embedding-3-small 嵌入向量，通过 HNSW 索引执行相似度检索，并结合 SPARQL 图模式对空间、楼层及容器属性进行结构化过滤；当严苛过滤无匹配时，工具自动放宽范围并返回带有相似类别建议的 hint 字段。find_path(from_id, to_id, reason) 则在拓扑连通子图上通过 SPARQL 执行最短路计算，用于路径约束解析。场景探索器通过多轮靶向查询逐步锁定任务相关实体与拓扑路径，将上下文 Token 开销从环境规模中解耦出来，使单次调用的输入 Token 始终维持在极低的固定水准。

3. 时序约束编译与有序子目标规划工具（PDDL plan tool）：消除直接生成的前置条件失效 针对端到端生成动作序列难以满足物理前置条件的顽疾，OntoPlan 采用经典符号规划器 Fast Downward（配置为 Lazy Weighted A*，配合 FF 启发式，权重 \(w=2\)）生成严格可执行序列。PDDL plan 工具根据任务形式化器输出的约束，利用 SPARQL 仅提取当前子任务相关的实体子图（包含目标物体、其关联容器/支撑面、全局导航拓扑与机器人自身状态），从而避免无关物体扩大搜索状态空间。由于 Fast Downward 不原生支持 PDDL 3 的时序轨迹约束，系统将 always 条件（如“在整个任务中保持某门关闭或某通道不可通行”）编译为领域内的违规标志位（violation flag）：任何破坏该条件的基元动作都会将该标志位置为 true，而规划问题的目标强制要求该标志位全程为 false。对于复杂长程任务，规划管理器将全局目标解耦为由 sometime 与 at_end 构成的有序子目标链串行求解；每完成一个子目标，工具通过模拟动作效果执行 tell 将状态写回世界模型，并将已达成的阶段性事实锁入后续子目标的目标集，防止后续规划破坏前置成果。若某一步求解失败，规划器返回结构化诊断信息驱动智能体动态重排子目标或重新接地。

4. 四智能体职责解耦与交互式歧义消除机制：保障复杂开放环境下的决策可靠性 在系统架构层面，OntoPlan 将复杂的端到端规划流程解耦为四大具有独立系统提示与有限操作空间的 LLM 智能体：流程协调器（Flow Orchestrator）负责根据对话历史识别用户意图并调度全局路由；场景探索器（Scene Explorer）专注于调用查询工具检索世界事实并写入共享内存；任务形式化器（Task Formalizer）负责将自然语言需求与已定位实体转化为 at_end、always、sometime 三类 PDDL 规范事实；规划管理器（Planning Manager）则作为“编排者”而非“规划者”，严禁凭空添加非形式化给出的中间步骤，仅负责子目标时序排序与调用 PDDL 求解。更关键的是，面对不明确（如未指定哪个房间的哪本书）或物理不可行（如环境中不存在滑板、或物理尺寸无法容纳）的病态指令，流程协调器在场景检索确认信息缺失后，会主动向用户抛出具体的澄清问题（Clarification Request）或报告不可行性，而非像基准模型那样在错误或不可行假设下硬性输出幻觉规划。

一个完整示例

以 Klickitat 场景中的任务 M08 为例：“Cook the chicken from the refrigerator in the kitchen on Floor B in the oven, then serve it on the island table in the kitchen.”（将 B 楼厨房冰箱里的鸡肉放进烤箱烹饪，然后盛到厨房中岛台上）： 1. Flow Orchestrator 解析出任务规划意图，发现涉及未绑定的具体实例，路由至 Scene Explorer。 2. Scene Explorer 并行调用 semantic_search 查找 B 楼厨房（锁定为 kitchen_20）、冰箱（refrigerator_164）、烤箱（oven_161）及中岛台（island_table_158），随后查询冰箱内部获取鸡肉实例 chicken_353。 3. Task Formalizer 从共享内存读取定位事实，形式化输出三类条件： - sometime: (and (isInsideOf chicken_353 oven_161) (isClosed oven_161) (isSwitchedOn oven_161)) - at_end: (isOntopOf chicken_353 island_table_158) 4. Planning Manager 将其编排为两个有序子目标：Subgoal 0（放入烤箱关门加热）与 Subgoal 1（取出品尝并置于中岛台）。 5. PDDL plan 工具提取局部子图调用 Fast Downward，依次生成移动、开冰箱门、抓取、开烤箱、放入、关烤箱、开电、断电、取出、移至中岛台、放置等一系列严格满足前置条件的基元动作，并在中间步骤回写世界模型，成功返回 100% 可执行轨迹。

损失函数 / 训练策略

该框架采用冻结权重的预训练大语言模型（主实验采用温度为 0 的 gpt-4o-2024-08-06 快照），不涉及参数层面的梯度反向传播微调。场景查询工具中，物体类别语义匹配基于冻结的 text-embedding-3-small 生成 256 维向量，并通过内存中的 HNSW 索引执行最近邻余弦相似度检索。后端规划器采用 Fast Downward 的开源实现，搜索算法为 Lazy Weighted A*（权重 \(w=2\)），启发式函数采用 Fast-Forward (FF) 启发式，每个子目标设定 60 秒的硬性搜索超时时间。

实验关键数据

主实验

评估基于 Stanford 3D Scene Graph（3DSG）的 5 个大型室内真实建筑场景（Klickitat、Lakeville、Lindenwood、Marstons、Muleshoe），划分为 Small、Medium、Large 三种规模（物体数量从 ~50 扩增至 1,200+），涵盖 150 个长程通用规划任务，与 SayPlan 及 DELTA 基线在相同 16 种基元动作和符号评测环境下进行严格对比。

环境	方法	方案返回率 (Plan Ret.)	方案可执行率 (Plan Exec.)	目标达成率 (Goal Reach.)	任务成功率 (Task Succ.)	单次调用输入Token (×10³)	任务总Token (×10³)
Klickitat	SayPlan	0.67	0.47	0.33	0.27	30.9	221.7
	DELTA	0.63	0.23	0.23	0.20	23.9	101.3
	OntoPlan (Ours)	1.00	1.00	0.93	0.90	2.6	17.3
Lakeville	SayPlan	0.57	0.40	0.33	0.33	33.3	205.5
	DELTA	0.47	0.23	0.17	0.17	23.4	98.8
	OntoPlan (Ours)	1.00	1.00	0.97	0.97	2.6	18.8
Lindenwood	SayPlan	0.63	0.47	0.40	0.40	34.5	206.6
	DELTA	0.37	0.17	0.23	0.17	23.4	98.9
	OntoPlan (Ours)	1.00	1.00	0.87	0.87	2.6	17.5
Marstons	SayPlan	0.73	0.43	0.30	0.27	37.1	255.6
	DELTA	0.27	0.17	0.17	0.10	23.9	101.3
	OntoPlan (Ours)	1.00	1.00	0.77	0.77	2.6	18.7
Muleshoe	SayPlan	0.70	0.17	0.20	0.10	31.9	190.4
	DELTA	0.47	0.03	0.03	0.03	24.2	102.7
	OntoPlan (Ours)	0.97	0.97	0.93	0.93	2.6	18.1
全环境平均	SayPlan	0.66	0.39	0.31	0.27	33.5	216.0
	DELTA	0.44	0.17	0.17	0.13	23.8	100.6
	OntoPlan (Ours)	0.99	0.99	0.89	0.89	2.6	18.1

在 10 个歧义任务诊断子集中，基线系统完全无法有效完成（Goal Reached 均为 0/10）；OntoPlan 在开启人类交互回复澄清后，目标达成率跃升至 8/10（固定默认回复下为 1/10）。在 10 个物理不可行指令中，基线方法大部分因规划语法或搜索失败（SayPlan 7/10 失败、DELTA 8/10 失败），而 OntoPlan 成功识别出 9/10 的不可行本质并主动向用户提出澄清请求。

消融实验

消融实验在全部三种场景规模（Small, Medium, Large 共 150 项任务）下评估工具接口的核心作用：

配置	任务成功率 (S)	任务成功率 (M)	任务成功率 (L)	平均成功率	总Token (S)	总Token (M)	总Token (L)	L/S 膨胀比	峰值输入Token (S)	峰值输入Token (L)	峰值输入 L/S	说明
完整系统 (Full system)	0.92	0.90	0.84	0.89	17.1k	17.5k	19.7k	1.15×	3.6k	3.9k	1.06×	完整工具与智能体协同
w/o Scene query	0.86	0.90	0.84	0.87	18.1k	32.5k	72.7k	4.02×	7.6k	62.2k	8.13×	全图展平序列化至Prompt
w/o PDDL plan	0.32	0.26	0.36	0.31	23.6k	25.0k	26.9k	1.14×	8.4k	8.4k	1.01×	替换为LLM单步生成全部动作

关键发现

• 工具分工决定了系统性能与开销的上限：消融实验清晰证明，Scene query 工具是实现超高 Token 可扩展性的决定性支柱（缺少它会导致峰值输入 Token 随场景规模膨胀 8.13 倍）；而 PDDL plan 工具则是任务可执行性与可靠性的核心基石（去掉它导致任务成功率从 0.89 断崖式下跌至 0.31）。
• 零前置条件执行失败率：OntoPlan 返回的所有 149 个规划方案全部在符号仿真环境中 100% 顺畅执行完毕，没有任何一条动作发生前置条件缺失或冲突（Plan Returned 与 Plan Executable 几乎完全一致）；未成功的 17 个任务中，有 13 个源自上游自然语言指代消歧与实体定位偏差，而非规划器生成错误。
• 环境膨胀对基线构成毁灭性打击：随着场景从 Small 扩展到 Large，SayPlan 的规划返回率从 0.84 骤降至 0.44，甚至因 Prompt 突破 128k 窗口发生崩溃；DELTA 因生成的 PDDL 中未声明物体或谓词类型错误导致 61 项任务无法生成方案。相反，OntoPlan 在不同尺度下的成功率保持在 0.84~0.92 之间，表现极其平稳健壮。

亮点与洞察

• 本体镜像消除跨模态翻译开销：将 OWL 2 RL 知识图谱严格镜像映射至 PDDL 谓词体系，免去了传统 LLM 充当中介翻译 PDDL 描述时频繁发生的类型错误与命名漂移，架构设计极其优雅规范。
• 前向推理消除显式维护负担：借助 GraphDB 正向链式推理机，机器人移动与拾放物体引发的复杂空间包含、拓扑更新与携带关系自动完成逻辑物化，使底层世界状态始终保持自洽，大幅简化了动作效果的定义逻辑。
• 规划闭环支持动态歧义处理与人机回环：将规划失败与感知歧义提升到一等公民地位，能够针对“把昨天的书带回房间”等欠指定意图主动追问澄清，开辟了智能体可靠人机协同规划的实用范式。

局限与展望

• 假设全可观测与符号先验：作者承认当前评估建立在完全可观测、事先构建好符号实例的场景图之上，未接入真实传感器原始点云、连续 RGB 流与端到端感知重建流水线，在未知或部分可观测环境中的鲁棒性仍待验证。
• 本体建模与动作集合扩展成本：本体与 PDDL 领域的高度对齐是一把双刃剑，引入全新的语义类别、复合约束或新型机械臂操作基元时，需要同步修改 OWL 公理与 PDDL 动作定义，缺乏全自动的跨领域归纳能力。
• 未来方向：结合开放词表 3D 场景重建算法（如 ConceptGraphs 或 Hydra）实现从无结构传感器输入到动态本体的在线增量更新，并将离散 PDDL 动作无缝接入底层的视觉-语言-动作（VLA）连续轨迹生成模型。

相关工作与启发

• vs SayPlan: SayPlan 虽然利用分层 3D 场景图进行搜索，但最终仍将图谱文本化拼接进 LLM 上下文并直接用模型自回归规划，在大场景下极易突破上下文窗口（产生 128k 超限失败）且不可避免地违背物理前置条件（执行率仅 0.39）；OntoPlan 采用统一本体底座与经典 PDDL 规划器，在成功率（0.89 vs 0.27）和 Token 消耗（18.1k vs 216.0k）上展现出压倒性优势。
• vs DELTA: DELTA 采用 LLM 自行编写 PDDL domain 与 problem 文件，实验证明其有超过 40% 的任务因遗漏环境门窗未声明、谓词参数类型误用而导致 Fast Downward 崩溃；OntoPlan 通过本体镜像固化了统一词汇表，由工具自动提取局部事实，彻底消除了 LLM 语法幻觉。
• 启发：对于复杂工业与服务机器人场景，单纯依赖 LLM 端到端“黑盒自回归动作生成”往往不可控且算力昂贵，将符号常识本体、经典确定性规划器与 LLM 语义编排深度融合的 LLM-modulo 范式是迈向工业级可靠落地的正确技术路线。

评分

• 新颖性: ⭐⭐⭐⭐☆ 优雅地将 OWL 2 RL 知识表示与 PDDL 规划体系深度对齐，结合四智能体分工，设计了极具可扩展性的规划架构。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大真实环境、3 种场景规模、150 项通用长程任务以及歧义/不可行专项诊断，置信区间与消融极为扎实。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，系统提示、失败分类与附录详实透明。
• 价值: ⭐⭐⭐⭐⭐ 针对长程机器人规划中长期存在的空间 Token 爆炸与前置条件失序问题提供了极具落地参考价值的解决方案。

相关论文

• [NeurIPS 2026] TGPO: Trace-Guided Policy Optimization for Robot Task Planning via Verifiable Subgoal Generation
• [ECCV 2026] RoboClaw: An Agentic Framework for Scalable Long-Horizon Robotic Tasks
• [NeurIPS 2026] A2Eval: Agentic and Automated Evaluation for Embodied Brain
• [NeurIPS 2026] Embodied Neurocomputation: A Framework for Interfacing Biological Neural Cultures with Scaled Task-Driven Validation
• [NeurIPS 2026] Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs