PO-PDDL: Learning Symbolic POMDPs from Visual Demonstrations for Robot Planning Under Uncertainty¶

会议: NeurIPS 2026
arXiv: 2606.15654
OpenReview: https://openreview.net/forum?id=XYgtVaASQv
论文: https://arxiv.org/abs/2606.15654
代码: https://roboticsjtu.github.io/PO-PDDL/
领域: 机器人/具身智能
关键词: 机器人规划、部分可观测马尔可夫决策过程、PDDL、具身智能、信念空间规划

一句话总结¶

提出结合 PDDL 关系结构与 POMDP 不确定性建模的 PO-PDDL 符号化框架，通过正反向轨迹重构与视觉矛盾挖掘从真实机器人执行视频中自动学习随机转移与观测模型，实现高成功率、低计算延迟的长程信念空间在线任务规划。

研究背景与动机¶

在真实非受控物理环境中，机器人任务规划始终面临双重不确定性的严峻挑战：一是来自感知侧的不确定性，受限于相机视角死角、物体遮挡、未知内部空间（如关闭的抽屉或容器）以及视觉感知模块的误检；二是来自低阶执行策略的随机性，现代具身底座（如 VLA 策略与运动规划器）在与物理世界交互时往往存在一定失败率。这种双重不确定性在理论上天然适合建模为部分可观测马尔可夫决策过程（POMDP）。然而，传统 POMDP 的状态空间、转移概率、观测函数与初始信念极难为复杂机器人任务手工设计，而在视觉机器人场景下直接从低阶演示中自动学习 POMDP 模型此前仍缺乏有效手段。

现有的规划模型学习方法在应对这一挑战时呈现出两极割裂。一方面，经典符号规划领域（如 PDDL 与 UniDomain）虽然具备强大的关系结构表征与长程因果逻辑推理能力，且与大语言模型（LLM）的结构化代码生成范式天然契合，但其核心假设局限于确定性动态与完全可观测环境，遇到技能执行失败或部分不可见状态时规划极易崩溃；另一方面，现存的 POMDP 代码学习尝试（如 pomdp_coder）倾向于使用松散的 Python 代码过程性脚本来定义模型，其在缺少紧凑符号约束的情况下不仅学习效率低、难以提取动作间的长程时序与因果前置条件，而且严重依赖无噪声的低维环境，根本无法直接从真实机器人多模态执行视频中抽取出自洽的转移与观测模型。

针对这一核心矛盾，本文选择从符号表征与演示驱动学习的双重维度打破壁垒。研究团队认识到，PDDL 的关系统一语法与 POMDP 的概率信念更新并非互斥，而是可以通过引入可观测模式与显式观测规则达成紧凑融合。核心 idea：提出兼具 PDDL 关系语法与 POMDP 不确定性机制的 PO-PDDL 符号表征，通过「全可观测隐状态轨迹重构」与「状态-视觉矛盾挖掘」两阶段解耦管线直接从机器人视频演示中归纳随机转移与观测模型，驱动高效的在线信念空间规划。

方法详解¶

整体框架¶

PO-PDDL 旨在从包含多步骤成功与恢复动作的真实机器人多模态演示数据 $\mathcal{D}=\{D_i\}_{i=1}^K$ 中，构建可跨任务复用的符号化 POMDP 领域模型 $\mathcal{M}=\langle\mathcal{P},\mathcal{O},\mathcal{A},\mathcal{Z},b_0,\mathcal{G}\rangle$。系统整体流程分为三个主要阶段： 1. 全可观测领域归纳：利用 LLM/VLM 解析任务视频与指令，建立谓词词表 $\mathcal{P}$ 与算子接口 $\tilde{\mathcal{A}}$，通过正向效果预测与反向初始状态推导重构潜变量符号轨迹，并基于经验频次拟合带随机转移效果与动作时延代价的算子集合 $\mathcal{A}$，经 VLM 闭环一致性检验收敛为自洽模型； 2. 部分可观测组件学习：将 VLM 逐帧解析的视觉状态与潜变量真实状态对比，通过不一致冲突自动识别出真正的部分可观测谓词，进而定义紧凑的观测模式 $\mathcal{O}$，并解耦为被动感知与主动感知两类规则估计条件观测似然 $\mathcal{Z}$； 3. 在线信念空间规划：基于初始场景观测构建先验信念 $b_0$ 与符号目标 $\mathcal{G}$，使用 DESPOT 规划器在线仿真搜索最优动作，并通过闭式贝叶斯滤波完成实时信念更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    D["双视角机器人演示视频 + 任务语言指令"] --> K1["全可观测隐状态轨迹重构与随机算子建模<br/>概念词表提取 + 前反向轨迹推导 + 随机效应聚合"]
    K1 --> V["VLM 闭环一致性验证与修正"]
    V --> K2["状态-观测矛盾驱动的部分可观测性识别<br/>重构真实状态与视觉解析状态比对挖掘冲突"]
    K2 --> K3["主被动解耦的观测似然估计<br/>被动动作映射 + 主动意图聚焦规则估计"]
    K3 --> M["结构化 PO-PDDL 领域模型生成<br/>谓词P / 观测O / 算子A / 观测模型Z"]
    M --> K4["信念空间在线规划与自适应执行<br/>DESPOT搜索 + 贝叶斯滤波更新 + 在线概率标定"]
    K4 --> R["真实机器人多步骤具身执行与目标达成"]

关键设计¶

1. 全可观测隐状态轨迹重构与随机算子建模：解决演示视频中遮挡与噪声导致的动态学习偏差 针对执行视频因视线遮挡和视觉解析不准无法直接还原真实环境状态演化的问题，方法首先构建全可观测基座模型。LLM 首先从任务与子步骤指令中抽象出实体类型、动态时变谓词 $\mathcal{P}$（如抽屉开启、物品在桌上等）以及算子抽象签名 $\tilde{\mathcal{A}}$。随后提出正向-反向推断机制（Forward-Backward Inference）：在前向遍历中，模型基于每步动作执行前后的视觉图像推断出增删谓词效果 $\epsilon_{i,t}=(\epsilon_{i,t}^+, \epsilon_{i,t}^-)$；在后向阶段，结合最终任务目标 $\mathcal{G}_i$ 与动作历史，反向推演满足任务终止一致性 $s_{i,T_i}\models\mathcal{G}_i$ 的初始状态 $s_{i,0}$，再正向铺开生成完整的潜变量符号轨迹 $\{s_{i,t}\}_{t=0}^{T_i}$。算子的前提条件取所有执行前状态中恒成立的交集谓词，算子的转移概率则对所有观测到的增删效应聚类为离散模式，直接按经验出现频率赋权，并以平均执行耗时的相反数定义转移代价奖励。这一机制保证了动作前置因果依赖（如必须先移开前方的水杯才能拉开抽屉）被严密捕获。

2. 状态-观测矛盾驱动的部分可观测性识别：避免引入冗余或破坏性假性观测 现有 POMDP 学习方法往往将所有视觉可检出的特征囫囵吞枣地塞入观测空间，导致信念更新维度爆炸且容易受感知噪声污染。PO-PDDL 提出了一种数据驱动的矛盾挖掘机制。对每个步骤，VLM 直接从当前帧画面提取出三值视觉状态 $\hat{s}_{i,t}:\mathcal{G}_\mathcal{P}\to\{0,1,?\}$；将视觉状态与重构的真实潜变量状态 $s_{i,t}$ 逐项比对： $$s_{i,t}(g) \neq \hat{s}_{i,t}(g) \quad \text{且} \quad \hat{s}_{i,t}(g) \neq ?$$ 若某谓词在重构状态与视觉观测之间出现显式值冲突，即判定该谓词涉及部分可观测性（如杯中是否有暗色液体、关合抽屉内部是否有方块），并为其建立专属的可观测模式 $o_p \in \mathcal{O}$。对于未发生任何冲突的谓词，则归为全可观测谓词，观测空间对其保持恒等映射。为防止误检，每个候选冲突还会送回原始视频经过 VLM 二次复核。

3. 主动感知与被动观测解耦的似然建模：赋予机器人主动信息收集的行为偏好 在部分可观测环境中，常规操作动作附带的视觉感知与专门的信息收集动作（如主动俯身往杯中查看、探查抽屉深处）在观测机制上截然不同。PO-PDDL 将观测模型 $\mathcal{Z}$ 严格解耦为两类： - 被动观测（Passive Observation）：针对抓取、放置、推物等物理操纵动作，从动作执行后的视觉状态中提取部分可观测谓词对应的值，拟合其在潜状态为真与为假时的背景误检率 $\mathcal{Z}(o \mid p, a)$； - 主动感知（Active Observation）：针对主动感知算子（如 look_into_cup），VLM 重点提取动作所对焦的目标谓词意图，统计其精准成像下的观测分布。这种结构化分离让生成的 PO-PDDL 领域清晰界定了动作的信息获取价值，使得 POMDP 规划器能够在初始信息不足时，主动规划出前置查看动作以消除信念熵。

4. 基于信念空间的在线自适应规划：兼顾计算效率与测试时策略退化自适应 在线部署时，输入初始观测与自然语言目标指令，系统通过混合经验先验与均匀先验生成初始信念 $b_0 = \lambda b^{\mathrm{emp}} + (1-\lambda) b^{\mathrm{uni}}$（其中 $\lambda=0.5$）。在线规划器采用 DESPOT 算法在粒子信念空间中进行稀疏前瞻搜索，选择期望累积回报最高的动作下发给底层 VLA（$\pi_{0.5}$）。在环境反馈后，通过贝叶斯滤波实时演进全局信念： $$b_{t+1}(s') \propto Z(o_{t+1} \mid s') \sum_{s} T(s' \mid s, a_t) b_t(s)$$ 绝大多数确定性转移仅需闭式状态更新，无需反复调用昂贵的多模态大模型；仅在触发主动观测模式时调取 VLM。更重要的是，算子概率支持测试时自适应标定：当某种低阶技能（如右侧抽屉抓取）在现场因机械误差连续失败时，系统根据真实执行频次动态下调该效果分支的转移概率，驱使规划器自动切换为从左侧抽屉执行备选路径。

损失函数 / 训练策略¶

该框架离线阶段无需反向传播梯度微调大模型参数，所有符号归纳依托冻结的 GPT-5.4 配合提示词工程完成。整个离线学习在 29 条包含 103 步动作的演示数据上仅需 291 秒。在在线信念树搜索超参数配置上，温度设为 $T=0.0$，DESPOT 场景采样数 $k=500$，最大搜索深度 $d_s=50$，策略展开深度 $d_r=20$。任务奖励函数设定：任务成功达成奖励 $+500$，误报完成惩罚 $-100$，严重不可逆物理失败（如打翻装有液体的水杯）惩罚 $-300$，每步附带与技能平均时延挂钩的负执行成本。

实验关键数据¶

主实验¶

实验在包含抽屉、带水/空水杯、色块与黑盒子的真实桌面双臂操作平台上展开。测试涵盖 5 个由易到难的任务：Task 1（push_box，1步单动作）、Task 2（block_in_drawer，需探索抽屉并抓取）、Task 3（cup_with_water，杯中液体不可见且存在黑盒空间冲突）、Task 4（cups_then_blocks，平均 7.6 步长程任务，需先移开挡路水杯方能开抽屉）、Task 5（box_cups_blocks，平均 8.7 步最复杂长程组合任务）。每个任务评测 10 次真实运行。

评估任务	评估指标	PO-PDDL (本文)	UniDomain*	pomdp_coder*	VLM-Planner
Task 1: push_box	任务进度 (%) / 规划耗时 (s)	100% / 0.65s	100% / 5.21s	100% / 3.82s	100% / 1.54s
Task 2: block_in_drawer	任务进度 (%) / 规划耗时 (s)	100% / 0.82s	38.0% / 6.45s	0.0% / 4.10s	55.0% / 1.72s
Task 3: cup_with_water	任务进度 (%) / 规划耗时 (s)	100% / 0.78s	22.0% / 7.12s	0.0% / 4.35s	32.5% / 1.80s
Task 4: cups_then_blocks	任务进度 (%) / 规划耗时 (s)	100% / 0.95s	0.0% / 8.30s	0.0% / 5.20s	0.0% / 2.15s
Task 5: box_cups_blocks	任务进度 (%) / 规划耗时 (s)	100% / 1.05s	0.0% / 9.15s	0.0% / 5.60s	0.0% / 2.40s
全任务平均	平均成功率 / 规划时延	100% / 0.85s	32.0% / 7.25s	20.0% / 4.61s	37.5% / 1.92s

在离线领域学习代价对比上，PO-PDDL 耗时 291.00s（541 次模型调用，等效 token 363,247），远快于 UniDomain* 的 5111.19s（932 次调用，355,253 tokens），与代码生成的 pomdp_coder*（328.46s，201 次调用，237,042 tokens）处于同级但生成的规划模型质量具有质的差距。

消融实验¶

消融实验聚焦于领域学习管线中的两项关键架构选择：单阶段联合学习（Open-Pass，即不解耦全可观测与部分可观测，直接单步提取）和去除主动感知区分（No-ActiveObs，所有观测均按被动模式无差异建模）。以累积奖励（Cumulative Reward）为评估标准：

评估任务配置	完整模型 (PO-PDDL)	Open-Pass (单阶段联合学习)	No-ActiveObs (移除主动感知建模)
Task 1: push_box	+452	+445 (-1.5%)	+450 (-0.4%)
Task 2: block_in_drawer	+410	+125 (-69.5%)	+180 (-56.1%)
Task 3: cup_with_water	+385	-165 (崩溃，负回报)	-95 (崩溃，负回报)
Task 4: cups_then_blocks	+320	+45 (-85.9%)	+210 (-34.4%)
Task 5: box_cups_blocks	+295	-20 (崩溃，负回报)	+140 (-52.5%)

关键发现¶

两阶段解耦是避免信念污染的决定性设计：Open-Pass 无法区分纯几何/机械全可观测状态与真正被遮挡的潜状态，导致生成大量冗余甚至互相矛盾的虚假观测模式。在 Task 3 中，该变体将杯子位置的变化误解为液体存在概率的改变，信念严重漂移导致灾难性失败。
主动感知动作必须绑定信息获取意图：No-ActiveObs 剥离了主动查看动作的信息增益特征，使得规划器认为 look_into_cup 没有任何特殊观测能力，因此在 Task 3 中规划器不再主动探查液体，直接盲猜放置，导致大量液体倾覆扣分。
长程因果前置条件的捕获能力决定了复杂任务的生死线：在 Task 4 和 Task 5 中，所有基线成功率全部跌至 0%。VLM-Planner 无法在多步视野下推理出「开抽屉必须先拿开挡在前面的杯子」；UniDomain* 由于确定性假设，在抽屉抓取失败一次后因符号状态不一致而陷入死循环；pomdp_coder* 则因过程式 Python 字典难以表达复杂谓词约束而产生不可行路径。

亮点与洞察¶

兼取 PDDL 规范与 POMDP 概率之长：将 PDDL 清晰的关系谓词、类型分层语法延伸至 POMDP，既保持了对大模型代码合成的高亲和力，又补齐了原本缺失的概率观测与信念更新机制。
数据驱动的矛盾挖掘机制（Contradiction Discovery）极富启发性：以往确定哪些状态部分可观测全凭专家经验手工标注，本文巧妙利用「前反向重构推演得到的真值状态」与「单帧视觉浅层解析状态」之间的差异，自动定位物理遮挡与感知盲区。
离线模型推导与轻量在线搜索解耦：将繁重的大模型语义理解放在离线领域学习，在线规划只需依靠快速的 DESPOT 与闭式贝叶斯更新，使每步规划延迟稳定压在 1 秒以内（比 VLM 规划快 50.4%，比 UniDomain* 快 85.7%），极大提升了真实机器人动作连贯性。

局限与展望¶

假设静态封闭场景：目前的 PO-PDDL 领域与特定场景和固定机器人硬件绑定，假设演示后无剧烈的环境分布偏移。未来需引入在线符号模型自我修补机制，支持在开放世界中随交互拓展新谓词与新算子。
大模型感知底座的能力上限限制：符号提取与矛盾校验的准确度高度依赖底层 VLM（如 GPT-5.4）的视觉定位能力。当光照异常或小物体极端遮挡时，可能出现误推导，未来应结合交互式主动询问人类的容错机制。
演示规模扩展代价：虽然单场景只需数十条演示，但向全域泛化时仍需构建模块化的 PO-PDDL 领域知识库以复用基础技能模式。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出兼容 PDDL 语法的结构化 PO-PDDL 表达，并实现由无标注视频演示到 POMDP 模型的自动化挖掘。
实验充分度: ⭐⭐⭐⭐⭐ 在真实机器人双臂平台上完成 5 类不同难度长程任务评测，提供翔实的离线学习成本与在线规划时延数据，消融充分。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，算法流程完备，附录提供了完整的 PDDL 声明与对比代码分析。
价值: ⭐⭐⭐⭐⭐ 为大模型驱动的具身智能任务规划提供了一条兼具因果可解释性、概率容错性与极低在线计算成本的坚实技术路线。