Differentiable Learning of Lifted Action Schemas for Classical Planning¶

会议: NeurIPS 2026
arXiv: 2605.13282
OpenReview: https://openreview.net/forum?id=OSDbmV3Glw
论文: https://arxiv.org/abs/2605.13282
领域: 机器人
关键词: 经典规划, 提升动作模式, 可微归纳, 关系图卷积网络, 槽位机制

一句话总结¶

提出了端到端可微动作模式归纳架构 DIAS，在仅观测到完整状态转换和动作名称（动作参数未观测）的强挑战设定下，结合 R-GCN、对数空间矩形 Sinkhorn 槽位分配与软前置/效果投影，通过梯度下降近乎完美地恢复提升 STRIPS 规划模型。

研究背景与动机¶

经典规划器能够凭借 STRIPS 或 PDDL 这类紧凑的提升（lifted）一阶逻辑表示，在庞大的确定性马尔可夫决策过程中自动提取强大的启发式信息来引导搜索，其定义的一阶关系和动作模式天然支持向任意未见规模的对象实例结构泛化。然而，长期以来这些符号域规范严重依赖人工专家手写，如何直接从观测数据中自动学习状态关系与动作模式一直是规划与神经符号推理领域的核心挑战。现有符号归纳方法大多预设动作轨迹包含完整的动作参数，但现实场景（例如从图像或非结构化日志中学习）往往难以直接获得干净、完备的谓词参数绑定；且部分参数在语言层面纯属语法冗余。

当动作参数及其元数（arity）完全未被观测，仅能拿到状态迁移三元组 $\langle s, a, s'\rangle$ 中的动作名称 $a$ 时，从状态变化中同时推断动作参数并学习提升动作模式在计算复杂度上等价于图同构问题，极具挑战。此前基于 SAT 求解器的离散重构算法（如 L1）面对庞大的组合搜索空间不得不引入近似剪枝，并且极其脆弱，无法扩展至带噪观测，也无法无缝对接到更下游的端到端神经符号感知系统中。

面对离散组合搜索在噪声容忍度、计算可扩展性以及可微神经集成方面的瓶颈，本文探索了一条完全基于连续优化的全新求解路径。核心 idea：将提升参数绑定与前后置条件判定全面松弛为可微操作，利用 R-GCN 计算对象嵌入并通过矩形 Sinkhorn 软分配填入槽位，将提升前置条件与效果投影至邻接矩阵空间预测后继状态，借助梯度手术（PCGrad）与可控调度实现提升 STRIPS 动作模式的端到端梯度优化。

方法详解¶

整体框架¶

DIAS 接收单个状态转移 $\langle s, a, s'\rangle$ 作为输入，其中当前状态 $s$ 与后继状态 $s'$ 表现为对象间一元和二元地基原子构成的有向图。系统整体分为两个紧密耦合的阶段：首先利用关系图卷积网络（R-GCN）编码状态转换图中的对象特征，通过可学习的动作查询向量与矩形对数空间 Sinkhorn 算法计算对象到动作槽位的互斥软选择矩阵；随后将可学习的提升前置条件与增删效果概率矩阵，经由该槽位选择投影到地基邻接矩阵空间，评估前置条件满足概率并作用于当前状态以预测后继状态邻接矩阵。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["状态转移输入<br/>⟨s, a, s'⟩ 转换为关系图 G"] --> B["1. 动作参数软选择<br/>R-GCN 编码键 K 与查询 Qᵃ 对齐"]
    B --> C["矩形 Sinkhorn 槽位分配<br/>对数空间松弛求解软指派 S̃ᵃ"]
    C --> D["2. 提升前置条件可微评估<br/>参数 P_preᵃ 投影至邻接空间并计算 p_pre"]
    C --> E["3. 提升效果软投影与状态预测<br/>参数 P_effᵃ 投影为 P̃_addᵃ 与 P̃_delᵃ"]
    D --> F["后继状态重构与辅助正则化<br/>Â' 预测与 BCE 损失计算"]
    E --> F
    F --> G["4. 梯度投影与模式导出<br/>PCGrad 梯度解耦并离散化阈值提取"]

关键设计¶

1. 动作参数软选择：在缺乏参数标注时从状态图变化中自适应对齐对象与动作槽位

为克服动作参数未观测带来的组合匹配困难，模型将状态 $s$ 中的已知事实以及转移带来的增删变化构造成包含逆向边和自环的关系图 $G=\langle V,E\rangle$，其中节点为全域对象 $\mathcal{O}$。经过 R-GCN 消息传递后，每个对象提取出 $d$ 维特征向量构成键矩阵 $K \in \mathbb{R}^{O \times d}$。每个动作模式 $a$ 维护 $M$ 个可学习的槽位查询向量 $Q^a \in \mathbb{R}^{M \times d}$（$M$ 为预设动作最大元数），首先通过点积注意力计算匹配置信度： $$C^a = \frac{Q^a K^\top}{\sqrt{d}}$$ 为保证每个动作槽位最多绑定一个互斥对象，同时允许部分对象完全不被选中，算法在对数空间中运行带松弛行（slack row）的矩形 Sinkhorn 归一化算法（无松弛列，空槽位由槽位门控自适应吸收），输出行随机分配矩阵 $S^a \in (0,1)^{M \times O}$。再结合槽位门控权重 $w^a \in \mathbb{R}^M$ 的激活概率 $\sigma(w^a)$，生成最终对象选择矩阵： $$\tilde{S}^a = \operatorname{diag}(\sigma(w^a)) S^a$$

2. 提升前置条件可微评估：通过几何平均连续调度解决全局联合约束的冷启动梯度下溢

提升动作模式的正负前置条件由可学习参数张量 $P_{\text{pre}}^a \in \mathbb{R}^{R \times M \times M \times 3}$ 表示，经沿末维 softmax 后分离出正前置概率 $P_{\text{pre}^+}^a$ 与负前置概率 $P_{\text{pre}^-}^a$。利用选择矩阵 $\tilde{S}^a$，将提升原子概率双线性投影至地基邻接矩阵空间： $$\tilde{P}_{\text{pre}^+}^a = (\tilde{S}^a)^\top P_{\text{pre}^+}^a \tilde{S}^a, \quad \tilde{P}_{\text{pre}^-}^a = (\tilde{S}^a)^\top P_{\text{pre}^-}^a \tilde{S}^a$$ 全状态下的前置条件满足概率对应于所有未满足反例的连乘。但在训练初期随机初始化时，高维连乘积会迅速下溢至 0，导致后续效果完全无法更新。模型引入基于退火温度 $\tau$（从 1 指数衰减至 0）的广义几何平均调度策略： $$p_{\text{pre}} = \Biggl( \prod_{r,i,j=1}^{R,O,O} \Big( (1 - \tilde{P}_{\text{pre}^+}^a \odot (1 - A)) \odot (1 - \tilde{P}_{\text{pre}^-}^a \odot A) \Big)_{r,i,j} \Biggr)^{\frac{1}{\tau \cdot R \cdot O^2 + (1 - \tau)}}$$ 在训练初段以几何平均保留有效的梯度反向流动通道，随着训练收敛平滑退火至严苛的布尔合取逻辑。

3. 提升效果软投影与状态预测：实现极简增删更新与连续空间下的状态演算

动作模式对世界状态的修改同样通过参数张量 $P_{\text{eff}}^a \in \mathbb{R}^{R \times M \times M \times 3}$ 建模，经 softmax 解码为无效果、增加原子（Add）与删除原子（Del）的三类概率。类似地，利用 $\tilde{S}^a$ 投影得到地基原子增删概率 $\tilde{P}_{\text{add}}^a$ 与 $\tilde{P}_{\text{del}}^a$。结合当前状态邻接张量 $A \in \{0,1\}^{R \times O \times O}$ 与前置满足概率 $p_{\text{pre}}$，后继状态预测张量 $\hat{A}'$ 被公式化为软增删操作： $$\hat{A}' = A + p_{\text{pre}} \cdot \Big( (1 - A) \odot \tilde{P}_{\text{add}}^a - A \odot \tilde{P}_{\text{del}}^a \Big)$$ 这一公式精准复现了经典 STRIPS 语义：只有在前置条件满足（$p_{\text{pre}} \to 1$）时才应用效果；对于原本不存在的原子执行添加，对原本存在的原子执行删除，其余关系严格保持不变。

4. 梯度投影与模式导出：通过梯度手术解耦预测精度与奥卡姆剃刀归纳偏置

学习不仅要拟合后继状态，还需遵循归纳偏置：前置条件应尽可能严格以排除非法转移，动作效果应尽可能稀疏（最小化冗余修改）。为此定义了由状态重构误差构成的核心损失 $L_{\text{adj}} = \operatorname{BCE}(\hat{A}', A')$，以及促进最小效果和最大前置的辅助正则化损失 $L_{\text{aux}} = \frac{1}{N}(L_{\text{eff}} + L_{\text{pre}})$。为了避免正则化干扰状态重构的硬性正确性，模型采用 PCGrad 梯度手术：当辅助梯度 $\nabla L_{\text{aux}}$ 与主梯度 $\nabla L_{\text{main}}$ 方向冲突（点积为负）时，将其正交投影到主梯度的超平面上： $$\nabla L_{\text{total}} = \nabla L_{\text{main}} + \alpha \cdot \min\left( \frac{\|\nabla L_{\text{main}}\|}{\|\tilde{\nabla} L_{\text{aux}}\|}, 1 \right) \tilde{\nabla} L_{\text{aux}}$$ 训练结束后，对槽位门控权重 $w^a$ 与参数张量设置 0.5 的硬阈值，过滤掉不活跃槽位并离散化生成标准的 PDDL/STRIPS 提升动作签名及前后置原子集合。

实验关键数据¶

主实验¶

在涵盖 Blocks-3、Driverlog、Gripper、Hanoi、Logistics、Satellite、Sokoban 等 13 个国际规划竞赛（IPC）基准域上进行评估。模型在单实例的随机游走轨迹上训练，并在 3 个规模更大（对象数倍增）的保留测试实例上采样 1500 个状态，对比学习域与真实域的一步可达后继状态集合，验证可靠性（Soundness / Precision）与完备性（Completeness / Recall）。实验对比了全参数给定（Full STRIPS）、部分参数给定（STRIPS+）以及最具挑战性的纯动作名称（Action names only）三种观测设定。

域 (Domain)	Full STRIPS (Pr. / Re. / $N_{sc}$)	STRIPS+ (Pr. / Re. / $N_{sc}$)	Action names only (Pr. / Re. / $N_{sc}$)
Blocks-3	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10
Delivery	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10
Driverlog	1.00 / 1.00 / 10	1.00 / 1.00 / 10	0.80 / 0.91 / 8
Gripper	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10
Hanoi	1.00 / 1.00 / 10	1.00 / 1.00 / 10	0.81 / 0.99 / 8
Logistics	1.00 / 1.00 / 10	0.82 / 1.00 / 7	0.94 / 0.97 / 7
Miconic	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10
N-Puzzle	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10
Satellite	1.00 / 1.00 / 10	1.00 / 0.99 / 0	0.74 / 1.00 / 0
Sokoban	1.00 / 1.00 / 10	1.00 / 1.00 / 6	1.00 / 1.00 / 6
Sokoban-pull	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10
Spanner	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10
Visitall	1.00 / 1.00 / 10	1.00 / 1.00 / 10	1.00 / 1.00 / 10

在纯动作名称的最难设定下，DIAS 在 8 个领域取得了 10 次独立随机种子运行全部 100% 完美的双向复原（$N_{sc}=10$），在另外 4 个领域也有至少 60%~80% 的完美复原率。

观测噪声鲁棒性分析¶

在纯动作名称设定下，研究人为在每个状态转移中随机翻转 $1 \sim 8$ 个观测原子时的模型鲁棒性表现：

域 (Domain)	1 flip (Pr. / Re.)	2 flips (Pr. / Re.)	4 flips (Pr. / Re.)	8 flips (Pr. / Re.)
Blocks-3	1.00 / 1.00	1.00 / 1.00	1.00 / 1.00	0.95 / 0.93
Gripper	1.00 / 0.64	1.00 / 0.64	1.00 / 0.68	0.67 / 0.03
Miconic	1.00 / 0.16	1.00 / 0.70	1.00 / 0.60	0.00 / 0.00
N-Puzzle	1.00 / 1.00	1.00 / 1.00	0.67 / 0.58	0.00 / 0.00
Sokoban-pull	1.00 / 1.00	1.00 / 1.00	0.33 / 0.33	0.00 / 0.00
Spanner	1.00 / 1.00	0.01 / 1.00	0.02 / 0.38	0.00 / 0.00

关键发现¶

纯参数未观测问题的可解性：在不需要预先指定动作元数（固定上限 $M=5$）和任何参数绑定的前提下，通过 GNN 键值匹配与 Sinkhorn 软分配，梯度优化成功克服了图同构复杂度的离散瓶颈。
失败模式根因定位：Sokoban 的部分失败源自死区状态（箱子推入死角后随机游走难以探索有效后继）；在增加了反向拉动作的 Sokoban-pull 中由于死区解除，完美复原率恢复为 10/10。Satellite 表现欠佳主因是其 take_image 动作用 PDDL 建模存在 75% 的零状态改变转移，且存在同一转移多重地基解绑定的歧义。
对比符号方法 L1：基于多次 SAT 调用的最先进符号 baseline L1 仅在 6 个域达到完美重构，且由于算法预先假定“前置条件变量必须出现在效果变量中”，在含有独立前置变量的 Driverlog、Logistics 等复杂域彻底失效（L1 在 Driverlog 的精度仅为 0.1924，Logistics 仅为 0.3396）。DIAS 具备捕捉非效果变量隐式约束的能力。
状态依赖 MLP 动力量化消融：若将 STRIPS 提升效果张量替换为局部对象子状态 MLP，尽管能处理状态相关效果，但由于丧失了显式的一阶符号约束与离散提升结构，其双向完美复原率显著恶化（在 Delivery、Driverlog、Satellite、Sokoban 等域直接跌至 0），证明了提升 STRIPS 归纳偏置在规划泛化中的不可替代性。

亮点与洞察¶

将传统依赖组合搜索与 SAT 编码的图同构级离散归纳问题，成功松弛为端到端连续可微优化框架。借助可微分 Sinkhorn 与软前置/效果投影，使得利用现代深度学习优化技术（如 AdamW、PCGrad）求解经典提升模型成为可能。
退火几何平均调度机制极其优雅地解决了高维布尔连乘带来的梯度消失顽疾。初期用几何平均维持平滑梯度指引，后期逼近真实逻辑与（AND），是神经符号约束优化的通用范例。
采用 PCGrad 梯度手术实现了“先保转移保真度、再施奥卡姆剃刀”的多目标平衡，避免了手动精细调节前置最大化与效果最小化正则权重的繁琐权衡。

局限与展望¶

仅支持一元与二元谓词，未涵盖三元及以上高阶关系（虽然理论上可借助超图或关系分解扩展，但计算复杂度显著提升）。
依赖于负例样本的缺失假设：由于训练轨迹仅包含合法执行的正例转移，当前架构难以在可学习前置条件中直接引入复杂的负前置条件，且容易出现前置过度放宽（即保留过多不必要的前提）。
目前输入仍依赖于结构化的符号状态描述；未来最关键的演进方向是将其作为下游可微符号头，直接与上游视频/图像视觉骨干网（如视觉槽位注意网络）级联，实现真正的纯像素到 PDDL 的端到端学习。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次实现了在完全未见动作参数与元数设定下的提升 STRIPS 动作模式端到端可微学习，技术设计构思精巧。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 13 个主流 IPC 域、多重随机种子、保留的大规模实例泛化评测以及噪声和动力学消融，分析深入透彻。
写作质量: ⭐⭐⭐⭐⭐ 概念阐述清晰，数学形式化严谨规范，结构逻辑丝丝入扣。
价值: ⭐⭐⭐⭐⭐ 成功连接了现代连续深度学习与经典一阶逻辑规划，是打通从连续感知到离散符号世界模型的重要技术突破。