TGPO: Trace-Guided Policy Optimization for Robot Task Planning via Verifiable Subgoal Generation¶
会议: NeurIPS 2026
arXiv: 2602.12244
OpenReview: https://openreview.net/forum?id=Q0SeSQbf7I
论文: https://arxiv.org/abs/2602.12244
代码: https://tgpo2026.github.io/TGPO/
领域: 机器人/具身智能
关键词: 机器人任务规划, 具身智能, 强化学习, 符号规划, PDDL子目标生成
一句话总结¶
针对真实长程机器人任务规划中大模型常生成不可行动作且符号规划器难理解抽象意图的矛盾，TGPO 将规划重构为可验证 PDDL 子目标策略学习，提出结合验证器密集奖励、中间推理轨迹外部修正与约束解码策略优化的强化学习框架，大幅提升复杂长程与高抽象指令下的规划成功率。
研究背景与动机¶
在真实室内复杂环境中，具身移动操作机器人需要根据人类的高度抽象自然语言指令，在长视野、多实体交互以及物理几何约束下生成精确可执行的动作序列。近年来大语言模型（LLM）展现出了强大的常识推理能力，被广泛尝试用于机器人任务规划。然而，直接依赖通用大模型端到端生成动作序列或单体全局规划往往面临严峻的可靠性瓶颈：其一是缺乏显式物理与逻辑约束建模，极易生成动作不连贯或前置条件违背的无效方案；其二是自回归生成的误差复合效应，长程规划中前期的微小错误会直接滚雪球式破坏下游所有步骤；其三是在大规模复杂场景图表征下，大模型对环境实体与空间拓扑的状态锚定能力显著减弱。与之相对，经典的符号规划器虽然能严格保证可行性与完备性，但必须输入高度规范精确的初始状态与终态目标，完全无法直接解析人类模糊、意图内隐的高层自然语言。
将大模型与符号规划器结合的核心瓶颈在于任务形式化表达的颗粒度与准确度。现有方法多尝试将整句指令直接翻译成单个全局 PDDL 目标，但随着任务视野延长与多步骤约束交织，单体目标无法捕捉子任务之间的时序依赖关系，符号规划器的求解搜索空间随之呈指数级膨胀，甚至面临组合爆炸而不可解。将长程任务分解为中间子目标序列虽然能有效降低单步求解复杂度并显式表达时序因果，却将核心挑战转移到了子目标的构造策略上：模型不仅需要推断隐含意图，还必须输出无冲突、可组合且每个都严格满足符号求解器前置约束的子目标序列。然而，若直接采用标准的端到端强化学习对子目标生成策略进行优化，系统会陷入极度严苛的反馈困境：整条规划中只要存在一个子目标表述微瑕便会导致全盘失败，环境与最终状态对隐式意图的验证反馈极其稀疏、滞后且充斥噪声，策略难以在长程离散推理步骤中准确分配信用。
本文的切入角度是打破将策略输出视为不可分整体的传统强化学习范式，将外部推理修正机制直接融入强化学习训练闭环中。核心 idea：将机器人长程规划形式化为可验证 PDDL 子目标生成策略，并通过轨迹引导策略优化（TGPO）结合验证器反馈、外部辅助模型对中间推理轨迹的显式修正以及约束解码自回归优化，将稀疏滞后的环境结果反馈转化为密集结构化的过程监督。
方法详解¶
整体框架¶
TGPO 的整体规划流程围绕“语言解析与任务分解 → 符号子目标形式化 → 经典规划器分步求解与状态演化”展开。输入为高层自然语言指令与基于场景图的环境结构化表征，策略网络首先自回归生成有序的任务分解思考轨迹，紧接着为每个分解步骤生成接地的 PDDL 形式化子目标及隐式相关实体集合。随后，系统通过规则模块构建局部 PDDL 问题文件，调用成熟的符号规划器（如 Fast Downward）增量求解动作子计划并迭代更新场景状态，最终拼装为完整可执行的移动操作动作序列。在离线训练阶段，TGPO 采用两阶段范式：先在合成的大规模长程规划数据集上完成监督微调（SFT），再通过包含自由采样、失败轨迹外部纠错、约束解码重采样以及联合优势更新的强化学习算法优化子目标策略。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["自然语言指令 + 场景图"] --> B["策略自由采样 Rollout<br/>生成分解轨迹与形式化子目标"]
B --> C["验证器评估与失败判定<br/>求解可行性 + 意图完成度"]
C -->|高奖励轨迹| D["保留至经验池"]
C -->|低于阈值失败轨迹| E["辅助模型轨迹修正<br/>纠正缺失/时序乱序/意图偏差"]
E --> F["约束解码 Rollout<br/>强制注入修正轨迹并自回归生成子目标"]
D --> G["联合策略优化更新<br/>组内相对优势 + 截断梯度"]
F --> G
G --> H["优化后的子目标生成策略"]关键设计¶
1. 规划任务形式化与增量式求解架构：解耦高层意图分解与底层符号约束 面对长视野与复杂场景，TGPO 摒弃直接生成动作序列或单体全局目标的做法，将策略输出显式解构为自然语言任务分解轨迹与接地符号子目标序列 \((T, G) = \pi_\theta(q, \mathcal{S})\)。其中自然语言轨迹 \(T = \{t_k\}_{k=1}^K\) 负责承载时序逻辑与意图细化，符号子目标序列 \(G = \{g_k\}_{k=1}^K\) 则将每一步映射为 PDDL 谓词逻辑与相关实体集合。在执行端，系统通过规则将当前场景图切片与子目标构建为局部 PDDL 实例，采用经典规划器增量求解。对于包含复合子目标的步骤 \(g_k = \{A, B, C\}\)，系统采用累积增量求解机制：先求解以 \(A\) 为目标的子规划并在虚拟场景中状态前向推演，再基于更新后的状态求解累积目标 \(A \wedge B\)，最后求解 \(A \wedge B \wedge C\)。这种解耦架构既利用了神经网络对人类语言与空间常识的理解力，又利用符号规划器硬性保证了动作前置条件、后置效果与物理约束的绝对满足，阻断了误差沿时间步的无界传播。
2. 验证器驱动的复合奖励机制：联合衡量逻辑可行性与意图达成度 为了在强化学习中精准指导子目标策略的演进，TGPO 建立了基于符号求解器与多维度评估器的双重奖励函数： $\(R(T, G) = R_{\text{feas}}(G) \cdot R_{\text{comp}}(T, G)\)$ 其中可行性奖励 \(R_{\text{feas}}(G) \in \{0, 1\}\) 为强约束布尔项，调用符号求解器验证子目标序列中每一个子目标是否在当前演化状态下存在有效求解路径，只要任一子目标不可解即判定全盘不可行（设为 0）；任务完成度奖励 \(R_{\text{comp}}(T, G) \in [0, 1]\) 则衡量由各子规划拼装而成的整体方案对用户真实意图的满足程度。在训练中，完成度评估通过大模型裁判结合 PDDL 状态确定性转移模拟器，从目标达成、意图理解、子任务完备性以及执行质量四个正交维度打分聚合。这种乘积形式的奖励结构杜绝了策略通过生成“容易求解但毫无意义的平凡子目标”来刷分，迫使策略在保持符号可执行性的同时精准契合高层任务语义。
3. 轨迹引导的两阶段 Rollout 与约束解码策略优化：突破稀疏延迟反馈瓶颈 针对标准强化学习在长程规划中因“一步错满盘皆输”导致的探索极度低效和信用分配难题，TGPO 在组相对策略优化（GRPO）基础上提出了两轮采样与外部纠错机制。在第一轮自由采样中，策略为当前指令和场景图生成一组候选轨迹 \(\{o_n\}_{n=1}^N\)，并依据奖励函数笑选出低于质量阈值 \(\tau\) 的失败集合 \(\mathcal{I}_{\text{fail}} = \{n \mid R(o_n) < \tau\}\)。随后，利用能力更强的辅助推理模型 \(\mathcal{C}\) 仅对失败轨迹中的中间自然语言分解思考轨迹进行外部修订 \(\tilde{T}_n = \mathcal{C}(T_n; q, \mathcal{S})\)，修正其步骤遗漏、时序错乱或意图偏移。在第二轮约束采样中，策略网络在解码时被强制锁定使用修正后的推理轨迹 \(\tilde{T}_n\)，而由策略自身继续自回归生成对应的符号子目标 \(\tilde{G}_n\)。最后，将自由采样轨迹与约束采样轨迹合并为增广样本组 \(\mathcal{G} = \{o_n\}_{n=1}^N \cup \{\tilde{o}_n\}_{n \in \mathcal{I}_{\text{fail}}}\)，并在全序列 Token 上计算联合对数似然与组内相对优势，执行截断策略优化。该机制将昂贵的高层修正经验有效沉淀入学生策略中，极大提升了策略在复杂意图空间中的样本利用效率与探索鲁棒性。
损失函数 / 训练策略¶
TGPO 的训练分为两个阶段。第一阶段在基于 Habitat 合成场景（HSSD）与千人千面（1,677 种用户角色画像）生成的 67,100 条高质量长程规划数据上，以 Qwen2.5-7B 为底座进行监督微调（SFT），学习率设为 \(5 \times 10^{-6}\)，训练 3 个 epoch，建立基础的场景解析与 PDDL 表达能力。第二阶段进行 TGPO 强化学习优化，增广组 \(\mathcal{G}\) 上的目标函数为： $\(\mathcal{L}_{\text{TGPO}}(\theta) = \mathbb{E} \left[ \frac{1}{|\mathcal{G}|} \sum_{o \in \mathcal{G}} \min \left( \rho(o) A(o), \text{clip}(\rho(o), 1-\epsilon, 1+\epsilon) A(o) \right) \right]\)$ 其中 \(\rho(o) = \frac{\pi_\theta(o)}{\pi_{\theta_{\text{old}}}(o)}\) 表示新旧策略在新生成或约束修正序列上的完整概率比，优势 \(A(o)\) 基于合并组 \(\mathcal{G}\) 内各轨迹的奖励进行组标准化计算。训练批次大小为 128（Mini-batch 32），自由采样数 \(N=8\)，每次每个采样修复 2 条失败轨迹，在 8 张 H200 GPU 上经历约 100 小时强化训练完成收敛。
实验关键数据¶
主实验¶
论文在域内合成任务（涵盖 Easy、Complex、Abstract 三类复杂度）以及三大泛化基准（真实人类自然语言指令 Human Benchmark、PARTNR 具身规划基准、BEHAVIOR-1K 挑战赛基准）上，与主流 Prompting 规划方法及通用大模型进行了系统对比。
| 方法 | 平均规划时间 (s) | 域内 Easy (SR%) | 域内 Complex (SR%) | 域内 Abstract (SR%) | 人类指令 Human (SR%) | PARTNR (SR%) | BEHAVIOR-1K (SR%) |
|---|---|---|---|---|---|---|---|
| GPT-5 (Direct CoT) | 8.0 | \(38.3 \pm 3.4\) | \(24.6 \pm 1.0\) | \(9.1 \pm 3.2\) | \(21.7 \pm 2.7\) | \(69.2 \pm 1.2\) | \(35.1 \pm 1.0\) |
| Gemini-3.0-pro (Low CoT) | 23.5 | \(30.0 \pm 2.3\) | \(16.8 \pm 1.4\) | \(19.9 \pm 2.9\) | \(13.0 \pm 3.0\) | \(71.8 \pm 1.4\) | \(26.0 \pm 1.1\) |
| SayPlan (CoRL) | 63.7 | \(47.5 \pm 2.8\) | \(33.5 \pm 2.2\) | \(22.4 \pm 2.1\) | \(26.5 \pm 3.4\) | \(72.2 \pm 1.8\) | \(43.8 \pm 0.7\) |
| DELTA (ICRA 2025) | 37.8 | \(52.7 \pm 2.6\) | \(22.0 \pm 2.8\) | \(3.9 \pm 1.3\) | \(26.5 \pm 2.1\) | \(69.3 \pm 1.1\) | \(39.3 \pm 1.5\) |
| LLM+P (arXiv 2023) | 12.3 | \(12.6 \pm 1.0\) | \(2.1 \pm 0.4\) | \(4.4 \pm 0.8\) | \(3.9 \pm 1.8\) | \(67.2 \pm 1.7\) | \(22.5 \pm 1.2\) |
| NL2Plan (arXiv 2024) | 18.9 | \(12.8 \pm 0.9\) | \(10.6 \pm 0.7\) | \(1.7 \pm 0.6\) | \(4.5 \pm 2.0\) | \(66.8 \pm 1.0\) | \(21.0 \pm 1.2\) |
| TGPO (本文) | 3.1 | 88.1 \(\pm\) 0.4 | 77.3 \(\pm\) 0.4 | 70.2 \(\pm\) 1.8 | 73.6 \(\pm\) 1.9 | 82.6 \(\pm\) 0.5 | 70.3 \(\pm\) 0.8 |
消融实验¶
为了验证学习策略与核心机制的有效性，论文对比了基础开源底座、监督微调（SFT）、标准强化学习（GRPO / Reinforce++）以及端到端动作生成的 TGPO 消融变体。
| 训练配置 / 策略变体 | 域内 Easy (SR%) | 域内 Complex (SR%) | 域内 Abstract (SR%) | 人类指令 Human (SR%) | PARTNR (SR%) | BEHAVIOR-1K (SR%) |
|---|---|---|---|---|---|---|
| Qwen2.5-7B (Base 未调优) | 0.0 | 0.0 | 0.0 | 0.0 | \(27.8 \pm 1.0\) | \(12.5 \pm 0.7\) |
| SFT (仅监督微调基线) | \(83.2 \pm 0.5\) | \(71.1 \pm 0.6\) | \(38.1 \pm 1.7\) | \(55.8 \pm 2.2\) | \(71.7 \pm 1.3\) | \(63.7 \pm 1.1\) |
| GRPO (标准结果级标量奖励RL) | \(84.1 \pm 0.8\) | \(76.0 \pm 0.2\) | \(51.1 \pm 2.4\) | \(65.9 \pm 2.6\) | \(76.4 \pm 0.9\) | \(67.1 \pm 0.8\) |
| Reinforce++ (稳定无Critic策略优化) | \(83.7 \pm 0.6\) | \(77.1 \pm 0.3\) | \(54.0 \pm 1.5\) | \(65.5 \pm 3.3\) | \(75.2 \pm 1.2\) | \(68.3 \pm 1.3\) |
| TGPO (E2E 端到端生成动作序列) | \(72.4 \pm 0.5\) | \(55.4 \pm 0.2\) | \(44.1 \pm 2.0\) | \(54.1 \pm 2.2\) | \(62.3 \pm 0.6\) | \(54.4 \pm 1.0\) |
| TGPO (Subgoal 完整模型) | 88.1 \(\pm\) 0.4 | 77.3 \(\pm\) 0.4 | 70.2 \(\pm\) 1.8 | 73.6 \(\pm\) 1.9 | 82.6 \(\pm\) 0.5 | 70.3 \(\pm\) 0.8 |
关键发现¶
- 任务抽象度越深，TGPO 相对基线的提升越显著：在指令高度简练、隐含意图极强的 Abstract 测试集上，Prompting 基线（如 DELTA 仅 3.9%、GPT-5 仅 9.1%）因无法从简短词句中构建正确的子目标链路而全面崩溃。TGPO 达到了 70.2% 的成功率，较最强 Prompting 方法提升超过 213%，证明了强化学习结合推理轨迹修正对于内隐意图挖掘的独特价值。
- 轨迹修正机制是突破标准 RL 瓶颈的核心：对比 GRPO（51.1%）和 Reinforce++（54.0%），TGPO 在 Abstract 任务上跃升至 70.2%（绝对提升 16~19 个百分点）。在长视野与稀疏反馈场景下，常规 RL 因正样本探索概率过低而难以更新中间推理链；TGPO 借助外部模型及时修复断点，使得策略得以快速从修正后的正向经验中吸收有效因果模式。
- 子目标解耦相比端到端直接生成优势巨大：TGPO (E2E) 在 Complex 和 Abstract 任务上显著落后于 TGPO (Subgoal)（分别落后 21.9% 与 26.1%）。端到端纯自回归生成必须同时肩负语言理解、常识调度与动作前置物理条件检查，一旦约束变密集极易生成无效动作；而将子目标交由符号求解器落地，极大地降低了策略网络的学习负荷。
- 极高的规划效率与不确定性鲁棒性：TGPO 平均单任务规划仅耗时 3.1 秒，比迭代反思型方法 SayPlan（63.7s）和 DELTA（37.8s）快一个数量级。此外，在动作执行具备 10% 随机失败概率的闭环随机环境中，将 TGPO 生成的子目标接入概率 PDDL 与在线 MCTS，在 Easy、Complex 和 Abstract 任务上依然保持了 80.5%、70.8% 和 62.3% 的高成功率。
亮点与洞察¶
- 将外部 CoT 轨迹纠错深度植入强化学习的更新梯度：不同于常规仅在推理期通过自我反思（Reflection / Self-Refine）进行后验补救的做法，TGPO 创新性地在 RL 采样内循环中对失败样本施加思考轨迹定向修正，并通过约束前向解码计算全序列梯度，把强大的外部专家修正能力沉淀为小规模模型的内生生成策略。
- 神经大模型与经典符号求解器的清晰权责切分：大模型负责高层的“宏观分解与语义对齐”，将开放式人类语言意图翻译为具有确定物理语义的 PDDL 子目标；经典求解器接管底层的“精确因果与可行性搜索”，彻底杜绝了模型在动作序列层面的空间几何违背或动作幻觉。
- 面向具身长程规划的高效闭环范式可迁移性强：该套“自由探索-失败轨迹定向纠正-约束重采样反哺策略”的训练范型，不仅适用于机器人任务规划，也可直接迁移至具身代码生成（Code as Policies）、复杂数学证明推导、软件工具链协同调度等强约束与长推理视野场景。
局限与展望¶
- 依赖结构化文本场景图前置输入：当前规划系统严重依赖干净结构化的场景图（包含实体类别、拓扑包含与开关属性等），而在真实世界物理部署中，直接从原始 RGB-D 传感器构建高保真、零漏检的 3D 动态场景图自身仍是一大未解挑战，未来需探索端到端视觉接入或容忍感知不确定性的子目标生成。
- 强绑定人工预设的闭集 PDDL 领域定义：模型输出的谓词与动作算子必须严格落在预定义的家政 PDDL 领域内，若遇到超出预设动作能力的新操作（如精密手工装配、流体微操），系统无法自适应扩展其符号词表，未来需研究大模型自适应扩充符号领域与算子学习机制。
- 完全可观测性与开环假设：现阶段问题形式化默认场景全知且无遮挡，但在真实家庭场景中机器人往往面临局部可观测和动态干扰，需要进一步融入主动探索感知（Active Exploration）机制与在线动态重规划。
相关工作与启发¶
- vs SayPlan / DELTA 等 Prompting 规划器: SayPlan 与 DELTA 依赖通用闭源大模型的 Zero-shot / Few-shot 提示工程与多轮反复试错，随着环境节点规模增加与指令抽象度上升，Prompt 上下文迅速膨胀且极易生成幻觉目标，规划耗时高达数十秒；TGPO 通过强化学习将规划能力内化于 7B 本地模型，不仅推理时间缩短至 3.1 秒，在抽象长程任务上的成功率更是成倍碾压基线。
- vs LLM+P / NL2Plan 等端到端 PDDL 生成: 该类方案试图直接从整句自然语言一步到位输出全量 PDDL Problem 文件交由求解器求解，但由于全局状态与终态约束极为庞杂，大模型直接生成的完整 PDDL 语法或逻辑错误率极高，导致求解器无法编译；TGPO 采用递进分解生成中间子目标链，极大缩小了每个局部子问题的搜索空间。
- vs GRPO / Reinforce++ 纯结果导向 RL: 常规 RL 仅凭最终执行是否成功给予稀疏标量奖励，在长达数十步的复合规划中存在灾难性的信用分配问题；TGPO 引入中间推理轨迹的外部纠错与约束解码再训练，实质上在保留策略自主探索灵活性的同时提供了密集的过程级指导。
评分¶
- 新颖性: ⭐⭐⭐⭐ [创新地将中间推理轨迹外部纠错与约束解码嵌入 RL 优化闭环，提出兼顾语义与符号验证的可学习子目标生成架构]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖域内三级难度、真实人类任务、两大公认具身基准、随机环境及真实 VLA 闭环执行，消融与扩展性分析极其详尽]
- 写作质量: ⭐⭐⭐⭐⭐ [方法逻辑清晰严密，理论形式化与具身领域落地结合自然，实验图表信息量密集充实]
- 价值: ⭐⭐⭐⭐⭐ [为长程机器人任务规划中大模型常识与经典确定性规划器的深度融合提供了可复现、高性能的新范式]