Escaping Path Mirages in Offline Goal-Conditioned Reinforcement Learning¶

会议: NeurIPS2026
arXiv: 2610.40130
代码: https://umlic.github.io/papers/BGP/
领域: 强化学习
关键词: 离线目标条件强化学习、路径幻觉、随机分支结构、图规划、分段学习

一句话总结¶

本文针对离线目标条件强化学习在随机长视距任务中过分迷信侥幸轨迹导致的“路径幻觉”问题，提出了分支感知图规划框架（BGP），通过多步不确定性识别分支地标、设计基于下游可达性的目标条件边代价并结合分段值学习，在 OGBench 复杂迷宫与控制基准上实现了显著优于 SOTA 的稳健目标达成率。

研究背景与动机¶

离线目标条件强化学习（Offline Goal-Conditioned RL, GCRL）旨在从预先收集的无标注静态数据集中学习策略，使其能够稳定到达任意用户指定的目标状态。然而，在具有显著随机性与长视距特性的复杂动态环境中，值函数估计误差会随着规划视距的拉长而急剧复合放大。更致命的隐患来自于离线数据集中隐含的随机分支结构：当智能体在局部做出同一动作时，环境转移的随机性可能使其导向完全不同的未来结果；离线数据中极少数依赖小概率“侥幸成功”的稀疏轨迹，会在外观上呈现出能够可靠到达目标的虚假象。

这种因随机性引发的失败模式被称为“路径幻觉”（Path Mirage）。由于离线数据集仅包含未标注意图的轨迹片段，传统的离线 GCRL 算法无法辨析轨迹的真实达成意图与潜在失败风险，往往将过于乐观的价值估计反向传播至高风险的随机分支中。结果是智能体在测试阶段过度押注那些看似捷径实则极易坠入死区（Dead Zones）或不可逆失败区域的欺骗性转移，表现为偶尔侥幸成功但整体持续崩溃。现有的图规划方法虽然尝试通过状态连通性辅助长时序拼接，但大多预设离线数据中的转移连通度是均匀可信的，无法在根本上化解随机分支带来的歧义与陷阱。

为解决这一难题，本文提出将离线 GCRL 重新构建为跨越不可靠连通性的分支感知图规划（Branch-aware Graph Planning, BGP）。核心 idea：利用自回归 Transformer 预测未来转移的多步熵以精准锚定高可变随机分支点作为图地标，并构建全面评估所有下游分支期望可达性的目标条件有向边与局部窗口分段值学习，从结构与价值两端彻底规避路径幻觉。

方法详解¶

整体框架¶

BGP 的整体流水线分为三个串行协同的核心阶段：首先，利用在离线数据集上训练的自回归因果 Transformer 评估每个状态的多步未来预测不确定性，将高熵分支区域聚类提取为图地标节点（Landmarks）；其次，构建双阶段图结构，利用预备图提供稳定的局部相对距离，在此基础上对任意候选转移评估其所有潜在下游分支的距离缩减期望，动态剪枝死区并生成目标条件边代价；最后，在执行阶段利用 Dijkstra 算法规划出避开随机陷阱的最优路标序列，并结合分段学习训练出的分层底层策略（HIQL）逐步跟踪路标到达最终目标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线静态数据集 D<br/>(含未标注随机长视距轨迹)"] --> B["随机分支地标识别<br/>自回归Transformer预测多步熵 + K-means++"]
    B --> C["双阶段图规划与目标条件边构建<br/>预备图局部距离测度 + 下游全分支可达性评估"]
    C --> D["局部窗口分段学习<br/>按簇边界切分轨迹 + M个连续子轨迹窗口训练"]
    D --> E["目标条件路标执行<br/>Dijkstra规划稳健路标 + HIQL逐级跟踪"]

关键设计¶

1. 随机分支地标识别：以多步预测不确定性精准捕获分支决策点

传统的图规划方法通常在状态或潜空间中进行均匀的最远点采样（FPS），这种无视环境动态特性的采样方式容易在平坦无歧义区域浪费节点，却遗漏了决定系统生死的关键分叉口。为了准确捕捉离线数据集中的随机分支结构，BGP 将各状态的多步预测不确定性作为衡量分支程度的代理指标。具体而言，模型利用自回归因果 Decoder-only Transformer \(p_\psi\) 输出高斯分布参数 \((\mu, \sigma)\)，在自回归展开 \(n\) 步的预测过程中计算折扣条件熵累加和：

\[ \mathcal{U}^{(n)}(s_t) = \sum_{l=0}^{n-1} \gamma^l H\left(p_\psi(y_{t+l} \mid s_t, y_{t:t+l-1})\right) \]

其中 \(y_t = (a_t, s_{t+1})\) 为联合动作-状态转移。与单一时间步的瞬时观测噪声不同，\(n\) 步自回归熵能够捕捉轨迹级发散的宏观歧义。在完成全数据集不确定性评估后，BGP 筛选出排名前 \(\alpha\) 百分位的高不确定性状态集合，在 PCA（状态输入）或预训练 Hilbert 紧凑表示空间（视觉输入）中执行 K-means++ 聚类得到 \(N\) 个聚类中心，并选取离线数据集中距离中心最近的实际状态作为拓扑地标集 \(\mathcal{V}=\{v_1, \dots, v_N\}\)。未被纳入高分位集合的状态则按欧氏距离归属到最近的地标簇 \(\mathcal{C}_i\) 中，从而保证全状态空间的拓扑覆盖与分支敏感性。

2. 目标条件边构建与双阶段规划：基于下游全分支评估规避致死陷阱

传统基于成对连通性的边代价 \(e_p(v_i, v_j) = -V_\theta(v_i, v_j)\) 仅关注局部的几何临近性或单步转移可行性。当转移到节点 \(v_j\) 会因随机环境机制（例如传送黑洞）产生多路随机分支时，只要存在极少数侥幸直达目标的轨迹，\(e_p\) 便会判定该边具有极高收益，导致智能体反复走入该“路径幻觉”。为此，BGP 构建了目标条件边代价 \(e_g(v_i, v_j)\)，其核心机制在于显式考察从 \(v_j\) 出发在离线数据中实际可达的所有下游簇集合 \(\mathcal{R}(v_j)\)：

\[ e_g(v_i, v_j) = \mathbb{E}_{s_i \sim \mathcal{C}_i, s_k \sim \mathcal{R}(v_j)} \left[ \bigl(d(s_k, g) - d(s_i, g)\bigr)_+ \right] \]

其中 \(d(s, g)\) 表示可达性距离指标。若从 \(v_j\) 涌现出的任何一条分支会导向无法抵达目标的死区（\(d(s_k, g) = \infty\)），或者平均而言无法稳定缩短至最终目标的距离，该边就会被赋予极大的正向惩罚代价乃至直接断开连通；只有当下游所有可能的分支转移均展现出朝向目标的可靠进展时，该边才会被判定为优选通行通道。

为了在随机长视距环境下准确估计距离 \(d(s, g)\)，若直接调用全任务值函数 \(-V_\theta(s, g)\) 会因外推误差造成距离失真。BGP 创新性地引入双阶段图规划（Two-phase Graph Planning）：首先构建基于局部相邻地标值估计的预备图 \(\mathcal{G}_p = (\mathcal{V}, \mathcal{E}_p)\)，边权设定为短程可信的 \(-V_\theta(v, w)\)；进而将全局距离 \(d(s, g)\) 严格定义为预备图上由 Dijkstra 计算出的最短路径分段累加和：

\[ d(s, g) = -\sum_{i=0}^{K-1} V_\theta(w_i, w_{i+1}) \]

这种“以短程稳定测度拼接全局距离、以全局距离驱动目标条件边评估”的双阶段机制，彻底摒弃了远距离直接值外推的偏差，使图规划能够精准剥离高风险捷径。

3. 分段学习机制：限制值传播跨越随机边界以隔绝误差复合

在底层价值与策略训练层面，BGP 同样识别到：在包含复杂随机转移的完整轨迹上盲目执行全长贝尔曼迭代，会导致不可靠分支的过乐观误差沿整条轨迹逆流回传，污染稳定区域的值估计。由于全局长程导航已被上层图规划解耦为地标间的局部转移，底层值函数实际上只需精准支持相邻地标簇间的短程控制。

基于此，BGP 提出了分段学习（Segmented Learning）策略：在轨迹跨越不同地标簇时设立切分边界，将每条原始离线轨迹 \(\tau^{(k)}\) 划分为一系列子轨迹片段 \(\tau_j^{(k)}\)；随后将 \(M\) 个连续子片段拼接构成局部训练滑动窗口 \(\tilde{\tau}_j^{(k)} = (\tau_j^{(k)}, \dots, \tau_{j+M-1}^{(k)})\)。在离线价值函数与分层策略的训练过程中，状态-动作转移 \((s_t, a_t, s_{t+1})\) 与重采样目标 \(g\) 必须严格从同一个局部窗口内采样。通过调节超参数 \(M\)（默认设为 3），模型在提供充足的局部子目标泛化视野的同时，物理隔断了跨越过多随机边界的长程价值渗透，有效抑制了离线值学习的方差累积。

损失函数 / 训练策略¶

BGP 采用分层离线强化学习框架 HIQL 作为底层策略骨干网络。模型在分段局部窗口 \(\tilde{\tau}_j^{(k)}\) 中进行经验重放，其核心损失函数由值函数 Expectile 回归与高低层优势加权回归（AWR）构成：

\[ \mathcal{L}_V(\theta) = \mathbb{E}_{(s, s') \sim \tilde{\tau}} \left[ \ell_\kappa^2 \left( r(s, g) + \gamma V_{\bar{\theta}}(s', g) - V_\theta(s, g) \right) \right] \]

其中 \(\ell_\kappa^2(u) = |\kappa - \mathbb{I}(u < 0)| u^2\) 为 Expectile 损失（设置 \(\kappa = 0.7\)）。策略提取阶段分别训练高层子目标生成策略 \(\pi^h\) 与底层控制动作策略 \(\pi^l\)：

\[ \mathcal{L}_{\pi^h}(\psi_h) = \mathbb{E}_{(s_t, s_{t+k}) \sim \tilde{\tau}} \left[ \exp\left(\beta \tilde{A}^h(s_t, s_{t+k}, g)\right) \log \pi^h_{\psi_h}(s_{t+k} \mid s_t, g) \right] \]

\[ \mathcal{L}_{\pi^l}(\psi_l) = \mathbb{E}_{(s_t, a_t, s_{t+1}, s_{t+k}) \sim \tilde{\tau}} \left[ \exp\left(\beta \tilde{A}^l(s_t, a_t, s_{t+k})\right) \log \pi^l_{\psi_l}(a_t \mid s_t, s_{t+k}) \right] \]

在规划推理阶段，面对外部环境指定的目标 \(g\)，BGP 先在目标条件图 \(\mathcal{G}_g\) 上通过 Dijkstra 搜索规划出最优路标序列 \((\tilde{w}_0, \dots, \tilde{w}_{K'})\)。智能体以当前路标作为阶段性目标，由高层策略以固定频率（例如 15 或 25 步）产出稠密子目标，由底层网络输出连续关节力矩，当状态进入当前路标的 \(\epsilon\) 邻域时平滑切换至下一路标。

实验关键数据¶

主实验¶

论文在离线目标条件强化学习权威基准 OGBench 上展开了系统评估，涵盖 pointmaze（点质量导航）、antmaze（四足机器人连续运动）以及 visual-antmaze（高维图像输入四足控制），包含 large、giant 以及带有随机黑洞/白洞传送机制的 teleport 三种严苛拓扑，数据集划分为标准向导型（navigate）、碎片拼接型（stitch）与高噪声探索型（explore）。所有实验均在 5 个随机种子下统计任务成功率（%）。

环境	数据集配置	BGP (本文)	HIQL (主基线)	GAS (图规划SOTA)	CGCIVL	TMD
antmaze	large-navigate	90 ± 1	91 ± 2	93 ± 1	91 ± 2	82 ± 2
	large-stitch	93 ± 1	67 ± 5	96 ± 1	79 ± 3	37 ± 3
	large-explore	97 ± 3	4 ± 5	94 ± 3	6 ± 5	0 ± 0
	giant-navigate	88 ± 2	65 ± 5	78 ± 3	73 ± 5	1 ± 1
	giant-stitch	88 ± 2	2 ± 2	88 ± 4	36 ± 7	3 ± 1
	teleport-navigate	90 ± 1	42 ± 3	39 ± 3	29 ± 13	27 ± 12
	teleport-stitch	92 ± 2	36 ± 2	39 ± 3	36 ± 14	29 ± 13
	teleport-explore	93 ± 2	34 ± 2	32 ± 2	53 ± 8	50 ± 2
antmaze 均值	8个任务平均	91	43	70	50	29
pointmaze	giant-navigate	96 ± 3	46 ± 9	3 ± 6	80 ± 12	1 ± 1
	giant-stitch	99 ± 1	0 ± 0	0 ± 0	81 ± 17	0 ± 0
	teleport-navigate	99 ± 2	18 ± 4	17 ± 9	28 ± 4	28 ± 4
	teleport-stitch	98 ± 2	34 ± 4	5.6 ± 4	37 ± 26	29 ± 2
pointmaze 均值	6个任务平均	98	28	20	69	19
visual-antmaze	giant-stitch	72 ± 5	0 ± 0	56 ± 4	2 ± 2	1 ± 1
visual-antmaze 均值	6个任务平均	86	44	78	31	16

消融实验¶

论文在兼具高维动力学与剧烈随机分支的代表性任务 antmaze-teleport（包含 navigate 与 stitch 两种子集）上对 BGP 的核心组成组件进行了细致的剥离测试，验证各模块的贡献度：

模型配置变体	任务平均成功率 (%)	相对完整模型变化	机制说明与缺陷分析
BGP (Default 完整模型)	91.2 ± 1.3	-	完整集成不确定性地标、两阶段目标条件边与分段学习
w/ one-step estimation	86.7 ± 1.3	-4.5%	将 Transformer 替换为单步前向预测 (\(n=1\))，无法捕捉复合发散
w/o segmented learning	84.4 ± 6.2	-6.8%	移除分段滑动窗口限制，使用全长轨迹回放，方差与偏差显著增加
w/ random landmarks	69.4 ± 4.2	-21.8%	舍弃不确定性引导，在状态空间中均匀随机采样地标，分支辨识丢失
w/ value-based distance	46.8 ± 5.2	-44.4%	移除预备图，直接使用全局 \(-V_\theta(s,g)\) 算距离，产生严重外推畸变
w/ prior edge	44.3 ± 3.6	-46.9%	回退至传统目标无关局部连通边 \(e_p=-V_\theta\)，陷入路径幻觉盲目跳入传送陷阱

关键发现¶

目标条件边代价是规避路径幻觉的决胜关键：消融表明，回退至目标无关连通边（w/ prior edge）会导致成功率从 91.2% 断崖式跌落至 44.3%（跌幅高达 46.9%），直接使用全局端到端值函数估算距离（w/ value-based distance）跌幅亦达 44.4%。这充分证明仅凭局部状态亲和度无法抵御随机死区陷阱，显式评估下游全分支期望是破解路径幻觉的核心支柱。
面对剧烈随机环境呈现统治级鲁棒性：在黑洞传送环境（teleport）中，baseline 方法（如 HIQL、GAS、CGCIVL）因沉溺于传送捷径的侥幸样本，成功率普遍被压制在 20%~40% 之间；而 BGP 在传送环境下稳定取得 90%~99% 的绝对高分。当黑洞数量从 0 激增至 4 个时，HIQL 彻底退化至 33% 左右，而 BGP 依然维持在 90% 极高水准。
超参数敏感度具备优秀局部凸性：地标簇数量 \(N \in [50, 100]\) 与高熵分位点 \(\alpha \in [1, 20]\) 均展现出稳定的性能区间；预算感知搜索分析显示，BGP 仅需单次任意配置评估即可达到 65% 成功率（已超越调优后的各 baseline），在 35 次贝叶斯 UCB 评估内即可达到峰值性能的 95%。

亮点与洞察¶

将不确定性由消极惩罚转变为结构化拓扑路标：以往离线强化学习大多将预测不确定性作为单纯的悲观度惩罚项（Pessimism penalty）堆叠进价值函数，常因过度保守导致算法寸步难行；BGP 匠心独运地将多步自回归预测熵作为拓扑感知的显式向导，精准在相空间的分歧处下锚设卡，实现了对环境随机结构的拓扑级洞察。
双阶段图规划巧妙兼顾了局部保真度与全局导向性：预备图用短程高频观察保证距离测度不失真，主图用下游分支期望规避系统性误导，解构了长视距强化学习中“全局需要长程视野、但长程估计极易崩塌”的根本矛盾。这一两阶段距离蒸馏与分支评估范式可平滑迁移至自动驾驶轨迹规划、大模型工具调用序列决策等存在级联不可逆风险的任务场景。

局限与展望¶

作者承认的局限：引入了额外的自回归 Transformer 训练与聚类超参数（\(\alpha, N\)）；相比纯无模型隐式值迭代，构建图与执行前向搜索带来了一定的离线预处理计算与运行开销（总模拟耗时由 HIQL 的 4686s 升至 7563s，但仍大幅快于 TMD 的 17577s 与 GAS 的 8841s）。
潜在优化空间与思考：在高维图像和高自由度灵巧操作（如 scene-play）中，依赖固定的 Hilbert 空间或简单的特征聚类可能会丢失细粒度的接触物理语义（在 scene-play 上的成功率为 60%）；若能结合大语言/视觉-语言模型（VLM）的常识先验，在语义潜空间中动态构建语义级因果分叉图，有望将该框架推广至非平稳无约束的真实具身控制场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深刻揭示了随机长程离线 GCRL 中的“路径幻觉”本质，并提出了极具创意的分支感知图规划与分段学习机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 pointmaze、antmaze、visual-antmaze、humanoid 以及机器人操作等全谱系任务，消融、鲁棒性分析与调参预算分析极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 概念界定极其清晰，动机直观且极富启发性，图文并茂，逻辑闭环。
价值: ⭐⭐⭐⭐⭐ 为离线目标导向强化学习在存在不可控随机性与长视距任务下的稳健落地指明了全新范式。