Horizon Adaptive Offline Policy Learning via Value Stitching¶
会议: NeurIPS 2026
arXiv: 2606.21136
OpenReview: https://openreview.net/forum?id=Aak239DsQk
代码: https://github.com/Whiterrrrr/value-stitching
领域: 强化学习
关键词: 离线强化学习、价值拼接、时域自适应、目标导向策略、Bellman算子
一句话总结¶
针对传统固定步长与动作分块在长时程复杂任务中因刚性时域限制而损失即时决策精度的瓶颈，本文提出 VAST 框架，通过引入可组合的时域累积回报函数与自适应拼接策略，实现了变长价值的动态拼接与双层奖励最大化控制。
研究背景与动机¶
离线强化学习（Offline RL）在机器人操控、多阶段推理等长时程决策任务中极具应用潜力，其核心在于从固定离线数据集中学出精确的价值函数以引导策略迭代。然而，经典单步时间差分（TD）学习依赖短视的自举迭代，在长时域任务中极易受到误差累积的困扰，导致值估计出现系统性偏差；为了缓解这一退化现象，\(n\) 步 TD 回传以及基于动作分块（Action Chunking）的价值建模方法应运而生，试图通过扩展监督视野来压制累积误差。
但现有视界扩展方法普遍采用固定长度的刚性建模范式，暴露出根本性的时序权衡矛盾。在长序列任务中，如果采用过长的固定步长回传，单步决策所依赖的高频局部奖励信号会被序列级的折扣平滑稀释，使得智能体在分岔决策点容易选错分支甚至落入局部次优陷阱；相反，若采用过短的时域，又无法有效跨越离线数据中各条次优轨迹的鸿沟以提炼全局更优解。人类在解决复杂长距离规划时，天然具备动静结合的多尺度抽象机制：远期规划粗粒度子目标，即时障碍躲避则专注紧凑局部的短期控制。传统基于 Option 或分层强化学习（HRL）的范例虽然概念契合，但常因宏动作终止条件复杂或上下层非平稳共同优化而导致训练极度脆弱。
本文的切入角度是打破离线数据中固定序列索引的刚性束缚，将任意可达状态对之间的变长累积回报泛化为一种可自组合、可直接通过数据监督拟合的基础连续映射。核心 idea：构建以终态与时域长度为条件的时域累积回报辅助函数（\(G\)-函数），并推导具备 \(\gamma\)-压缩性质的自适应拼接 Bellman 算子，结合生成式拼接策略选择最佳转移跨度与子目标状态，实现兼具局部精准度与全局组合性的离线价值拼接与策略提取。
方法详解¶
整体框架¶
VAST（Horizon Adaptive Offline Policy Learning via VAlue STitching）旨在通过时域动态自适应的价值更新替代传统的固定步长回传，整体流程解耦为两大部分：价值函数的自适应拼接与双层策略的动作提取。在离线训练阶段，系统并行维护五个核心网络：辅助累积回报函数 \(G_\psi(s, s_k, k)\)、状态价值网络 \(V(s)\)、动作价值网络 \(Q(s, a)\)，以及两套基于流匹配（Flow Matching）的生成策略——高层拼接策略 \(\pi_{\text{stitch}}\) 与底层执行策略 \(\pi_{\text{exec}}\)。\(G\)-函数学习两状态之间跨越指定时域 \(k\) 的折扣回报，拼接策略据此为当前状态预测最优的时域长度与子目标，进而通过新的拼接 Bellman 算子递归更新状态价值；执行策略则以目标条件模仿学习为基底，在测试阶段配合拒绝采样机制最大化即时动作价值。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["离线轨迹数据 D<br/>(st, at, rt, st+1, sgoal)"] --> B["时域累积回报函数 G-function<br/>时域条件累积预测与时序自组合正则"]
B --> C["自适应拼接策略 Stitching Policy<br/>联合预测最优时域 k 与子目标 sk"]
C --> D["拼接 Bellman 算子更新 V-function<br/>基于最优跨度 (k, sk) 形成紧凑自举目标"]
D --> E["状态-动作价值 Q-function<br/>标准单步 Bellman 目标评估即时执行动作"]
E --> F["底层执行策略与测试时拒绝采样<br/>流匹配动作生成 + Q 值贪心重采样"]关键设计¶
1. 时域累积回报函数：解除固定步长绑定的变长回报建模 传统 \(n\) 步方法仅能评估数据集中连续出现的固定片段，无法动态衡量任意时域跳跃的收益。为此，VAST 定义了时域条件累积回报函数 \(G(s, s^+, k) = \mathbb{E}_{\tau \sim \pi}[\sum_{t=0}^{k-1} \gamma^t r(s_t, a_t) \mid s_0=s, s_k=s^+]\)，度量在行为策略分布下从当前状态 \(s\) 恰好耗时 \(k\) 步到达目标状态 \(s^+\) 的期望折扣收益。在参数化网络 \(G_\psi\) 的训练中，作者提出双重目标约束：首先基于离线轨迹中随机采样的步长区间进行 Monte-Carlo 真实折扣回报回归；其次根据时序可组合性定理（Theorem 1），对任意中间状态 \(s_i\)（\(0 < i < k\)）强制施加多尺度自洽性损失，保证长时域回报等于两段短时域回报的贴现叠加： $\(G(s, s_k, k) = \mathbb{E}_{i \sim \mathrm{Unif}\{1,\dots,k-1\}, s_i \sim \pi}\left[G(s, s_i, i) + \gamma^i G(s_i, s_k, k-i)\right]\)$ 该组合性约束充当了强归纳偏置，大幅提升了 \(G_\psi\) 对跨轨迹状态组合及未观测时域的泛化能力，且其误差随段数呈线性而非指数级放大，从根源上避开了单步 TD 自举的发散与估计偏差。
2. 拼接 Bellman 算子与自适应拼接策略：基于优势加权回归的最优子目标跳转 具备 \(G\)-函数后，为了在离线状态下实现最优时序规划，VAST 构建了拼接 Bellman 算子 \((\mathcal{T}^{\pi}_{\text{stitching}} V)(s) = \max_{k \in \{1,\dots,K\}, s_k \sim \Gamma^\pi(s,k)} G(s, s_k, k) + \gamma^k V(s_k)\)。作者在理论上严格证明了该算子在无穷范数下满足压缩系数至多为 \(\gamma^{\tilde{k}} \le \gamma < 1\) 的收缩映射性质（Theorem 2），保证了不动点迭代的存在与唯一性。为了在连续状态空间下高效执行这一联合极大化运算，算法引入以扩散/流匹配为骨干的高层拼接策略 \(\pi_{\text{stitch}}(k, s_k \mid s)\)，联合输出连续时域跨度 \(k\) 与子目标状态 \(s_k\)。策略优化采用带约束的优势加权回归（AWR），通过计算相对于基线价值 \(V(s)\) 的拼接状态优势进行样本重加权： $\(\mathcal{L}_{\epsilon_{\text{stitch}}} = \mathbb{E}_{t, \epsilon, (s,k,s_k) \sim \mathcal{D}}\left[\exp\left(\beta \cdot \left(G(s,s_k,k) + \gamma^k Q(s_k, a_k) - V(s)\right)\right) \cdot \|\epsilon - \epsilon_{\text{stitch}}(k^t, s_k^t, s, t)\|^2\right]\)$ 在更新价值网络 \(V\) 时，利用类似 IQL 的 expectile 分位数回归（设置 \(\tau = 0.9\)），既避免了显式计算最大值带来的高方差，又自然抑制了分布外（OOD）反事实状态的过度乐观估计。
3. 解耦执行策略与测试时拒绝采样：保障动作执行的稳健性与贪心提升 在底层动作生成方面，若将高层预测的时域长度 \(k\) 直接作为底层执行的输入，容易引入训练-推理分布漂移（训练期 \(k\) 来自次优离线轨迹，推理期 \(k\) 来自优化后的拼接策略）。VAST 选择将底层执行策略 \(\pi_{\text{exec}}(a \mid s, s_{\text{goal}})\) 与时域 \(k\) 解耦，仅以当前状态 \(s\) 和目标状态 \(s_{\text{goal}}\) 为条件，通过全数据集的目标条件行为克隆（Goal-Conditioned BC）配合流匹配模型进行纯粹的样本内监督拟合，彻底规避了分层强化学习常见的下层漂移引发的上层非平稳问题。在测试部署阶段，系统在每个时间步首先通过 \(\pi_{\text{stitch}}\) 提炼出当前最优子目标 \(s_k\)，随后让底层流策略并行生成 \(N_{\text{rej}}\) 个候选动作，并利用标准单步 Bellman 目标学出的动作价值网络 \(Q(s, a)\) 选出最高预估收益的动作执行： $\(a^\star = \arg\max_{a \in \{a^{(1)}, \dots, a^{(N_{\text{rej}})} \sim \pi_{\text{exec}}(\cdot \mid s, s_k)\}} Q(s, a)\)$ 这种双层奖励最大化机制兼顾了高层长距离宏观跳转与底层精细控制的最优性。
损失函数 / 训练策略¶
整个训练框架在 JAX 下端到端并行优化五个网络组件。\(G_\psi\) 的优化目标为结合 Monte-Carlo 均方误差与组合连续性正则的联合损失 \(\mathcal{L}_G(\psi) = \mathcal{L}_{\mathrm{MC}}(\psi) + \lambda \mathcal{L}_{\mathrm{comp}}(\psi)\)（权重 \(\lambda\) 默认设为 \(0.5\)）。状态价值 \(V\) 使用基于 \(\pi_{\text{stitch}}\) 采样的 expectile 回归损失，其中自举目标截断项采用 \(G(s, s_k, k) + \gamma^k Q(s_k, \pi_{\text{exec}}(a_k \mid s_k, s_k^+))\)；单步 \(Q(s, a)\) 遵循经典 MSE Bellman 回传 \(r(s,a) + \gamma V(s')\)；高层拼接策略与底层执行策略均采用 10 步流匹配 velocity 预测目标进行梯度更新，全部网络使用 4 层 512 维隐层 MLP、GELU 激活函数及 LayerNorm。
实验关键数据¶
主实验¶
评估在 OGBench 基准上展开，覆盖机械臂多物体交互操作（scene）、方块堆叠配置（cube: single, double, triple, quadruple）、高维拼图重排（puzzle: 4x4, 4x5, 4x6）以及八自由度四足蚂蚁走迷宫导航（antmaze: large, giant）等共计 10 个领域、50 项离线单任务测试。所有方法均固定训练 1M 步，每任务评估 50 个 episode，主结果跨 8 个随机种子取均值与标准差。
| 领域分类 / 任务域 (5 tasks each) | 单步 TD (IQL) | 单步 TD (FQL) | \(n\)-step TD (IFQL-n) | 动作分块 (QC) | 生成式价值 (VALUE-FLOWS) | 生成式价值 (FLOQ) | 本文方法 (VAST) |
|---|---|---|---|---|---|---|---|
| scene-play (场景多物体交互) | 28 | \(57 \pm 7\) | \(32 \pm 2\) | \(60 \pm 1\) | \(60 \pm 5\) | \(57 \pm 5\) | \(\mathbf{61 \pm 3}\) |
| cube-single-play (单块搬运) | 83 | \(97 \pm 4\) | \(82 \pm 6\) | \(93 \pm 5\) | \(95 \pm 4\) | \(96 \pm 5\) | \(\mathbf{98 \pm 2}\) |
| cube-double-play (双块搬运) | 7 | \(30 \pm 8\) | \(4 \pm 3\) | \(67 \pm 7\) | \(61 \pm 11\) | \(49 \pm 16\) | \(\mathbf{75 \pm 6}\) |
| puzzle-4x4-play (4x4 拼图操作) | 7 | \(15 \pm 5\) | \(12 \pm 4\) | \(29 \pm 10\) | \(21 \pm 8\) | \(31 \pm 9\) | \(\mathbf{46 \pm 10}\) |
| antmaze-large-navigate (大迷宫) | 53 | \(82 \pm 7\) | \(27 \pm 7\) | \(6 \pm 5\) | \(48 \pm 15\) | \(\mathbf{93 \pm 6}\) | \(81 \pm 7\) |
| antmaze-giant-navigate (超大迷宫) | 4 | \(11 \pm 16\) | \(0 \pm 0\) | \(0 \pm 0\) | \(3 \pm 3\) | \(\mathbf{29 \pm 24}\) | \(20 \pm 6\) |
| 基础领域总评 (Overall Basic) | 30 | \(49 \pm 9\) | \(26 \pm 4\) | \(43 \pm 6\) | \(48 \pm 9\) | \(59 \pm 13\) | \(\mathbf{64 \pm 6}\) |
| cube-triple-play (三块挑战) | - | \(1 \pm 4\) | \(0 \pm 0\) | \(4 \pm 5\) | \(13 \pm 10\) | \(4 \pm 5\) | \(\mathbf{17 \pm 8}\) |
| cube-quadruple-play (四块极难) | - | \(0 \pm 0\) | \(0 \pm 0\) | \(0 \pm 0\) | \(0 \pm 0\) | \(0 \pm 0\) | \(\mathbf{1 \pm 1}\) |
| puzzle-4x5-play (4x5 拼图) | - | \(15 \pm 3\) | \(14 \pm 4\) | \(\mathbf{20 \pm 0}\) | \(12 \pm 4\) | \(13 \pm 3\) | \(\mathbf{20 \pm 0}\) |
| puzzle-4x6-play (4x6 拼图) | - | \(4 \pm 5\) | \(3 \pm 5\) | \(4 \pm 4\) | \(3 \pm 6\) | \(3 \pm 3\) | \(\mathbf{8 \pm 17}\) |
| 高难领域总评 (Overall Hard) | - | \(5 \pm 4\) | \(4 \pm 3\) | \(7 \pm 3\) | \(7 \pm 6\) | \(5 \pm 3\) | \(\mathbf{12 \pm 9}\) |
消融实验¶
消融分析聚焦于关键超参数对动态时域选择与多尺度学习的影响，在 cube-double-play 与 puzzle-4x4-play 默认任务上取 3 个随机种子评估：
| 实验配置维度 | 取值或设定 | cube-double 表现趋势 | puzzle-4x4 表现趋势 | 核心机制说明与结论 |
|---|---|---|---|---|
| 最大时域限制 \(K\) | \(K=5\) | 约 55% | 约 32% | 时域过短退化为近似近距离跳跃，缺乏跨轨迹长程拼接能力 |
| 最大时域限制 \(K\) | \(K=25 \sim 50\) (最佳区间) | 升至 75% | 升至 46% | 提供充裕候选子目标，兼顾表达力与优化可行性 |
| 最大时域限制 \(K\) | \(K=100\) | 略降至 68% | 略降至 39% | 时域过大导致 \(G\)-函数回归难度陡增，增加拟合方差 |
| 组合正则权重 \(\lambda\) | \(\lambda=0\) (仅纯 MC 损失) | 约 63% | 约 36% | 缺乏中间段一致性约束，在未覆盖时序上泛化受限 |
| 组合正则权重 \(\lambda\) | \(\lambda=0.5\) (默认平衡点) | 稳定在 75% | 稳定在 46% | 正则与数据监督达到平衡，有效拉齐各时段贴现递推 |
| 组合正则权重 \(\lambda\) | \(\lambda=2.0\) (过度自监督) | 骤降至 48% | 骤降至 27% | 自组合约束过度主导梯度，可能退化产生平凡解 |
| 测试时拒绝采样 \(N_{\text{rej}}\) | \(N_{\text{rej}}=1\) (纯依赖高层) | 约 58% | 约 31% | 仅凭高层子目标粗粒度引导，缺少低层动作级价值优选 |
| 测试时拒绝采样 \(N_{\text{rej}}\) | \(N_{\text{rej}}=4 \sim 16\) | 提升至 75% | 提升至 46% | 双层奖励最大化协同工作，实现局部的精细贪心动作选择 |
关键发现¶
- 固定步长回传在长程组合任务中表现出普遍的脆弱性：固定 5 步的 IFQL-n 在复杂场景（如 cube-double 与 antmaze 系列）中几乎全面逊于单步基线，印证了固定时域平均化破坏即时关键转移决策的理论推导。
- VAST 在 Hard 组别（多方块及大网格拼图）中取得了基线最高分近 1.7 倍的显著领先（综合得分 12 vs 7），证明自适应时域与状态锚定更新能强力支撑极深搜索树中的有效轨迹拼接。
- 模型容量提升展现优异扩展性：将隐层宽度与 Batch 尺寸从 512 放大至 1024 后，VAST 在 cube-triple 上的性能在多项子任务中继续取得超 50% 的额外收益，具备良好的参数 Scaling 潜力。
亮点与洞察¶
- 显式分离时域预测与动作控制：将时域长度 \(k\) 纳入高层状态拼接而非强塞入底层动作网络，从架构上巧妙切断了分层离线强化学习中极易恶化的非平稳分布偏移问题。
- 理论可证明的收缩映射性质：证明了自适应选择可达跨度下的拼接 Bellman 算子仍旧严格满足 \(\gamma\)-收缩条件，为动态视界动态规划的收敛性补全了严谨的数学支柱。
- 多尺度组合一致性正则化：在离线价值拟合中引入 \(G(s, s_k, k) \approx G(s, s_i, i) + \gamma^i G(s_i, s_k, k-i)\) 的自监督约束，这一设计非常适合迁移到任意长序列因果推断与轨迹预训练大模型中。
局限与展望¶
- 状态空间生成的依赖性：目前子目标 \(s_k\) 直接在原始低维连续物理状态空间中由流匹配模型生成，当扩展到高维图像像素输入时，直接预测原始观测会导致生成器负担过重，需结合紧凑的潜在表征（Latent Space）编码器。
- 网络开销略有增加：为了维护 \(G\)-函数和两级流策略，系统并行训练 5 个网络模块，在 A100 GPU 上 1M 步的训练耗时（1.7 小时）相较经典 FQL（0.6 小时）有所上升，不过与计算密集型的 FLOQ（1.7 小时）相当。
- 激进策略提取算法的结合空间：当前 \(\pi_{\text{stitch}}\) 仍基于较为保守的 AWR 加权扩散框架，后续可探索结合更激进的在样本外流向引导优化方案以进一步拓宽性能边界。
相关工作与启发¶
- vs \(n\)-step TD / Q-chunking (Li et al., 2025)：后者强制固定固有时序视界回传或极大扩展动作序列维度，VAST 允许策略根据局部奖励密度与可达性动态决定跳转跨度 \(k\)，有效兼顾了局部高频决策精度与远距离拼接收益。
- vs Hierarchical RL & Option Framework (Sutton et al., 1999; Park et al., 2023)：传统 Option 机制需显式维持复杂的终止函数和内部策略，层级间优化非平稳；VAST 仅将高层抽象为变长可达子目标生成，底层保持无时域泄露的标准目标克隆，极大地简化了训练稳定性。
- vs FLOQ / VALUE-FLOWS (Agrawalla et al., 2025; Dong et al., 2026)：生成式价值基线着重于用复杂的生成网络建模标量价值的概率分布，而 VAST 另辟蹊径，聚焦于改进价值回传本身的结构与时序跨度，两者在理论上可相互正交结合。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 提出时域自适应价值拼接 Bellman 算子与带时序组合约束的 \(G\)-函数，结构简洁且理论完备。
- 实验充分度: ⭐⭐⭐⭐⭐ 在 50 个高难度 OGBench 机器人操作与导航基准上进行全面测试，对比 8 类强基线并辅以详实的消融与扩展分析。
- 写作质量: ⭐⭐⭐⭐⭐ 概念动机阐释生动清晰，数学定义推导扎实严谨，整体逻辑链条高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 为长时程、复杂组合动作离线决策提供了全新的建模范式，对具身智能多阶段任务规划具有重要启发价值。