Online Finetuning Decision Transformers with Pure RL Gradients¶

会议: NeurIPS 2026
arXiv: 2601.00167
OpenReview: https://openreview.net/forum?id=lKf0a3wiQx
代码: https://github.com/junkailuo/GRPO-DT
领域: 强化学习
关键词: 决策 Transformer, 在线微调, GRPO, 纯强化学习梯度, 序列级重要性采样

一句话总结¶

针对事后回报重标记破坏重要性采样比例的痛点，本文提出 GRPO-DT 框架，移除重标记并结合子轨迹优化、序列级重要性比率与不确定性主动采样，首次实现了仅依靠纯强化学习梯度的决策 Transformer 高效在线微调。

研究背景与动机¶

近年来，决策 Transformer（Decision Transformer, DT）将序列决策建模为以期望累积回报（Return-to-Go, RTG）为条件的目标导向模仿学习，在离线强化学习任务中展现出卓越的序列表征与泛化能力。然而，现实场景通常需要模型在离线预训练后进行在线微调，以便与真实环境交互并超越离线数据集的次优分布。以在线决策 Transformer（ODT）为代表的现有方案在收集新样本时，普遍依赖事后回报重标记（Hindsight Return Relabeling）机制，即将交互所使用的初始乐观 RTG 替换为实际获得的轨迹回报，并继续通过行为克隆的有监督负对数似然（NLL）损失进行优化。这种纯监督优化实质上拟合的是动作对目标回报的变化率 $\frac{\partial a}{\partial \text{RTG}}$，而在预训练数据质量中等或较差的分布中，真正推动策略持续提升的驱动力是回报对动作的响应敏感度 $\frac{\partial \text{RTG}}{\partial a}$。即便是后续引入 RL 梯度的 ODT+TD3，也仍然严重依附于有监督损失的支配，仅将极小的权重分配给强化学习梯度。

与此形成鲜明对比的是，大语言模型推理与对齐领域已全面验证了纯强化学习梯度（如 GRPO、PPO）能够激发深层推理与策略跃迁。学术界自然提出一个核心疑问：决策 Transformer 能否完全摆脱有监督模仿损失，仅依靠纯 RL 梯度完成在线微调？既往尝试（如在 ODT 上直接套用 PPO）遭遇了灾难性崩溃。本文通过细致的理论反思发现，症结恰恰出在被领域奉为标准的“事后回报重标记”上：在线采样时智能体是以高 RTG 进行乐观探索生成动作，若在回放更新中强行将输入条件篡改为较低的实际回报，会导致重要性采样权重 $\frac{\pi_\theta(a \mid s, g)}{\pi_{\theta_{\text{old}}}(a \mid s, g)}$ 发生严重的条件分布错配，直接摧毁了重要性比率的数学基础，导致策略梯度极端震荡。

为破除这一瓶颈，本文的核心切入点是果断剔除事后回报重标记，使重要性采样比率保持前后条件严格一致，并将群体相对策略优化（GRPO）无缝迁移至序列决策架构中。核心 idea：彻底摒弃破坏重要性采样条件分布的事后回报重标记，设计面向决策 Transformer 的 GRPO-DT 框架，通过子轨迹级群体展开实现精细信用分配、引入序列级重要性采样比率稳定更新，并结合动作方差主动状态采样加速探索，实现端到端的纯强化学习梯度在线微调。

方法详解¶

整体框架¶

GRPO-DT 的核心流水线围绕“轨迹收集-重置点主动筛选-子轨迹群体扩展与评估-序列级策略更新”展开，完全省去了传统 Actor-Critic 中昂贵且脆弱的值函数网络（Critic）。在每个外层学习迭代中，当前策略 $\pi_\theta$ 首先根据乐观的初始回报 $g_{\text{online}}$ 与环境交互收集完整轨迹存入轨迹回放池；随后基于动作分布的不确定性方差主动提取关键重置点，并在该状态下通过并行重置环境派生出一组由相同前缀引导的子轨迹。模型利用子轨迹拼接短程确定性评估计算群体相对优势，最后基于无几何平均归一化的序列级重要性比率，以纯 RL 梯度驱动 Transformer 参数优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境交互收集完整轨迹<br/>存入回放池"] --> B["不确定性主动状态采样<br/>计算动作方差定位关键状态"]
    B --> C["子轨迹群体展开与评估<br/>环境重置生成 G 条子轨迹并评估"]
    C --> D["序列级优势与比率计算<br/>组内均值方差归一化优势"]
    D --> E["纯 RL 梯度策略微调<br/>截断重要性采样与熵正则化更新"]

关键设计¶

1. 剔除事后回报重标记：修复重要性采样的条件分布一致性

既有在线 DT 方案（ODT、ODT+TD3）在交互时设定极高的期望回报 $g_{\text{online}}$ 以鼓励乐观探索，但在存入缓存时将 RTG 强制篡改为实际回报 $g_{\text{actual}}$。对于监督模仿这能建立正确的“回报-动作”关联，但对策略梯度而言，动作明明是在 $\pi_{\theta_{\text{old}}}(\cdot \mid s, g_{\text{online}})$ 引导下采样的，计算更新时却强行作为 $\pi_{\theta_{\text{old}}}(\cdot \mid s, g_{\text{actual}})$ 的输出，导致重要性权重比值剧烈偏移，引发策略崩溃。GRPO-DT 与 PPO-DT 坚决移除该重标记步骤，确保重要性采样比率中的分子 $\pi_\theta$ 与分母 $\pi_{\theta_{\text{old}}}$ 严格作用于同一条件上下文，为基于纯策略梯度的在线微调奠定了稳定性基石。

2. 子轨迹群体展开与评估：实现密集精细的信用分配

标准 GRPO 在语言建模中对整条生成回复赋予单一标量奖励，但在连续控制任务中，整条轨迹包含数百步动作，各步动作对最终结果的影响差异巨大，直接赋予全局回报会导致信用分配极度模糊。为此，算法从每条轨迹中采样 $K$ 个重置点 $(s_k, g_k)$，在向量化模拟器中重置至完全相同的状态，使用当前策略并行生成 $G$ 条长度为 $L_{\text{traj}}$ 的短程子轨迹。为准确衡量该子轨迹的远期质量而不引入过大方差，策略在 $L_{\text{traj}}$ 步后改用确定性期望动作继续推进 $L_{\text{eval}}$ 步，将整个窗口的折扣累积回报作为该子轨迹的真实评估值 $r^{\text{sub}}_{k_i}$，并在组内计算标准化优势： $$\widehat{A}_{k_i} = \frac{r^{\text{sub}}_{k_i} - \text{mean}(\{r^{\text{sub}}_{k_1}, \dots, r^{\text{sub}}_{k_G}\})}{\text{std}(\{r^{\text{sub}}_{k_1}, \dots, r^{\text{sub}}_{k_G}\})}$$ 在无法进行环境重置的场景下，本文提出扩展变体 Q-guided GRPO-DT，通过离线训练的辅助 Q 函数直接评估不同动作分支的期望价值，使得无模拟器快照的系统也能进行相对优势计算。

3. 序列级重要性比率与无几何均值截断：强化微调稳定性

传统强化学习按每个时间步逐 token 计算重要性权重，但由于优势函数 $\widehat{A}_{k_i}$ 是针对整段长度为 $L_{\text{traj}}$ 的子轨迹统一给出的，单步比率与序列级优势存在颗粒度不匹配。GRPO-DT 将重要性采样比率升级为子轨迹序列级的联合似然比： $$w_{k_i}(\theta) = \frac{\pi_\theta(\tau^{\text{sub}}_{k_i} \mid s_k, g_k)}{\pi_{\theta_{\text{old}}}(\tau^{\text{sub}}_{k_i} \mid s_k, g_k)}$$ 区别于大语言模型中对长文本序列似然比采用几何平均（按长度开根号归一化）的做法，本文证明在较短的子轨迹视界下，保留原始序列似然比效果显著更佳。因为未归一化的序列比率能够更快地通过 PPO 式截断边界 $[1-\varepsilon, 1+\varepsilon]$ 淘汰偏离分布的过期轨迹，并对处于同策略附近的优质子轨迹施加更坚决的更新推力。

4. 基于动作分布方差的主动状态采样：定向突破探索瓶颈

随机从历史轨迹中抽取重置点容易在策略已经熟练收敛的冗余状态上浪费算力。智能体在遇到复杂决策分支时，高斯策略头输出的对角协方差矩阵呈现高方差特征，这精准映射了模型的主观不确定性。算法计算每一时间步 $h$ 的平均动作方差 $\sigma_h^2 = \frac{1}{d} \sum_{j=1}^d \sigma_{h, j}^2$，并通过 Softmax 构造非均匀采样概率分布： $$p_h = \frac{\exp(\sigma_h^2)}{\sum_{h'=1}^{|\tau|} \exp(\sigma_{h'}^2)}$$ 优先将宝贵的子轨迹重置与探索算力投向策略认知最模糊的高方差状态，显著加速了在线瓶颈区域的突破与策略收敛。

损失函数 / 训练策略¶

GRPO-DT 从子轨迹缓冲池 $\mathcal{T}_{\text{sub}}$ 中均匀采样元组 $(\tau^{\text{sub}}_{k_i}, \widehat{A}_{k_i}, (s_k, g_k))$，最小化带有自适应熵惩罚与 KL 散度约束的代数目标： $$J_{\text{GRPO}}(\theta) = \mathbb{E}\left[ \min\left( w_{k_i}(\theta) \widehat{A}_{k_i}, \, \text{clip}(w_{k_i}(\theta), 1-\varepsilon, 1+\varepsilon) \widehat{A}_{k_i} \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\theta_{\text{ref}}}) \right]$$ 同时施加策略熵下界约束 $\mathcal{H}(\pi_\theta(\tau^{\text{sub}}_{k_i} \mid s_k, g_k)) \ge \rho$。训练中采用对偶变量 $\kappa$ 自适应调节熵正则化强度，并对参考策略 $\pi_{\theta_{\text{ref}}}$ 实施慢速动量更新（每 4 次策略更新同步一次）。在计算效率方面，得益于高质量的子轨迹梯度，GRPO-DT 每迭代仅需执行 $8 \times 256$ 次梯度更新，相较于 ODT+TD3 约 $256 \times 300$ 次更新降低了两个数量级的网络后向传播开销。

实验关键数据¶

主实验¶

在 D4RL 基准套件（MuJoCo 连续运动控制、Adroit 高维灵巧手操作、AntMaze 稀疏迷宫导航）共 17 个数据集上评估归一化最终平均得分（3 个随机种子平均），涵盖从极低质量的随机初始数据（Random）到中等质量数据（Medium / Human / Cloned）。

环境任务分类	数据集	预训练 DT	IQL	ODT	ODT+TD3	PPO-DT (本文)	GRPO-DT (本文)
MuJoCo (Random 极差初值)	Ho-R-v2	2.13	41.02 ± 13.35	30.43 ± 0.01	83.32 ± 8.46	106.97 ± 0.96	99.20 ± 3.80
	Wa-R-v2	4.53	22.75 ± 1.56	10.88 ± 0.34	82.95 ± 18.28	108.69 ± 8.86	100.25 ± 33.19
	An-R-v2	31.41	58.69 ± 23.03	19.08 ± 3.97	80.58 ± 7.25	107.45 ± 22.83	120.69 ± 5.47
MuJoCo Random 均分	Average	12.69	40.82	20.13	82.28	107.70	106.71
MuJoCo (Medium/Replay)	Ho-M-v2	46.46	74.19 ± 20.25	98.02 ± 0.63	101.47 ± 2.29	105.65 ± 5.43	108.81 ± 0.85
	Wa-M-v2	47.95	103.45 ± 1.37	76.49 ± 0.78	103.27 ± 5.95	109.49 ± 9.04	158.34 ± 3.75
	An-M-v2	86.22	118.18 ± 2.42	90.71 ± 0.03	131.56 ± 0.41	139.84 ± 0.95	147.51 ± 2.44
MuJoCo Medium 均分	Average	59.88	102.21	85.13	111.18	116.66	129.61
Adroit (高维手部操作)	D-C-v1 (Door)	0.14	46.72 ± 0.30	1.26 ± 1.02	79.98 ± 5.62	0.19 ± 0.00	96.41 ± 7.59
	D-H-v1 (Door)	3.28	11.27 ± 0.44	8.76 ± 3.87	79.73 ± 4.37	94.12 ± 3.99	89.33 ± 10.12
	P-C-v1 (Pen)	43.31	62.11 ± 13.25	16.24 ± 5.12	109.86 ± 6.27	27.14 ± 0.24	111.15 ± 2.61
	H-C-v1 (Hammer)	0.65	4.87 ± 3.10	1.32 ± 0.06	119.95 ± 2.45	130.60 ± 2.81	140.45 ± 1.93
Adroit 均分	Average	13.59	25.15	8.06	97.93	65.20	109.18
AntMaze (稀疏导航)	U-v2 (UMaze)	50.00	91.21 ± 2.14	89.27 ± 3.73	99.64 ± 0.20	0.00 ± 0.00	96.07 ± 0.53
	UD-v2 (Diverse)	65.00	0.00 ± 0.00	63.81 ± 1.64	99.42 ± 0.43	47.00 ± 4.00	97.70 ± 2.67
AntMaze 均分	Average	57.50	45.61	76.54	99.53	23.50	96.89

消融实验¶

基于 Ant-medium-v2、Hopper 与 Adroit 环境针对算法核心设计组件进行的全面控制变量分析：

配置	表现与收敛特征	说明与分析
完整 GRPO-DT 模型	全任务稳定收敛，综合表现最佳	结合子轨迹展开、序列比率与主动采样
保留事后回报重标记	性能剧烈震荡，最终发生策略崩溃坍缩	违背重要性采样假设，条件分布不匹配
全轨迹优化 (w/o 子轨迹)	Ant-medium-v2 无法学出有效动作	信用分配极度稀释，长序列方差过大
状态不一致群体采样	训练极不稳定，收敛震荡甚至发散	破坏组内相对优势比较的相对公平性基线
Token 级重要性采样比率	学习曲线显著变缓，样本利用效率大幅落后	细粒度比率与序列级优势函数未对齐
随机采样重置点 (w/o 主动采样)	收敛速度显著慢于主动采样	算力浪费在确定性状态，探索效率低下
引入几何平均归一化 (GM)	子轨迹短程优化下性能显著落后于无 GM	弱化了截断机制快速淘汰非策略轨迹的效果
Q-guided GRPO-DT (无重置环境)	接近环境重置版本表现，保持强竞争力	验证在不可回溯物理环境中辅助 Q 函数可行性

关键发现¶

纯 RL 梯度在低质初始化下具有决定性优势：在 Random 数据集上，依赖监督损失的 ODT 仅得 20.13 分，而纯 RL 优化的 GRPO-DT 与 PPO-DT 分别达到 106.71 和 107.70 分，证明了基于奖励梯度的自主纠偏能力能够彻底摆脱次优轨迹的模仿陷阱。
子轨迹长度存在关键平衡阈值：$L_{\text{traj}}$ 过长会导致单步信用分配退化，而过短（如极短步长）会导致群体轨迹过于同质化、缺乏区分度；配合相对充裕的确定性评估步长 $L_{\text{eval}}$（如 200~400 步）能提供最高质量的优势估计。
广义架构迁移性：GRPO-DT 机制直接迁移到集成期望分位数回归的 Reinformer 模型上同样取得显著提升，证实该算法适用于广义的自回归序列表征决策模型。

亮点与洞察¶

技术亮点：敏锐地揭露了离线-在线 DT 领域长期沿用的“事后回报重标记”与策略梯度重要性采样之间的理论冲突，以极简的方式解除了对有监督损失的路径依赖。
架构洞察：将大模型领域火热的“无 Critic”相对策略优化思想（GRPO）与序贯决策的马尔可夫物理环境深度结合，通过子轨迹群体分支与确定性延伸评估，巧妙攻克了连续控制领域的精细信用分配难题。
工程实用性：摆脱了 ODT+TD3 所需的复杂 Critic 协同预训练网络与繁重反向传播，将每轮更新所需的梯度计算次数锐减至原来的数十分之一，具有极强的易用性与即插即用特性。

局限与展望¶

交互采样开销较大：作为同策略/弱离策略策略梯度方法，GRPO-DT 对在线环境交互次数的消耗高于重度依赖经验回放池的非策略方法（如 ODT+TD3 与 IQL）。
环境重置机制的物理限制：标准算法依赖仿真环境的可重置能力（Reset to State）；虽然 Q-guided 变体提供了无重置替代，但该变体重新引入了值函数估计偏差。
未来方向：探索与高效探索机制或轻量化世界模型相结合，在不依赖仿真重置的前提下进一步降低真实物理系统的采样复杂度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示事后重标记阻碍 DT 进行策略梯度的本质矛盾，并开拓了 DT 的纯 RL 在线微调体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 MuJoCo、Adroit、AntMaze 三大基准共 17 个数据集，并提供详尽消融与架构泛化验证。
写作质量: ⭐⭐⭐⭐⭐ 动机条理清晰，图表数据自洽，理论直觉与实验设计论证极为严密。
价值: ⭐⭐⭐⭐⭐ 为决策大模型与具身智能体基于纯 RL 的在线后训练提供了极具前景的新范式。