Higher-Order Action Supervision Makes A Strong Policy Class¶

会议: NeurIPS 2026
arXiv: 2610.11175
代码: https://github.com/chengp98/HOAS
领域: 强化学习
关键词: 连续控制, 离线强化学习, 高阶动作监督, 模仿学习, 哈密顿-雅可比-贝尔曼方程

一句话总结¶

针对传统模仿学习与强化学习仅优化零阶动作导致控制抖动与泛化差的问题，本文提出无需修改网络架构的高阶动作监督范式与连续时间 HJB 价值正则化，显著提升确定性、随机及流匹配策略在低数据区间的稳定性和闭环性能。

研究背景与动机¶

基于学习的决策方法（如模仿学习与强化学习）在机器人控制、自主驾驶等复杂连续控制任务中取得了长足进步，但在部署到真实物理系统时，常常遭受严重的控制不稳定性与较差鲁棒性的困扰。硬件执行机构面临微小状态扰动时，策略输出的高频动作抖动会导致过度的机械磨损与能量损耗，甚至显著缩短关键部件与整机的使用寿命。传统控制理论高度重视高阶动态与李雅普诺夫稳定性，而现代深度强化学习范式却几乎完全局限于对零阶动作（即离散时间步下的瞬态动作标签）进行单步拟合，忽视了动作在物理时间流动中的高阶时序连续性与动态一致性约束。

为了缓解动作抖动，现有的动作平滑方法主要分为两类：一类是通过启发式扰动构造状态合成样本并施加动作波动惩罚（如 CAPS、L2C2）；另一类是引入专用的受限网络结构来约束网络的全局 Lipschitz 常数（如 LipsNet）。然而，在无法与环境交互的离线设定中，向未观测的扰动状态查询动作极易引发严重的分歧与分布外（OOD）外推误差，导致在窄轨迹的高质量数据上性能大幅崩溃；而硬性约束模型 Lipschitz 常数又显著损伤了神经网络表达多峰复杂分布的容量，且推断开销增加。直接通过辅助头显式联合预测高阶动作导数，则会成倍扩大动作空间并引发多任务梯度冲突。

本文的切入角度是：策略模型关于时间的导数并非独立于状态演化，而是可以通过链式法则与雅可比-向量积（JVP）在原有模型参数下自然闭合。核心 idea：利用策略沿环境状态微分的链式法则 \(\dot{\pi}(s)=\nabla_s \pi(s) \cdot \dot{s}\)，在不改变任何已有策略结构的前提下实现零阶与一阶动作的同步监督，并将其通过连续时间 HJB 框架无缝扩展为即插即用的策略与价值流向正则化。

方法详解¶

整体框架¶

本文提出的方法为任意现成策略类（确定性策略、高斯随机策略、流匹配策略）赋予一阶动作监督能力。其输入为离线数据集中的连续状态转换 \((s, a, s', a')\)，其中一阶状态差分 \(\dot{s} \approx s' - s\) 与一阶动作差分 \(\dot{a} \approx a' - a\) 作为真实的时间导数监督信号。对于策略端，利用链式法则计算输出对物理时间的导数并与 \(\dot{a}\) 构造回归或对数似然损失；对于离线强化学习的价值函数端，将学习到的动作导数代入连续时间 Hamilton-Jacobi-Bellman (HJB) 动态规划方程，约束 Q 函数的梯度流向与系统动力学状态-动作演化方向严格对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线转移数据<br/>(s, a, r, s', a')"] --> B["差分导数提取<br/>s_dot ≈ s'-s, a_dot ≈ a'-a"]
    B --> C["高阶策略监督: 链式法则与JVP<br/>确定性 / OU过程随机 / 物理流匹配"]
    C --> D["动作时序导数生成<br/>π_dot(s) = ∇_s π(s) · s_dot"]
    D --> E["连续时间 HJB 价值更新<br/>Q 梯度流与 (s_dot, π_dot) 方向对齐"]
    E --> F["即插即用联合优化<br/>高稳定性与强泛化闭环策略"]

关键设计¶

1. 任意策略类的内生一阶动作监督：利用时间链式法则消除结构改动

传统策略网络仅映射状态到动作，无法显式输出高阶动作。本文指出，策略随时间的变化率满足连续时间全微分链式法则 \(\dot{a} = \dot{\pi}(s) = \nabla_s \pi(s) \dot{s}\)。在训练阶段，环境状态速度 \(\dot{s}\) 可由离线数据集的单步差分 \(s' - s\) 极其精准且廉价地提供，计算 \(\nabla_s \pi(s) \dot{s}\) 仅需一次雅可比-向量积（Jacobian-Vector Product, JVP），而无需显式实例化昂贵的高维雅可比矩阵。对于确定性策略 \(\pi(s)\)，直接施加 \(L_2\) 导数回归损失：

\[\mathcal{L}_{\dot{a}}^{\text{det}} = \|\nabla_s \pi(s) \dot{s} - \dot{a}\|^2\]

针对随机高斯策略 \(\pi(a|s) = \mathcal{N}(a; \mu(s), \text{diag}(\sigma^2(s)))\)，本文打破简单监督均值 \(\mu(s)\) 的粗糙做法，将随机扰动建模为均值回归的 Ornstein-Uhlenbeck (OU) 稳态过程 \(\mathrm{d}X_t = -\lambda X_t \mathrm{d}t + \sqrt{2\lambda}\mathrm{d}W_t\)。利用多维伊藤公式（Itô formula），推导出动作随机过程的完整随机微分方程（SDE），诱导出一阶动作时间导数的显式条件似然分布：

\[\dot{\pi}(\dot{a}|s,a,\dot{s}) = \mathcal{N}\left(\dot{a}; \dot{\mu}(s) + (\dot{\sigma}(s) - \lambda \sigma(s)) \odot \left(\frac{a - \mu(s)}{\sigma(s)}\right), 2\lambda \text{diag}(\sigma^2(s))\right)\]

进而最大化联合似然 \(-\log \pi(a|s) - \log \dot{\pi}(\dot{a}|s,a,\dot{s})\)。针对生成式流匹配策略，推导出速度场 \(v(k,s,a^k)\) 沿物理时间的积分结构，并采用状态方向主导近似 \(\frac{\partial v(k,s,a^k)}{\partial s}\dot{s}\) 对齐 \(\dot{a}\)，既避免了多任务预测头的梯度干扰与参数膨胀，又完整约束了概率流与物理时间演化的协调。

2. 连续时间 HJB 价值函数流向正则化：校准 Q 函数时空梯度曲面

传统离线强化学习仅采用离散时间 Bellman 算子做标量自举回归，使得 Q 函数曲面在数值上虽然匹配了单步回报，但其关于状态和动作的局部梯度方向与系统真实的动力学转移严重脱节。在连续时间最优控制理论中，值函数服从 Hamilton-Jacobi-Bellman (HJB) 方程：\(\gamma Q^{\text{HJB}}(s,a) = \max_a [r(s,a) + \nabla_s Q^{\text{HJB}}(s,a) \dot{s} + \nabla_a Q^{\text{HJB}}(s,a) \dot{a}]\)。过去由于策略无法给出可信的动作时间导数 \(\dot{a}\)，HJB 理论在深度强化学习中常退化为粗暴截断或常数界定。本文利用一阶策略输出的 \(\dot{\pi}_\theta(s) = \nabla_s \pi_\theta(s) \cdot \dot{s}\) 作为精准的时间动作导数，构造归一化的流向一致性正则化项：

\[\mathcal{L}_{\text{HJB-reg}} = -\lambda_Q \left( \frac{\nabla_s Q(s,a) \dot{s}}{\|\nabla_s Q(s,a)\| \|\dot{s}\|} + \frac{\nabla_a Q(s,a) \dot{\pi}_\theta(s)}{\|\nabla_a Q(s,a)\| \|\dot{\pi}_\theta(s)\|} \right)\]

通过余弦相似度归一化梯度与动态矢量的模长，有效抑制了极端梯度冲击，引导 Q 函数的梯度沿着状态-动作连续流向递增，为后续策略提升提供了结构完备且高度平滑的价值指引。

3. 模仿学习闭环累积误差理论收紧：从单步界定到轨迹长程收敛

本文给出了高阶动作监督在模仿学习中控制误差累积的严格理论证明。传统行为克隆（BC）在长时序闭环推断中容易发生协变量偏移，微小的动作误差随时间指数级发散。理论证明显示，状态误差 \(\delta(t) = s(t) - s^*(t)\) 的上界受专家轨迹上的单步策略误差 \(e(s^*(t)) = \pi(s^*(t)) - \pi^*(s^*(t))\) 控制：

\[\|\delta(t)\| \leq \frac{L_a}{\beta} (e^{\beta t} - 1) \max_{0 \le \tau \le t} \|e(s^*(\tau))\|\]

其中策略误差的增长速度直接受一阶动作导数残差的积分约束：\(\|e(s^*(t))\| \le \|e(s^*(0))\| + t \max_{0 \le \tau \le t} \|\nabla_s \pi(s^*(\tau))\dot{s}^*(\tau) - \dot{\pi}^*(s^*(\tau))\|\)。常规零阶 BC 对导数残差项毫无约束力，导致误差边界极其松弛；而本文的高阶动作监督直接最小化该一阶差异，从数学本质上收紧了策略误差向状态轨迹发散的放大通道。

损失函数 / 训练策略¶

离线强化学习算法的完整联合训练目标包含两部分：在 Critic 更新中，结合经典离线 Bellman 算子 \(\mathcal{T}_\pi\) 与连续时间 HJB 方向正则项：

\[\min_Q \mathbb{E}_{\mathcal{D}} \left[ (\mathcal{T}_\pi \hat{Q}(s,a) - Q(s,a))^2 - \lambda_Q \left( \frac{\nabla_s Q(s,a) \dot{s}}{\|\nabla_s Q(s,a)\| \|\dot{s}\|} + \frac{\nabla_a Q(s,a) \dot{\pi}_\theta(s)}{\|\nabla_a Q(s,a)\| \|\dot{\pi}_\theta(s)\|} \right) \right]\]

在 Actor 更新中，在原算法的 Q 值提升与行为正则化项 \(\mathcal{R}_\pi(s)\) 之外，引入一阶监督项：

\[\max_\pi \mathbb{E}_{\mathcal{D}, \hat{a} \sim \pi} \left[ Q(s, \hat{a}) - \mathcal{R}_\pi(s) - \lambda_{\dot{a}} \mathcal{L}_{\dot{a}} \right]\]

其中 \(\mathcal{L}_{\dot{a}}\) 按网络类型选配为 \(\mathcal{L}_{\dot{a}}^{\text{det}}\)、\(\mathcal{L}_{\dot{a}}^{\text{sto}}\) 或 \(\mathcal{L}_{\dot{a}}^{\text{flow}}\)。无需修改骨干网络，仅依靠反向传播中的自动微分机制即可完成高效训练。

实验关键数据¶

主实验¶

论文在大型长程稀疏基准 OGBench（涵盖高维导航与物体操作任务）上评测了集成高阶动作监督后的四大算法家族：确定性策略 TD3+BC、均值高斯监督 ReBRAC、全似然高斯监督 IQL 以及流匹配策略 IFQL。所有实验均跨 5 个随机种子。

任务类别 (各含5个子任务平均)	TD3+BC	TD3+BC+本文	ReBRAC	ReBRAC+本文	IQL	IQL+本文	IFQL	IFQL+本文
antmaze-large-navigate	\(83 \pm 4\)	\(\mathbf{98 \pm 3}\)	\(81 \pm 5\)	\(\mathbf{98 \pm 2}\)	\(53 \pm 3\)	\(\mathbf{68 \pm 5}\)	\(28 \pm 13\)	\(\mathbf{36 \pm 14}\)
antmaze-giant-navigate	\(42 \pm 8\)	\(\mathbf{65 \pm 10}\)	\(26 \pm 8\)	\(\mathbf{61 \pm 12}\)	\(4 \pm 1\)	\(\mathbf{9 \pm 1}\)	\(3 \pm 2\)	\(\mathbf{4 \pm 3}\)
humanoidmaze-medium-navigate	\(34 \pm 8\)	\(\mathbf{42 \pm 5}\)	\(22 \pm 8\)	\(\mathbf{55 \pm 10}\)	\(33 \pm 2\)	\(\mathbf{36 \pm 3}\)	\(60 \pm 16\)	\(\mathbf{64 \pm 13}\)
humanoidmaze-large-navigate	\(2 \pm 1\)	\(\mathbf{4 \pm 1}\)	\(2 \pm 1\)	\(\mathbf{4 \pm 2}\)	\(2 \pm 1\)	\(\mathbf{3 \pm 1}\)	\(11 \pm 2\)	\(\mathbf{12 \pm 3}\)
antsoccer-arena-navigate	\(13 \pm 3\)	\(\mathbf{16 \pm 3}\)	\(0 \pm 0\)	\(\mathbf{16 \pm 4}\)	\(8 \pm 2\)	\(\mathbf{23 \pm 3}\)	\(33 \pm 6\)	\(\mathbf{40 \pm 13}\)
cube-single-play	\(88 \pm 5\)	\(\mathbf{91 \pm 4}\)	\(91 \pm 2\)	\(\mathbf{93 \pm 2}\)	\(83 \pm 3\)	\(\mathbf{92 \pm 3}\)	\(79 \pm 2\)	\(\mathbf{95 \pm 7}\)
cube-double-play	\(7 \pm 1\)	\(\mathbf{12 \pm 1}\)	\(12 \pm 1\)	\(\mathbf{24 \pm 3}\)	\(7 \pm 1\)	\(\mathbf{8 \pm 2}\)	\(14 \pm 3\)	\(\mathbf{42 \pm 15}\)
scene-play	\(44 \pm 3\)	\(\mathbf{47 \pm 2}\)	\(41 \pm 3\)	\(\mathbf{47 \pm 4}\)	\(28 \pm 1\)	\(\mathbf{33 \pm 3}\)	\(30 \pm 3\)	\(\mathbf{56 \pm 7}\)
puzzle-3x3-play	\(27 \pm 3\)	\(\mathbf{29 \pm 1}\)	\(21 \pm 1\)	\(\mathbf{24 \pm 2}\)	\(9 \pm 1\)	\(\mathbf{12 \pm 4}\)	\(19 \pm 1\)	\(\mathbf{43 \pm 15}\)
puzzle-4x4-play	\(6 \pm 1\)	\(\mathbf{9 \pm 1}\)	\(14 \pm 1\)	\(\mathbf{17 \pm 3}\)	\(7 \pm 1\)	\(\mathbf{13 \pm 2}\)	\(25 \pm 5\)	\(\mathbf{40 \pm 12}\)
平均归一化得分 (Average)	35	\(\mathbf{41 (\uparrow 6)}\)	31	\(\mathbf{44 (\uparrow 13)}\)	23	\(\mathbf{30 (\uparrow 7)}\)	30	\(\mathbf{43 (\uparrow 13)}\)

此外，在极度苛刻的 D4RL 10k 稀疏数据设定下，基础算法普遍因样本严重不足出现 OOD 崩溃，而本文方法展现出惊人的稳定性恢复能力。以确定性骨干 TD3+BC 为例，在 Walker2d-expert-v2 任务上得分从 \(2.7 \pm 3.1\) 激增至 \(82.3 \pm 10.8\)（提升 79.5 分）；在 Hopper-expert-v2 任务上从 \(23.2 \pm 18.2\) 飙升至 \(93.5 \pm 13.6\)（提升 70.3 分）。

消融实验¶

为验证内生一阶导数机制相较于已有平滑惩罚与显式多任务预测头的优越性，论文在 D4RL 10k 数据集上对比了多种平滑方法（共享 TD3+BC 骨干）：

| 任务 | TD3+BC 基线 | +CAPS (扰动惩罚) | +L2C2 (局部Lipschitz) | +LipsNet (网络结构约束) | +Extra \(\dot{a}\) head (显式双头) | TD3+BC + 本文 | |---|---|---|---|---|---| | Hopper-m | \(40.1 \pm 18.6\) | \(42.6 \pm 5.1\) | \(42.7 \pm 7.5\) | \(43.2 \pm 3.6\) | \(41.5 \pm 7.8\) | \(\mathbf{44.1 \pm 12.7}\) | | Hopper-me | \(17.8 \pm 7.9\) | \(39.6 \pm 8.2\) | \(39.8 \pm 8.3\) | \(32.8 \pm 18.5\) | \(26.6 \pm 8.6\) | \(\mathbf{42.3 \pm 10.8}\) | | Hopper-e | \(23.2 \pm 18.2\) | \(57.1 \pm 29.7\) | \(55.2 \pm 34.5\) | \(16.9 \pm 2.8\) | \(30.6 \pm 15.1\) | \(\mathbf{93.5 \pm 13.6}\) | | HalfCheetah-m | \(16.4 \pm 10.2\) | \(29.6 \pm 5.6\) | \(30.3 \pm 7.1\) | \(6.6 \pm 3.0\) | \(28.1 \pm 4.5\) | \(\mathbf{31.5 \pm 2.4}\) | | HalfCheetah-me | \(15.4 \pm 10.7\) | \(19.8 \pm 3.4\) | \(28.6 \pm 3.8\) | \(3.3 \pm 2.2\) | \(20.6 \pm 3.5\) | \(\mathbf{35.6 \pm 2.4}\) | | HalfCheetah-e | \(1.7 \pm 3.3\) | \(1.7 \pm 1.6\) | \(2.4 \pm 1.9\) | \(0.8 \pm 0.6\) | \(0.2 \pm 1.8\) | \(\mathbf{3.9 \pm 2.1}\) | | Walker2d-m | \(7.4 \pm 13.1\) | \(24.5 \pm 3.6\) | \(20.4 \pm 4.1\) | \(8.9 \pm 2.8\) | \(8.6 \pm 6.5\) | \(\mathbf{41.1 \pm 10.8}\) | | Walker2d-me | \(7.9 \pm 9.1\) | \(17.8 \pm 10.1\) | \(23.3 \pm 9.8\) | \(5.9 \pm 3.6\) | \(8.3 \pm 6.1\) | \(\mathbf{37.8 \pm 12.3}\) | | Walker2d-e | \(2.7 \pm 3.1\) | \(3.9 \pm 2.1\) | \(7.4 \pm 3.6\) | \(13.8 \pm 6.8\) | \(3.9 \pm 1.6\) | \(\mathbf{82.3 \pm 10.8}\) | | 平均得分 (Average) | 14.7 | 26.3 | 27.8 | 14.7 | 18.7 | \(\mathbf{45.8 (\uparrow 31.1)}\) |

关键发现¶

专家数据对平滑机制极其敏感：在专家级窄分布任务（如 Hopper-e、Walker2d-e）上，基于随机各向同性扰动的状态平滑方法（CAPS、L2C2）由于引入了虚假的未观测状态而造成严重的 OOD 外推偏差；而 Lipschitz 结构硬约束（LipsNet）大幅削弱了模型容量，甚至使得分出现倒退（Hopper-e 从 23.2 跌至 16.9）。本文方法仅在真实数据流向内做自然一阶对齐，在专家轨迹上实现了大幅飞跃（45.8 vs 27.8）。
显式双头预测存在严重的梯度对抗：独立增加 \(\dot{a}\) 预测头的方案平均仅取得 18.7 分，显著逊色于本文内生监督（45.8 分）。这证实了零阶与一阶动作属于异构空间，直接多任务共享底层表征容易引发梯度冲突，而通过网络梯度自动求导能完全保留模型主干对物理动力学的连续表征。
计算额外开销微乎其微：在 A100 GPU 上的实际测时显示，单步 JVP 求导仅增加 10%–20% 的训练时间，但带来了成倍的收敛速度和稳定性提升。

亮点与洞察¶

极简即插即用：不需要修改任何 Actor 或 Critic 的前向网络拓扑结构，仅通过自动微分库的 JVP 操作与微调损失函数，就优雅统一了确定性、随机及扩散流匹配三类完全不同的连续控制策略。
打通离散时间 RL 与连续时间控制理论的鸿沟：通过策略导数自然填补了 HJB 方程中长期缺失的 \(\dot{a}\) 评估项，使连续时间动力学先验能够严谨地赋能经典离散时间强化学习架构。
低数据困境下的绝佳正则化工具：在样本匮乏时，标量数据点无法定义局部物理流向，而一阶动作切向量锁定了动作随状态演化的切线方向，从根本上压制了离线策略的累积发散漂移。

局限与展望¶

高维视觉观测适用性受限：直接在原始图像像素空间求状态一阶导数 \(\dot{s} = s' - s\) 会受到剧烈的高频纹理和光照噪声干扰。未来需要先将视觉输入编码到低维解耦的紧凑潜在动力学空间（如世界模型潜在表征），再在其潜在流形上施加高阶监督。
有限差分采样的步长敏感性：当离线数据的控制频率较低或时间间隔 \(\Delta t\) 较大且非均匀时，简单的单步一阶差分会存在较大的截断误差，未来可结合样条曲线插值或卡尔曼滤波先对轨迹进行平滑重构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用策略时间导数链式法则消除高阶监督的架构侵入性，构思极其优雅。
实验充分度: ⭐⭐⭐⭐⭐ 完整横跨确定性、随机、流匹配三类策略，并在 OGBench、D4RL 低数据和在线 SAC 等多维度开展了翔实对比与消融。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，理论边界证明完备，逻辑链条流畅透彻。
价值: ⭐⭐⭐⭐⭐ 为解决机器人与具身智能在实际物理部署中的动作高频抖动瓶颈提供了实用性极强的即插即用方案。