Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients¶
会议: NeurIPS 2026
arXiv: 2605.14297
OpenReview: https://openreview.net/forum?id=cqg3IKxaHY
代码: https://github.com/MatiasAlvo/hybrid-rl
领域: 强化学习
关键词: 强化学习、混合动作空间、路径梯度、可微仿真、策略优化
一句话总结¶
针对兼具离散模式选择与连续控制的混合动作空间强化学习问题，本文提出混合策略优化（HPO），通过将连续控制的路径梯度与离散决策的评分函数梯度无偏融合，彻底解决了高维连续动作下策略梯度的信度分配难题。
研究背景与动机¶
在机器人控制、切换动态系统与供应链物流等实际决策场景中，智能体通常面临混合离散-连续动作空间：离散动作负责选择操作模式、控制模态或补货机制，而连续动作则在选定机制下优化具体的控制量。现存无模型强化学习方法（如 REINFORCE 与 PPO）通常依赖评分函数（Score-Function, SF）估计器，通过微扰策略动作并关联整条轨迹的标量回报来计算策略梯度。然而，当轨迹时域较长且连续控制维度较高时，这种黑盒相关性估计面临极其严峻的信度分配（credit assignment）瓶颈，标量收益的噪声将分散在数千个相互耦合的动作分量中，导致梯度估计的信噪比急剧恶化，训练效率严重停滞。
与此同时，可微仿真技术（Differentiable Simulation）为破解信度分配难题提供了强有力的工具。在外生随机性与平滑物理动态的假设下，仿真器允许通过链式法则直接对系统轨迹反向传播，计算动作对长期成本的精确路径梯度（Pathwise, PW）。然而，路径梯度对动力学的不连续性极为敏感：离散动作选择使得系统轨迹不可导，而阶跃成本或物理碰撞等非平滑动态会导致路径梯度产生严重偏差甚至完全失效。现有实践在遭遇离散动作或动作不连续时，往往直接放弃可微仿真优势，全盘退回高方差的无模型算法，未能有效利用环境中的局部平滑先验。
本文的切入视角在于重新审视混合动作空间下的系统结构：在给定的外生噪声与离散动作序列下，环境的状态转移与成本计算对于连续控制量往往是处处连续且几乎处处可微的。这意味着我们无需在“全盘黑盒无模型”与“全局平滑可微”的极端二分中妥协。核心 idea：构建一种分层解耦的混合策略表征，在固定离散模式采样的条件下对连续控制量实施仿真器反向传播提取路径梯度，并将其与离散策略的评分函数梯度无偏结合，提出混合策略优化（HPO）算法，并在理论上证明交叉耦合项在离散策略逼近最优响应时渐近归零，实现高维混合动作的高效稳定优化。
方法详解¶
整体框架¶
混合策略优化（HPO）针对外生马尔可夫决策过程（Exogenous MDP）构建，其状态 \(s_t\) 为连续向量，动作由离散选择 \(x_t \in \mathcal{X}\) 与连续控制 \(b_t \in \mathcal{B}^{x_t}\) 组成。系统由外生噪声序列 \(\xi_t\) 驱动，状态演化与即时成本分别为 \(s_{t+1} = f(s_t, (x_t, b_t), \xi_t)\) 和 \(c(s_t, (x_t, b_t), \xi_t)\)。整体流程包含四个协同阶段：外生场景轨迹前向采样、条件平滑路径梯度反向传播、离散评分函数与交叉项优势加权计算、以及离散与连续参数的分层交替更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入当前状态 s_t 与外生扰动序列"] --> B["分层混合策略表征<br/>离散分布 π_ϕ 与候选控制池 π_κ"]
B --> C["条件平滑轨迹采样<br/>离散动作 x_t 采样与连续动作 b_t 索引"]
C --> D["条件平滑混合梯度估计器<br/>连续控制路径梯度 PW + 离散策略评分函数 SF"]
D --> E["交叉项结构分析与方差缩减<br/>近最优响应下截断交叉项 HPONoCross"]
E --> F["输出更新后的混合策略参数 (ϕ, κ)"]关键设计¶
1. 分层混合策略表征：实现模式与连续控制的模块化解耦 针对混合动作空间中连续控制强依赖于离散模式选择的特性，HPO 将混合策略解耦为参数独立的两个组件 \(\pi_\theta = (\pi_\phi^\mathcal{X}, \pi_\kappa^\mathcal{B})\)。其中离散策略 \(\pi_\phi^\mathcal{X}(\cdot \mid s_t)\) 输出有限模态集合上的 Categorical 分布，连续控制器 \(\pi_\kappa^\mathcal{B}(s_t)\) 则同时确定性地输出每个候选离散模态 \(j \in \mathcal{X}\) 对应的连续控制候选向量。决策时，智能体首先采样离散动作 \(x_t \sim \pi_\phi^\mathcal{X}(s_t)\)，随后通过整数切片索引提取对应的连续动作 \(b_t = \pi_\kappa^\mathcal{B}(s_t)[x_t]\) 并下发环境。由于 \(x_t\) 作为离散索引不经过自动微分回传，这种结构将随机采样操作与连续变量的反向传播计算图完全剥离，为条件平滑性提供了结构基础。
2. 条件平滑混合梯度估计器：无偏融合路径梯度与评分函数 针对传统算法无法在混合空间中利用仿真器梯度的问题，HPO 利用条件平滑性定理：当条件化于任意固定的外生噪声轨迹 \(\xi_{0:\infty}\) 及离散决策序列 \(x_{0:\infty}\) 时，后续状态轨迹 \(s_t(\kappa)\) 与即时成本 \(c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t)\) 成为连续参数 \(\kappa\) 的确定性平滑函数。基于此，目标期望折现成本 \(J(\theta)\) 的梯度被推导为包含三部分的混合解析式： $\(\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi_\phi^\mathcal{X}(x_t \mid s_t(\kappa)) Q_{\pi_\theta}(s_t(\kappa), a_t) \right]\)$ $\(\nabla_\kappa J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right] + \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi_\phi^\mathcal{X}(x_t \mid s_t(\kappa)) Q_{\pi_\theta}(s_t(\kappa), a_t) \right]\)$ 其中 \(\nabla_\kappa J(\theta)\) 的第一项为直接沿仿真轨迹反向传播的路径梯度（PW），精准量化每个连续动作分量对成本的边际影响；第二项为交叉项（Cross term），刻画调整连续参数改变状态轨迹后对未来离散策略评分函数的间接扰动。该估计器在数学上保证了无偏性。
3. 近最优响应交叉项渐近消隐：支撑去中心化训练与方差规避
交叉项的存在要求连续控制器的更新必须回传穿透离散策略网络，导致两套策略紧密耦合，且在离散策略趋近于确定性决策边界时评分函数梯度方差发散。本文提出理论突破（定理2）：在状态转移与策略光滑的正则性假设下，若离散策略达到对于当前连续控制的 \(\epsilon\)-最优响应（\(\epsilon\)-best response），则交叉项的范数被严格约束并随 \(\epsilon\) 趋于零：
$\(\left\| \mathbb{E}_\theta \left[ \sum_{t \ge 0} \gamma^t \nabla_\kappa \log \pi_\phi^\mathcal{X}(x_t \mid s_t(\kappa)) Q_{\pi_\theta}(s_t(\kappa), a_t) \right] \right\| \le \epsilon \times L_\pi L_s \left( 1 + \frac{C\gamma}{1-\gamma} \right)\)$
该性质表明，在最优解附近或离散策略充分优化的阶段，离散决策对状态的微小连续位移具有局部包络不变性。基于此，作者提出 HPONoCross 变体，在计算图上显式截断交叉项（对离散评分输入的状态使用 stop_grad），不仅大幅降低了高维连续控制更新的高频方差，更为离散和连续控制器的模块化解耦训练提供了坚实的理论支撑。
4. 分段平滑系统的混合化重构：拓展阶跃不连续控制的适用边界 现实中诸多控制问题表现为分段平滑 MDP（PS-MDP），例如包含起订门槛费的联合补货问题或具有不同折射率的物理接触，动作空间存在局部跳变。HPO 证明了任何动作空间具有有限连通划分 \(\mathcal{A} = \bigcup_{j=1}^J \mathcal{B}^j\) 的分段平滑系统均可等价重构为混合 MDP：通过引入离散动作 \(x_t \in \{1,\dots,J\}\) 显式选择平滑区间，连续动作 \(b_t \in \mathcal{B}^{x_t}\) 控制区间内部取值。这使得原本由于边界阶跃而无法应用可微仿真的问题，得以转化为 HPO 框架下的平滑优化任务。
损失函数 / 训练策略¶
HPO 采用非对称的分层优化架构： 1. 连续参数更新：在整个外生场景批次 \(\mathcal{H}\) 上执行全批次单步梯度更新。对于完整版 HPOFull，使用混合梯度估计；对于 HPONoCross，直接利用仿真器反向传播提取的纯 PW 梯度。 2. 离散与价值网络更新：离散策略参数 \(\phi\) 采用 PPO 风格的剪裁代理目标，并引入基于广义优势估计（GAE，\(\lambda=0.96, \gamma=0.99\)）的优势值 \(\widehat{A}_t\) 代替 \(Q\) 值；在批次内划分 4 个 minibatch 执行 5 个 PPO epoch 的多步更新。同时对离散策略施加线性衰减的熵正则项以保持充分探索。 3. 早停机制：若离散策略近似 KL 散度超过预设阈值 0.015，则触发该批次的提前终止，防止策略在非平滑边界剧烈震荡。
实验关键数据¶
主实验¶
实验在联合补货问题（JRP）与切换线性二次型调节器（S-LQR）两个极具代表性的高维连续基准上展开，对比 HPOFull、HPONoCross 与当前主流的无模型强化学习标杆 PPO（基于 CleanRL 实现），并在测试集上统计 10 次独立随机重复实验的测试损失均值与中位数。
表 1: 联合补货问题（JRP）在批次大小 \(B=16\) 下随产品维度 \(p\) 的测试损失对比
| 维度 \(p\) | 指标 | HPOFull (本文) | HPONoCross (本文) | PPO (基线) | 相对优势 |
|---|---|---|---|---|---|
| \(p=1\) | Mean ± Std | 34.96 ± 0.04 | 34.97 ± 0.05 | 34.94 ± 0.03 | 性能持平 |
| \(p=10\) | Mean ± Std | 38.79 ± 0.10 | 38.85 ± 0.16 | 38.68 ± 0.07 | 性能持平 |
| \(p=20\) | Mean ± Std | 39.08 ± 0.12 | 39.26 ± 0.16 | 39.23 ± 0.08 | 相当 |
| \(p=30\) | Mean ± Std | 39.43 ± 0.38 | 39.54 ± 0.27 | 51.67 ± 2.87 | -23.7% (显著胜出) |
| \(p=40\) | Mean ± Std | 40.40 ± 0.72 | 40.82 ± 0.49 | 70.37 ± 1.92 | -42.6% (PPO严重退化) |
| \(p=50\) | Mean ± Std | 43.47 ± 2.19 | 42.95 ± 1.43 | 81.36 ± 3.27 | -46.6% (损失近减半) |
| \(p=60\) | Mean ± Std | 50.28 ± 3.12 | 49.92 ± 1.75 | 89.29 ± 2.76 | -43.7% (优势稳固) |
消融实验¶
表 2: 切换 LQR（S-LQR）测试损失随控制维度 \(p\) 与离散模式数 \(J\) 的消融对比（Batch Size = 128）
| 连续动作维度 \(p\) | 离散模式数 \(J\) | HPOFull (完整混合梯度) | HPONoCross (截断交叉项) | PPO 基线 | 结论与分析 |
|---|---|---|---|---|---|
| \(p=1\) | \(J=2\) | 36.82 ± 0.00 | 36.82 ± 0.00 | 36.84 ± 0.00 | 低维下三者一致收敛 |
| \(p=8\) | \(J=2\) | 49.05 ± 0.06 | 48.95 ± 0.06 | 70.66 ± 0.02 | PPO 在 \(p=8\) 即出现性能崩溃 |
| \(p=16\) | \(J=4\) | 80.82 ± 0.10 | 80.27 ± 0.03 | 94.70 ± 0.09 | HPONoCross 开始超越 HPOFull |
| \(p=32\) | \(J=2\) | 53.19 ± 0.09 | 52.86 ± 0.08 | 81.43 ± 6.64 | PPO 方差急剧膨胀，出现失稳 |
| \(p=40\) | \(J=4\) | 82.26 ± 0.10 | 81.31 ± 0.05 | 97.43 ± 0.11 | HPONoCross 优势扩大到 0.95 单位 |
| \(p=48\) | \(J=2\) | 53.89 ± 0.11 | 53.24 ± 0.04 | 79.36 ± 0.27 | HPO 比 PPO 降低 32.1% 损失 |
| \(p=48\) | \(J=4\) | 84.09 ± 0.11 | 82.87 ± 0.04 | 103.12 ± 3.82 | HPONoCross 比 HPOFull 更优且更稳 |
关键发现¶
- 高维扩展性分水岭：在低维设置（\(p \le 20\)）下，PPO 与 HPO 表现相当；但一旦连续控制维度超过 30，PPO 的信噪比崩塌，优化停滞或收敛至严重次优解。而 HPO 凭借路径梯度能够隔离各个坐标轴的反馈，展现出对控制维度的极强伸缩性。
- 梯度方向一致性与方差机制：在梯度评估实验中，纯 SF 梯度在 \(p > 3\) 时余弦对齐度迅速归零，而混合估计器在广泛维度下保持超过 0.8 的高对齐度，彻底验证了路径可微在解决信度分配上的本质优势。
- 交叉项截断的工程效益：在 S-LQR 任务中，HPONoCross 在 \(p \ge 16\) 后的所有配置下均稳定超越 HPOFull。这是因为离散网络接近最优决策时，真实交叉项趋近于零但经验采样的方差极大，直接截断交叉项能有效实现方差缩减并稳定训练。
亮点与洞察¶
- 兼顾平滑反传与离散无偏：巧妙避开了现有方法必须二选一的困境，通过条件独立性分解，让连续控制享受全可微链式法则的红利，同时严密保留离散策略的无偏统计特性。
- 动态包络性质的理论洞见：定理 2 将静态优化中的 Danskin/Milgrom-Segal 包络定理优雅地推广至混合马尔可夫决策过程，证明了在离散最优响应附近离散与连续维度的自然解耦特性。
- 极简工程实现范式：仅需在主流深度学习自动微分框架（如 PyTorch）中合理使用
stop_grad（detach()）操作，即可完整实现混合梯度的反向传播与交叉项截断，代码侵入性极低。
局限与展望¶
- 外生可复现仿真假设：算法强依赖于训练阶段仿真器对同一外生随机扰动轨迹（如客户需求、确定性过程噪声）的可重复回放能力，无法直接无缝应用于完全未知的物理黑盒系统。
- 连续确定性限制与边界退化：理论分析依托于随机平滑策略（如熵正则），若离散策略演化为高度尖锐的近似确定性硬边界，交叉项的有限样本方差会骤增，离散边界处的过渡动态仍待深入探索。
- 应用范围有待拓宽：当前验证主要集中于运营运筹（JRP）与经典控制（S-LQR）基准，未来需进一步推广至大规模多级供应链网络、非光滑触觉接触的复杂机器人足式控制等更大规模任务。
相关工作与启发¶
- vs P-DQN / DQL-DDPG: 后者均属于纯黑盒无模型强化学习范式，虽然设计了混合动作结构，但优化完全依赖 Q 值评判或评分函数梯度，丢弃了仿真器可微性；HPO 显著提升了高维连续维度的优化效率。
- vs 连续松弛方法（Concrete / Gumbel-Softmax）: 连续松弛试图将离散变量近似为平滑可微变量，但这会破坏原 MDP 的真实物理动力学并引入难以量化的代理误差；HPO 保留真实离散采样，利用条件平滑实现严格无偏估计。
- vs 直通估计器（Straight-Through Estimator, STE）: STE 在反向传播时强行忽略离散阶跃的零导数，属于有偏启发式技巧；HPO 给出严格无偏数学框架，并指明了何时可以安全忽略耦合项。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次在外生混合 MDP 下严格推导出无偏混合梯度估计并证明最优响应下交叉项消隐定理
- 实验充分度: ⭐⭐⭐⭐⭐ 从优化速度、稳态测试损失到独立梯度对齐度与方差多维度系统验证
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，数学推导严密优美，PyTorch 伪代码与算法设计高度凝练
- 价值: ⭐⭐⭐⭐⭐ 为解决高维连续-离散混合控制难题提供了兼具理论保证与工程简洁性的标杆方案