Generative Actor-Critic with Soft Bridge Policies¶
会议: NeurIPS 2026
arXiv: 2605.08733
代码: https://github.com/skypitcher/soft_gac_jax
领域: 强化学习
关键词: 强化学习、最大熵RL、生成式策略、高斯桥过程、控制能量
一句话总结¶
针对扩散与流策略在最大熵强化学习中边缘动作概率密度不可解以及多次迭代推理反向传播成本高昂的问题，本文提出软生成式行动者-评论家算法（SoftGAC），通过单次前向传播的内部高斯残差桥网络构建路径空间解析相对熵正则化，以极低推理延迟在连续控制基准上超越强扩散与流基线。
研究背景与动机¶
最大熵（MaxEnt）在线强化学习是离线和在线连续控制算法的核心基石，其通过在优化累积期望回报的同时最大化策略熵，在值函数提升与探索随机性之间建立了稳健的平衡。以软行动者-评论家（SAC）为代表的经典方法依赖于对数动作概率密度的精确评估，通常假定动作服从单峰高斯分布。然而，在复杂的高维物理接触、障碍规避以及灵巧操作任务中，最优控制策略往往呈现出高度非高斯、多模态的分布形态，这使得表达能力受限的高斯分布策略容易陷入次优局部解。
为突破分布表达瓶颈，近年来越来越多的研究尝试引入扩散模型（Diffusion）和流匹配模型（Flow Matching）等生成式策略。然而，这类软生成式策略面临着两个内在且相互交织的核心矛盾。首先是“最大熵正则化与不可解边缘密度的冲突”：生成式策略通过在多步潜在变量或生成路径上进行边际化来采样动作，其终端动作的真实边缘概率密度通常不可直接解析计算，现有方法只能退而求其次地依赖熵下界松弛、高斯混合模型（GMM）等启发式终点密度估计、或 Wasserstein 几何距离代理，严重削弱了与严格最大熵理论框架的内在联系。其次是“计算开销与训练稳定性的冲突”：为了获得丰富的分布，现有扩散或流策略通常采用参数共享的多步迭代采样器（高 NFE）。这不仅大幅增加了在线交互与部署时的推理延迟，更致命的是，Actor 更新需要将 Critic 价值关于动作的梯度跨越采样链展开反向传播（BPTT），造成极高的显存占用和梯度不稳定。若简单粗暴地削减采样步数，又往往导致策略性能断崖式下跌。
本文的切入角度是：不再孤立地将生成式 Actor 视为终端动作黑盒，而是将单个前馈神经网络内部的随机计算过程建模为显式的潜在路径分布，从而直接在路径空间建立相对高熵参考过程的解析 Kullback-Leibler（KL）正则化。核心 idea：提出软生成式行动者-评论家框架（SoftGAC），将 Actor 构造成具有内部局部高斯转移桥的单次前馈网络，将最大熵目标提升至路径空间从而获得解析形式的有限步转移控制能量正则项，在保持与标准 MaxEnt 端点等价的同时，实现单次网络求值生成动作并消除长程时间反向传播。
方法详解¶
整体框架¶
SoftGAC 包含单次前向随机桥 Actor 网络 \(P_\theta\) 与双胞胎分类 Critic 网络 \(Q_\phi\)。在状态 \(s\) 下，Actor 首先从固定的对数参考先验 \(p_0\) 采样初始隐变量 \(z_0\)，随后依次通过 \(K\) 层参数独立的轻量级高斯残差转移块演化为终端隐变量 \(z_K\)，最后经双曲正切函数 \(\tanh\) 与仿射缩放输出环境动作 \(a\)。与此同时，整个生成路径沿途的高斯转移相对静态高熵参考桥的相对熵被解析解析为有限步转移控制能量 \(\mathcal{C}_\theta(s, \tau)\)，直接参与 Actor 的目标函数优化与 Critic 的软贝尔曼自举目标计算。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境状态输入 s 与初始先验噪声 z0"] --> B["路径空间最大熵目标构建<br/>提升端点熵至相对参考过程的路径 KL"]
B --> C["有限步软高斯桥网络架构<br/>K 步局部高斯残差转移与控制能量计算"]
C --> D["单次前馈动作生成与端点映射<br/>zK 经 tanh 映射输出环境动作 a"]
D --> E["软贝尔曼自举与双重温度自适应更新<br/>Critic 拟合与基于控制能量预算的温度调节"]关键设计¶
1. 路径空间最大熵目标构建：将不可解端点熵提升为全路径解析相对熵 传统 MaxEnt RL 优化期望回报与端点熵 \(\mathcal{H}(\pi(\cdot|s))\)，这等价于最小化端点动作分布相对均匀先验 \(u\) 的相对熵 \(D_{\mathrm{KL}}(\pi(\cdot|s) \| u)\)。当策略为生成式路径法则 \(P_\theta(d\tau|s)\) 时，计算边缘端点密度需要对全部潜在路径积分。本文通过将优化目标提升至路径空间，引入具有高熵端点边缘分布的参考扩散路径法则 \(R(d\tau)\)，最大化目标： $$ \mathcal{J}{\mathrm{path}}(P\theta \mid s) = \mathbb{E}{\tau \sim P\theta(\cdot \mid s)}[Q(s, T(z_K))] - \alpha D_{\mathrm{KL}}(P_\theta(\cdot \mid s) \,|\, R) $$ 根据相对熵的分解链式法则，全路径 KL 严谨地分解为端点动作 KL 与给定端点动作条件下的路径 KL 之和：\(D_{\mathrm{KL}}(P_\theta \| R) = D_{\mathrm{KL}}(\pi_\theta \| u_R) + \mathbb{E}_{a \sim \pi_\theta}[D_{\mathrm{KL}}(P_\theta(\cdot|s,a) \| R(\cdot|a))]\)。这在理论上证明了路径正则化在边缘上严格包含了经典 MaxEnt 目标，同时进一步正则化了动作的生成动力学。无约束优化下的最优路径法则正是值倾斜参考分布 \(dP_Q^\star / dR \propto \exp(Q(s, T(z_K))/\alpha)\)，其诱导的端点动作分布在参考边缘为均匀分布时精确退化为玻尔兹曼最优策略。
2. 有限步软高斯桥网络架构：无共享参数的单次前向解析控制能量计算 为了使路径相对熵在有限计算下完全解析可解，且彻底摆脱循环网络迭代计算带来的 BPTT 深度开销，SoftGAC 将 pre-tanh 潜空间中的 Actor 构建为由 \(K\) 个独立轻量 MLP 组成的有限高斯马尔可夫链。设步长 \(h=1/K\)，第 \(k\) 层的条件转移概率由状态 \(s\) 和当前潜变量 \(z_k\) 共同决定： $$ q_{\theta,k}(z_{k+1} \mid z_k, s) = \mathcal{N}\left(z_k + h\, u_{\theta,k}(s, z_k),\, 2h\,\mathrm{diag}(\sigma_{\theta,k}^2(s, z_k))\right) $$ 相对应的静态高熵参考桥使用以对数参考分布 \(q_{\mathrm{ref}}(z) \propto \prod_i \mathrm{sech}^2(z_i)\) 为平稳测度的朗之万扩散欧拉离散化形式：\(r_k(z_{k+1}|z_k) = \mathcal{N}(z_k - 2h\tanh(z_k), 2hI)\)。由于两者的转移核均为对角高斯分布，单路径的总控制能量 \(\mathcal{C}_\theta(s, \tau) = \sum_{k=0}^{K-1} \mathcal{C}_k(s, z_k)\) 具有完全封闭的代数解析解： $$ \mathcal{C}k(s, z_k) = \frac{1}{2} \sum^2(s, z_k) \right] $$ 该设计无需展开任何长时序计算图，在单次前向传播生成动作的同时，同步计算出精确无偏的控制能量，避免了高方差采样或辅助估计网络。}^{d_a} \left[ \sigma_{\theta,k,i}^2(s, z_k) + \frac{(\mu_{\theta,k,i}(s, z_k) - \mu_{R,k,i}(z_k))^2}{2h} - 1 - \log \sigma_{\theta,k,i
3. 软贝尔曼自举与双重温度自适应更新：统一控制能量预算的稳定策略迭代 在强化学习更新机制中，SoftGAC 将传统软状态价值函数中的熵项替换为采样的转移控制能量：\(V^\pi(s) = \mathbb{E}_{\tau \sim P_\theta(\cdot|s)} [Q(s, T(z_K)) - \alpha \mathcal{C}_\theta(s, \tau)]\)。在从经验回放池 \(\mathcal{D}\) 抽取转移元组 \((s,a,r,s',d)\) 时，目标 Critic 采用目标 Actor 在下个状态采样路径 \(\tau'\) 的最小双胞胎 Q 值减去温度加权的控制能量作为软自举目标： $$ y = r + \gamma(1-d) \left[ Q_{\bar{\phi}}^{\min}(s', T(z'K)) - \alpha \mathcal{C}(s', \tau') \right] $$ 为了消除手工调优温度超参 }\(\alpha\) 的繁琐过程，本文基于维数与层数推导了物理可解释的控制能量预算标度。通过控制单步单维度的平均偏离量 \(\rho_{\mathrm{ctrl}}\)，将总目标控制能量设定为 \(\mathcal{C}_{\mathrm{target}} = \rho_{\mathrm{ctrl}} K d_a\)（默认 \(\rho_{\mathrm{ctrl}}=0.2\)），并采用 SAC 风格的对偶梯度上升自动调节 \(\log \alpha\)，维持探索多样性与价值导向之间的自适应平衡。
损失函数 / 训练策略¶
- Critic 损失：采用 CrossQ 架构下的双胞胎 C51 分类 Critic（101 个离散区间），通过交叉熵损失将预测回报分布向投影后的目标分布对齐。
- Actor 损失：最小化当前状态下路径样本的正则化负价值：\(\mathcal{L}_{\mathrm{actor}}(\theta) = \mathbb{E}_{s \sim \mathcal{D}, \tau \sim P_\theta(\cdot|s)} [\alpha \mathcal{C}_\theta(s, \tau) - Q_\phi^{\min}(s, T(z_K))]\)。
- 温度损失：基于对偶控制预算最小化 \(\mathcal{L}_\alpha = \mathbb{E}[\alpha (\mathcal{C}_{\mathrm{target}} - \mathcal{C}_\theta(s, \tau))]\)。
- 确定性评估与部署：在推断或环境评估时，网络仅沿转移均值路径流动，跳过方差头且无需计算控制能量，使得部署延迟压低至微秒级别。
实验关键数据¶
主实验¶
在 DeepMind Control Suite（高维四足 Dog 与双足 Humanoid）以及 19 自由度真实级人形机器人基准 HumanoidBench H1 上的核心控制任务中，与代表性扩散、流和高斯基线进行了 8 种子 95% 置信区间 IQM 评估。
| 任务 | 动作维度 \(d_a\) | SoftGAC (本文) | CrossQ-SAC (高斯) | FLAC (桥匹配流) | DIME (扩散下界) | 相对最优基线提升 |
|---|---|---|---|---|---|---|
| Humanoid Run | 21 | 701 ± 64 | 565 | 582 | 520 | +20.4% |
| Dog Run | 38 | 755 ± 64 | 536 | 618 | 512 | +22.2% |
| H1 Hurdle | 19 | 737 ± 107 | 388 | 412 | 390 | +78.9% |
| H1 Run | 19 | 824 ± 32 | 394 | 450 | 415 | +83.1% |
| H1 Stair | 19 | 600 ± 125 | 305 | 340 | 310 | +76.5% |
| H1 Slide | 19 (XQC Critic) | 829 ± 160 | 478 | - | 663 | +25.0% |
在与其他近期在线扩散策略（20 步 NFE 迭代采样）的同架构主实验对比中（IQM ± 标准差）：
| 算法模型 | NFE | H1 Run (1M) | H1 Hurdle (3M) | Walker Run (1M) | 平均回报 |
|---|---|---|---|---|---|
| SoftGAC (本文) | 1 | 824 ± 32 | 737 ± 107 | 823 ± 21 | 795 |
| DACER (GMM 熵估计) | 20 | 537 ± 238 | 377 ± 75 | 860 ± 32 | 591 |
| MaxEntDP (MC 边缘估计) | 20 | 23 ± 8 | 18 ± 3 | 629 ± 58 | 223 |
| SDAC (重加权分值匹配) | 20 | 36 ± 5 | 60 ± 24 | 836 ± 34 | 311 |
消融实验¶
| 配置 / 消融项 | 测试任务 | 关键指标 (IQM) | 机制说明 |
|---|---|---|---|
| 完整 SoftGAC (解析路径 KL) | Dog Run (1M) | 755 ± 64 | 基准配置 |
| 替换为 DACER 的 GMM 终点熵估计 | Dog Run (1M) | 586 ± 77 | 终点样本拟合带来估计方差与误差，性能显著下滑 |
| 完整 SoftGAC (解析路径 KL) | H1 Hurdle (3M) | 737 ± 107 | 基准配置 |
| 替换为 DACER 的 GMM 终点熵估计 | H1 Hurdle (3M) | 347 ± 152 | 高维障碍任务下经验拟合失效，性能腰斩 |
| 完全移除软正则化 (\(\alpha=0\)) | H1 Hurdle (3M) | < 300 | 丧失随机探索与桥分布多样性，策略过早坍缩 |
| 学习方差 (默认) | H1 Stair (1M) | 600 ± 125 | 自适应转移扩散尺度提供精准局部探索 |
| 固定方差 \(\sigma^2=1.0\) (仅漂移项 KL) | H1 Stair (1M) | 529 ± 126 | 仍具备可行性，但欠缺方差调节自由度 |
| 固定方差 \(\sigma^2=2.0\) | H1 Stair (1M) | 42 ± 4 | 噪声过大破坏了稳定动力学传输 |
| 对数参考基底 (Logistic Base) | H1 Hurdle (3M) | 737 ± 107 | pre-tanh 变换后严格对应动作空间均匀分布 |
| 各向同性高斯基底 (Gaussian Base) | H1 Hurdle (3M) | 670 ± 175 | 带来固定初始 KL 常数偏移，表现稳健但略有下降 |
计算效率与部署开销¶
在 Apple M3 Pro CPU 单动作推断延迟与完整可训练参数对比测试中： - 推断延迟：SoftGAC 单动作延迟仅为 61–75 \(\mu\mathrm{s}\)（NFE=1），而 20 步扩散基线 DACER 高达 400–414 \(\mu\mathrm{s}\)（慢 5.5–6.6 倍），一阶连续正态化流模型（Normalizing Flow）为 97–129 \(\mu\mathrm{s}\)。 - 训练用时：在 Google Cloud TPU v6e 硬件上完成 H1 Hurdle 33M 步训练，SoftGAC 仅耗时 6.0 小时；DACER 耗时 7.6 小时，SDAC 耗时 9.3 小时，而依赖大量蒙特卡洛采样的 MaxEntDP 则高达 24.9 小时。
关键发现¶
- 多模态表征能力验证：利用 Hartigan's Dip 检验分析高维状态下的动作采样，SoftGAC 在 H1 Hurdle 上检测到 53.8% 的状态呈现显著的投影多模态特征，在 H1 Run 上检测到 18.6%，而高斯 SAC 均为 0.0%，证实了软桥策略成功捕获了高维动态环境中的非单峰控制分布。
- 深度与预算正交性：在保持总控制能量预算恒定的前提下，将桥深度 \(K\) 从 4 变动至 8，Dog Run 上的回报始终稳定在 704–755 区间，证明算法对步数超参具有优异的宽容度，无需依赖复杂的深度调度。
亮点与洞察¶
- 将最大熵提升至路径空间：巧妙利用 Radon-Nikodym 导数的相对熵链式分解，将不可解的边缘动作概率密度严谨转化为局部转移测度的闭式积分，消除了强化学习结合生成式模型必须依赖熵下界或经验估计的传统宿命。
- 结构等价于有限前馈网的随机桥：摒弃了共享权重的迭代扩散循环架构，通过串联 \(K\) 个微型 MLP 构造非自回归的残差高斯 Markov 链，既拥有类似薛定谔桥的多阶段形变能力，又保全了单次前向（One-Pass）与零 BPTT 的极致计算效率。
- 可解释的控制能量预算：从高维 pre-tanh 饱和位移理论推导单维控制预算标度 \(\mathcal{C}_{\mathrm{target}} = \rho_{\mathrm{ctrl}} K d_a\)，建立了动作边界空间位移与信息论相对熵之间的几何物理关联，赋予了超参数明确的物理涵义。
局限与展望¶
- 状态空间局限：目前验证仅局限在仿真环境下的低维状态向量连续控制任务中，尚未扩展至基于高维视觉图像观察（Pixel-based Control）或真实机器人硬件平台。
- 网络缩放潜力：当前的桥模块采用浅层 MLP，未来可探索更深、更宽的残差 Transformer 或状态空间模型（SSM）桥架构，并与世界模型（World Models）做进一步深度融合。