Utility-Constrained Policy Optimization¶
会议: NeurIPS 2026
arXiv: 2606.14029
OpenReview: https://openreview.net/forum?id=bNRLgYY6QD
论文: https://arxiv.org/abs/2606.14029
代码: https://github.com/MehrdadMoghimi/UCP
领域: 其他
关键词: 安全强化学习、效用约束MDP、分布式强化学习、状态增广、拉格朗日优化
一句话总结¶
针对传统受约束MDP仅在期望层面满足安全约束而容易放任偶发灾难性违规的缺陷，本文提出了效用约束策略优化（UCP），通过未折扣存量增广将历史代价内化为马尔可夫状态，结合分位数回归Critic与初始预算随机化，实现了抑制极端越界尾部风险且无需重新训练即可动态适配任意安全预算的强力智能体。
研究背景与动机¶
构建面向复杂物理世界的目标导向智能体时，将安全准则与物理约束整合进强化学习至关重要。长期以来，受约束马尔可夫决策过程（CMDP）是安全强化学习的标准数学基石，其通过限制折扣累积代价的数学期望来施加安全约束。然而，期望约束天然具有“风险中性”（risk-neutral）的内在缺陷：算法在数学上完全允许将极其罕见的灾难性越界与频繁的极度保守行为混合，只要整体平均代价不超标就被判定为全局最优解。这导致在自动驾驶、具身导航等高危场景中，经过验证的最优策略仍可能在特定长尾轨迹中产生致命事故；同时，传统CMDP在训练之初必须预先硬编码固定的安全预算阈值，一旦部署环境的合规要求发生细微调整，整个策略网络就必须推倒重训，极大地限制了实际工程部署的灵活性。
针对这一本质瓶颈，Kadota等学者早在理论上提出了效用约束MDP（UCMDP），允许在目标函数与约束项中引入非线性的风险敏感效用函数。然而，UCMDP长期停留在理论推演阶段，其最优策略严格依赖全历史观测，在马尔可夫决策框架下通常不可求解且深度模型难以收敛。后续诸多前沿工作虽尝试通过状态增广、提前终止（Early Termination）或安全边界奖励塑形来缓解风险中性问题，但往往粗暴地将越界惩罚内嵌为单步阶跃惩罚，不仅破坏了动态规划价值函数的连续性与学习稳定性，还使任务奖励与安全信号紧密耦合。
本文切入这一长期悬而未决的难题，借助近期分布式动态规划与存量增广（Stock Augmentation）理论的突破，重新审视并改造了UCMDP的底层公式体系。核心 idea：将未折扣的历史累计代价作为显式存量增广进马尔可夫状态，利用分位数回归分布式Critic精确拟合全轨迹代价分布，并在拉格朗日对偶更新中以分段线性超额效用函数惩罚越界尾部，同时在训练期随机采样初始存量实现免重新训练的跨预算灵活泛化。
方法详解¶
整体框架¶
UCP采用拉格朗日对偶的Actor-Critic框架，将带有非线性效用约束的强化学习问题转化为无约束的效用优化（Utility Optimization, UO）。整个算法系统由环境交互与存量更新、分布式Twin-Critic评估、拉格朗日乘子自适应调节以及基于效用梯度的策略改进四大核心模块协同构成。在每轮交互中，环境状态与当前剩余预算存量被打包送入策略网络；分布式Critic利用分位数回归独立拟合多步累积奖励与累积代价的分位数分布；策略网络则直接最大化结合了拉格朗日惩罚的未来效用分布期望。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["初始状态与随机初始存量采样<br/>S₀, Z₀ ~ Uniform([z_min, z_max])"] --> B["未折扣历史存量状态增广<br/>Z_{t+1} = Z_t + (R_{t+1}, C_{t+1})"]
B --> C["分位数回归分布式双Critic评估<br/>分别输出任务回报与代价分位数"]
C --> D["离散化拉格朗日乘子自适应更新<br/>λ(z₀) 基于完整轨迹越界效用调节"]
D --> E["基于期望效用梯度的策略更新<br/>最大化 U - λ U^c / (1+λ)"]
E -->|环境单步转移输出| B关键设计¶
1. 未折扣存量增广：将历史依赖转化为易于求解的增广马尔可夫状态 传统UCMDP的理论最优解依赖完整历史轨迹，导致标准强化学习无法直接求解。为克服这一阻碍，本文引入存量变量 \(Z_t \in \mathbb{R}^2\)（对应奖励与代价两维累积量），将智能体的观测状态扩展为增广状态对 \((S_t, Z_t)\)。与既有理论文献通常采用的逆折扣存量更新 \(Z_{t+1} = \gamma^{-1}(Z_t + R_{t+1})\) 不同，本文提出采用完全不打折的线性累加更新机制： $\(Z_{t+1} = Z_t + (R_{t+1}, C_{t+1})\)$ 这一设计针对了此前逆折扣存量在长轨迹中指数级放大早期代价、导致增广状态空间剧烈膨胀进而引起Critic拟合发散的严重缺陷；同时，真实评测基准所关心的正是单幕未折扣累积时代价值，使未折扣存量直接充当了“剩余可用预算”的物理计数器，保证了策略在任意时间步都能准确感知当前消耗状态。
2. 初始存量随机化：实现单次训练后的跨预算自由泛化 在安全关键任务中，固定预算约束使得传统策略仅能在单一阈值下工作。在UCP构建的问题中，初始代价存量 \(Z_{0,2} = -b\) 严格对应于允许的代价上限 \(b\)。本文在训练启动每幕交互时，直接从预设的合理区间中均匀随机采样初始存量 \(z_0 \sim \text{Uniform}(\{z_{\min}, \dots, z_{\max}\})\)。由于策略网络 \(\pi_\theta(a \mid s, z)\) 将当前存量作为显式输入，且拉格朗日乘子网络针对不同初始存量切片分别学习对偶变量，智能体能够在全状态空间中学会应对从极其苛刻（\(b=0\)）到宽松充裕（\(b=25\)）的各类连续预算场景。测试阶段只需改变输入的 \(z_0\)，无需重训即可动态滑动在帕累托最优前沿上。
3. 分位数分布式Critic：保留全轨迹概率质量以精确捕捉越界风险 为施加风险敏感的非线性效用约束（例如仅惩罚超出预算部分的铰链函数 \(g(x) = (x)_+\)），仅依赖传统标量Critic输出的单点期望值在数学上无法计算期望效用 \(\mathbb{E}[g(Z_0 + G_0)]\)。UCP引入基于分位数回归的分布式Critic，通过 \(N\) 个均匀分位数水平 \(\tau_i = \frac{2i-1}{2N}\) 拟合累积回报与累积代价的完整累积分布函数： $\(\mathcal{L}_C(\phi) = \frac{1}{BN^2} \sum_{i=1}^B \sum_{j=1}^N \sum_{m=1}^N \rho_{\tau_j} \left( \mathcal{Y}_{i,m}^c - Z_\phi^c(s_i, z_i, a_i)_{\tau_j} \right)\)$ 其中 \(\rho_\tau(\delta) = |\delta| \cdot |\tau - \mathbf{1}_{\{\delta < 0\}}|\) 为分位数Huber损失。通过将独立的双Q任务回报Critic与单Q代价Critic解耦，完全避免了传统Sauté RL将非线性惩罚注入单步环境奖励带来的值函数边界不连续与跳跃问题，使梯度更新平滑且对偶调节保持正交。
4. 离散化拉格朗日乘子自适应更新：基于轨迹超额效用精确平衡对偶间隙 为了针对不同的输入预算 \(z_0\) 施加精准的对偶约束，UCP在区间 \([z_{\min}, z_{\max}]\) 上维护 \(K\) 个离散化的拉格朗日乘子组 \(\{\lambda_k\}_{k=1}^K\)。在每幕轨迹结束时，收集完整的未折扣总代价 \(G_0^c\)，基于带容差 \(\varepsilon > 0\) 的非线性效用违规量执行自适应修正： $\(\lambda_{k(z_{0,2})} \leftarrow \left( \lambda_{k(z_{0,2})} + \eta_\lambda \left( g(z_{0,2} + G_0^c) - \varepsilon \right) \right)_+\)$ 引入容差参数 \(\varepsilon\) 保证了当策略严格满足安全性要求时乘子能够平滑回退，防止乘子持续累加导致策略过度保守瘫痪；随后策略网络根据归一化损失更新参数： $\(\mathcal{L}_\pi(\theta) = \frac{1}{B} \sum_{i=1}^B \frac{-U(s_i, z_i, \tilde{a}_i) + \mathcal{L}_{\text{reg},i} + \lambda_{k(z_{0,i})} U^c(s_i, z_i, \tilde{a}_i)}{1 + \lambda_{k(z_{0,i})}}\)$ 归一化分母 \(1 + \lambda\) 巧妙消除了乘子剧烈振荡对策略梯度的幅值冲击，显著提升了Actor更新的数值鲁棒性。
损失函数 / 训练策略¶
整个算法联合优化三组目标：任务回报双Critic网络 \(\psi\) 最小化分位数回归损失 \(\mathcal{L}_Q^{(1)} + \mathcal{L}_Q^{(2)}\)；代价Critic网络 \(\phi\) 最小化代价分位数回归损失 \(\mathcal{L}_C(\phi)\)；策略网络 \(\theta\) 借助重参数化采样连续动作并最小化加权归一化效用损失 \(\mathcal{L}_\pi(\theta)\)，辅以高斯均值和对数方差的正则项 \(\mathcal{L}_{\text{reg}}\)。所有目标网络均采用Polyak平滑指数移动平均更新。
实验关键数据¶
主实验¶
在严格遵循官方未修改环境配置的Safety Gymnasium标准基准（包含Velocity速度控制与Navigation密集障碍导航两大任务族）上，UCP与OmniSafe复现的一线基线方法（PPOLag、PPOSaute、PPO-ET、SACLag、SACPID、TD3Lag、TD3PID）进行了系统对比。所有实验统计均基于5个随机种子、每种子独立评测1000幕计算95%置信区间，统一设定评估成本上限为25。
| 任务环境 | 算法 | 累积回报 (Return ↑) | 累积代价 (Cost ↓) | 约束满足判定 (Cost ≤ 25) |
|---|---|---|---|---|
| Velocity-Ant | UCP (本文) | 3289.6 ± 104.5 | 0.9 ± 1.1 | PASS (极低代价) |
| Velocity-Ant | PPOLag | 3166.8 ± 88.6 | 27.9 ± 3.7 | FAIL (超标) |
| Velocity-Ant | PPOSaute | 2711.2 ± 84.6 | 17.5 ± 0.4 | PASS |
| Velocity-Ant | SACPID | 2756.7 ± 182.1 | 3.7 ± 2.3 | PASS |
| Velocity-Swimmer | UCP (本文) | 169.4 ± 4.1 | 24.1 ± 0.2 | PASS |
| Velocity-Swimmer | PPOSaute | 111.6 ± 72.4 | 12.5 ± 6.7 | PASS |
| Velocity-Swimmer | PPOLag | 82.2 ± 28.3 | 27.6 ± 2.9 | FAIL (超标) |
| Navigation-PointGoal1 | UCP (本文) | 25.4 ± 0.7 | 12.0 ± 0.6 | PASS |
| Navigation-PointGoal1 | TD3Lag | 20.9 ± 2.3 | 29.8 ± 6.5 | FAIL (超标) |
| Navigation-PointGoal1 | SACPID | 20.2 ± 4.1 | 29.6 ± 8.7 | FAIL (超标) |
| Navigation-PointGoal1 | PPOLag | 16.0 ± 1.6 | 21.1 ± 2.4 | PASS |
| Navigation-PointGoal2 | UCP (本文) | 10.2 ± 0.7 | 15.4 ± 1.3 | PASS |
| Navigation-PointGoal2 | PPO-ET | 6.9 ± 0.2 | 25.2 ± 0.2 | PASS (边界) |
| Navigation-PointGoal2 | TD3Lag | 2.5 ± 1.4 | 38.5 ± 16.4 | FAIL (严重超标) |
| Navigation-PointButton1 | UCP (本文) | 13.4 ± 0.6 | 15.7 ± 1.9 | PASS |
| Navigation-PointButton1 | PPO-ET | 10.6 ± 0.3 | 24.4 ± 0.1 | PASS |
| Navigation-PointButton1 | SACLag | 10.3 ± 2.7 | 23.9 ± 3.1 | PASS |
消融实验¶
在CarGoal1环境中，针对效用形式（风险敏感超额效用 \((x)_+\) 对比期望均值效用 \(x\)）、存量增广（有/无）、初始存量随机化（有/无）以及存量贴现方式（未折扣对比逆折扣）进行了细粒度正交消融，系统评估在测试预算为25下的尾部越界风险与跨预算适应表现：
| 消融配置 | 效用函数 \(g(x)\) | 存量增广 | 存量随机化 | 评估回报 (Return) | 评估代价 (Cost) | 条件超额期望代价 (Cond. Cost) | 越界发生频率 (Freq > Budget) |
|---|---|---|---|---|---|---|---|
| UCP (完整模型) | \((x_2)_+\) | ✓ | ✓ | 33.3 ± 0.2 | 11.0 ± 0.3 | 31.4 | 9.4% |
| UCP-Mean (风险中性) | \(x_2\) | ✓ | ✓ | 34.0 ± 0.1 | 24.4 ± 0.6 | 46.0 | 36.4% |
| UCP-NR (无随机化) | \((x_2)_+\) | ✓ | × | 30.1 ± 0.2 | 2.9 ± 0.2 | 33.3 | 0.7% |
| UCP-NR-Mean | \(x_2\) | ✓ | × | 36.8 ± 0.1 | 21.1 ± 0.8 | 53.6 | 32.6% |
| UCP-NA (无增广基线) | \(x_2\) | × | × | 36.7 ± 0.1 | 19.2 ± 0.6 | 48.1 | 29.2% |
| UCP-DS (逆折扣存量) | \((x_2)_+\) | ✓ | ✓ | 性能严重崩溃 (发散) | 严重超标 | 未收敛 | >80% |
关键发现¶
- 风险敏感效用能断崖式削减越界概率与超额烈度：对比UCP与UCP-Mean，将约束从期望代价转为截断超额效用后，越界概率从36.4%暴跌至9.4%，条件超额代价从46.0收敛至31.4，且回报仅有轻微边际折损（33.3 vs 34.0）。
- 初始存量随机化带来强大的泛化与探索红利：UCP在单次训练后无需微调即可无缝运行在0、5、15、25等任意预算下；对比专为各预算单独训练的UCP-NR，随机化引入的状态多样性使UCP学到了更具鲁棒性的避障控制，在更紧凑的探索中获得了显著更高的任务回报。
- 未折扣存量是数值稳定性的关键分水岭：逆折扣存量UCP-DS在长时间步下由于 \(\gamma^{-t}\) 的几何级数发散，导致Critic目标崩溃；而未折扣存量不仅稳定收敛，且在零预算苛刻场景下依然保持了极佳的避障约束能力。
亮点与洞察¶
- 将安全约束转化为马尔可夫状态特征：以往方法将安全预算视为外生的静态惩罚系数，UCP将其直接内化为状态变量 \(z_t\)，使策略天然具备了感知“剩余生命值/额度”并随之切换行为模式的能力。
- 解耦任务与代价的分布式评估：放弃了传统Sauté RL在单步奖励中打补丁的启发式trick，通过Quantile Regression在末端策略损失层实施效用变换，既维护了Critic价值函数的平滑性，又彻底斩断了多信号相互污染。
- 单模型服务全预算工况的工程范式：在工业与具身机器人落地中，不再需要为每个客户或法规等级分别维护独立模型，通过测试时动态调节 \(Z_0\) 即可自由拉满安全或追求极致能效。
局限与展望¶
- 理论收敛性证明尚存空白：作者坦承本工作主要源于算法直觉与实证验证，对于非凸神经网络拟合下未折扣存量增广UCMDP的拉格朗日鞍点收敛性与对偶间隙尚未给出严谨的数学理论界限。
- 离散乘子维护与维度可扩展性：当前将连续初始存量离散化为 \(K\) 个组分别更新拉格朗日乘子，当安全约束从标量扩展到高维多元约束向量时，离散乘子表将面临维度灾难，后续需探索连续乘子参数化网络。
相关工作与启发¶
- vs Sauté RL (Sootla et al., 2022b)：Sauté RL在越界时直接施加阶跃式平坦常量巨额惩罚 \(-n\)，导致值函数在边界处出现严重跳跃且无法度量越界严重程度；UCP保持原始奖励信号不变，在分布层面通过凸超额效用平滑约束，兼具风险敏感度与梯度可导性。
- vs Jiang et al. (AAAI 2024)：Jiang等人的方法将历史累积全部折算入违规发生时的单步阶跃惩罚，存在严重的即时奖励断裂；UCP借助分布式Critic精准估算全轨迹分位数分布，彻底规避了单步奖励工程。
- vs CMDP拉格朗日法 (Ray et al., 2019)：传统PPOLag/SACLag仅在期望意义下满足约束，尾部频繁越过安全红线；UCP通过效用函数截断将尾部概率与严重度压制到极低水平。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 成功打通了长期停留在理论推演阶段的UCMDP实用化路径，构思精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖Velocity与Navigation全部22个子环境，5种子1000幕评估，消融实验严谨详实。
- 写作质量: ⭐⭐⭐⭐⭐ 概念动机阐述层层递进，伪代码与实验变量定义清晰完备。
- 价值: ⭐⭐⭐⭐⭐ 为安全强化学习提供了免重训泛化与尾部风险控制的全新通用范式。