Absolute State-wise Constrained Policy Optimization: High-Probability State-wise Constraints Satisfaction¶

会议: NeurIPS 2024 / 2026
arXiv: 2410.01212
代码: https://github.com/intelligent-control-lab/Absolute-State-wise-Constrained-Policy-Optimization
领域: 强化学习
关键词: 安全强化学习, 状态级约束, 高概率约束满足, 置信域策略优化, 极大马尔可夫决策过程

一句话总结¶

针对传统安全强化学习仅约束期望成本无法排除长尾违规风险的难题，本文提出绝对状态级约束策略优化（ASCPO），首次在无已知系统动力学假设的模型无关设定下，通过推导轨迹最大状态成本期望与方差的紧致代数上界，实现了高概率保证的状态级安全约束满足。

研究背景与动机¶

在自动驾驶、无人机越障和灵巧机械臂操作等真实机器人控制场景中，安全强化学习必须保证智能体在与环境交互的每一个时间步均不触碰危险边界。然而，传统安全强化学习范式大多建立在受约束马尔可夫决策过程（CMDP）之上，仅能对整条轨迹的累积折扣成本进行全局约束，容易导致智能体在单步发生致命违规却通过后续步数的零成本来“拉低均值”。近年来，状态级约束马尔可夫决策过程（SCMDP）虽然通过极大马尔可夫决策过程（MMDP）对轨迹上的最大状态成本施加了约束（例如 SCPO），但其形式本质上仍局限于“期望违规成本不超过阈值”。

这种仅在期望层面上进行约束的做法存在致命痛点：在随机转移环境中，状态转移与环境扰动具有内在不确定性，轨迹上的最大状态级成本是一个服从未知分布的连续随机变量。当违规成本分布存在长尾效应或方差过大时，即使期望成本被压制在极低水平，单次运行中发生灾难性安全违规的概率仍然不可忽视。现有试图提供高概率乃至绝对安全保证的探索方案，往往深度依赖严格的物理先验（如精确解析动力学、已知控制李雅普诺夫/障碍函数或 Lipschitz 常数界），而这在高度非线性且未知的接触动力学复杂场景中往往不切实际。

本文的切入角度是：虽然在模型无关（Model-Free）黑盒环境中很难实现 100% 毫无违规的刚性绝对安全，但完全可以借助统计极限定理与方差上界推导，在不引入强动力学先验的前提下为状态级约束构建高置信度概率边界。核心 idea：将轨迹最大状态成本的方差解耦为初始状态期望方差与期望状态间方差两部分，推导两者关于策略更新的紧致非折扣代数上界，进而建立绝对状态级约束置信域优化框架，以用户可配置的高概率上界严格约束单步最大违规。

方法详解¶

整体框架¶

ASCPO 的核心管线围绕“极大状态级成本的高概率上界约束与置信域优化”展开。首先，算法将原有时步级瞬时安全约束转化为对整条轨迹上最大瞬时成本的控制，并引入状态增广构建极大马尔可夫决策过程（MMDP）；随后，基于 Selberg 不等式将未知分布的高概率安全约束转化为“期望 + 方差”的联合约束形式，并将总方差严谨解耦为 MeanVariance（不同起始状态下的期望方差）与 VarianceMean（不同起始状态平均值的方差）；接着，推导出二者在策略偏移下的紧致代理上界函数，将其转化为凸二次规划子问题，通过带回溯线搜索与单调递减损失约束进行稳定更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境交互与轨迹采样<br/>增广状态 (s, M) 轨迹序列"] --> B["基于 MMDP 的最大状态成本转化<br/>计算瞬时增量 Di 与累积最大值"]
    B --> C["高概率边界方差解耦<br/>将方差拆解为 MV 与 VM 两大分支"]
    C --> D["策略更新代理函数构建<br/>期望上界 + MV/VM 变分非折扣紧致上界"]
    D --> E["置信域凸规划与单步求解<br/>KL 散度约束 + 回溯线搜索 + 违规恢复"]
    E --> F["单调递减价值目标拟合<br/>L_tau 阶梯函数单调惩罚训练 Critic"]
    F --> A

关键设计¶

1. 基于 MMDP 与 Selberg 不等式的高概率约束转化 直接在每个时间步 $t$ 对约束 $C_i(s_t, a_t, s_{t+1}) \le w_i$ 施加限制会导致约束数量随轨迹长度 $H$ 呈三次方式爆炸。为此，算法引入历史最大成本 $M_{it} = \max_{k < t} C_i(s_k, a_k, s_{k+1})$，构建增广状态 $\hat{s} = (s, \mathbf{M})$ 与非负单步增量 $D_i(\hat{s}_t, a_t, \hat{s}_{t+1}) = \max\{C_i(s_t, a_t, s_{t+1}) - M_{it}, 0\}$，使得整条轨迹的最大成本可等价表示为非折扣增量累加 $\mathcal{D}_{i\pi}(\hat{s}_0) = \sum_{t=0}^H D_i(\hat{s}_t, a_t, \hat{s}_{t+1})$。由于 $\mathcal{D}_{i\pi}$ 具有未知的连续随机分布，算法借助 Selberg 不等式证明：对于任意 $k \ge 0$，以高置信度 $p_k^\psi = 1 - \frac{1}{k^2 \psi + 1}$ 成立的概率上界为 $\mathcal{B}_{[D_i]k}(\pi) \doteq \mathcal{E}_{[D_i]}(\pi) + k \mathcal{V}_{[D_i]}(\pi) \le w_i$，其中 $\mathcal{E}$ 和 $\mathcal{V}$ 分别为最大成本的均值与方差。

2. 方差解耦为 MeanVariance 与 VarianceMean 及其代数紧致上界 为了在策略参数更新时对未知的下一轮策略方差 $\mathcal{V}_{[D_i]}(\pi')$ 施加约束，算法将方差分解为关于混合分布的两项： $$ \mathcal{V}(\pi) = \underbrace{\mathbb{E}{\hat{s}0 \sim \mu}\left[\mathbb{V}ar} \sim \pi}\left[\mathcal{R\pi^H(\hat{s}0)\right]\right]}}} + \underbrace{\mathbb{V}ar_{\hat{s0 \sim \mu}\left[V\pi^H(\hat{s}0)\right]} $$ 其中 MV 反映了固定起始状态下轨迹间波动的平均方差，VM 反映了不同起始状态之间平均收益的跨状态方差。算法运用马尔可夫链方差转移矩阵理论，将有限步 MDP 的方差表达与策略散度分析结合，建立了二者的紧致上界。通过令折现因子 }$\gamma \to 1^-$，将带有折扣的边界推广至非折扣有限时域环境，推导出了完全由当前策略 $\pi_j$ 的采样优势函数 $A_{[D_i]\pi_j}^H$、方差向量 $\bm{\Omega}_{[D_i]\pi_j}^h$ 和重要性采样比 $\xi_j = \frac{\pi(a|\hat{s})}{\pi_j(a|\hat{s})}$ 构成的代理上界函数 $\overline{MV}_{[D_i]\pi, \pi_j}$ 与 $\overline{VM}_{[D_i]\pi, \pi_j}$。

3. 置信域对偶优化与不可行恢复机制 理论上的非线性边界若直接代入参数更新会导致步长过小。ASCPO 采用置信域形式约束策略之间的平均 KL 散度 $\mathbb{E}_{\hat{s}\sim\bar{d}_{\pi_j}}[\mathcal{D}_{KL}(\pi\|\pi_j)] \le \delta$，并在一阶泰勒展开与二次 Hessian 逼近下将优化目标及高概率安全约束转化为标准的二次凸规划。当采样误差导致凸规划无可行解（约束被破坏）时，算法启动自适应恢复更新（Recovery Update）：暂时放弃奖励提升目标，转而在置信域内全力最小化高概率约束违规值；更新后再通过带有安全容限的回溯线搜索（Backtracking Line Search），确保新策略严格满足理论安全包络。

4. 增广价值函数拟合的单调递减损失约束 在 MMDP 框架下，增广状态价值函数 $V_{[D_i]\pi}(\hat{s})$ 代表未来状态超越当前历史最大值的最大额外增量。该目标值沿单条轨迹具有显著的零偏度（Zero-skewness）与单调不增特性，呈现台阶状分布。标准 MSE 损失容易产生振荡拟合误差，导致优势估计极不稳定。为此，ASCPO 在价值网络训练中引入专门的单调不增罚项： $$ \mathcal{L}\tau(y, \hat{y}) = \frac{1}{n} \sum}^n (y_i - \hat{yi)^2 + w \cdot \sum - y_i)\right)^2 $$ 对预测序列中任何出现反向递增的违反行为施加平方惩罚，显著提升了最大成本优势函数的拟合精度与策略更新方向的稳定性。}^{n-1} \left(\max(0, y_{i+1

损失函数 / 训练策略¶

算法使用两层隐藏层（每层 64 节点，tanh 激活函数）的多层感知机参数化高斯策略网络 $\pi_\theta$ 及双价值网络（奖励价值网络与成本增量价值网络）。策略更新在置信域步长 $\delta=0.01$ 下求解对偶凸二次规划；当扩展至近端策略优化版本（PASCPO）时，采用 PPO 的 Clipped Surrogate Objective 结合自适应拉格朗日乘子法进行一阶梯度联合优化。

实验关键数据¶

主实验¶

论文在先进安全强化学习基准 GUARD（基于 Safety Gym 扩展的高难度连续控制套件）上，涵盖 7 种机器人（Point, Swimmer, Arm3, Drone, Humanoid, Ant, Walker）和 4 类空间障碍约束（Hazard, 3D Hazard, Pillar, Ghost）共 19 个评测套件，统一施加硬约束目标（成本阈值设为 0）。对比基线涵盖 TRPO、CMDP 方法（CPO, PCPO, TRPO-Lagrangian, TRPO-FAC, TRPO-IPO）、SCMDP 方法（SCPO）、分层安全投影方法（TRPO-SL, TRPO-USL）及风险敏感方法（TRPO-CVaR, CPO-CVaR）。

下表展示了四种代表性复杂动力学机器人任务收敛轮次下的最终表现（$\bar{J}_r$ 为平均轨迹奖励，$\bar{M}_c$ 为单回合累积成本，$\bar{\rho}_c$ 为全流程平均瞬时状态级违规率）：

环境	算法	平均奖励 $\bar{J}_r \uparrow$	回合成本 $\bar{M}_c \downarrow$	瞬时违规率 $\bar{\rho}_c \downarrow$
Humanoid-8-Hazard (高维双足)	TRPO (无约束)	2.2280	1.0687	0.0136
	TRPO-Lagrangian	2.2478	0.3002	0.0064
	CPO	2.2449	0.5486	0.0084
	SCPO	2.2536	0.3354	0.0100
	ASCPO (本文)	2.2777	0.2658	0.0075
Ant-8-Hazard (高维四足)	TRPO (无约束)	2.4243	0.4039	0.0094
	TRPO-Lagrangian	2.4266	0.3640	0.0084
	CPO	2.4364	0.3279	0.0082
	SCPO	2.4244	0.2980	0.0082
	ASCPO (本文)	2.4207	0.2010	0.0070
Walker-8-Hazard (10维双足)	TRPO (无约束)	2.3856	0.4224	0.0098
	TRPO-Lagrangian	2.4049	0.3227	0.0083
	CPO	2.4429	0.3221	0.0082
	SCPO	2.4173	0.2761	0.0077
	ASCPO (本文)	2.4090	0.1936	0.0064
Point-8-Hazard (低维多障碍)	TRPO (无约束)	2.4603	0.6222	0.0073
	TRPO-Lagrangian	2.4067	0.4531	0.0064
	CPO	2.4412	0.1961	0.0036
	SCPO	2.3666	0.0919	0.0016
	ASCPO (本文)	2.4785	0.0413	0.0013

消融实验与分析¶

在 Point-Ghost、Swimmer-Hazard 等多个测试套件下，论文针对不同约束类型及算法机制进行了深度分析：

评估配置 / 任务	算法配置	回合奖励 $\bar{J}_r$	回合成本 $\bar{M}_c$	瞬时违规率 $\bar{\rho}_c$	说明
Swimmer-1-Hazard	TRPO	2.4834	0.0908	0.0013	无安全约束基线
	CPO	2.4484	0.0907	0.0011	CMDP 全局累积约束
	SCPO	2.3924	0.0885	0.0011	SCMDP 期望单步约束
	ASCPO	2.4531	0.0000	0.0002	成功实现零违规高置信控制
Point-4-Ghost	TRPO-FAC	2.4002	0.1206	0.0022	一阶可行方向近似
	SCPO	2.2944	0.0377	0.0009	奖励显著下降
	ASCPO	2.4503	0.0262	0.0006	保持高奖励的同时违规减半
单调递减损失消融	ASCPO w/o $\mathcal{L}_\tau$	-	显著上升	显著上升	缺乏单调惩罚时 Critic 阶梯拟合失真
	ASCPO w/ $\mathcal{L}_\tau$	-	快速收敛	接近于 0	准确约束非递增边界，加速收敛

关键发现¶

对极大成本分布全包络的控制力：在 Swimmer-1-Hazard 和 Point-8-Hazard 实验中，SCPO 虽然均值较低，但在分布箱线图上仍存在大量离群极端违规点；ASCPO 则将整个箱线图的上下界和极值完全压制在安全线以内，证实了高概率方差约束的必要性。
综合评价值（Synthesized Score $\psi$）遥遥领先：在整合奖励倍率与违规压制幅度的综合评分体系中，ASCPO 在全部 19 项任务上取得了断层式领先（Cliff-leading），相比 TRPO 实现了双重增益。
计算开销极低：ASCPO 相比 CPO 和 SCPO 在 CPU/GPU 内存与物理耗时上的增幅均小于 1%，且 PASCPO 扩展方案证明该数学上界可以直接迁移至工业界广泛应用的 PPO 框架中。

亮点与洞察¶

无模型假设下的高概率安全突破：打破了过去必须依赖控制障碍函数（CBF）、解析动力学先验或 Lipschitz 界才能做高概率状态约束的理论壁垒，首次将置信域策略优化拓展至高阶矩统计安全保证。
方差跨维度的 MV/VM 双重解耦技巧：将整条轨迹的多维不确定性精妙拆解为“条件方差均值”和“均值方差”，使极其复杂的随机非马尔可夫最大值方差得以在有限步 MDP 框架下严谨推导非折扣代数上界。
针对台阶价值函数的单调正则化设计：精准捕捉了 MMDP 状态增广下未来最大增量单调非增的物理特征，通过极其简明的单向违规惩罚损失 $\mathcal{L}_\tau$ 解决了 Critic 网络在拟合非平滑极值时的剧烈数值震荡。

局限与展望¶

超参数敏感度与保守性权衡：置信参数 $k$ 的选取直接决定了方差惩罚的强度；当 $k$ 过大时，虽然安全置信度趋近于 1，但容易引发严重的保守主义倾向，在窄道或障碍密集环境中可能导致智能体寸步难行。
连续状态空间的极值近似：理论上界中涉及对全状态空间的上确界 $\max_{\hat{s}}$ 计算，在工程落地时只能退化为批量样本均值近似，在极端未探索样本区域理论安全保证存在退化风险。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立无已知动力学假设下的高概率状态级安全策略优化理论。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 7 种机器人、4 类约束共 19 组任务，基线对比详实且包含硬件开销和分布统计分析。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密清晰，从 Selberg 不等式到方差分解逻辑链条严丝合缝。
价值: ⭐⭐⭐⭐⭐ 为安全关键型具身智能体和自动驾驶控制提供了一套可落地的端到端高安全强化学习工具。