Sampling-Based Safe Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2605.19469
OpenReview: https://openreview.net/forum?id=nGAaqOxzHK
领域: 强化学习
关键词: 安全强化学习、基于模型的强化学习、高斯过程、认知不确定性、主动探索

一句话总结¶

提出基于采样的安全强化学习算法（SBSRL），通过在有限动力学样本上联合强化紧缩约束来保证训练全过程的高概率安全性，并提出认知不确定性下界约束机制，实现了无需人工调节探索奖赏的主动安全探索与有限样本近优收敛。

研究背景与动机¶

在真实物理系统（如机器人运动与自动驾驶）中部署强化学习，始终面临样本利用效率与全流程安全探索这两大核心瓶颈。标准无模型强化学习需要成千上万次环境交互试错，而在未知系统动力学下，每一次动作尝试本质上都是一次带有未知后果的探险，极易引发不可逆的灾难性损耗或硬件破坏。受约束马尔可夫决策过程（CMDP）为此类问题提供了严谨的数学框架，但多数算法仅能保证策略在收敛时满足期望代价约束，而在漫长的在线训练过程中频繁发生越界违规。

现有的安全基于模型的强化学习（Safe MBRL）通常利用高斯过程（GP）或深度集成显式建模系统转移不确定性。然而，这类方法普遍陷入两难困境：在安全端，为了在未完全校准的模型下提供理论安全保证，现有工作往往针对最坏情况不确定性椭球做悲观约束收紧，导致可行策略集极度萎缩，产生难以克服的过度保守性；在探索端，主流算法多采用内在奖赏（Intrinsic Curiosity / Uncertainty Bonus）来刺激智能体访问高方差区域，但此类加权项对超参数极为敏感，稍有偏差就会引发无关探索或过早停滞，甚至破坏已经收敛的安全裕度。

针对上述矛盾，本文提出了一种全新视角：与其显式求解不可计算的连续最坏情况动力学鲁棒优化，不如借助小球概率理论将不确定性支撑集离散化为一组有限函数样本，通过联合满足采样动力学的收紧约束来换取真值系统的高概率安全；同时，将探索要求从目标函数中剥离，转变为对认知不确定性累积量的硬性阈值约束。核心 idea：通过在有限组 GP 动力学样本上联合施加紧缩代价约束保证全流程安全，并以认知不确定性下界约束驱动按需探索，实现无需探索奖赏调参的近优安全收敛。

方法详解¶

整体框架¶

SBSRL 面向离散时间有限时域受约束 MDP（时域为 \(T\)），环境转移包含未知真实函数 \(f^\star\) 与高斯过程噪声 \(w_t \sim \mathcal{N}(0, \sigma_w^2 I)\)。算法整体遵循“模型先验采样 \(\to\) 在线置信区间截断 \(\to\) 双重约束策略求解 \(\to\) 环境交互与模型更新”的闭环迭代。

在初始化阶段，算法根据再生核希尔伯特空间（RKHS）范数界 \(B\) 与目标置信度 \(\delta\) 从先验高斯过程 \(\mathcal{GP}(\mu, k)\) 中抽取 \(M\) 个确定性动力学函数样本。在每个训练回合 \(n\)，算法利用历史数据更新高斯过程后验均值与方差，并将 \(M\) 个动力学样本严格截断在各阶段 GP 后验置信椭球之内；随后求解策略优化问题：在标称均值动力学下最大化期望累积回报，同时要求策略在所有 \(M\) 个截断样本上的期望代价均低于紧缩阈值 \(d - \Delta_\zeta\)，且在标称动力学下的累积认知不确定性不低于设定下限 \(d_\sigma^n\)。当探索约束因全状态空间不确定性充分下降而不再可行时，算法自动触发终止，输出贪引策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始 GP 先验与先验安全策略"] --> B["动力学样本抽取<br/>小球概率保证近邻样本存在"]
    B --> C["置信区间自适应截断<br/>限制样本在后验包络内"]
    C --> D["双约束策略优化<br/>联合安全约束 + 认知不确定性探索约束"]
    D --> E{"探索约束是否可行"}
    E -->|可行| F["真实环境轨迹交互<br/>执行采样策略并记录数据"]
    F --> G["后验模型更新<br/>递增重算 GP 均值与方差"]
    G --> C
    E -->|不可行| H["安全近优策略输出<br/>去除探索约束的贪婪策略"]

关键设计¶

1. 基于 GP 动力学采样与置信截断的联合安全约束：摆脱最坏情况优化的计算瓶颈

传统鲁棒安全强化学习需要求解全置信集上的最坏情况优化 \(\max_{f \in \mathcal{F}_n} J_c(\pi, f) \le d\)，该问题通常为非凸且无限维，实际求解只能依赖启发式松弛。SBSRL 基于高斯过程小球概率（Small-ball Probability）定理指出，对于任意满足 RKHS 有界误差 \(\|f^\star_j - \mu_j\|_k \le B\) 的真实动力学，只要从先验抽取足够数量 \(M\) 的函数样本，就能以不低于 \(1 - \delta\) 的概率保证至少存在一个样本 \(f^{m_\zeta}\) 与真实动力学在无限范数意义下达到 \(\zeta\)-近邻（即 \(\|f^{m_\zeta} - f^\star\|_\infty \le \zeta\)）。为了使先验抽取的样本能够吸收在线交互收集的真实观测，算法对样本执行置信椭球截断更新：

\[f_{n,j}^m(z) = \mathrm{clip}\left(f_{n-1,j}^m(z), \; \mu_{n,j}(z) - \beta_n(\delta)\sigma_{n,j}(z), \; \mu_{n,j}(z) + \beta_n(\delta)\sigma_{n,j}(z)\right)\]

只要 GP 置信集保持校准，截断操作只可能缩小样本与真实动力学 \(f^\star\) 之间的偏差，从而完好保留该 \(\zeta\)-近邻样本。在此基础上，结合 Kakade 高斯差分仿真引理，真实动力学与 \(\zeta\)-近邻样本间的累积代价偏差被严格控制在常数 \(\Delta_\zeta = \zeta \sqrt{d_x} \frac{T^2 C_{\max}}{\sigma_w}\) 之内。因此，只要在所有 \(M\) 个截断动力学样本上联合执行收紧约束 \(J_c(\pi, f_n^m) \le d - \Delta_\zeta\)，便可在真实动力学 \(f^\star\) 上以 \(1 - 2\delta\) 的高概率保证 \(J_c(\pi_n, f^\star) \le d\)。

2. 认知不确定性约束解耦的主动探索：告别启发式内在奖赏调参

以往安全 MBRL 普遍采用乐观探索，在目标函数中添加与认知方差相关的奖赏加权项 \(J_r(\pi, \mu_n) + \lambda_n^{\mathrm{explore}} J_{s_n}(\pi, \mu_n)\)。然而奖赏权重的衰减速率极难标定，过大导致盲目探索无关区域，过小则造成过早陷入局部最优。SBSRL 创新性地将探索形式化为轨迹级累积认知不确定性约束：

\[J_{s_n}(\pi, \mu_n) = \mathbb{E}_{\tau_\pi^{\mu_n}}\left[\sum_{t=0}^{T-1} \|\sigma_n(x_t, a_t)\|\right] \ge d_\sigma^n\]

其中阈值序列设定为 \(d_\sigma^n = \frac{\varepsilon \sigma_w}{2 G_{\max} T \beta_n(\delta)}\)。该设计的精妙之处在于：当贪婪的回报最大化策略恰好经过不确定性较高的区域时，该约束自然满足（非激活），系统不会为了“为了探索而探索”去偏离高回报轨迹；只有当贪婪策略过于保守、无法为模型提供足够信息增益时，该约束才会被激活，迫使策略转向探索。更为重要的是，当系统在该约束下变得不可行时，直接证明了在当前所有可行安全策略集合上认知不确定性均已压低至阈值以下，从而构成了严谨的停机准则，理论保证输出策略在可达安全连通子集内满足 \(\varepsilon\)-近优。

3. 面向高维物理系统的深度集成与状态增广扩展：打通理论与实物控制

尽管高斯过程具备严密的数学性质，但其 \(\mathcal{O}(N^3)\) 的求逆复杂度难以扩展到高维状态空间和毫秒级机器人控制。为了在保持采样安全理念的同时扩展到复杂物理任务，SBSRL 引入了概率神经网络深度集成扩展。用 \(M\) 个参数独立的神经网络建模转移概率，集成方差作为认知不确定性度量。针对执行器延迟和动作捕获滞后，使用包含过去 5 步状态的滑动窗口构造 45 维状态表征。更重要的是，在策略优化阶段，SBSRL 构造了以动力学模型索引 \(m\) 为条件的价值评判网络 \(Q_c(x, a, m)\) 与不确定性评判网络 \(Q_\sigma(x, a, m)\)，通过增广拉格朗日（Augmented Lagrangian）方法实现高效端到端求解，使算法能够在 60Hz 的微型赛车硬件上实现即插即用的零破坏安全微调。

损失函数 / 训练策略¶

在理论算法（Algorithm 1）中，每个回合求解的策略优化目标为：

\[\pi_n = \arg\max_{\pi \in \Pi} J_r(\pi, \mu_n) \quad \text{s.t.} \quad J_c(\pi, f_n^m) \le d - \Delta_\zeta \; (\forall m \in [M]), \quad J_{s_n}(\pi, \mu_n) \ge d_\sigma^n\]

在基于高斯过程的仿真实现中，该受约束规划问题通过改进交叉熵规划器（iCEM）配合固定罚项进行数值求解：

\[\arg\max_{\pi \in \Pi} J_r(\pi, \mu_n) - \lambda_c \sum_{m=1}^M \max\left(J_c(\pi, f_n^m) - d + \Delta_\zeta, \; 0\right) - \lambda_\sigma \max\left(d_\sigma^n - J_{s_n}(\pi, \mu_n), \; 0\right)\]

在深度集成实现中，采用基于模型的行动者-评判家（MBPO）框架与增广拉格朗日乘子法，交替优化策略参数与拉格朗日乘子。在离线到在线阶段，算法首先在离线安全预训练数据集上预热校准动力学模型（设置 \(d_\sigma^n = 0\) 避免离线分布漂移），随后无缝切入在线阶段开启不确定性探索约束。

实验关键数据¶

主实验¶

论文在 DeepMind Control Suite 的 PendulumSwingUp 与 CartpoleSwingUp 上验证了 GP 版本的安全探索与性能，并在 SafetyGym 和 RWRL 基准上与 MBPO、SOOPER 开展对比；同时在 1:10 遥控赛车硬件平台上进行了实物测试。

环境与方法配置	归一化累计回报	训练期最大代价超标	平均代价违规	安全性判定
PendulumSwingUp
标称均值约束基线 (Mean baseline)	\(-188.42 \pm 3.12\)	\(1.48 \pm 0.35\)	\(0.21 \pm 0.08\)	❌ 频繁违规
ActSafe (\(n=3\) 纯探索)	\(-214.30 \pm 8.20\)	\(0.00 \pm 0.00\)	\(0.00 \pm 0.00\)	✅ 安全但收敛慢
ActSafe (\(n=5\) 纯探索)	\(-228.15 \pm 10.45\)	\(0.00 \pm 0.00\)	\(0.00 \pm 0.00\)	✅ 安全但收敛慢
SBSRL (本文)	\(-185.46 \pm 2.56\)	\(0.00 \pm 0.00\)	\(0.00 \pm 0.00\)	✅ 零违规且最优
CartpoleSwingUp
标称均值约束基线 (Mean baseline)	\(-276.10 \pm 2.45\)	\(0.85 \pm 0.18\)	\(0.12 \pm 0.04\)	❌ 越界违规
ActSafe (纯探索后转贪婪)	\(-282.40 \pm 4.30\)	\(0.00 \pm 0.00\)	\(0.00 \pm 0.00\)	✅ 早期回报损失大
SBSRL (本文)	\(-274.80 \pm 1.21\)	\(0.00 \pm 0.00\)	\(0.00 \pm 0.00\)	✅ 零违规且最优
真实遥控赛车硬件 (60Hz)
标称均值评判基线	较低回报 (碰撞减速)	发生剧烈轮胎撞击	\(18.4 \pm 3.2\)	❌ 代价超标 (\(d=15\))
SBSRL-Deep (本文)	显著提升平滑高速	零碰撞/轻微擦碰	\(11.2 \pm 1.8\)	✅ 严格满足预算

消融实验¶

针对高斯过程轨迹采样实现机制（先验路径截断、后验重采样路径、TS1 独立转移动步采样）开展了系统消融，样本数统一设定为 \(M=30\)：

动力学采样机制 (M=30)	Pendulum 最终回报	Pendulum 最大超标	Cartpole 最终回报	Cartpole 平均违规	Cartpole 最大超标
Prior paths + truncation (严格理论版)	\(-190.26 \pm 1.11\)	\(0.00 \pm 0.00\)	\(-274.78 \pm 1.21\)	\(0.0000 \pm 0.0000\)	\(0.0000 \pm 0.0000\)
Posterior paths + truncation (后验重采样)	\(-195.62 \pm 7.03\)	\(0.00 \pm 0.00\)	\(-275.07 \pm 1.05\)	\(0.0057 \pm 0.0127\)	\(0.0254 \pm 0.0568\)
TS1 (单步独立采样，工程实用版)	\(-185.46 \pm 2.56\)	\(0.00 \pm 0.00\)	\(-274.80 \pm 1.21\)	\(0.0000 \pm 0.0000\)	\(0.0000 \pm 0.0000\)

关键发现¶

动力学采样是杜绝安全违规的绝对关键：仅在 GP 均值或神经网络集成均值上施加约束的基线在 Pendulum、Cartpole 和真实赛车上均发生不可接受的安全违规，表明忽视认知不确定性分布会导致优化器盲目利用模型漏洞。
探索约束优于分阶段纯探索：ActSafe 需要人为指定纯探索回合数，前几个回合智能体完全不优化回报；而 SBSRL 的认知不确定性约束在首回合允许贪婪策略自由发挥，并在后续回合自适应补全信息增益，不仅回报收敛速度显著加快，而且消除了探索超参微调的敏感性。
集成规模 \(M\) 的边际效应：在深度集成消融中，\(M=5\) 即可在绝大多数复杂任务中维持可靠安全性；进一步增大 \(M\) 会略微增加安全裕度，但会因为多模型保守交集增大而轻微降低最终累计回报。

亮点与洞察¶

确定性样本与小球概率结合替代无穷维最坏情况优化：传统方法求解最坏情况动力学约束计算代价过大且多引入粗糙松弛，SBSRL 利用小球概率保证在有限个样本中必有真值系统的近邻样本，将严苛的最坏情况问题转化为有限约束规划，兼顾了理论收敛证明与可计算性。
探索与利用的“硬约束式”解耦：彻底抛弃了在目标函数中添加内在好奇心奖赏或方差加权项的传统模式，将探索建模为对累积不确定性的下界约束。这种设计让策略在自身信息量足够时无需额外探索，而在信息匮乏时强制探测，为安全 RL 提供了一种鲁棒而干净的探索范式。
理论与工程的平滑衔接：理论部分基于高斯过程给出了严格的有限时间样本复杂度界（\(\bar{n} \ge C \gamma_{\bar{n}T}(k)^3 / \varepsilon^2\)）与 \(\varepsilon\)-近优证明，而在工程落地上又无缝对应到深度神经网络集成与滑动窗口状态增广，成功驱动 60Hz 实体赛车安全避障。

局限与展望¶

依赖有限时域与手动复位假设：当前理论与算法基于有限时域（Finite-horizon Episodic）框架，假设每个回合结束智能体能够重置。在无需复位的长程不可逆任务（Continual / Non-episodic RL）中，安全违规一旦发生即无法补救，扩展至该场景仍具挑战。
期望累积代价约束而非严格逐态瞬时约束：当前的安全性定义基于 CMDP 的期望累积代价上界 \(J_c \le d\)，属于软性期望安全；在对瞬时状态绝对禁止越界的极限安全场景（如机械臂硬碰撞、电网击穿），需要进一步与控制障碍函数（CBF）或安全前瞻滤波相结合。
真实小球概率采样理论样本数偏大：虽然实验表明 \(M=30\)（GP）甚至 \(M=5\)（深度集成）足以保证零破坏，但理论 Lemma 2 给出的小球概率样本界随维度和精度指数膨胀，理论界与实践高效率之间仍存在理论收紧空间。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用小球概率和不确定性约束解耦了安全 RL 中长期困扰学界的悲观与探索冲突。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 GP 仿真、标准连续控制大基准（SafetyGym/RWRL）以及 60Hz 真实赛车实物验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从引理构建到主定理逻辑严密，算法设计动机阐述透彻。
价值: ⭐⭐⭐⭐⭐ 为安全强化学习提供了从理论可证明安全到物理硬件部署的标杆性参考路径。