Offline Constrained Reinforcement Learning under Partial Data Coverage¶

会议: NeurIPS 2026
arXiv: 2505.17506
代码: https://github.com/komin0407/PDOCRL
领域: 强化学习
关键词: 离线强化学习、带约束马尔可夫决策过程、部分数据覆盖、拉格朗日分解、原始对偶优化

一句话总结¶

针对离线安全强化学习在部分数据覆盖下中间策略难评估且依赖未知数据分布提取策略的难题，本文提出基于分解线性规划与占优重参数化的原始对偶算法 PDOCRL，无需访问数据生成分布且仅需标准优化预言机即可实现近最优与近可行的 $\widetilde{\mathcal{O}}(\epsilon^{-2})$ 样本复杂度。

研究背景与动机¶

离线带约束强化学习（Offline Constrained RL / CMDP）致力于在仅有静态日志数据且不进行额外在线环境交互的前提下，学得兼顾主要奖励最大化与辅助安全指标约束的稳健策略，在自动驾驶、医疗决策和机器人控制等高危场景中具有核心价值。然而，离线学习不可避免地面临数据分布覆盖不全的瓶颈：智能体只能在数据集经验支持充足的状态-动作对上做出可信的价值估计。无约束离线强化学习中广泛使用的悲观评估与 Actor-Critic 范式，在引入拉格朗日乘子进行约束优化时遇到了根本性阻碍。因为对偶乘子的更新高度依赖对中间策略约束违背量的准确估计，而中间遍历的策略往往偏离数据集分布，导致对偶乘子震荡并退化回强全覆盖（Full Coverage）假设。

现有的线性规划（LP）与平稳分布修正（DICE）类方法通过直接在占用度量或密度比上优化，天然避开了评估不支持策略的陷阱。但这套路径在通用函数近似下暴露了两个深层缺陷：其一，通用的鞍点公式在受限函数类中可能出现虚假鞍点（Spurious Saddle Points）——哪怕函数类能精确表示最优策略、最优占用度量和最优拉格朗日价值函数，受限鞍点依然对应次优策略；其二，传统方法在学得密度比 $w = \mu / \mu_D$ 后，必须借助数据生成分布 $\mu_D$ 甚至加权行为克隆才能还原策略，而有限样本下加权行为克隆存在显著的统计不稳定性，极易在常数概率下抽取出严重次优的策略。

本文的切入角度是打破占用度量同时承担“拉格朗日估计”与“策略提取”的双重绑定，通过拉格朗日分解与平稳分布重参数化将策略显式作为优化变量直接更新，同时刻画消除虚假鞍点的可实现性充分条件。核心 idea：通过引入副本变量对贝尔曼流约束进行拉格朗日分解并显式重参数化为策略变量，构造无需数据生成分布 $\mu_D$ 即可直接优化策略的原始对偶算法 PDOCRL，在 Slater 条件与全策略价值可实现性下彻底消灭虚假鞍点并取得部分覆盖下的最优样本效率。

方法详解¶

整体框架¶

PDOCRL 的核心逻辑是从折扣 CMDP 的对偶线性规划出发，将状态-动作占用度量变量拆解为两个分工明确的变量：一个用于在数据分布 $\mu_D$ 下通过重要性权重转换进行经验拉格朗日估计，另一个与策略变量显式绑定以满足贝尔曼流约束并消除事后策略提取。

算法在每一轮迭代中协调四方玩家进行原始-对偶博弈：密度比玩家采用无遗憾在线线性优化（OLO），策略玩家采用无遗憾策略优化（PO），而价值函数玩家与对偶乘子玩家分别采用线性最小化预言机（LMO）执行贪心响应。整个流程仅依赖标准优化组件，无需求解不可解的全局极小极大子问题。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线数据集 D<br/>(s, a, r, c, s') ~ μ_D"] --> B["拉格朗日分解与重参数化<br/>分离经验估计与策略变量"]
    B --> C["四方原始-对偶在线博弈<br/>w / π 极大化，Q / λ 极小化"]
    C --> D["无遗憾在线预言机更新<br/>OLO_w + PO_π + LMO_Q + LMO_λ"]
    D --> E["输出无偏策略<br/>Uniform 或最后一次迭代策略"]

关键设计¶

1. 拉格朗日分解与策略显式重参数化：摆脱对未知数据分布的依赖 传统的 CMDP 线性规划使用单一占用度量 $\bm{\mu}$。若直接使用密度比代换 $w(s,a) = \mu(s,a)/\mu_D(s,a)$，虽然经验拉格朗日量可写为对 $\mu_D$ 的期望，但提取策略时必须通过状态级归一化 $\pi(a|s) = w(s,a)\mu_D(s,a)/\sum_{a'} w(s,a')\mu_D(s,a')$，这必然依赖未知的 $\mu_D$；若退化为加权行为克隆经验提取，本文在 Proposition 1 中证明其即便在最优两状态 MDP 下也会以常数概率失效。为此，PDOCRL 引入副本变量 $\bm{\nu}$，将贝尔曼流约束解耦为 $\bm{E}^\top \bm{\nu} = (1-\gamma)\bm{d}_0 + \gamma \bm{P}^\top \bm{\mu}$ 与一致性约束 $\bm{\mu} = \bm{\nu}$。进一步利用 $\nu(s,a) = \pi(a|s)\nu(s)$ 的结构，将 $\bm{\nu}$ 显式重参数化为： $$ \nu_{\mu,\pi}(s,a) \coloneqq \pi(a\mid s)\bigl((1-\gamma)d_{0}(s) + \gamma \bm{P}^{\top}\bm{\mu}\bigr). $$ 将此代入消去 $\bm{\nu}$ 后，得到关于 $(\bm{\mu}, \pi; \bm{Q}, \bm{\lambda})$ 的重参数化拉格朗日函数： $$ L(\bm{\mu}, \pi; \bm{Q}, \bm{\lambda}) = (1-\gamma)\langle \bm{Q}{\pi}, \bm{d}}\rangle + \langle \bm{\mu}, \bm{r{\bm{\lambda}} + \gamma \bm{P} \bm{Q}, $$ 其中 } - \bm{Q}\rangle - \sum_{i=1}^{I}\lambda_{i}\tau_{i$\bm{Q}_\pi(s) = \sum_a \pi(a|s) Q(s,a)$。由此策略 $\pi$ 直接作为优化自变量参与更新，从而完全规避了事后策略提取。

2. 虚假鞍点辨识与可实现性消除机制：保障受限函数类下的全局最优性 在一般函数逼近下，直接将拉格朗日函数限制在函数类 $\mathcal{U} \times \Pi \times \mathcal{Q} \times \mathbb{R}_+^I$ 内寻找鞍点存在本质陷阱。Proposition 2 指出，即便函数类中包含了最优策略 $\pi^*$、最优占用度量 $\mu^*$ 以及针对所有拉格朗日奖励组合的最优价值函数 $Q_\alpha^*$，受限鞍点仍然可能是严格次优的。为了彻底消除虚假鞍点，本文在严格满足正裕度 $\varphi$ 的 Slater 条件假设下，给出了对偶变量有界性上界 $\|\bm{\lambda}^*\|_1 \le 1/\varphi$。在此基础上提出了全策略价值可实现性条件（All-Policy Value Function Realizability）：对任意 $\pi \in \Pi$，要求 $Q_0^\pi \in \mathcal{Q}$ 且对所有约束 $i$ 均有 $Q_0^\pi + (1+1/\varphi)Q_i^\pi \in \mathcal{Q}$。Lemma 4 严格证明，只要受限鞍点问题在紧致对偶域 $(1+1/\varphi)\Delta^I$ 上求解，该可实现性即可保证任意受限鞍点对应的策略必定是全局最优且满足约束的可行策略。

3. 预言机高效的四方原始-对偶算法（PDOCRL）：多项式复杂度的在线无遗憾协同 为了避免求解不可行的非凸非凹极小极大优化，PDOCRL 将经验拉格朗日量转化为四方序列博弈。针对经验估计式： $$ \widehat{L}(\bm{w},\pi;\bm{Q},\bm{\lambda}) = (1-\gamma)Q(s_{0},\pi) + \frac{1}{n}\sum_{j=1}^{n}w(s_{j},a_{j})\Bigl(r_{\bm{\lambda}}(s_{j},a_{j})+\gamma Q(s_{j}^{\prime},\pi)-Q(s_{j},a_{j})\Bigr) - \sum_{i=1}^{I}\lambda_{i}\tau_{i}, $$ 四方在每一轮 $t=1,\dots,T$ 协同交替更新： - $w$-玩家调用在线线性优化预言机 $\texttt{OLO}_{\mathcal{W}}$（如基于经验样本向量投影的梯度上升）； - $\pi$-玩家面对历史累积的 $Q$ 函数序列，调用策略优化预言机 $\texttt{PO}_{\Pi,\mathcal{Q}}$（如 Natural Policy Gradient 或 Mirror Descent）； - $\bm{\lambda}$-玩家与 $\bm{Q}$-玩家分别通过线性极小化预言机 $\texttt{LMO}$ 贪心选取极小化当期估计的对偶乘子与价值函数。 Theorem 7 表明，在单策略覆盖度系数有界 $C^* = \|\mu^{\pi^*}/\mu_D\|_\infty$ 下，算法返回的平均策略只需 $T$ 充分大，即可达到 $\varepsilon_n = \widetilde{\mathcal{O}}(C^* \sqrt{\log(I|\mathcal{W}||\Pi||\mathcal{Q}|/\delta)/n})$ 的近最优与近可行界，实现 $\widetilde{\mathcal{O}}(\epsilon^{-2})$ 的最优样本复杂度。

损失函数 / 训练策略¶

在深度强化学习的具体实践中，算法将重要性权重 $w_\theta$、策略 $\pi_\phi$ 和价值函数 $Q_\psi$ 参数化为神经网络，拉格朗日乘子参数化为无约束标量 $\lambda_\tau$ 并通过 $\lambda = \text{softplus}(\lambda_\tau)$ 保证非负性。经验目标函数为： $$ J(\theta,\phi,\psi,\lambda_{\tau}) = (1-\gamma)\overline{Q}{\psi}(\pi)\bigr] - \lambda C, $$ 其中 }) + \frac{1}{B}\sum_{j=1}^{B} w_{\theta}(s_{j},a_{j})\bigl[r_{\lambda}(s_{j},a_{j})+\gamma Q_{\psi}(s_{j}^{\prime},\pi_{\phi})-Q_{\psi}(s_{j},a_{j$\overline{Q}_\psi(\pi_\phi)$ 用批次内的经验状态均值替代单初始状态，拉格朗日混合奖励定义为 $r_\lambda(s,a) = r(s,a) - \lambda c(s,a)$（针对代价约束转化为 $J_c(\pi) \le C$）。优化采用随机梯度上升-下降： 1. 原始变量上升：$\theta \leftarrow \theta + \eta \nabla_\theta J$，$w_\theta$ 截断至 $[0, 10]$ 防止方差爆炸；$\phi \leftarrow \phi + \eta \nabla_\phi J$； 2. 对偶变量下降：$\psi \leftarrow \psi - \eta \nabla_\psi J$；$\lambda_\tau \leftarrow \lambda_\tau - \eta \nabla_{\lambda_\tau} J$； 3. 稳定化机制：维护双 $Q$ 网络取最小值以缓解高估，并采用 Polyak 平均软更新目标网络 $\psi' \leftarrow (1-\kappa)\psi' + \kappa \psi$（$\kappa=0.005$）。

实验关键数据¶

主实验¶

在 BulletGym 基准（基于 DSRL 安全离线数据集）的 8 个连续控制任务上进行评测。每个任务在 3 个不同代价阈值 $C \in \{20, 40, 80\}$ 与 3 个随机种子下训练 100,000 步。指标为归一化奖励（越高越好）与归一化代价（代价与阈值之比，$\le 1.0$ 为安全）。

任务 (BulletGym)	BC-All (Rew/Cost)	CDT (Rew/Cost)	BCQ-Lag (Rew/Cost)	CPQ (Rew/Cost)	COptiDICE (Rew/Cost)	PDOCRL [本文] (Rew/Cost)
BallRun	0.60 / 5.08	0.39 / 1.16	0.76 / 3.91	0.22 / 1.27	0.59 / 3.52	0.48 / 0.86
CarRun	0.97 / 0.33	0.99 / 0.65	0.94 / 0.15	0.95 / 1.79	0.87 / 0.00	0.80 / 0.11
DroneRun	0.24 / 2.13	0.63 / 0.79	0.72 / 5.54	0.33 / 3.52	0.67 / 4.15	0.10 / 0.84
AntRun	0.72 / 2.93	0.72 / 0.91	0.76 / 5.11	0.03 / 0.02	0.61 / 0.94	0.03 / 0.00
BallCircle	0.74 / 4.71	0.77 / 1.07	0.69 / 2.36	0.64 / 0.76	0.70 / 2.61	0.61 / 0.21
CarCircle	0.58 / 3.74	0.75 / 0.95	0.63 / 1.89	0.71 / 0.33	0.49 / 3.14	0.63 / 0.11
DroneCircle	0.72 / 3.03	0.63 / 0.98	0.80 / 3.07	-0.22 / 1.28	0.26 / 1.02	-0.26 / 0.26
AntCircle	0.58 / 4.90	0.54 / 1.78	0.58 / 2.87	0.00 / 0.00	0.17 / 5.04	0.00 / 0.00
平均值 (Average)	0.64 / 3.36	0.68 / 1.04	0.74 / 3.11	0.33 / 1.12	0.55 / 2.55	0.30 / 0.30

(注：表中加粗项表示满足安全约束，即归一化代价 $\le 1.0$。基线数据源自 DSRL 官方评测报告。)

消融实验¶

消融实验对比了 PDOCRL（显式重参数化直接优化策略）与依赖事后策略提取的变体（Policy Extraction Required：先基于未分解拉格朗日量优化出 $\widehat{w}$，再通过离线数据进行重要性加权策略提取）。

任务	PDOCRL [本文] 归一化奖励 ↑	PDOCRL [本文] 归一化代价 ↓	需策略提取变体归一化奖励 ↑	需策略提取变体归一化代价 ↓
BallRun	0.48 ± 0.33	0.86 ± 0.82	-1.06 ± 0.15	2.69 ± 1.44
CarRun	0.80 ± 0.08	0.11 ± 0.15	-0.59 ± 0.26	4.63 ± 2.51
DroneRun	0.10 ± 0.15	0.84 ± 1.01	-0.26 ± 0.09	0.35 ± 1.00
AntRun	0.03 ± 0.02	0.00 ± 0.00	0.21 ± 0.06	0.01 ± 0.02
BallCircle	0.61 ± 0.15	0.21 ± 0.31	0.01 ± 0.04	2.19 ± 2.92
CarCircle	0.63 ± 0.05	0.11 ± 0.21	-0.04 ± 0.05	3.87 ± 4.65
DroneCircle	-0.26 ± 0.00	0.26 ± 0.39	-0.11 ± 0.13	1.30 ± 0.60
AntCircle	0.00 ± 0.00	0.00 ± 0.00	0.06 ± 0.02	0.65 ± 0.35
平均 (Average)	0.30 ± 0.38	0.30 ± 0.60	-0.22 ± 0.41	1.96 ± 2.74

关键发现¶

全任务绝对安全保证：PDOCRL 是所有算法中唯一在全部 8 个 BulletGym 任务上归一化代价均严格 $\le 1.0$ 的方法（全任务平均代价低至 0.30），而无论是经典拉格朗日基线（BCQ-Lag 平均代价 3.11）还是近缘 DICE 方法（COptiDICE 平均代价 2.55），在多个任务上均发生严重安全破防。
策略提取瓶颈的实证验证：消融实验清晰展示，去除显式重参数化并退回到事后加权行为克隆提取后，策略平均奖励跌至负值（-0.22），且平均代价飙升至 1.96（严重违背安全约束），强力支撑了 Proposition 1 对策略提取统计脆弱性的理论诊断。

亮点与洞察¶

拉格朗日变量角色解耦：将占用度量在 CMDP 中承担的“密度转换估计”与“策略归一化生成”两种异构职责解耦，分别交由重要性权重与重参数化策略承担，巧妙抹去了离线学习中必须获知 $\mu_D$ 的隐性假设。
直面一般函数逼近下的虚假鞍点：指出了仅具备最优解可实现性并不足以保障受限鞍点最优性的病态现象，通过 Slater 裕度界定对偶边界，首次在无偏预言机设定下给出严谨的全局无虚假鞍点保证。
无须 GPU 的轻量化工程实现：理论分析给出的收敛速率直接转化为了稳定的随机原始对偶梯度算法，实验表明仅在 CPU 机器上训练即可在标准安全连续控制任务上大幅超越需要昂贵微调的基线。

局限与展望¶

可实现性假设偏强：消除虚假鞍点依赖全策略价值函数可实现性（All-Policy Value Function Realizability），这虽是当前非线性 Actor-Critic 理论的通用假设，但弱化至单策略可实现性（Single-Policy Realizability）仍有待突破。
保守安全带来的奖励折损：在部分复杂导航与运动任务（如 DroneCircle 和 AntRun）中，为实现绝对的代价约束满足，算法倾向于采取极度谨慎的低风险动作，导致最终归一化奖励偏保守。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对离线带约束强化学习建立无未知数据分布依赖、预言机高效且抗虚假鞍点的理论框架。
实验充分度: ⭐⭐⭐⭐☆ 理论证明极其完备，BulletGym 基准涵盖 8 大任务，消融实验针对性强；缺少在更大规模复杂高维控制上的扩展评测。
写作质量: ⭐⭐⭐⭐⭐ 理论推导层层递进，从反例（Proposition 1 & 2）到构造性解决（Algorithm 1）逻辑高度自洽。
价值: ⭐⭐⭐⭐⭐ 为安全关键型离线序列决策问题提供了坚实扎实的统计与算法理论基石。