Offline–Online Reinforcement Learning for Linear Mixture MDPs¶

会议: NeurIPS 2026
arXiv: 2604.11994
代码: https://github.com/Zhongjun24/Offline_Online_RL
领域: 强化学习
关键词: 强化学习, 线性混合MDP, 离线-在线强化学习, 环境漂移, 覆盖度条件

一句话总结¶

针对存在环境漂移（Environment Shift）与任意行为策略的线性混合马尔可夫决策过程，本文提出了双置信集结合乐观规划的 O-O UCRL-VTR 算法，在离线数据有信息时实现亚平方根遗憾（Sub-$\sqrt{K}$ Regret），在离线数据无信息或强偏差时自适应退化回纯在线最优保证，并建立了几乎紧匹配的遗憾下界。

研究背景与动机¶

现代强化学习在复杂序列决策中取得了令人瞩目的成就，但这类成功通常高度依赖于与环境的大量主动在线交互，或依赖于高保真度仿真模拟器。然而在冷启动、工业调度、库存规划等大量高成本现实场景中，在线探索预算往往极为受限甚至存在安全边界。一种直观且极具吸引力的范式是充分利用历史积累的离线数据（如已有产品的销售与库存转移记录）来辅助初始化和加速在线目标任务的学习。

然而，将离线经验安全有效地迁移到在线学习面临双重核心挑战：首先是环境漂移（Environment Shift），离线系统与在线目标系统的真实转移核并不完全一致（$\|\theta^* - \theta^{\mathrm{off},*}\|_2 \le \Delta$），若简单粗暴地混合离线与在线样本进行联合估计，由环境偏差导致的系统误差不仅无法被更多在线样本纠正，反而会导致线性累积遗憾；其次是离线行为策略的覆盖缺陷与不可控性，离线数据往往由未知、不可控甚至自适应的行为策略收集，可能存在严重的数据分布偏移与局部盲区。现有理论大多要么强行假设环境无漂移，要么对离线行为策略施加均匀采样等极强假设，难以扩展至具有丰富函数近似的大状态-动作空间中。

面对这一困境，研究亟需解决的关键问题是：如何在存在未知环境漂移与不可控行为策略的线性混合 MDP 中，安全、自适应地利用离线数据？核心 idea：在价值目标回归（VTR）框架下解耦维护“纯在线”与“离线-在线联合”两个置信椭球，通过在双置信集交集上做乐观值迭代规划，使得决策自动采信更紧致且无偏差的参数约束，同时设计非悲观的特征空间均匀探测辅助函数，在理论和实证上实现“有益则加速、无益则保底兜底”的鲁棒协同。

方法详解¶

整体框架¶

本文提出的 O-O UCRL-VTR（Offline–Online Upper Confidence Reinforcement Learning with Value-Targeted Regression）算法覆盖离线数据统计量统计与在线交互两个阶段。在离线阶段，算法利用预先收集的 $M^{\mathrm{off}}$ 条长度为 $H$ 的轨迹，基于特别选取的辅助价值函数簇 $\{\widetilde{V}_{m,h}\}$ 构造价值目标回归样本对，形成离线设计矩阵与响应向量；进入在线阶段的第 $k$ 轮时，算法分别更新纯在线估计器 $\widehat{\theta}_k^{\mathrm{on}}$ 与融合离线统计量的离线-在线估计器 $\widehat{\theta}_k^{\mathrm{all}}$，并基于自适应半径构建对应的置信椭球 $\mathcal{C}_k$ 与 $\mathcal{B}_k$。

策略生成通过在双置信集交集 $\mathcal{C}_k \cap \mathcal{B}_k$ 上最大化下一步期望价值构造乐观 $Q$ 函数与价值函数 $\widehat{V}_{k,h}$，进而以贪心方式指导智能体与真实在线目标 MDP 交互。收集到的在线样本同时反馈给两个统计量更新模块，确保在线证据持续积累与校准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线数据集 D_off<br/>M_off 条轨迹，转移核偏离 Delta"] --> B["设计辅助价值函数<br/>均匀探针投影与统计量累积"]
    B --> C["双置信集构建<br/>纯在线 C_k 与离线在线 B_k"]
    C --> D["交集乐观规划<br/>QCQP 求解与自适应安全兜底"]
    D --> E["在线目标交互<br/>执行贪心策略并回填更新双估计器"]

关键设计¶

1. 设计辅助价值函数：脱离悲观原则的特征空间均匀探测 传统离线强化学习文献通常采用悲观原则（Pessimism in the face of uncertainty）来避免在未探索区域高估价值。然而在离线-在线强化学习且存在环境漂移的场景下，离线环境的最优策略与在线目标最优策略往往存在显著分歧；过度执着于离线悲观估计会严重扼杀样本的多样性，无法有效降低特征空间全向的不确定性。本文发现，离线辅助函数选择的本质在于最大化离线设计矩阵 $G_{\mathrm{off}} = \sum_{m,h} x_{m,h}^{\mathrm{off}} (x_{m,h}^{\mathrm{off}})^\top$ 的最小特征值 $\lambda_{\min}(\lambda I + G_{\mathrm{off}})$，从而在最差特征方向上提供足够的信息量 $\tau$。针对贪心最大化最小特征值问题属于非凸非凹优化的难点，本文提出了两种实用且理论可控的构造方案： - 随机探针设计（Stochastic Design）：若离线 MDP 特征映射是一致可学的（Uniformly Learnable，存在 $L$ 个探测向量 $\{V_l\}_{l=1}^L$ 保证覆盖），则对于每条离线轨迹与时间步，利用独立同分布的 Rademacher 随机变量 $\xi_{m,h,l} \in \{-1, +1\}$ 线性组合生成 $\widetilde{V}_{m,h} = \frac{1}{L} \sum_{l=1}^L \xi_{m,h,l} V_l$。在均匀数据覆盖假设下，该设计可保证以至少 $1-\delta$ 的概率实现 $\tau = \Omega(1)$； - 确定性平衡计数设计（Deterministic Design）：在离线-在线表格型 MDP 或有限状态空间中，直接依据历史各状态转移的被选频次 $N_{m,h}(x, s, a)$ 进行逆频次贪心轮换选择： $$\widetilde{V}_{m,h} = e_{s'}, \quad s' \in \arg\min_{x \in \mathcal{S}} N_{m,h}(x, s, a)$$ 该策略确保各个状态基向量被均匀指派，从几何上直接打平正交特征方向的协方差。

2. 双置信集构建：解耦漂移偏差与方差收敛的置信椭球 算法同时维护两个正则化岭回归估计器。纯在线估计器 $\widehat{\theta}_k^{\mathrm{on}} = (M_k^{\mathrm{on}})^{-1} w_k^{\mathrm{on}}$ 仅由在线交互产生，天然无漂移偏差，其置信椭球半径为： $$\beta_k = H \sqrt{2 \log\left(\frac{2 \det(M_k^{\mathrm{on}})^{1/2} K}{\det(\lambda I)^{1/2}}\right)} + \sqrt{\lambda} B$$ 而离线-在线估计器 $\widehat{\theta}_k^{\mathrm{all}} = (M_k^{\mathrm{all}})^{-1} w_k^{\mathrm{all}}$ 纳入了全部离线样本，其协方差矩阵 $M_k^{\mathrm{all}} = M_k^{\mathrm{on}} + G_{\mathrm{off}}$ 具有更大的特征值，但在真实参数 $\theta^*$ 下会承受环境漂移引入的系统性偏置。为此，本文设计了显式抵消漂移项的扩充半径 $\gamma_k$： $$\gamma_k = H \sqrt{2 \log\left(\frac{2 \det(M_k^{\mathrm{all}})^{1/2} K}{\det(\lambda I)^{1/2}}\right)} + \Delta \frac{\lambda_{\max}(G_{\mathrm{off}})}{\sqrt{\lambda_{\min}(\lambda I + G_{\mathrm{off}})}} + \sqrt{\lambda} B$$ 其中漂移放大因子严密对应离线设计矩阵的条件数，确保了即使在真实参数漂移存在时，目标参数 $\theta^*$ 仍以高概率落在椭球 $\mathcal{B}_k$ 与 $\mathcal{C}_k$ 中。

3. 交集乐观规划：min-of-two 自适应选择与安全保底机制 在每一轮的策略规划中，算法采用双置信集交集上的乐观值迭代： $$\widehat{Q}_{k,h}(s, a) = r(s,a) + \max_{\theta \in \mathcal{C}_k \cap \mathcal{B}_k} \sum_{j=1}^d \theta_j \phi_j(\cdot \mid s, a)^\top \widehat{V}_{k,h+1}$$ 在数学上，该优化问题属于具有两个二次约束的线性目标优化（QCQP），在理论上具备多项式时间求解能力；在实用仿真中，可严谨松弛为其封闭近似上界： $$\widehat{Q}_{k,h}(s,a) = r(s,a) + (x_{k,h}^{\mathrm{on}})^\top \widehat{\theta}_k^{\mathrm{on}} + \min\left\{\beta_k \|x_{k,h}^{\mathrm{on}}\|_{(M_k^{\mathrm{on}})^{-1}}, \, \gamma_k \|x_{k,h}^{\mathrm{on}}\|_{(M_k^{\mathrm{all}})^{-1}}\right\}$$ 这一“二者取小（min-of-two）”的设计构成了算法的核心安全防线： - 当离线数据有效覆盖特征空间且漂移较小（即 $\Delta \sqrt{M^{\mathrm{off}} / \tau}$ 较小）时，$\gamma_k \|x_{k,h}^{\mathrm{on}}\|_{(M_k^{\mathrm{all}})^{-1}}$ 凭借超大的离线样本矩阵使不确定度极速缩水，显著优于仅在线的探索宽度； - 当漂移 $\Delta$ 过大或者离线数据质量退化时，$\gamma_k$ 会被漂移项推高，算法自动被纯在线置信半径 $\beta_k \|x_{k,h}^{\mathrm{on}}\|_{(M_k^{\mathrm{on}})^{-1}}$ 兜底，使得最坏情况下的累积遗憾严格被纯在线基线保障。

损失函数 / 训练策略¶

算法以在线交互轮次 $k \in [K]$ 串行推进。核心超参数与参数更新规则如下： 1. 正则化参数设置：定理证明中严格指定岭回归参数 $\lambda = H^2 d$。 2. 两阶段更新时序：第 $0$ 轮完成离线轨迹投影与 $M_1^{\mathrm{all}}, w_1^{\mathrm{all}}$ 矩阵初始化；在线每轮 $k$ 结束后，将当前轮产生的轨迹特征对 $x_{k,h}^{\mathrm{on}} = \phi(\cdot \mid s_{k,h}^{\mathrm{on}}, a_{k,h}^{\mathrm{on}}) \widehat{V}_{k,h+1}$ 和标量目标 $y_{k,h}^{\mathrm{on}} = \widehat{V}_{k,h+1}(s_{k,h+1}^{\mathrm{on}})$ 分别累加至 $M_{k+1}^{\mathrm{on}}, w_{k+1}^{\mathrm{on}}$ 及 $M_{k+1}^{\mathrm{all}}, w_{k+1}^{\mathrm{all}}$ 中。 3. 探索奖励缩放：在实证调优中引入探测奖励全局缩放参数 $b_s \in [0, 1]$ 进行网格搜索，进一步适配有限样本下的方差波动。

实验关键数据¶

主实验¶

实验采用合成有限时域表格型 MDP（$|\mathcal{S}|=5, |\mathcal{A}|=10, H=3, d=|\mathcal{S}|^2 |\mathcal{A}|=250$），在线转移核 $P$ 采样自对称 Dirichlet 分布，离线转移核 $P^{\mathrm{off}}$ 在满足环境漂移约束 $\|P^{\mathrm{off}}(\cdot \mid s,a) - P(\cdot \mid s,a)\|_1 \le \Delta$ 的前提下，按照最坏预期在线价值有偏设计。对比算法包含纯在线线性基准 UCRL、无视漂移盲目混合数据的 COMPLETE、表格型离线在线基线 DP-LSVI 及经典纯在线算法 UCBVI。各实验在 50 次独立随机试验下统计累积遗憾。

评估维度与设置	评价指标 (Cumulative Regret)	O-O UCRL-VTR (Optimal)	UCRL (纯在线线性)	COMPLETE (盲目合并)	性能特征与优势说明
小环境漂移 ($\Delta = 0.01, M^{\mathrm{off}}=10^5, K=4\times 10^3$)	累积遗憾 $\textsf{Regret}(K)$	~180	~460	~220	离线数据高度有效，比纯在线基线遗憾降低超过 60%
中等漂移 ($\Delta = 0.10, M^{\mathrm{off}}=10^5, K=4\times 10^3$)	累积遗憾 $\textsf{Regret}(K)$	~380	~460	~780	COMPLETE 发生灾难性性能劣化；O-O 仍显著优于纯在线
大环境漂移 ($\Delta = 0.50, M^{\mathrm{off}}=10^5, K=4\times 10^3$)	累积遗憾 $\textsf{Regret}(K)$	~460	~460	>1100 (严重发散)	O-O 触发 min-of-two 机制自动退回纯在线性能，无负迁移
大样本加速 ($M^{\mathrm{off}}=5\times 10^5, \Delta=0.05, K=4\times 10^3$)	累积遗憾 $\textsf{Regret}(K)$	~140	~460	~190	充足离线样本显著压低置信椭球体积，加速在线收敛

消融实验¶

消融实验重点验证辅助价值函数构造准则（最优特征探测 vs 传统悲观原则）以及漂移与覆盖度的耦合缩放动态关系。

辅助函数构造与动态缩放配置	实验场景设置	累积遗憾 $\textsf{Regret}(K)$	机制说明与消融结论
O-O UCRL-VTR (Optimal)	确定性特征平衡辅助函数 ($\Delta=0.05, M^{\mathrm{off}}=10^5$)	~240	全面均匀探测各正交基方向，离线特征矩阵条件数极优
O-O UCRL-VTR (Pessimistic)	引入离线悲观价值下界估计 ($\Delta=0.05, M^{\mathrm{off}}=10^5$)	~360	悲观机制过早抑制了离线阶段的广谱探测，遗憾高出约 50%
线性漂移耦合 $\Delta(\tau) \propto \tau$	覆盖度 $\tau$ 从 0.01 增至 0.20，$\Delta$ 同比线性放大	稳定在 ~250	漂移与覆盖度比值 $\Delta/\tau$ 保持常数，离线数据持续有效
超线性漂移耦合 $\Delta(\tau) \propto \tau^2$	覆盖度 $\tau$ 增大但漂移以平方速度激增	快速恶化至 ~460	漂移迅速突破覆盖度所能补偿的临界上界，离线数据失效

关键发现¶

离线数据的充分有效边界：理论分析推导出的离线数据具有信息量的充分条件为 $\tau = \Omega(H^3 K^{1+2\epsilon} / M^{\mathrm{off}})$ 且 $\Delta / \tau = O(B / (H^{7/2} d^{1/2} K^{1/2+\epsilon}))$。当覆盖度较充分（$\tau = \Theta(1)$）且 $M^{\mathrm{off}} = \Theta(K^2)$ 时，只要漂移满足 $\Delta \lesssim K^{-1}$，算法可直接达成 $O(\log K)$ 级别的对数遗憾；
漂移与覆盖度的线性代偿效应：实证结果明确印证了 $\Delta$ 与 $\tau$ 的比值控制律——即便环境转移核存在不可忽视的系统漂移，只要通过提高离线探索随机性以成比例提升覆盖度 $\tau$，离线数据的信息量仍能被完整释放；
离线非悲观性的理论反差：在线阶段的乐观探索配合离线阶段的高效均匀探测（最大化特征协方差最小特征值），其效果显著优于传统离线强化学习所推崇的悲观值惩罚，刷新了离线-在线联合范式的设计直觉。

亮点与洞察¶

鲁棒的自适应双核置信结构：通过几何交集 $\mathcal{C}_k \cap \mathcal{B}_k$ 实现了优雅的自适应切换机制，无需预先获知离线数据的有效覆盖度 $\tau$ 即可同时享有离线样本方差缩减与在线零漂移的理论双重保障。
离线与在线下界视角的统一闭环：建立了匹配的下界定理，证明了在线项 $dH\sqrt{K}$ 与离线项 $dHK / \sqrt{K + \lambda_{\min}(\mathbb{E}[G_{\mathrm{off}}])}$ 的“min-of-two”结构在信息论意义下是本质必然的。
由结构化向通用算法迁移的潜力：辅助函数均匀探测思想与漂移自适应放大置信球技术可直接扩展至部分可观测 MDP、神经函数近似等高维环境转移估计中。

局限与展望¶

依赖已知漂移上界 $\Delta$：算法目前的置信球半径 $\gamma_k$ 明确需要以环境漂移常数 $\Delta$ 作为输入。若 $\Delta$ 未知，需要设计额外的两阶段模型选择或自适应参数搜索机制。
高维与连续状态动作空间的扩展：虽然线性混合模型支持连续状态，但最优离线辅助函数的求解需要对全空间进行探测，在深层连续控制中可能需要结合变分或生成模型进行探针设计。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立具有环境漂移的线性混合 MDP 离线-在线理论分析框架与自适应算法
实验充分度: ⭐⭐⭐⭐ 理论证明严密全面，仿真实验多维度验证了漂移、覆盖度与样本规模的动态关系
写作质量: ⭐⭐⭐⭐⭐ 符号系统标准，数学推导清晰且对表格及强盗模型拓展阐释透彻
价值: ⭐⭐⭐⭐⭐ 为强化学习安全利用有偏历史数据提供了坚实且具指导意义的理论基石

评估维度与设置	评价指标 (Cumulative Regret)	O-O UCRL-VTR (Optimal)	UCRL (纯在线线性)	COMPLETE (盲目合并)	性能特征与优势说明
小环境漂移 (\(\Delta = 0.01, M^{\mathrm{off}}=10^5, K=4\times 10^3\))	累积遗憾 \(\textsf{Regret}(K)\)	~180	~460	~220	离线数据高度有效，比纯在线基线遗憾降低超过 60%
中等漂移 (\(\Delta = 0.10, M^{\mathrm{off}}=10^5, K=4\times 10^3\))	累积遗憾 \(\textsf{Regret}(K)\)	~380	~460	~780	COMPLETE 发生灾难性性能劣化；O-O 仍显著优于纯在线
大环境漂移 (\(\Delta = 0.50, M^{\mathrm{off}}=10^5, K=4\times 10^3\))	累积遗憾 \(\textsf{Regret}(K)\)	~460	~460	>1100 (严重发散)	O-O 触发 min-of-two 机制自动退回纯在线性能，无负迁移
大样本加速 (\(M^{\mathrm{off}}=5\times 10^5, \Delta=0.05, K=4\times 10^3\))	累积遗憾 \(\textsf{Regret}(K)\)	~140	~460	~190	充足离线样本显著压低置信椭球体积，加速在线收敛

辅助函数构造与动态缩放配置	实验场景设置	累积遗憾 \(\textsf{Regret}(K)\)	机制说明与消融结论
O-O UCRL-VTR (Optimal)	确定性特征平衡辅助函数 (\(\Delta=0.05, M^{\mathrm{off}}=10^5\))	~240	全面均匀探测各正交基方向，离线特征矩阵条件数极优
O-O UCRL-VTR (Pessimistic)	引入离线悲观价值下界估计 (\(\Delta=0.05, M^{\mathrm{off}}=10^5\))	~360	悲观机制过早抑制了离线阶段的广谱探测，遗憾高出约 50%
线性漂移耦合 \(\Delta(\tau) \propto \tau\)	覆盖度 \(\tau\) 从 0.01 增至 0.20，\(\Delta\) 同比线性放大	稳定在 ~250	漂移与覆盖度比值 \(\Delta/\tau\) 保持常数，离线数据持续有效
超线性漂移耦合 \(\Delta(\tau) \propto \tau^2\)	覆盖度 \(\tau\) 增大但漂移以平方速度激增	快速恶化至 ~460	漂移迅速突破覆盖度所能补偿的临界上界，离线数据失效