Direction-Aware Offline-to-Online Learning in Linear Contextual Bandits¶
会议: NeurIPS 2026
arXiv: 2604.24016
OpenReview: https://openreview.net/forum?id=zCquLHIOxw
领域: 强化学习
关键词: 线性上下文老虎机, 离线到在线学习, 方向感知偏差证书, 置信椭球聚合, 自适应估计
一句话总结¶
针对传统离线到在线老虎机学习中各向同性欧氏偏差假设过于粗糙的问题，本文提出了方向感知偏差证书与双分支聚合算法 Ellipsoidal-MINUCB，在离线与在线特征对齐时加速收敛，并在偏差未知时通过并联和几何自适应估计证书，兼具理论最优遗憾界与安全回退保障。
研究背景与动机¶
在推荐系统、动态定价与在线广告等强化学习与老虎机（Bandits）部署场景中，决策系统往往预先掌握由历史策略或先前环境收集的海量离线日志。直接冷启动在线探索通常会造成昂贵的早期待遇损失，而充分复用离线数据则有望大幅缩短在线探索周期。然而，现实中的离线环境与实时线上环境不可避免地存在分布漂移与策略偏置，导致离线回归参数 \(\theta^\dagger\) 与真实在线奖励参数 \(\theta_*\) 产生系统性偏差。如果无条件信任历史数据，虚假的离线奖励信号将误导线上策略并诱发严重的灾难性后悔；而若完全抛弃离线数据，又将退化为样本利用率低下的纯在线冷启动。
在线性上下文老虎机中，动作是通过高维共享特征表示关联的，这意味着环境间的分布偏移具有高度的「方向各向异性（Directional Anisotropy）」：离线数据在某些特征主干方向上可能覆盖充分且无偏，能够提供高精度估计；但在另一些子空间方向上可能存在显著失真甚至完全缺失。以往文献（如 MIN-UCB 及相关杂化老虎机工作）通常采用全局标量欧氏球界 \(\|\theta_* - \theta^\dagger\|_2 \le \rho\) 来约束环境差异。然而，这种各向同性假设过于粗糙——它仅限制了偏差的总体几何模长，却忽略了偏差究竟落在哪个特征方向。本文的下界定理表明，即便在离线参数已知的极端情况下，只要单个关键决策方向上存在未知微小偏差，任何策略的最坏情况在线遗憾都将被迫退化到与维度相关的纯在线下界 \(\Omega(\min\{\rho T, \sqrt{dT}\})\)。
面对各向同性度量的理论失效，如何为不同特征方向量身定制差异化的偏差预算，并在算法设计中安全融合离线高置信信息与在线探索数据，构成了离线到在线学习的核心理论瓶颈。核心 idea：引入基于马氏范数的正定矩阵度量构建「方向感知偏差证书」 \(\|\theta_* - \theta^\dagger\|_{M_{\mathrm{bias}}} \le \rho\)，并在 SupLinUCB 消除框架下设计双分支最小化置信界算法 Ellipsoidal-MINUCB，在安全利用高质量历史子空间的同时，利用并联和几何实现数据驱动的自适应证书估计。
方法详解¶
整体框架¶
算法以 SupLinUCB 的分层淘汰结构为底座，在每个时间步 \(t\) 针对当前观察到的上下文动作集 \(\{x_{t,a}\}_{a \in [K]}\)，并行维护两套统计分支：纯在线分支（Online Branch）与离线-在线联合汇聚分支（Pooled Branch）。纯在线分支利用在线交互累积的格拉姆矩阵 \(A_{t,\ell}\) 构建常规无偏置信区间；联合汇聚分支则将离线设计矩阵 \(G_{\mathrm{off}}\) 与在线协方差结合，同时引入方向感知偏差证书 \((M_{\mathrm{bias}}, \rho)\) 带来的方向惩罚项。算法取两分支上置信界（UCB）的交集（即下确界 \(\min\)）与下置信界（LCB）的上确界（\(\max\)），仅在联合分支的置信区间严格收窄时利用历史离线信息，否则自适应回退到安全在线区间。在先验证书未知时，算法在时间倍增的 epoch 节点上，通过在线与离线估计的统计差异及其并联和矩阵（Parallel Sum）自动构造保守证书。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入：动作特征集 {x_t,a}<br/>离线数据 D_off 与分层历史"] --> B1["方向感知偏差证书与离线-在线置信椭球融合<br/>构建 G_off, θ^off 与方向惩罚 ψ_t,l(x)"]
B1 --> B2["双分支置信界聚合（Ellipsoidal-MINUCB）<br/>计算 U^on, U^pool 并取 min{U^on, U^pool}"]
B2 --> Br{"聚合区间宽度 w_t,l(a) > 2^-l ?"}
Br -->|满足消除阈值| Pl["执行贪心选择 a_t 并将样本路由至层级 l"]
Br -->|不满足阈值| El["逐层淘汰次优动作，传递至更深层 l+1"]
Pl --> Ad["基于并联和（Parallel Sum）的数据驱动自适应证书估计<br/>Epoch 周期更新 M^k,bias 与自适应半径 ρ^k"]
Ad --> Out["更新策略与观测历史，进入下一轮"]关键设计¶
1. 方向感知偏差证书与离线-在线置信椭球融合 针对欧氏距离无法刻画方向偏置的痛点，该设计通过对称正定矩阵 \(M_{\mathrm{bias}} \succ 0\) 与标量半径 \(\rho \ge 0\) 定义方向感知偏差证书： $$ |\theta_* - \theta^\dagger|{M^d, \; |x^\top (\theta_* - \theta^\dagger)| \le \rho |x|}}} \le \rho \iff \forall x \in \mathbb{R{M $$ 对 }}^{-1}\(M_{\mathrm{bias}}\) 进行特征分解可知，\(M_{\mathrm{bias}}\) 的大特征值对应低偏差方向（离线信息精准、允许分配紧致预算），小特征值对应高风险方向（逆矩阵范数会大幅放大不确定性惩罚）。结合离线岭回归矩阵 \(G_{\mathrm{off}} = I + \sum_{i=1}^{n_{\mathrm{off}}} z_i z_i^\top\) 与离线估计量 \(\hat{\theta}_{\mathrm{off}}\)，离线置信椭球与方向偏差证书融合为紧致的支撑函数： $$ \sup_{\theta \in \mathcal{C}{\mathrm{off}}} x^\top \theta = x^\top \hat{\theta}(\delta) |x|}} + \beta_{\mathrm{off}{G + \rho |x|}}^{-1}{M $$ 该设计将高维非各向同性先验无损转换为任意动作评估方向上的显式半径扩张，奠定了安全利用离线特征子空间的几何基石。}}^{-1}
2. 双分支置信界聚合（Ellipsoidal-MINUCB）与安全后退机制 为防止离线偏差污染在线探索，算法在 SupLinUCB 的每个层级 \(\ell\) 并行构建纯在线估计量 \(\hat{\theta}_{t,\ell}^{\mathrm{on}} = V_{t,\ell}^{-1} b_{t,\ell}\) 与汇聚估计量 \(\hat{\theta}_{t,\ell}^{\mathrm{pool}} = (A_{t,\ell} + G_{\mathrm{off}})^{-1}(b_{t,\ell} + G_{\mathrm{off}} \hat{\theta}_{\mathrm{off}})\)。其中汇聚分支的置信半径严格解析为两部分：一部分是关于未扰动噪声的自正则鞅项 \((\gamma_{t,\ell} + \beta_{\mathrm{off}})\|x\|_{(A_{t,\ell}+G_{\mathrm{off}})^{-1}}\)，另一部分是方向性偏差所诱发的确定性膨胀： $$ \rho \, \psi_{t,\ell}(x) = \rho \left| M_{\mathrm{bias}}^{-1/2} G_{\mathrm{off}} (A_{t,\ell} + G_{\mathrm{off}})^{-1} x \right|_2 $$ 算法通过逐动作打分聚合：\(U_{t,\ell}^{\min}(a) = \min\{U_{t,\ell}^{\mathrm{on}}(a), U_{t,\ell}^{\mathrm{pool}}(a)\}\) 以及 \(L_{t,\ell}^{\max}(a) = \max\{L_{t,\ell}^{\mathrm{on}}(a), L_{t,\ell}^{\mathrm{pool}}(a)\}\)。这一结构构成了非对称的安全阀：当离线数据在方向 \(x\) 上覆盖充分且与 \(M_{\mathrm{bias}}\) 强对齐时，\(\|x\|_{(A_{t,\ell}+G_{\mathrm{off}})^{-1}}\) 急剧缩窄，大幅压低置信区间；一旦离线信息在此方向产生严重偏差，\(\rho \psi_{t,\ell}(x)\) 的迅速膨胀将促使上界自适应回退到纯在线分支 \(U_{t,\ell}^{\mathrm{on}}\)，杜绝性能崩溃。
3. 基于并联和（Parallel Sum）的数据驱动自适应证书估计 当环境未预先给出先验证书 \((M_{\mathrm{bias}}, \rho)\) 时，算法以时间倍增划分子阶段（Epoch \(k\)），仅依赖截至阶段初的历史线上数据 \(G_k^{\mathrm{on}}\) 与离线矩阵 \(G_{\mathrm{off}}\) 动态合成证书。核心算子采用调和平均在正定锥上的推广——并联和（Parallel Sum）： $$ \widehat{M}{k,\mathrm{bias}} := \left( (G_k^{\mathrm{on}})^{-1} + G $$ 根据变分对偶性质，}}^{-1} \right)^{-1\(\|x\|_{\widehat{M}_{k,\mathrm{bias}}}^2 = \inf_{x=u+v} \{\|u\|_{G_k^{\mathrm{on}}}^2 + \|v\|_{G_{\mathrm{off}}}^2\}\)，其在几何上度量了将任意向量分解为「线上可验证」与「线下可验证」两分量时的最小联合精度代价。算法据此赋予自适应半径 \(\hat{\rho}_k = \|\hat{\theta}_k^{\mathrm{on}} - \hat{\theta}_{\mathrm{off}}\|_{\widehat{M}_{k,\mathrm{bias}}} + \beta_k^{\mathrm{on}}(\delta_k) + \beta_{\mathrm{off}}(\delta_{\mathrm{off}})\)。通过该构造，算法在完全无需环境漂移超参数的情况下，证明了在线与离线估计在共享覆盖方向上的快速一致性，同时自适应惩罚项 \(\mathcal{S}_{\mathrm{ep}}/T\) 随样本增加平滑衰减。
损失函数 / 训练策略¶
算法无需神经网络反向传播，策略训练完全由闭式在线/离线岭回归正规方程与分层置信区间更新驱动。超参数遵循理论配比设定：置信分配预算满足 \(\delta_{\mathrm{off}} + \delta_{\mathrm{on}} + \sum_t \sum_\ell \delta_{t,\ell}^{\mathrm{pool}} \le T^{-2}\)，保证全局高概率事件在以至少 \(1 - T^{-2}\) 的置信度下成立。在分层淘汰机制中，层级深度设为 \(L = \lceil \log_2 T \rceil\)。每个时间步 \(t\) 从第 \(0\) 层开始迭代，当候选动作的最大聚合区间宽度满足 \(w_{t,\ell}(a) > 2^{-\ell}\) 时，算法立即选出贪心动作 \(a_t\) 并在环境交互后将该轮数据指派给当前层级历史 \(\mathcal{H}_{t+1,\ell}\)；否则利用 \(U_{t,\ell}^{\min}(a) \ge \max_{a'} L_{t,\ell}^{\max}(a')\) 淘汰置信区间劣于下界的动作，将精简后的候选集 \(\mathcal{A}_{t,\ell+1}\) 传递至下一层。自适应版本采用倍增时间表 \(\tau_k = 2^{k-1}\)，使矩阵求逆与证书重构频率控制在 \(O(\log T)\)，保证计算开销与普通 SupLinUCB 处于同一数量级。
实验关键数据¶
主实验¶
实验采用合成高维线性老虎机环境，基准配置为动作数 \(K=5\)，特征维度 \(d=5\)，在线时步 \(T=20000\)，奖励子高斯噪声标准差 \(\sigma=0.1\)，离线样本量 \(n_{\mathrm{off}}=2000\)。在线真实参数向量固定为 \(\theta_* = (s, 1, 1, 1, 1)\)，离线参数向量设定为具有坐标交叉偏置的 \(\theta^\dagger = (1, s, 1, 1, 1)\)。通过调节参数 \(s \in \{1.1, 2.0, 10.0\}\)，模拟从轻度、中度到极度偏置的跨环境迁移场景，对比标准 SupLinUCB、热启动 SupLinUCB、纯离线贪心策略、本文提出的 Ellipsoidal-MINUCB 及数据驱动自适应版本。
| 实验配置 / 偏置程度 | 纯离线策略 (Offline-Only) | 热启动基线 (Warm-start UCB) | 纯在线基线 (SupLinUCB) | 自适应版本 (Data-Driven MINUCB) | 本文方法 (Ellipsoidal-MINUCB) | 相对纯在线改善 |
|---|---|---|---|---|---|---|
| \(s=1.1\)（轻度偏置，强对齐） | 248.5 ± 21.3 | 112.4 ± 14.2 | 148.6 ± 18.2 | 96.2 ± 11.5 | 81.4 ± 9.8 | -45.2% |
| \(s=2.0\)（中度偏置，局部对齐） | 1856.2 ± 89.4 | 436.8 ± 35.1 | 152.1 ± 17.5 | 141.5 ± 15.8 | 118.6 ± 12.3 | -22.0% |
| \(s=10.0\)（极度偏置，虚假离线） | 8940.1 ± 142.6 | 1284.6 ± 68.2 | 150.8 ± 16.9 | 156.4 ± 17.1 | 149.2 ± 16.4 | -1.1% (安全回退) |
消融实验¶
为验证「方向感知偏差证书」的不可替代性，在固定的在线参数 \(\theta_* = (2, 1, 1, 1, 1)\) 下，固定其余坐标为 1，将离线第一维参数 \(\theta_1^\dagger\) 在 \(\{0, 1, 2, 3, 4\}\) 范围内变化（\(\theta_1^\dagger = 2\) 对应无偏差理想情况）。对比完整 Ellipsoidal-MINUCB、仅利用协方差矩阵加速而忽略方向偏差边界的消融变体（Design-Only Pooling），以及纯在线 SupLinUCB。
| 离线第一维参数 \(\theta_1^\dagger\) | 真实偏差量 \(\|\theta_* - \theta^\dagger\|_2\) | 纯在线 (SupLinUCB) | 协方差消融 (Design-Only) | 本文完整模型 (Ellipsoidal-MINUCB) | 消融分析与机制说明 |
|---|---|---|---|---|---|
| \(\theta_1^\dagger = 2.0\) | 0.00 (完全无偏差) | 151.2 ± 16.4 | 78.2 ± 8.5 | 79.5 ± 8.9 | 离线完全可信，汇聚分支全力加速，二者性能相当 |
| \(\theta_1^\dagger = 1.0\) | 1.00 (轻度偏差) | 150.4 ± 15.9 | 164.2 ± 19.3 | 114.8 ± 12.1 | Design-Only 因偏差扩大掉点，本文证书保持适度利用 |
| \(\theta_1^\dagger = 3.0\) | 1.00 (轻度反向偏差) | 149.8 ± 17.1 | 172.5 ± 21.0 | 116.2 ± 13.0 | 本文对称椭球半径依然紧致，显著优于基线 |
| \(\theta_1^\dagger = 0.0\) | 2.00 (中重度偏差) | 152.0 ± 18.2 | 512.4 ± 46.8 | 148.6 ± 16.5 | Design-Only 被错误离线误导，本文安全回退至纯在线 |
| \(\theta_1^\dagger = 4.0\) | 2.00 (中重度偏差) | 151.5 ± 16.8 | 538.1 ± 51.2 | 149.1 ± 17.0 | 汇聚分支自动关闭，完全免疫高离线偏差干扰 |
关键发现¶
- 对齐增益与安全底线并存：在轻度偏差与低偏差特征方向上，Ellipsoidal-MINUCB 相比标准 SupLinUCB 降低了 45.2% 的累积后悔，而在离线误差极大的对抗场景下（\(s=10\)），算法平滑收敛于纯在线基准，未出现任何性能崩溃。
- 方向证书的防误导能力：消融实验揭示，若仅使用离线数据的设计矩阵 \(G_{\mathrm{off}}\)（Design-Only Pooling），在离线偏差较大时累积遗憾会飙升 3 倍以上；引入方向感知偏差证书后，超额惩罚项 \(\rho \psi_{t,\ell}(x)\) 精准放大了该维度的不确定性，成功规避了错误离线先验。
- 数据驱动自适应估计的有效性：在完全不具备离线偏差先验的情况下，基于并联和构建的自适应算法仅引入了轻微的初期保守性，随数据累积迅速逼近已知证书 Oracle 的收敛曲线。
亮点与洞察¶
- 突破标量欧氏偏差假说的理论局限：首次在上下文老虎机中将离线-在线迁移难度与矩阵级特征子空间对齐联系起来，以理论下界严格证明各向同性偏差度量的不足，奠定了方向感知迁移的理论范式。
- 并联和（Parallel Sum）在自适应证书中的巧妙运用：将泛函分析与矩阵代数中的并联和引入在线探索，其对偶变分解释赋予了「同时被线上和线下可信认证」极其优雅的几何物理意义。
- 可外推的方法论价值：双分支置信界与方向惩罚设计可无缝推广至深度强化学习中的离线预训练加在线微调（Offline-to-Online RL）中，为评估值函数各状态-动作特征方向上的不确定性提供了严谨工具。
局限与展望¶
- 理论下界的对角化限制：定理 3 的下界构造限定在对角高斯子类中，尚未完全覆盖非对角任意协方差与连续动作空间的极小子界。
- 线性奖励假设与计算扩展：目前框架严格基于线性收益假设，若推广至广义线性模型（GLM）或核化/深度表征，矩阵并联和与置信椭球的投影计算复杂度将显著增加。
- 极端覆盖缺失下的平滑过渡：当离线特征支集与在线探索流呈现正交分布时，自适应证书在初期的估计可能偏向保守，收敛至最优点所需的探索样本仍有压缩空间。
相关工作与启发¶
- vs MIN-UCB (Cheung & Lyu, 2024)：MIN-UCB 在多臂老虎机（MAB）中首次提出最小化 UCB 思想，但局限于孤立臂级别的标量偏差，无法处理线性特征共享带来的各向异性泛化问题；本文成功将这一范式升级为矩阵级的方向感知几何。
- vs 离线增强线性老虎机 (Vijayan et al., 2025)：后者假设离线与在线参数完全一致（\(\theta^\dagger = \theta_*\)），仅借助离线设计矩阵减少冷启动探索；本文不仅利用离线协方差结构，更彻底解决了两者存在未知方向偏差时的鲁棒迁移与理论防线。
- vs 误设鲁棒老虎机 (Misspecified Bandits, Takemura et al., 2021)：误设老虎机考虑的是真实奖励非线性对线性拟合的全局扰动；本文的线上环境依旧完全线性，核心挑战源自离线源域到在线目标域在不同参数分量上的非均匀漂移。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出方向感知偏差证书与基于并联和的自适应估计理论，打破了各向同性先验的定势。
- 实验充分度: ⭐⭐⭐⭐☆ 理论证明极其详尽严密，数值仿真完整覆盖了各种偏置与支集缺失场景，若能补充实际推荐/广告日志测试则更佳。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密精炼，核心动机叙述生动清晰，几何直觉阐述透彻。
- 价值: ⭐⭐⭐⭐⭐ 为离线-在线混合强化学术界与工业部署提供了兼顾高效加速与绝对安全保障的基础理论工具。