方向感知线性上下文老虎机的离线到在线学习 (Direction-Aware Offline-to-Online Learning in Linear Contextual Bandits)¶

会议: NeurIPS 2026
arXiv: 2604.24016
领域: 强化学习
关键词: 线性上下文老虎机, 离线到在线学习, 方向感知偏差凭证, 椭球置信集, 遗憾上界

一句话总结¶

针对线性上下文老虎机中离线数据向在线迁移时的方向性偏差难题，本文提出方向感知偏差凭证与 Ellipsoidal-MINUCB 算法（含固定凭证与自适应数据驱动版本），实现了向无偏低方差方向安全加速探索、向有偏方向无损平滑回退至纯在线最优速率。

研究背景与动机¶

在推荐系统、动态定价与临床试验等上下文老虎机部署场景中，决策系统往往预先积累了大量历史日志或源域离线数据。将这些历史样本用于初始化在线学习（即离线到在线学习，Offline-to-Online Learning），直观上能够显著削减冷启动阶段的高昂探索成本。然而，离线数据往往由历史策略或偏差分布生成，其对应的真实参数 $\theta^{\dagger}$ 与当前在线环境的真实奖励参数 $\theta^*$ 往往存在不可忽视的系统性偏差。如果盲目将离线数据全量混合，算法极易陷入次优动作的认知陷阱；如果完全弃用历史数据，又会错失宝贵的先验样本。

现有文献在刻画离线到在线参数偏差时，几乎普遍依赖标量欧氏范数约束 $\|\theta^* - \theta^{\dagger}\|_2 \le \rho$。然而，这种各向同性的标量界对于线性上下文老虎机而言从根本上过于粗糙。在线决策并非直接比较参数欧氏距离，而是通过动作特征与参数的内积进行收益权衡。因此，跨域偏差在线性空间中天然具有强烈的方向敏感性：如果历史偏差仅集中在与当前在线动作对比正交的特征方向上，该离线数据对在线决策依然具有极高价值；反之，若微小偏差恰好落在动作优劣辨识的核心方向上，标量界将无法区分这两种本质不同的硬度。本文的极限定理证明，即使向算法直接透露离线参数 $\theta^{\dagger}$ 与欧氏偏差标量 $\rho$，单未知方向上的偏差也足以强制算法承受维度依赖的恶化遗憾。

因此，核心矛盾在于标量偏差无法指导沿不同特征方向的安全信息借用。本文的核心 idea 是引入基于正定矩阵加权范数的方向感知偏差凭证 $\|\theta^* - \theta^{\dagger}\|_{M_{\mathrm{bias}}} \le \rho$，为特征空间赋予各向异性的方向偏差预算，并据此设计双分支置信聚合算法 Ellipsoidal-MINUCB 与基于并联和几何的数据驱动自适应凭证，实现安全自适应的跨域探索加速。

方法详解¶

整体框架¶

算法 Ellipsoidal-MINUCB 的核心逻辑是构建双通道置信上界：纯在线通道（SupLinUCB 分层估计器）与离线混合池化通道（Pooled Branch），在每轮决策中取二者置信上界（UCB）的下确界以及置信下界（LCB）的上确界。当离线数据在某个方向上覆盖充分且偏差预算极低时，池化通道输出极其紧凑的置信区间，迅速锁定最优动作；而当遇到离线未覆盖或高偏差方向时，池化区间变宽，算法无缝回退到纯在线通道的安全边界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：离线数据集与在线上下文特征"] --> B["方向感知偏差凭证与离线置信域构建<br/>基于M_bias与G_off刻画椭球边界"]
    B --> C["双分支置信估计与宽度计算<br/>纯在线分层分支与离线池化分支并行"]
    C --> D["分支聚合机制：Min-UCB与Max-LCB<br/>取交集压缩不确定性"]
    D --> E["分层淘汰与自适应动作选择<br/>基于有效动作集与阈值2^-ℓ分层执行"]
    E --> F["数据驱动凭证自适应更新<br/>并联和几何融合在线与离线Gram矩阵"]

关键设计¶

1. 方向感知偏差凭证与离线置信域构建：将质性方向先验转化为各向异性置信约束

针对欧氏标量距离无法捕捉特征方向重要性的痛点，本文定义方向感知偏差凭证 $(M_{\mathrm{bias}}, \rho)$，要求真实参数差异满足 $\|\theta^* - \theta^{\dagger}\|_{M_{\mathrm{bias}}} \le \rho$（其中 $M_{\mathrm{bias}} \succ 0$）。当特征向量 $x$ 沿 $M_{\mathrm{bias}}$ 的大特征值特征向量投影时，该方向的容许偏差尺度被强力压缩；沿小特征值方向则保留相对宽松的偏差空间。结合离线样本的岭回归协方差矩阵 $G_{\mathrm{off}} = I + \sum_{i=1}^{n_{\mathrm{off}}} z_i z_i^{\top}$ 以及离线估计器 $\hat{\theta}_{\mathrm{off}}$，算法将离线统计不确定度与跨域偏差通过 Minkowski 和融合为在线参数 $\theta^*$ 的闭式离线支撑函数： $$ \sup_{\theta \in \mathcal{C}{\mathrm{off}}} x^{\top}\theta = x^{\top}\hat{\theta})|x|}} + \beta_{\mathrm{off}}(\delta_{\mathrm{off}{G + \rho |x|}}^{-1}{M $$ 该设计允许系统精确度量沿每个动作方向 }}^{-1}$x$ 可安全信赖的离线信息边界，杜绝因个别方向失真而全盘否定离线先验。

2. 双分支置信估计与自适应聚合机制：确保严格优于或持平纯在线探索

为了在线上交互中稳健利用上述先验，算法在分层索引 $\ell$ 下维持纯在线分支与池化分支。纯在线分支计算标准岭回归估计量 $\hat{\theta}^{\mathrm{on}}_{t,\ell}$ 及其置信半径 $\mathrm{rad}^{\mathrm{on}}_{t,\ell}(x) = \beta^{\mathrm{on}}_{t,\ell} \|x\|_{V_{t,\ell}^{-1}}$；池化分支则将在线充分统计量 $(A_{t,\ell}, b_{t,\ell})$ 与离线正规化设计 $(G_{\mathrm{off}}, G_{\mathrm{off}}\hat{\theta}_{\mathrm{off}})$ 融合成联合估计量 $\hat{\theta}^{\mathrm{pool}}_{t,\ell} = (A_{t,\ell} + G_{\mathrm{off}})^{-1}(b_{t,\ell} + G_{\mathrm{off}}\hat{\theta}_{\mathrm{off}})$，并配以带方向偏差修正项的池化置信半径： $$ \mathrm{rad}^{\mathrm{pool}}{t,\ell}(x) = (\gamma)|x|} + \beta_{\mathrm{off}{(A x|_2 $$ 其中第二项精准刻画了池化投影滤波算子 } + G_{\mathrm{off}})^{-1}} + \rho |M_{\mathrm{bias}}^{-1/2} G_{\mathrm{off}}(A_{t,\ell} + G_{\mathrm{off}})^{-1$G_{\mathrm{off}}(A_{t,\ell} + G_{\mathrm{off}})^{-1}$ 在偏差矩阵 $M_{\mathrm{bias}}$ 逆范数下的传播幅度。随后算法实施分支聚合，令 $U^{\min}_{t,\ell}(a) = \min\{U^{\mathrm{on}}_{t,\ell}(a), U^{\mathrm{pool}}_{t,\ell}(a)\}$ 且 $L^{\max}_{t,\ell}(a) = \max\{L^{\mathrm{on}}_{t,\ell}(a), L^{\mathrm{pool}}_{t,\ell}(a)\}$。这种 Min-Max 结构构筑了坚固的安全性保证：若池化分支因离线覆盖良好且偏差低而给出更窄区间，算法即可提前锁定高价值动作；一旦离线信息偏离或未覆盖，纯在线分支即刻托底，最坏情况仍保持与 SupLinUCB 相同的后悔收敛量级。

3. 数据驱动凭证自适应估计：基于并联和几何的未知偏差在线学习

在实际场景中，先验矩阵 $M_{\mathrm{bias}}$ 与半径 $\rho$ 往往无法预先获得。针对这一应用痛点，本文提出了无序预设凭证的分幕（Epoch）自适应版本。在每幕 $\tau_k$ 开始前，利用累积的纯在线 Gram 矩阵 $G_k^{\mathrm{on}}$ 与离线矩阵 $G_{\mathrm{off}}$ 的并联和（Parallel Sum）构造自适应度量矩阵： $$ \widehat{M}{k,\mathrm{bias}} = \left((G_k^{\mathrm{on}})^{-1} + G $$ 其内在几何机制源于变分等式 }}^{-1}\right)^{-1$\|x\|_{\widehat{M}_{k,\mathrm{bias}}}^2 = \inf_{x=u+v}\{\|u\|_{G_k^{\mathrm{on}}}^2 + \|v\|_{G_{\mathrm{off}}}^2\}$，即它衡量了将任意方向 $x$ 分解为在线可证成分与离线可证成分时的最小联合精度代价。算法通过经验参数差 $\widehat{\Delta}_k = \hat{\theta}_k^{\mathrm{on}} - \hat{\theta}_{\mathrm{off}}$ 及其置信外壳直接计算经验偏差半径 $\hat{\rho}_k = \|\widehat{\Delta}_k\|_{\widehat{M}_{k,\mathrm{bias}}} + \beta_k^{\mathrm{on}} + \beta_{\mathrm{off}}$。该自适应机制使算法在完全未知偏差先验的条件下，依然能够动态捕捉跨域一致的方向，以轻微的对数分幕惩罚实现对已知凭证最优界的渐近逼近。

一个完整示例¶

考虑一个特征维度 $d=3$ 的上下文推荐场景，在线真实参数为 $\theta^* = [1.0, 1.0, 0.5]^{\top}$，离线由于历史曝光策略倾斜，学得的参数为 $\theta^{\dagger} = [1.0, 1.0, 2.5]^{\top}$。此时参数偏差仅存在于第三个维度（$\Delta = [0, 0, -2.0]^{\top}$）。 1. 凭证刻画：设定方向凭证 $M_{\mathrm{bias}} = \operatorname{diag}(100, 100, 0.25)$ 与 $\rho = 1.0$。前两个维度的特征值极大（$\lambda_{1,2} = 100$），对应的单向偏差容忍上界为 $\rho / \sqrt{100} = 0.1$，约束极紧；第三维度的特征值为 $0.25$，容许偏差上限为 $\rho / \sqrt{0.25} = 2.0$。 2. 动作对比：候选动作集包含动作 $a_1 = [0.8, 0.6, 0.0]^{\top}$ 和动作 $a_2 = [0.1, 0.2, 0.9]^{\top}$。 3. 置信收缩与决策：对于动作 $a_1$，由于其特征完全落在前两维的高精度无偏子空间内，池化分支中的偏差项 $\rho \psi_{t,\ell}(x_1)$ 近乎为 0，而离线 $G_{\mathrm{off}}$ 的巨量样本使协方差项 $\|x_1\|_{(A + G_{\mathrm{off}})^{-1}}$ 急剧缩小，池化分支 UCB 显著低于纯在线 UCB，置信区间迅速收敛；对于涉及第三维度的动作 $a_2$，池化分支的偏差惩罚项大幅扩张，算法自适应选择纯在线分支的紧界进行保底探索，从而既利用了前两维的丰富历史数据，又彻底规避了第三维度的严重误导。

实验关键数据¶

主实验¶

论文在随机生成的上下文特征环境下评估算法性能。基准设定包含 $K=5$ 个候选臂，$d=5$ 维特征向量，在线时间步长 $T=20000$，噪声方差 $\sigma=0.1$，离线样本量 $n_{\mathrm{off}}=2000$。参数设置采用坐标拆分失配（Coordinate-split mismatch）：固定在线参数 $\theta^* = (s, 1, 1, 1, 1)$，离线参数设定为 $\theta^{\dagger} = (1, s, 1, 1, 1)$，参数 $s \in \{1.1, 2.0, 10.0\}$ 对应从轻微、中度到重度失配。对比模型包括纯在线基线 SupLinUCB、已知凭证的 Ellipsoidal-MINUCB、自适应未知的 3D Ellipsoidal-MINUCB（数据驱动版本）、Warm-started SupLinUCB（直接用离线数据混入初始化）以及非自适应纯离线策略（Offline-only）。

实验配置 ($T=20000, d=5, K=5$)	评估指标	Ellipsoidal-MINUCB (本文)	3D Ellipsoidal-MINUCB (自适应)	SupLinUCB (纯在线基线)	Warm-started SupLinUCB
轻度失配 ($s=1.1$)	累积遗憾 (Cumulative Regret)	~120	~170	~340	~130
中度失配 ($s=2.0$)	累积遗憾 (Cumulative Regret)	~160	~230	~350	~780
重度失配 ($s=10.0$)	累积遗憾 (Cumulative Regret)	~340	~360	~350	>3000 (发散)

消融实验¶

针对单坐标偏差变化，论文固定在线参数 $\theta^* = (2, 1, 1, 1, 1)$，仅改变离线参数首个坐标 $\theta_1^{\dagger} \in \{0, 1, 2, 3, 4\}$（其余坐标恒为 1），对比完整算法与剥离变体：变体 A 仅将离线设计矩阵 $G_{\mathrm{off}}$ 引入在线分支的正则项（不使用离线响应估计），变体 B 完全退化为纯在线脊回归设计（Online-only）。

离线第一维均值 $\theta_1^{\dagger}$ (真实 $\theta_1^*=2$)	完整 Ellipsoidal-MINUCB 遗憾	变体 A (仅离线协方差加速) 遗憾	变体 B (纯在线无离线设计) 遗憾	机制解析说明
$\theta_1^{\dagger} = 2$ (完全对齐无偏)	~115	~260	~350	离线估计与协方差完全赋能，达成最低探索遗憾
$\theta_1^{\dagger} = 1$ (轻度偏差 $\Delta=1$)	~155	~265	~350	池化分支偏差惩罚轻微，有效利用其余 4 维历史先验
$\theta_1^{\dagger} = 0$ (中度偏差 $\Delta=2$)	~240	~270	~350	偏差扩张促使部分时间步回退，但仍优于纯在线探索
$\theta_1^{\dagger} = 3$ (中度正向偏差 $\Delta=1$)	~160	~265	~350	对称偏差表现稳定，受 $M_{\mathrm{bias}}$ 精确控制
$\theta_1^{\dagger} = 4$ (重度偏差 $\Delta=2$)	~245	~270	~350	置信上界自动平滑兜底至纯在线水平，无性能崩塌

关键发现¶

抗误导稳健性与保底效应：常规的离线热启动策略（Warm-started SupLinUCB）在中度和重度参数失配下遭受灾难性的性能崩溃，累积遗憾随时间线性暴增（$s=10$ 时遗憾突破 3000）；而本文算法即便在极端失配下，其累积遗憾也能平滑截断于纯在线基线水平（~340-350），严格验证了 Min-UCB 理论安全界。
正交子空间迁移红利：即便在存在显著偏差的方向上，只要其余方向与离线数据协方差对齐，算法仍能利用未失配维度的先验显著降低遗憾（$s=2.0$ 时相比纯在线遗憾降低超过 50%）。
自适应数据驱动的实用有效性：在完全不输入凭证先验矩阵 $M_{\mathrm{bias}}$ 的情况下，自适应并联和算法（3D Ellipsoidal-MINUCB）能够迅速通过前几幕的在线残差辨识偏差结构，其总体遗憾仅比拥有完美先验的 Oracle 略微高出约 20-30%，且全过程大幅超越纯在线探索。

亮点与洞察¶

从各向同性标量到各向异性张量的范式跃迁：传统方法用单标量界限粗暴截断离线数据，而本文证明了线性特征空间下偏差具有各向异性本质。通过引入矩阵加权范数，首次实现了特征维度的差异化偏差配额分配。
并联和（Parallel Sum）在自适应几何融合中的绝妙运用：采用 $M_{\mathrm{bias}} = ((G^{\mathrm{on}})^{-1} + G_{\mathrm{off}}^{-1})^{-1}$ 刻画不确定性联合代价，数学形式优美且严密刻画了在线与离线置信几何的最小重叠开销，为未知非平稳环境下的置信集估计提供了通用范式。
无需权衡的无损回退结构：利用 Min-Max 规则同时拦截上下置信界，使得算法在历史数据完全失效时自然退化为 SupLinUCB，而在历史数据有效时获得严格更快的 $O(\sqrt{rT})$ 收敛率，消除了离线到在线学习中普遍存在的“负迁移（Negative Transfer）”顾虑。

局限与展望¶

假设局限于线性与次高斯噪声：理论推导依赖线性回报结构与强次高斯噪声假设，现实复杂系统往往包含广义线性关联（如 Logistic 点击率预估）或非线性神经网络表征。
下界分析局限于对角协方差子类：下界构造（Theorem 3）当前主要针对对角矩阵形式的特征空间，非对角耦合协方差矩阵下的紧致信息论下界仍待进一步理论突破。
高维扩展计算开销：自适应凭证计算涉及矩阵求逆与分层椭球半径评估，在高维稀疏特征或海量动作集场景下存在可观的浮点计算瓶颈，后续可探索基于随机投影或低秩近似的加速实现。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在线性上下文老虎机中提出方向感知偏差凭证及并联和自适应估计机制，理论突破极强。
实验充分度: ⭐⭐⭐⭐ 包含合成环境下的坐标失配、均值偏移、支集收缩等多组详尽消融，充分印证了理论定理，但略微欠缺超大规模真实业务数据集验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，几何直觉阐述清晰透彻，附录证明与反例构造极其扎实。
价值: ⭐⭐⭐⭐⭐ 完美解决了强化学习与工业推荐/定价领域中历史有偏数据“敢不敢用、怎么安全用”的核心落地痛点。

实验配置 (\(T=20000, d=5, K=5\))	评估指标	Ellipsoidal-MINUCB (本文)	3D Ellipsoidal-MINUCB (自适应)	SupLinUCB (纯在线基线)	Warm-started SupLinUCB
轻度失配 (\(s=1.1\))	累积遗憾 (Cumulative Regret)	~120	~170	~340	~130
中度失配 (\(s=2.0\))	累积遗憾 (Cumulative Regret)	~160	~230	~350	~780
重度失配 (\(s=10.0\))	累积遗憾 (Cumulative Regret)	~340	~360	~350	>3000 (发散)

离线第一维均值 \(\theta_1^{\dagger}\) (真实 \(\theta_1^*=2\))	完整 Ellipsoidal-MINUCB 遗憾	变体 A (仅离线协方差加速) 遗憾	变体 B (纯在线无离线设计) 遗憾	机制解析说明
\(\theta_1^{\dagger} = 2\) (完全对齐无偏)	~115	~260	~350	离线估计与协方差完全赋能，达成最低探索遗憾
\(\theta_1^{\dagger} = 1\) (轻度偏差 \(\Delta=1\))	~155	~265	~350	池化分支偏差惩罚轻微，有效利用其余 4 维历史先验
\(\theta_1^{\dagger} = 0\) (中度偏差 \(\Delta=2\))	~240	~270	~350	偏差扩张促使部分时间步回退，但仍优于纯在线探索
\(\theta_1^{\dagger} = 3\) (中度正向偏差 \(\Delta=1\))	~160	~265	~350	对称偏差表现稳定，受 \(M_{\mathrm{bias}}\) 精确控制
\(\theta_1^{\dagger} = 4\) (重度偏差 \(\Delta=2\))	~245	~270	~350	置信上界自动平滑兜底至纯在线水平，无性能崩塌