Online Localized Conformal Prediction¶

会议: NeurIPS 2026
arXiv: 2605.05497
OpenReview: https://openreview.net/forum?id=vPeDJdLEKg
论文: https://arxiv.org/abs/2605.05497
领域: 优化/理论
关键词: 共形预测、在线学习、协变量异质性、局部化加权、在线凸优化

一句话总结¶

针对时序流式数据中分布漂移与特征空间异质性交织的难题，提出结合协变量局部化分位数与在线反馈校准的 OLCP，并通过在线带约束凸优化算法 OLCP-Hedge 自适应聚合多尺度带宽专家，在严格保证长期覆盖率的同时显著压缩预测区间宽度。

研究背景与动机¶

在在线学习与时间序列预测等高风险决策场景中，可靠的不确定性量化是保障系统安全的关键基石。传统共形预测（Conformal Prediction, CP）能够在有限样本且模型不可知的条件下提供严格的边际覆盖率保证，但其理论根基高度依赖于数据的可交换性（Exchangeability）。而在流式学习环境中，时序自相关性、非平稳分布漂移、异方差性以及结构突变随处可见，可交换性假设往往荡然无存。虽然自适应共形推断（Adaptive Conformal Inference, ACI）及其衍生方法通过实时调整名义失覆盖率实现了长期的有效覆盖，但现有在线共形方法普遍基于全局标定分布构建阈值，只对系统整体的不确定性变化做出时间维度的被动响应，完全忽略了特征空间内部各区域的异质性差异。这种全局标定机制导致模型在简单输入区域预测集合过于冗长松弛，而在高噪声或困难输入区域则欠覆盖频发。

另一方面，离线统计学界提出了局部化共形预测（Localized Conformal Prediction, LCP），利用核函数加权赋予与测试样本特征相近的历史校准点更高权重，从而使置信区间自适应于特征空间的局部异质性。然而现有的局部化共形方法均以可交换性为先决条件，完全无法应对在线非平稳流式数据的动态漂移。这就形成了一个鲜明的理论与方法断层：现有的在线共形方法能对抗时间层面的非交换性分布漂移，却固守全局分位数无法捕捉特征异质性；现有的局部化共形方法能刻画特征空间的局部噪声差异，却在时序漂移下失效。

更为棘手的是，局部化核方法的高度有效性极大地受制于带宽参数的选择：带宽过小容易放大有限窗口内的局部估计方差，带宽过大则会抹平特征空间的不确定性差异并退化为全局规则。核心 idea：将协变量局部化加权与在线反馈误差跟踪深度融合构建 OLCP 架构，并进一步将局部化带宽选择建模为带有长期失覆盖率约束的在线凸优化问题，通过虚拟队列与势函数驱动的 OLCP-Hedge 算法实现帕累托最优的多尺度专家自适应聚合。

方法详解¶

整体框架¶

OLCP 的目标是在无交换性假设的流式观测序列中，于每个时间步 $t$ 为当前输入的特征向量 $X_t$ 构造紧凑且满足长期覆盖率目标 $\frac{1}{T}\sum_{t=1}^T \mathbf{1}\{Y_t \in C_t(X_t)\} \approx 1-\alpha$ 的预测集合 $C_t(X_t)$。整个方法由“单带宽在线局部化共形预测（OLCP）”与“多带宽带约束在线专家聚合（OLCP-Hedge）”双层架构组成。系统在每个时间步首先利用局部化核函数对滑动校准窗口内的历史残差打分进行特征空间距离加权，构造出以当前查询特征为中心的经验分位数分布；随后，多个不同带宽尺度的 OLCP 专家生成各自的局部化候选预测集合；元学习层（OLCP-Hedge）利用基于 Lyapunov 虚拟队列与指数势函数构建的代理损失驱动 AdaHedge 专家聚合器抽样输出最终预测集合；真实标签揭示后，系统一方面依据单步覆盖误差更新各个专家的名义校准分位级，另一方面将累计超额失覆盖违约注入虚拟队列以惩罚不满足覆盖约束的候选带宽。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流<br/>时序特征 X_t 与历史滑动窗口"] --> B["1. 协变量依赖的局部化加权分布<br/>特征标准化与指数局部核加权"]
    B --> C["2. 投影在线梯度下降校准<br/>名义分位数水平 alpha_t 误差反馈更新"]
    C --> D["3. 虚拟队列约束在线凸优化<br/>超额失覆盖违约虚拟队列 Q(t) 与代理损失"]
    D --> E["4. 多带宽专家自适应聚合<br/>AdaHedge 抽样输出紧凑预测区间 C_t"]
    E --> F["输出与反馈更新<br/>观测 Y_t 并同步更新队列与专家状态"]

关键设计¶

1. 协变量依赖的局部化加权分布：解决特征空间异质性与时序窗口滑动兼顾问题

针对全局标定无法适应特征局部不确定性的瓶颈，OLCP 在大小为 $R$ 的滚动校准时间窗口 $\mathcal{I}_t := \{\max(1, t-R), \dots, t-1\}$ 内引入局部核加权。对当前待测样本特征 $x \in \mathcal{X}$ 与历史样本 $X_i$，首先利用窗口内均值与标准差对特征进行坐标轴标准化得到 $\tilde{x}$ 与 $\tilde{X}_i$，并采用指数核局部化算子 $H_h(x, X_i) = \exp(-\|\tilde{x} - \tilde{X}_i\|_2 / h)$ 计算相似度。基于局部核计算归一化局部权重： $$w_{t,i}^{(h)}(x) := \frac{H_h(x, X_i)}{\sum_{j \in \mathcal{I}_t} H_h(x, X_j)}, \quad i \in \mathcal{I}_t$$ 随后构造由历史非一致性打分 $S_i = s(X_i, Y_i)$ 组成的局部经验分位数分布 $D_t^{(h)}(x) := \sum_{i \in \mathcal{I}_t} w_{t,i}^{(h)}(x) \delta_{S_i}$。当带宽 $h \to 0$ 时模型完全聚焦于局部近邻特征，而在 $h \to \infty$ 时则平滑退化为传统全局滚动窗口分布。局部预测集合定义为该加权经验分布下的分位数反函数：$C_t^{(h)}(x; \beta) := \{y \in \mathcal{Y}: s(x, y) \le Q(1-\beta; D_t^{(h)}(x))\}$。

2. 投影在线梯度下降校准：解决无交换性非平稳时序流中的覆盖率有效性

在获得依赖于特征空间的候选集合族后，必须在时间维度动态适应可能出现的分布突变与渐进漂移。OLCP 维护一个位于 $[0, 1]$ 区间内的名义失覆盖率参数 $\alpha_t$。在输出预测集 $C_t^{(h)}(X_t; \alpha_t)$ 并观测到真实标签 $Y_t$ 后，记录单步失覆盖指示变量 $\mathrm{err}_t := \mathbf{1}\{Y_t \notin C_t^{(h)}(X_t; \alpha_t)\}$，并执行投影在线更新： $$\alpha_{t+1} = \Pi_{[0, 1]}(\alpha_t + \gamma(\alpha - \mathrm{err}_t))$$ 该更新在理论上具有深刻的优化内涵：定义真实标签被恰好覆盖的临界分位级 $\beta_t^{(h)} := \sup\{\beta \in [0, 1]: Y_t \in C_t^{(h)}(X_t; \beta)\}$，在 Pinball 损失 $\ell(\beta, \theta) = \alpha(\beta - \theta) - \min\{0, \beta - \theta\}$ 下，误差差值满足 $\mathrm{err}_t - \alpha \in \partial_\theta \ell(\beta_t^{(h)}, \theta)|_{\theta=\alpha_t}$。因此上述迭代恰好是在 Pinball 损失序列上执行的投影在线梯度下降。作者给出了边界校正覆盖定理（Proposition 3.1）：定义投影越界项 $L_t := (-z_t)_+$ 与 $U_t := (z_t - 1)_+$（其中 $z_t := \alpha_t + \gamma(\alpha - \mathrm{err}_t)$），累计失覆盖偏差满足严格等式： $$\sum_{t=1}^T (\mathrm{err}_t - \alpha) = \frac{\alpha_1 - \alpha_{T+1}}{\gamma} + \frac{1}{\gamma}\sum_{t=1}^T (L_t - U_t)$$ 只要算法没有持续极端撞击预测集合的最宽/最窄边界（即 $\sum L_t = o(T)$ 且 $\sum U_t = o(T)$），长期的平均覆盖率便严格收敛至目标名义值 $1-\alpha$。

3. 虚拟队列约束在线凸优化：解决多尺度带宽专家聚合下的多目标帕累托权衡

局部化带宽 $h$ 决定了偏差与方差的权衡，若将区间大小作为普通 Hedge 算法的损失，模型会倾向于选择严重欠覆盖的极窄区间；若仅将覆盖率误差作为损失，则会失去对区间紧凑性的优化动力。为此，OLCP-Hedge 将带宽选择严格建模为带长期约束的在线凸优化（Constrained Online Convex Optimization, COCO）：在概率单纯形 $p_t \in \Delta_K$ 上最小化集合大小期望 $f_t(p) = \langle \omega_t, p \rangle$，同时要求超额失覆盖违约 $g_t(p) = \langle e_t, p \rangle - \alpha$ 的正部累积和保持为次线性。算法引入 Lyapunov 虚拟违约队列 $\mathcal{Q}(t) = \mathcal{Q}(t-1) + \kappa (g_t(p_t))_+$（初始化 $\mathcal{Q}(0)=0$），并结合指数势函数 $\Phi(q) = e^{\lambda q} - 1$ 构建代理损失函数： $$\hat{f}_t(p) = V \kappa f_t(p) + \Phi'(\mathcal{Q}(t))\kappa (g_t(p))_+$$ 其中 $\Phi'(q) = \lambda e^{\lambda q}$。当累计超额失覆盖风险上升时，虚拟队列长度增加，势函数导数呈指数级放大，迫使学习器将注意力全力转向满足覆盖约束的保守带宽专家；当覆盖裕度充足时，第一项占据主导，全力追求区间尺寸的极小化。

4. 多带宽专家自适应聚合：解决黑盒无参在线决策下的理论界保证

基于代理损失函数 $\hat{f}_t(p)$，系统在每个时间步提取次梯度 $\xi_t \in \partial \hat{f}_t(p_t)$，并将其线性化损失 $\ell_t(p) = \langle \xi_t, p \rangle$ 输入至基于概率单纯形 $\Delta_K$ 的无参自适应学习器 AdaHedge（Follow the Regularized Leader 框架）。定理 3.2 证明了在预测集尺寸有界（$\|\omega_t\|_\infty \le G$）且存在一致可行比较基准 $u^\star \in \Delta_K$ 的前提下，选取参数 $V=1$、$C_{\mathrm{AH}} = 2\sqrt{4+\ln K}$、$\kappa = \frac{1}{\sqrt{2}C_{\mathrm{AH}}G}$、$\lambda = \frac{1}{2\sqrt{T}}$ 时，OLCP-Hedge 能够同时达到： $$\sum_{t=1}^T \left(\mathbb{E}_{I_t \sim p_t}[\omega_{t, I_t}] - \langle \omega_t, u^\star \rangle\right) \le 4G\sqrt{2(4+\ln K)T} = O(G\sqrt{T(1+\ln K)})$$ $$\sum_{t=1}^T \left(\mathbb{E}_{I_t \sim p_t}[\mathrm{err}_{t, I_t}] - \alpha\right)_+ \le \widetilde{O}(G\sqrt{T(1+\ln K)})$$ 这表明 OLCP-Hedge 在保证长期失覆盖违约可控为 $\widetilde{O}(\sqrt{T})$ 的同时，面对任意离线可行专家组合的集合尺寸遗憾仅为 $O(\sqrt{T})$，实现了近乎零代价的带宽自适应。

损失函数 / 训练策略¶

作为纯在线后处理（Post-processing Wrapper）框架，OLCP 无需重新训练底层点预测模型，其核心优化策略包含三个超参设定原则： 1. 基准带宽启发式缩放：基准带宽基于多元核密度估计理论设定为 $h_0 = (\frac{4}{d+2})^{1/(d+4)} R^{-1/(d+4)}\sqrt{d}$，其中因子 $\sqrt{d}$ 用于匹配 $d$ 维标准化特征空间的典型欧氏距离尺度。OLCP-Hedge 的专家池则覆盖乘性网格 $h \in \{0.5, 0.75, 1.0, 1.25, 1.5\}h_0$。 2. 在线自适应步长：单专家及专家池内部的 ACI 跟踪步长均采用理论最优量级 $\gamma = \frac{1}{2\sqrt{T_{\mathrm{test}}}}$，在保证有效响应非平稳漂移的同时避免名义置信水平剧烈震荡。 3. 约束代理优化参数：在线代理损失中的尺度因子 $\kappa$ 与指数势函数参数 $\lambda$ 严格遵循定理 3.2 的理论闭式设定，实现黑盒免调参调用。

实验关键数据¶

主实验¶

论文在可控合成时序数据与三大真实世界序列流上进行了系统性横向评测，对比了标准共形预测（CP）、离线局部化共形预测（LCP）、自适应共形推断（ACI）、动态自适应共形推断（DtACI）以及序列残差预测共形推断（SPCI）。目标失覆盖率统一设为 $\alpha = 0.10$（即名义覆盖率 $90\%$）。

下表为 100 次蒙特卡洛重复下的合成时序流对比结果（测试长度 $T=1500$，滑动窗口 $R=200$），涵盖平稳同方差（场景 A）、协变量依赖异方差（场景 B）以及突变结构漂移（场景 C）：

场景	指标	CP	LCP	ACI	DtACI	SPCI	OLCP	OLCP-Hedge (本文)
A: 平稳同方差	覆盖率区间尺寸	0.900 (0.005) 3.301 (0.086)	0.892 (0.005) 3.271 (0.085)	0.900 (0.003) 3.341 (0.095)	0.900 (0.003) 3.326 (0.094)	0.812 (0.010) 2.850 (0.070)	0.900 (0.003) 3.382 (0.100)	0.900 (0.003) 3.376 (0.097)
B: 异方差噪声	覆盖率区间尺寸	0.900 (0.005) 3.611 (0.142)	0.894 (0.006) 3.448 (0.106)	0.900 (0.003) 3.738 (0.192)	0.900 (0.004) 3.692 (0.171)	0.819 (0.009) 3.056 (0.109)	0.901 (0.003) 3.572 (0.129)	0.900 (0.003) 3.564 (0.128)
C: 结构突变点	覆盖率区间尺寸	0.869 (0.009) 7.363 (0.468)	0.879 (0.008) 6.083 (0.289)	0.900 (0.004) 7.908 (0.477)	0.898 (0.004) 7.840 (0.466)	0.773 (0.014) 3.371 (0.116)	0.901 (0.003) 6.349 (0.278)	0.900 (0.004) 6.348 (0.278)

在三大真实世界时序数据集（电力传输 ELEC2、流感监测 ILINet、跨越 18 年金融周期的 5 只 ETF 波动率预测）上的测试结果如下表所示（括号内为 Block-Bootstrap 标准误差）：

数据集	指标	CP	LCP	ACI	DtACI	SPCI	OLCP	OLCP-Hedge (本文)
ELEC2	覆盖率区间宽度	0.890 (0.007) 0.3513 (0.008)	0.896 (0.006) 0.3312 (0.007)	0.900 (0.006) 0.3675 (0.009)	0.898 (0.006) 0.3660 (0.009)	0.777 (0.008) 0.1780 (0.002)	0.900 (0.005) 0.3377 (0.008)	0.899 (0.005) 0.3351 (0.008)
ILINet	覆盖率区间宽度	0.897 (0.034) 0.9366 (0.134)	0.908 (0.030) 0.7810 (0.093)	0.900 (0.033) 0.9004 (0.142)	0.900 (0.033) 0.8886 (0.141)	0.794 (0.043) 0.5110 (0.075)	0.904 (0.027) 0.7917 (0.110)	0.900 (0.027) 0.7478 (0.105)
ETF 波动率	覆盖率宽度 (%)	0.905 (0.005) 2.6890 (0.062)	0.896 (0.005) 2.4269 (0.053)	0.901 (0.004) 2.6741 (0.088)	0.900 (0.004) 2.6178 (0.082)	0.842 (0.006) 2.2495 (0.056)	0.900 (0.004) 2.5587 (0.083)	0.900 (0.004) 2.5516 (0.079)

消融实验¶

为深入探究特征空间局部化机制在不同市场状态下的自适应行为，论文在 18 年 ETF 波动率数据上按照 VIX 波动率指数分位数进行了市场体制细分分析（低波动区：$\text{VIX} \le 15.87$；高波动区：$\text{VIX} \ge 23.84$）：

市场状态体制	评估指标	CP	LCP	ACI	DtACI	SPCI	OLCP	OLCP-Hedge (本文)
低 VIX 状态 ($N=2015$)	条件覆盖率区间宽度 (%)	0.925 2.044	0.920 1.900	0.913 1.851	0.915 1.854	0.862 1.693	0.912 1.833	0.913 1.824
高 VIX 状态 ($N=2015$)	条件覆盖率区间宽度 (%)	0.854 3.835	0.846 3.356	0.890 4.349	0.889 4.184	0.792 3.272	0.890 4.004	0.888 4.007

关键发现¶

局部化对区间效率的贡献：在具备强异方差特征的场景 B 中，全局方法（ACI、DtACI）的区间宽度在特征轴上几乎呈平直线，在高噪声区域造成严重条件欠覆盖；而 OLCP 家族通过核局部化将有效覆盖率维持在名义值的同时，将整体预测集合尺寸从 ACI 的 3.738 压缩至 3.564。
时间校准对结构突变的响应：在场景 C 突变点测试中，非自适应的 CP 与 LCP 在突变发生后覆盖率大幅跌落至 0.869 与 0.879；全局 ACI 虽然能恢复覆盖率，但代价是将区间剧烈膨胀到 7.908；而 OLCP-Hedge 将尺寸有效压低至 6.348（相对 ACI 缩减达 $19.7\%$），展现出局部化与在线时间跟踪结合的巨大威力。
极端异方差体制下的表现：在金融高波动危机状态下，全局 ACI 将区间大幅放大至 4.349 才能维持 0.890 的覆盖率，而 OLCP 仅需 4.004 的尺寸便达成了同等覆盖，有效避免了由于全局保守策略导致的过度预测区间膨胀。

亮点与洞察¶

双重适应性架构统一：首次在无交换性流式学习中完美缝合了“时间序列分布自适应”与“特征空间局部异质性自适应”，打破了传统共形推断中时间平稳与空间均匀的两大理论桎梏。
带约束在线凸优化范式迁移：巧妙地将带宽超参选择重塑为带有累积超额失覆盖约束的 COCO 问题，借助 Lyapunov 虚拟队列与指数势函数代理损失，从根本上克服了单目标 Hedge 算法偏向失覆盖极窄区间的固有缺陷。
极佳的计算开销与工程可复用性：全套方法仅作为黑盒前向包装器运行，无需重新训练主干深度预测器，在包含 2.7 万步的真实时序序列上单次标定总耗时低于 1 秒，具备极高的工业落地价值。

局限与展望¶

度量衡与高维协变量依赖：核局部化加权依赖于合理的特征空间距离度量；若输入特征维度极高且稀疏，欧氏距离可能面临维度灾难导致权重退化。
强可行基准假定：OLCP-Hedge 的次线性保证建立在专家池中存在严格满足单步覆盖约束的可行混合动作，在无界重尾回归中可能需要引入极端保守专家。
自适应维度的进一步扩展：未来可将带约束专家聚合框架推广至步长 $\gamma$、多种距离度量以及动态校准窗口大小的在线联合选择中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将协变量局部化共形与在线凸约束优化结合，建立了严密的双重自适应理论体系。
实验充分度: ⭐⭐⭐⭐⭐ 包含可控机理模拟、突变点分析以及横跨电力、疫情与 18 年金融周期的真实基准测试。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从 Pinball 损失到虚拟队列的数学机理剖析极其深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为高风险时序决策、金融量化风控及具身智能中的不确定性量化提供了即插即用的坚实工具。

市场状态体制	评估指标	CP	LCP	ACI	DtACI	SPCI	OLCP	OLCP-Hedge (本文)
低 VIX 状态 (\(N=2015\))	条件覆盖率区间宽度 (%)	0.925 2.044	0.920 1.900	0.913 1.851	0.915 1.854	0.862 1.693	0.912 1.833	0.913 1.824
高 VIX 状态 (\(N=2015\))	条件覆盖率区间宽度 (%)	0.854 3.835	0.846 3.356	0.890 4.349	0.889 4.184	0.792 3.272	0.890 4.004	0.888 4.007