Counterfactual Online Conformal Prediction Under Adaptive Logging¶

会议: NeurIPS 2026
arXiv: 2609.30811
领域: 优化/理论
关键词: 在线共形预测, 反事实推断, 逆倾向加权, 双重稳健, 自适应记录

一句话总结¶

针对在线决策中自适应记录机制引发的内生性分布偏移，提出了倾向加权在线共形预测（PW-OCP）及其双重稳健变体（DR-OCP），首次在理论上推导出极小化极大最优的反事实覆盖界并有效规避了下游决策后悔值膨胀。

研究背景与动机¶

现代顺序决策系统（如临床试验筛选、动态定价和内容推荐）越来越依赖在线共形预测（Conformal Prediction, CP）为下游规则提供带有统计置信度保证的不确定性集合。然而，这些系统存在天然的反馈闭环：算法给出的预测区间指导了动作的选择，而日志策略仅记录所选动作对应的反馈，未被选中的备选动作则无法观测到真实结果。传统的自适应共形推断方法（如 ACI、FACI、Conformal PID 等）仅在实际被执行的历史动作序列上调整阈值，虽然能维持观测样本流上的边缘覆盖率（Marginal Coverage），但严重忽视了因策略自适应偏倚造成的选择偏差。

这种失败的核心矛盾在于：下游决策评估和反事实推断（Counterfactual Inference）所真正依赖的是全动作空间上的反事实覆盖率（Counterfactual Coverage），即“如果当时选择了某个动作，其结果是否会被对应的预测集覆盖”。当环境存在内生性分布偏移（即动作的选择与上下文相关，且动作改变了潜在结果的分布，内生性系数 $\rho > 0$）时，标准在线共形预测的分位数更新会不可逆地收敛到被记录样本流上的条件分位数，而非全域反事实分位数。论文证明，任何基于记录分位数的逐动作校准算法，其反事实覆盖误差必然存在 $\Omega(\rho)$ 的下界，即便观测流边缘覆盖完全达标，被冷落的备选动作其不确定性量化也会彻底失效。

为了彻底打破观测边缘有效性对反事实决策的误导，本文提出将因果推断中的加权与去偏思想深度融合进在线随机逼近递推式。核心 idea：利用逆倾向加权（IPW）修正在线共形分位数更新中的误覆盖误差信号，建立反事实无偏的倾向加权在线共形预测（PW-OCP），并进一步设计融合结果模型与倾向估计的双重稳健变体（DR-OCP），以极小化极大速率 $O(\sqrt{\log(KT/\delta)/(T\pi_{\min})})$ 实现全动作反事实覆盖与锐利区间的统一。

方法详解¶

整体框架¶

在每一轮 $t=1,\dots,T$ 的交互中，环境首先给出上下文特征 $X_t \in \mathcal{X}$；算法根据当前各动作维护的非一致性分位数阈值生成动作级预测集 $\{\mathcal{C}_t(a)\}_{a\in\mathcal{A}}$；随后记录策略以倾向概率 $\pi_t(a \mid X_t, \mathcal{H}_{t-1}) \geq \pi_{\min} > 0$ 采样并执行动作 $a_t$；环境仅反馈对应动作的潜在结果 $Y_t = Y_t(a_t)$。整个方法的核心是构建对每个动作 $a \in \mathcal{A}$ 的反事实误覆盖无偏估计量，通过随机逼近递推动态调整误覆盖水平索引 $\alpha_t(a)$，从而驱动非一致性分数阈值 $\hat{q}_t(a)$ 快速收敛至真实反事实分位数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境揭示上下文特征 Xt"] --> B["1. 动作级预测集构建<br/>基于当前阈值输出各动作区间 Ct(a)"]
    B --> C["执行动作 at 与观察部分反馈 Yt"]
    C --> D["2. 逆倾向加权误差信号构造<br/>计算反事实无偏误差信号 Zt(a) 或双重稳健信号 Zt_DR(a)"]
    D --> E["3. 极小化极大在线递归更新<br/>步长驱动误覆盖索引与分位数校准"]
    E --> F["下游鲁棒决策与下一轮预测"]

关键设计¶

1. 动作级预测集构建：解耦各动作阈值与自适应非一致性评估

为了让每一个可能选取的动作都拥有独立的不确定性量化区间，算法为每个动作 $a \in \mathcal{A}$ 维护专属的动态误覆盖指标 $\alpha_t(a) \in \mathbb{R}$ 和历史非一致性分数缓存池 $\mathcal{S}_t(a) := \{s(X_\tau, Y_\tau; a) : \tau < t, a_\tau = a\}$。非一致性度量可采用残差分数 $s(x,y;a) = |y - \hat{\mu}(x,a)|$ 或分位数回归分数。在观测到当前上下文 $X_t$ 时，先通过经验分位数映射计算动作分位数阈值： $$\hat{q}_t(a) := \hat{Q}_t^{(a)}(1 - \alpha_t(a)), \quad \mathcal{C}_t(a) := \{y \in \mathcal{Y} : s(X_t, y; a) \leq \hat{q}_t(a)\}$$ 这种设计克服了全局单一阈值在动作异质性下的失真，确保即便某些动作为低频长尾动作，其预测集形态也能随着后续无偏反馈逐步对齐真实分布。

2. 逆倾向加权误差信号构造：破除内生记录偏倚的无偏反事实信号

传统 ACI 采用观测误差指标 $\mathbf{1}\{Y_t \notin \mathcal{C}_t(a_t)\}$ 仅对实际选中的动作更新，这会导致被记录动作的分位数严重偏离全域反事实分位数。PW-OCP 通过引入因果逆倾向加权，定义动作 $a$ 的反事实误差信号： $$Z_t(a) := \frac{\mathbf{1}\{a_t = a\}}{\pi_t(a \mid X_t, \mathcal{H}_{t-1})} \cdot \mathbf{1}\{Y_t \notin \mathcal{C}_t(a)\}$$ 在无未观测混杂（Sequential Ignorability, $\{Y_t(a)\}_{a\in\mathcal{A}} \perp\!\!\!\perp a_t \mid X_t, \mathcal{H}_{t-1}$）和正值性（$\pi_t \geq \pi_{\min} > 0$）假设下，该信号关于历史与当前特征的条件期望严格满足 $\mathbb{E}[Z_t(a) \mid X_t, \mathcal{H}_{t-1}] = \mathbb{P}(Y_t(a) \notin \mathcal{C}_t(a) \mid X_t, \mathcal{H}_{t-1})$。倾向得分的分母加权天然抵消了动作选择的选择概率偏差，使得每一个动作即便未被当前轮次执行，也能在大样本期望意义下获得渐近正确的无偏校准方向。

3. 双重稳健增广校准：一阶误差消除与方差缩减

单纯依赖 IPW 会在正值性下限 $\pi_{\min}$ 极小时引起误差信号方差剧烈放大，且极其敏感于倾向得分的估计偏差。DR-OCP 进一步引入反事实误覆盖概率的结果模型 $\hat{\mu}_t(a, X_t) \approx \mathbb{P}(Y_t(a) \notin \mathcal{C}_t(a) \mid X_t, \mathcal{H}_{t-1})$，构建双重稳健误差信号： $$Z_t^{\mathrm{DR}}(a) := \hat{\mu}_t(a, X_t) + \frac{\mathbf{1}\{a_t = a\}}{\hat{\pi}_t(a \mid X_t, \mathcal{H}_{t-1})} \left( \mathbf{1}\{Y_t \notin \mathcal{C}_t(a)\} - \hat{\mu}_t(a, X_t) \right)$$ 这一设计使预测误差信号的条件偏倚退化为两项扰动误差的乘积，即 $|b_t(a)| \leq \frac{|\hat{\mu}_t(a, X_t) - \mu_t^*(a)| \cdot |\hat{\pi}_t(a) - \pi_t(a)|}{\hat{\pi}_{\min}}$。只要倾向得分模型或结果预测模型其中之一趋向一致，累积偏倚即以二阶速率衰减，大幅降低了在线自适应估计的脆弱性。

4. 极小化极大在线递归更新：理论最优收敛步长与投影包络

获得误差信号后，算法执行类似于随机逼近的在线递推： $$\alpha_{t+1}(a) := \alpha_t(a) + \gamma (\alpha - Z_t(a))$$ 为防止大步长导致的极端漂移，算法将 $\alpha_t(a)$ 投影到紧区间（如 $[-0.5, 1.5]$）。理论证明，当配置最优步长 $\gamma^\star \asymp \sqrt{\pi_{\min}/T}$ 时，算法以高概率达到上界 $O(\sqrt{\log(KT/\delta)/(T\pi_{\min})})$，精确匹配了阈值在线预测类的极小化极大信息论下界 $\Omega(\min\{1, \sqrt{\log K / (T\pi_{\min})}\})$。此外，反事实覆盖保证进一步转化为了预测集锐度界 $O((T\pi_{\min})^{-1/4})$，从根源上杜绝了算法通过“无限放大预测区间”来换取覆盖率的病态退化行为。

实验关键数据¶

主实验¶

论文在合成基准任务（均值漂移、方差漂移、多臂扩展、倾向模型误设）以及真实世界基准（ZOZOTOWN Open Bandit 推荐数据集 Women/Men、道琼斯工业平均指数 DJIA 动态调仓）上进行了充分测试，对比了 ACI、FACI、AgACI、Conformal PID、SAOCP、NEx-CP、ECI、Online COPP 以及本文的 PW-OCP 和 DR-OCP（10 个独立随机种子，置信度 95%）。

方法	均值漂移 (CCov Gap ↓)	方差漂移 (CCov Gap ↓)	多臂扩展 (K=20, CCov Gap ↓)	倾向误差 (ξ=1, CCov Gap ↓)	OBD Women (CCov Gap ↓)	OBD Men (CCov Gap ↓)	决策后悔相对 ACI 削减 ↑
ACI [9]	0.252 ± 0.002	0.230 ± 0.002	0.418 ± 0.009	0.252 ± 0.004	0.023 ± 0.005	0.025 ± 0.005	基准 (0.0%)
FACI [10]	0.275 ± 0.001	0.250 ± 0.002	0.503 ± 0.009	0.275 ± 0.004	0.041 ± 0.006	0.043 ± 0.005	-7.0% ± 1.1%
AgACI [36]	0.250 ± 0.001	0.230 ± 0.002	0.411 ± 0.007	0.251 ± 0.004	0.027 ± 0.005	0.033 ± 0.008	+0.5% ± 1.1%
Conformal PID [1]	0.290 ± 0.002	0.261 ± 0.002	0.689 ± 0.003	0.251 ± 0.004	0.245 ± 0.005	0.262 ± 0.011	-20.5% ± 1.2%
SAOCP [5]	0.269 ± 0.004	0.245 ± 0.002	0.450 ± 0.008	0.270 ± 0.005	0.042 ± 0.003	0.047 ± 0.006	-4.5% ± 1.4%
NEx-CP [4]	0.255 ± 0.002	0.234 ± 0.002	0.422 ± 0.007	0.257 ± 0.003	0.025 ± 0.005	0.028 ± 0.005	-1.0% ± 1.1%
ECI [33]	0.369 ± 0.001	0.327 ± 0.001	0.607 ± 0.004	0.369 ± 0.003	0.122 ± 0.005	0.121 ± 0.006	-35.0% ± 1.0%
Online COPP [25, 37]	0.027 ± 0.008	0.018 ± 0.005	0.079 ± 0.010	0.256 ± 0.005	0.043 ± 0.010	0.052 ± 0.011	+94.9% ± 0.9%
PW-OCP (本文)	0.017 ± 0.007	0.013 ± 0.006	0.074 ± 0.007	0.252 ± 0.002	0.023 ± 0.003	0.028 ± 0.005	+91.1% ± 1.8%
DR-OCP (本文)	0.018 ± 0.006	0.014 ± 0.006	0.065 ± 0.012	0.030 ± 0.008	0.021 ± 0.003	0.024 ± 0.003	+93.5% ± 1.9%
Oracle (理论上限)	0.000 ± 0.000	0.000 ± 0.000	0.000 ± 0.000	0.000 ± 0.000	0.000 ± 0.000	0.000 ± 0.000	+100.0%

消融实验¶

针对倾向得分误设（Propensity Misspecification）对算法鲁棒性的影响，在合成数据集上设定插值噪声参数 $\xi \in [0, 1]$，其中 $\hat{\pi} = (1 - \xi)\pi + \xi / K$（$\xi=0$ 为真实倾向，$\xi=1$ 为完全退化至均匀分布）：

倾向噪声水平 $\xi$	PW-OCP (CCov Gap ↓)	DR-OCP (CCov Gap ↓)	ACI (基线参考)	说明
$\xi = 0.0$ (准确倾向模型)	0.017 ± 0.007	0.018 ± 0.006	0.252 ± 0.002	IPW 准确，两者反事实覆盖差距微小
$\xi = 0.2$ (轻度倾向偏差)	0.065 ± 0.012	0.019 ± 0.005	0.252 ± 0.002	DR-OCP 结果模型吸收倾向误差
$\xi = 0.5$ (中度倾向偏差)	0.142 ± 0.018	0.022 ± 0.007	0.252 ± 0.003	PW-OCP 显著退化，DR-OCP 保持稳健
$\xi = 0.8$ (重度倾向偏差)	0.208 ± 0.015	0.026 ± 0.008	0.252 ± 0.004	DR-OCP 仅发生轻微漂移
$\xi = 1.0$ (均匀伪倾向模型)	0.252 ± 0.002	0.030 ± 0.008	0.252 ± 0.004	PW-OCP 退化至 ACI 水平，DR-OCP 依旧极优

关键发现¶

内生性偏差破坏传统 CP：均值和方差漂移实验显示，尽管 ACI、FACI 等在观测数据流上的边缘覆盖误差接近 0，但在反事实覆盖率上均存在 0.23~0.27 的固定盲区，验证了定理 3.2 关于 $\Omega(\rho)$ 误差下界的正确性。
双重稳健性抵御极端扰动：当倾向模型完全退化为均匀分布（$\xi=1$）时，单纯依赖 IPW 的 PW-OCP 覆盖误差迅速飙升至 0.252，而 DR-OCP 依托结果模型将误差严密控制在 0.030，证明了乘积型二阶偏倚界项 $\frac{\epsilon_{\mu,a}\epsilon_{\pi,a}}{\hat{\pi}_{\min}}$ 的实际效力。
反事实校准直接转化为决策红利：在基于鲁棒损失函数的下游决策实验中，PW-OCP 和 DR-OCP 取得了超过 91%~93% 的相对后悔削减，证明了更精确的反事实置信区间直接防止了决策器被误导性置信区间诱导做出次优选择。

亮点与洞察¶

从观测边缘有效性迈向反事实一致性：指出了在线共形预测长期被掩盖的隐患——高精度的流式边缘覆盖往往是以稀疏动作的灾难性失准为代价的。
完备的理论闭环与极小化极大下界对齐：给出了严谨的下界证明与近乎匹配的收敛上界，并创新性地通过“锐度-覆盖分解定理”连接了统计校准与下游鲁棒决策后悔值。
即插即用的轻量化部署：算法仅在经典 ACI 梯级递推中以逆倾向因子修正误差指示项，时间复杂度 $O(K)$，无需重新训练重型神经网络即可嵌入任意序列决策流水线。

局限与展望¶

强依赖正值性假设：若日志策略过度贪婪导致 $\pi_{\min} \to 0$（如纯粹的贪心或无强探索的 Thompson 采样），算法收敛界失效；如何在部分不可行动作或零探索概率下进行保底置信推断仍是开放问题。
仅局限于单步上下文 Bandit 设定：目前工作着眼于单步潜在结果估计，尚无法直接迁移至多步马尔可夫决策过程（MDP）中跨多轮状态转移的序列反事实评估。
在线分块更新调参开销：DR-OCP 中的辅助模型需要基于历史数据分块再拟合，分块周期的长短在非平稳环境下的敏感性有待进一步自适应化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并解决了在线自适应记录下共形预测的反事实失真问题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多样化合成压力测试、推荐系统与金融交易真实基准。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨精炼，从反例构造到渐近下界层次清晰。
价值: ⭐⭐⭐⭐⭐ 为安全序列决策、离线强化学习与因果置信推断提供了扎实工具。

倾向噪声水平 \(\xi\)	PW-OCP (CCov Gap ↓)	DR-OCP (CCov Gap ↓)	ACI (基线参考)	说明
\(\xi = 0.0\) (准确倾向模型)	0.017 ± 0.007	0.018 ± 0.006	0.252 ± 0.002	IPW 准确，两者反事实覆盖差距微小
\(\xi = 0.2\) (轻度倾向偏差)	0.065 ± 0.012	0.019 ± 0.005	0.252 ± 0.002	DR-OCP 结果模型吸收倾向误差
\(\xi = 0.5\) (中度倾向偏差)	0.142 ± 0.018	0.022 ± 0.007	0.252 ± 0.003	PW-OCP 显著退化，DR-OCP 保持稳健
\(\xi = 0.8\) (重度倾向偏差)	0.208 ± 0.015	0.026 ± 0.008	0.252 ± 0.004	DR-OCP 仅发生轻微漂移
\(\xi = 1.0\) (均匀伪倾向模型)	0.252 ± 0.002	0.030 ± 0.008	0.252 ± 0.004	PW-OCP 退化至 ACI 水平，DR-OCP 依旧极优