Prediction-Powered Active Testing¶
会议: NeurIPS 2026
arXiv: 2607.08347
OpenReview: https://openreview.net/forum?id=7YBe8ZysCG
领域: 其他
关键词: 主动测试, 预测增强推断, 控制变量, 风险估计, 置信区间
一句话总结¶
提出预测驱动的主动测试框架（PPAT），将 LURE 无偏主动估计器与廉价黑盒预测构建的零均值控制变量相结合，通过残差化损失与自适应采样提议大幅降低估计方差，并首次为主动测试建立了中心极限定理与渐近有效置信区间。
研究背景与动机¶
机器学习模型的严谨评测对于模型可靠部署至关重要，但在真实场景中，大规模测试池通常易于获取未标注样本，而获取高精度的真实标签却需要昂贵的人工专家标注。主动测试（Active Testing）旨在通过重要性采样与序贯样本采集策略，在极有限的标注预算下自适应挑选最具信息量的测试样本并修正采样偏差，从而无偏估计全量测试池上的期望风险。以 LURE 为代表的经典无偏估计器虽然能在样本非独立同分布无放回采样下消除偏差，但其方差严重受制于替代模型（surrogate model）对损失分布的拟合精度；若替代模型预测不准，重要性权重反而会导致方差急剧发散。与此同时，主动替代估计器（ASE）等插值类方法试图直接利用学得的替代模型插值全池损失，虽然在极少标注时方差较小，却直接引入了不可消除的有限样本偏差与模型错误设定偏差。
在现代机器学习生态中，研究人员通常能够轻易获得强大的现成黑盒预测器（如基础模型 TabPFN 或多模态 CLIP 零样本分类器），这些预测器可以在无需额外标注成本的情况下低成本推断全测试池。然而，直接将黑盒预测作为伪标签来替换未知真值必然产生持续偏差，随着标注预算的增加，偏差甚至会主导估计误差；而现有的主动测试方法又完全忽略了这类廉价黑盒预测在缩减估计方差上的巨大潜力。这一核心矛盾引发了根本思考：如何在充分榨取廉价黑盒模型预测能力的同时，严格保持主动测试的有限样本无偏性？
本文的切入角度是将统计学中的控制变量（control variates）与预测增强推断（prediction-powered inference, PPI）思想引入无放回主动采样框架。与传统方法将代理预测直接当作伪标签不同，本文利用黑盒预测对原始损失进行中心化残差分解，使得控制变量在全池上具有精确为零的期望。核心 idea：将 LURE 无偏权重架构与预测驱动的控制变量结合构建 PPAT 估计器，利用廉价黑盒预测中心化残差化真实损失以消除基底波动，并推导与残差目标自适应匹配的二阶矩采集提议及渐近正态置信区间，实现严格无偏且超低方差的主动模型评测。
方法详解¶
整体框架¶
PPAT 面向固定大小为 \(N\) 的未标注测试池 \(\mathcal{D}=\{\mathbf{x}_1,\dots,\mathbf{x}_N\}\) 与待评测模型 \(f\)，目标是在标注预算 \(M \ll N\) 的限制下无偏估计真实测试风险 \(R = \frac{1}{N}\sum_{i=1}^N \ell_i\)（其中 \(\ell_i = \mathcal{L}(f(\mathbf{x}_i), y_i)\)）。系统引入一个廉价黑盒预测器 \(g\)，预先推断全池伪标签 \(\widetilde{y}_i = g(\mathbf{x}_i)\)，并计算代理损失 \(\widetilde{\ell}_i = \mathcal{L}(f(\mathbf{x}_i), \widetilde{y}_i)\) 与全池均值 \(\widetilde{R} = \frac{1}{N}\sum_{i=1}^N \widetilde{\ell}_i\)。算法在每一轮序贯采样中，结合贝叶斯替代模型对未标注样本损失残差的二阶预测矩，构造最小化局部方差的提议分布；最后在已采集样本上通过控制变量调节参数 \(\lambda\) 综合计算无偏风险估计及对应的渐近置信区间。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["未标注测试池 D 与待评测模型 f<br/>输入 N 个样本并给定标注预算 M"] --> B["控制变量残差化<br/>黑盒预测 g 得到代理损失并中心化"]
B --> C["残差自适应采样提议<br/>基于替代模型后验二阶矩构建提议 Q"]
C -->|序贯主动查询真值标签| D["控制强度自适应调节与渐近置信区间<br/>在线更新 λ 并计算无偏估计及方差 CI"]关键设计¶
1. 控制变量残差化：以零均值先验代理修正 LURE 估计器 传统主动测试仅利用标注样本的原始损失 \(\ell_i\) 进行加权，当不同样本间损失方差较大时估计波动剧烈；若直接用黑盒预测替代标签又会导致有偏。针对该痛点，PPAT 将真实风险恒等重写为残差损失的均值：对任意调节常数 \(\lambda \in \mathbb{R}\)，定义中心化代理变量 \(c_i = \widetilde{\ell}_i - \widetilde{R}\)，由于 \(\frac{1}{N}\sum_{i=1}^N c_i \equiv 0\)，测试风险精确恒等于 \(R = \frac{1}{N}\sum_{i=1}^N (\ell_i - \lambda c_i)\)。将 LURE 的时变重要性权重 \(V_m\) 施加于该残差损失序列上，得到 PPAT 估计器： $\(\widehat{R}_{\mathrm{PPAT}}(\lambda) = \frac{1}{M}\sum_{m=1}^M V_m (\ell_{I_m} - \lambda (\widetilde{\ell}_{I_m} - \widetilde{R})) = \widehat{R}_{\mathrm{LURE}} - \lambda \widehat{C}_{\mathrm{LURE}}\)$ 其中 \(V_m = 1 + \frac{N-M}{N-m}\left(\frac{1}{(N-m+1)Q_m(I_m)} - 1\right)\) 为消除无放回采样偏差的历史累积权重校正因子。由于控制变量项 \(\widehat{C}_{\mathrm{LURE}} = \frac{1}{M}\sum_{m=1}^M V_m c_{I_m}\) 的数学期望严格为零，对于任意固定的 \(\lambda\)，PPAT 在有限样本下严格保持无偏性（\(\mathbb{E}[\widehat{R}_{\mathrm{PPAT}}(\lambda)] = R\)）。只要黑盒代理损失与真实损失存在正相关性，选取 \(\lambda \in (0, 2\lambda^\star)\) 即可严格降低估计方差，在最优强度 \(\lambda^\star = \frac{\mathrm{Cov}(\widehat{R}_{\mathrm{LURE}}, \widehat{C}_{\mathrm{LURE}})}{\mathrm{Var}(\widehat{C}_{\mathrm{LURE}})}\) 处方差缩减比例达到 \((1-\rho^2)\)。
2. 残差自适应采样提议：基于代理后验二阶矩的方差最小化采集规则 若仅在估计公式中加入控制变量，而沿用针对原始损失 \(\ell_i\) 设计的传统 LURE 提议分布，采样重点将依然停留在原始高损失区域，无法适应残差化后的误差曲面。针对该失配问题，PPAT 重新推导了残差化目标下的近视方差最小化 Oracle 提议： $\(Q_{m,\lambda}^\star(i) = \frac{|\ell_i - \lambda c_i|}{\sum_{j \in S_m} |\ell_j - \lambda c_j|}\)$ 由于未标注点的真值未知，直接对绝对值求期望会导致 Jensen 不等式下的系统性低估。根据单步方差的无界二次展开，方差泛函的上界由二阶矩 \(\mathbb{E}[(\ell_i - \lambda c_i)^2]\) 支配。因此，PPAT 采用基于当前轮次贝叶斯替代模型 \(\pi_m(Y \mid \mathbf{x}_i)\) 的均方根打分函数 \(a_{m,\lambda}(i) = \sqrt{\mathbb{E}_{Y \sim \pi_m(\cdot \mid \mathbf{x}_i)}[(\mathcal{L}(f(\mathbf{x}_i), Y) - \lambda c_i)^2]}\)。在平方误差损失与高斯替代模型 \(\mathcal{N}(\mu_{m,i}, \sigma_{m,i}^2)\) 下，该提议可显式解析分解为： $\(Q_{m,\lambda}^{\mathrm{PPAT}}(i) \propto \sqrt{2\sigma_{m,i}^4 + 4\sigma_{m,i}^2(\mu_{m,i} - f_i)^2 + \left(\sigma_{m,i}^2 + (\mu_{m,i} - f_i)^2 - \lambda c_i\right)^2}\)$ 该公式揭示了精妙的采样机制：它不仅优先挑选替代模型自身认知不确定性高（\(\sigma_{m,i}^2\) 大）以及替代模型预测与目标模型预测严重分歧（\((\mu_{m,i} - f_i)^2\) 大）的点，更重点惩罚了替代模型期望损失与中心化黑盒代理项偏离极大的样本，从而专门采集最能消除残差不确定性的关键样本。
3. 控制强度自适应调节与渐近正态置信区间构建 理论最优控制强度 \(\lambda^\star\) 依赖于单次主动采样过程无法观测的全采样法则协方差。为此，本文设计了两种实用方案：其一是启发式固定值，针对高质量黑盒预测选用 \(\lambda = 1.0\)（相关系数 \(\rho > 0.5\) 即可保证降方差），保守场景选用 \(\lambda = 0.5\)（\(\rho > 0.25\) 即可生效）；其二是最小化全池残差平方和的在线目标 \(\lambda^\dagger = \arg\min_{\lambda} \frac{1}{N}\sum_{i=1}^N (\ell_i - \lambda c_i)^2\)。由于分母已知，分子可通过已标注样本以 LURE 方式无偏累积估计得到插件估计值 \(\widehat{\lambda}_M\)： $\(\widehat{\lambda}_M = \frac{M^{-1}\sum_{m=1}^M V_m \ell_{I_m} c_{I_m}}{N^{-1}\sum_{i=1}^N c_i^2}\)$ 为防止单步扰动影响采样稳定性，实际中每采集 \(k=100\) 个标签更新一次 \(\widehat{\lambda}_M\)。此外，针对主动测试长期缺乏理论置信区间的缺陷，本文基于鞅差分中心极限定理证明了渐近正态性：在测试池规模与预算比值 \(N_M / M \to \alpha > 1\) 的有限总体渐近框架下，\(\sqrt{M}\{\widehat{R}_{M,\mathrm{PPAT}}(\lambda) - R_M\} \Rightarrow \mathcal{N}(0, \sigma_{\mathrm{PPAT}}^2(\lambda))\)。由此推导出无需数据重采样的渐近有效置信区间： $\(\widehat{R}_{M,\mathrm{PPAT}}(\lambda) \pm z_{1-\delta/2} \frac{\widehat{\sigma}_M(\lambda)}{\sqrt{M}}\)$ 其中可计算的方差插件估计量为 \(\widehat{\sigma}_M^2(\lambda) = \frac{1}{M}\sum_{m=1}^M \gamma_{M,m}^2 (A_m(\lambda) - \widehat{R}_{M,\mathrm{PPAT}}(\lambda))^2\)，使主动测试在大幅压缩样本需求的同时获得了严格的频数不确定性量化保障。
损失函数 / 训练策略¶
作为后验评测框架，PPAT 本身无需优化模型参数，但依赖替代模型 \(\pi_m\) 的序贯更新。在回归任务中，评测损失为均方误差（MSE），替代模型采用高斯过程或贝叶斯线性回归，在每采集一个新标签后更新后验；在图像分类任务中，评测损失为交叉熵，以固定的预训练 CLIP 特征为基础，使用拉普拉斯近似的贝叶斯神经网络作为替代模型，在评测过程中保持替代模型固定以确保高效推断。为了满足重要性采样的重叠条件并防止概率归零，实际采样分布按混合策略执行：\(Q_m(i) \leftarrow (1-\varepsilon)Q_{m,\lambda}^{\mathrm{PPAT}}(i) + \frac{\varepsilon}{|S_m|}\)，其中 \(\varepsilon \in (0, 1)\) 为均匀平滑探索因子。
实验关键数据¶
主实验¶
在 UCI 回归数据集（Keggdirected，模型为高斯过程，黑盒代理为 TabPFN-2.5）与图像分类基准（CIFAR-10，模型为 CLIP 线性分类头，黑盒代理为 ViT-L-14 CLIP 零样本预测）上，在标注预算 \(M=500\) 与 1000 次独立重复试验下的评测结果如下表所示（目标错误率 \(\delta=0.1\)，名义置信度 \(90\%\)）：
| 方法 | Keggdirected 中位均方误差 | Keggdirected 置信区间均值宽度 | Keggdirected 经验覆盖率 | CIFAR-10 中位均方误差 | CIFAR-10 置信区间均值宽度 | CIFAR-10 经验覆盖率 |
|---|---|---|---|---|---|---|
| Random（随机无放回采样） | \(4.1 \times 10^{-4}\) | \(0.72\) | \(0.084\) | \(1.3 \times 10^{-3}\) | \(0.17\) | \(0.83\) |
| LURE (Kossen et al., 2021) | \(1.4 \times 10^{-5}\) | \(0.019\) | \(0.89\) | \(2.5 \times 10^{-3}\) | \(0.19\) | \(0.68\) |
| ASE (Kossen et al., 2022) | \(3.2 \times 10^{-2}\) | — | — | \(2.6 \times 10^{-3}\) | — | — |
| ASI (Zrnic and Candès, 2024a) | \(4.5 \times 10^{-5}\) | \(0.049\) | \(0.99\) | \(9.8 \times 10^{-5}\) | \(0.065\) | \(0.98\) |
| PPAT (\(\lambda=1.0\)) | \(\mathbf{4.0 \times 10^{-6}}\) | \(\mathbf{0.010}\) | \(0.90\) | \(1.7 \times 10^{-4}\) | \(\mathbf{0.065}\) | \(0.90\) |
| PPAT (\(\lambda=0.5\)) | \(1.1 \times 10^{-5}\) | \(\mathbf{0.010}\) | \(0.89\) | \(\mathbf{1.0 \times 10^{-4}}\) | \(0.074\) | \(0.90\) |
| PPAT (\(\lambda=\widehat{\lambda}_M\)) | \(4.8 \times 10^{-6}\) | \(\mathbf{0.010}\) | \(0.88\) | \(1.2 \times 10^{-4}\) | \(0.071\) | \(0.89\) |
(注：ASE 属于有偏插值方法，无法提供渐近有效置信区间，故宽度与覆盖率不适用；标准误低于 \(10^{-3}\) 均显示为精确值。)
消融实验¶
为解耦 PPAT 估计器本身与自适应采样提议的独立贡献，以及评估对黑盒代理模型质量的鲁棒性，在 CIFAR-10 和 Keggdirected 数据集上开展组合消融实验（1000 次试验中位均方误差）：
| 配置 | Keggdirected 中位误差 | CIFAR-10 中位误差 | 偏差表现与机制说明 |
|---|---|---|---|
| 完整模型（PPAT, \(\lambda=1.0\)） | \(\mathbf{4.0 \times 10^{-6}}\) | \(1.7 \times 10^{-4}\) | 严格无偏，残差控制变量与自适应提议双轮驱动 |
| PPAT 提议 + LURE 估计器（无控制变量） | \(1.5 \times 10^{-5}\) | \(2.2 \times 10^{-3}\) | 无偏，但退化为仅靠采样提议，方差显著放大 |
| PPAT 提议 + 经验平均（无重要性权重） | \(8.7 \times 10^{-4}\) | \(4.1 \times 10^{-3}\) | 严重有偏，非均匀主动采样未进行权重修正 |
| LURE 提议 + PPI 估计器 | \(8.2 \times 10^{-6}\) | \(5.3 \times 10^{-4}\) | 无偏，提议针对原始损失而非残差，采样效率次优 |
| 随机采样 + PPI 估计器 | \(2.8 \times 10^{-5}\) | \(7.8 \times 10^{-4}\) | 无偏，缺乏主动采样引导，收敛速度明显落后 |
| 纯代理估计（Proxy 伪标签直替） | \(1.8 \times 10^{-3}\) | \(8.9 \times 10^{-3}\) | 持续有偏，不查询真值标签，误差被代理系统误差锁定 |
| 弱代理模型（TabPFN-2.0 / ViT-B-32） | \(6.1 \times 10^{-6}\) | \(2.1 \times 10^{-4}\) | 无偏，代理质量降级下误差依然显著优于 LURE/Random |
关键发现¶
- 估计器与提议正交增益：消融表明，仅采用 PPI 控制变量估计器（配随机采样）或仅采用 PPAT 采样提议（配传统 LURE 估计器）均无法达到最佳表现。PPAT 的核心优势来自残差化估计公式与残差方差最小化提议的紧密耦合。
- 高维分类下抗替代模型失真：在 CIFAR-10 与 Tiny-ImageNet 上，传统 LURE 甚至劣于随机采样，原因在于高维复杂特征下 Laplace 替代模型拟合欠佳导致重要性权重方差爆炸。而 PPAT 的加权对象是残差 \(\ell_i - \lambda c_i\)，由于大部分波动已被黑盒代理吸收，残差尺度极小，显著抑制了权重震荡风险。
- 置信区间紧致且校准优异：PPAT 的置信区间在极少标注样本下即能达到 \(90\%\) 名义覆盖率，且区间平均宽度比传统 LURE 压缩近 \(50\%\)，彻底解决了主动测试无法准确进行频数不确定性度量的难题。
亮点与洞察¶
- 预测增强与无放回采样的理论统一：首次将半监督预测增强推断（PPI）拓展至无放回主动测试领域，构造出兼具有限样本无偏性与超低方差的通用闭式估计器。
- 残差二阶矩提议推导：指出了直接对绝对值 Oracle 提议套用期望会导致 Jensen 偏差，严格证明了基于二阶方差泛函推导均方根提议才是最优近视选择。
- 即插即用的通用评测底座：不挑剔黑盒代理模型的来源，无论是表格基础模型（TabPFN）还是多模态视觉模型（CLIP），均可作为先验控制变量直接接入，工程迁移成本极低。
局限与展望¶
- 作者承认的局限：目前的置信区间基于鞅差分中心极限定理，属于大样本渐近保证，在极度苛刻的小预算（例如 \(M < 30\)）或极端离群值场景下可能存在覆盖率轻微欠校准风险。
- 现实场景约束：在线估计 \(\widehat{\lambda}_M\) 在初期样本极匮乏时存在轻微数值震荡，需要间隔更新（如 \(k=100\)）以稳定采样提议，若总预算过小可能来不及收敛至最优参数。
- 未来改进方向：可进一步探索非渐近的有限样本集中不等式界（如经验 Bernstein 鞅界），并研究黑盒代理模型在评测过程中随标注数据动态微调（online fine-tuning）的自适应闭环机制。
相关工作与启发¶
- vs LURE (Farquhar et al., 2021; Kossen et al., 2021): LURE 直接对原始损失加权，容易因替代模型偏差导致方差膨胀；PPAT 引入中心化黑盒控制变量对损失进行残差化，等价于在平坦基底上估计修正量，大幅压缩了方差并首创了置信区间。
- vs ASE (Kossen et al., 2022): ASE 丢弃了重要性加权机制，依赖替代模型做全池插值，导致不可逆的持久偏差；PPAT 始终保留时变重要性权重，实现了严格的有限样本无偏。
- vs ASI (Zrnic and Candès, 2024a): ASI 聚焦于流式数据的主动推断与 M-估计；PPAT 针对固定测试池的池化场景（pool-based），能够充分利用全池剩余未标注结构，在回归任务与置信区间紧致性上展现出更优的数据利用效率。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [巧妙结合控制变量与 LURE 理论，首创残差主动测试与渐近置信区间]
- 实验充分度: ⭐⭐⭐⭐⭐ [横跨表格回归与多图像分类，含万次模拟、消融分析及覆盖率验证]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导极其严密，动机与方法链路清晰自然]
- 价值: ⭐⭐⭐⭐⭐ [为昂贵的黑盒大模型与现代评测基准提供了极具实用价值的低成本评估工具]