Fixed-Size Active Statistical Inference¶

会议: NeurIPS 2026
arXiv: 2610.27389
论文: https://arxiv.org/abs/2610.27389
代码: https://github.com/oberst-lab/fixed-size-asi
领域: 其他（主动统计推断 / 调查抽样 / 预测辅助推断）
关键词: 条件泊松抽样, 主动统计推断, 预测辅助推断, 方差缩减, Z估计

一句话总结¶

针对主动统计推断（ASI）中泊松抽样（PS）样本量随机导致预算受阻并引入额外方差的根本缺陷，本文引入调查抽样中的条件泊松抽样（CPS）作为无缝替代方案，从理论上证明其在多元 Z 估计下渐近方差恒不劣于 PS，并在预测器失准或有偏时显著降低方差与置信区间宽度。

研究背景与动机¶

在现代科学实验与机器学习模型评测中，高质量标注数据往往极其昂贵且获取预算严格受限。近期发展起来的预测辅助推断（Prediction-Powered Inference, PPI）与主动统计推断（Active Statistical Inference, ASI）通过两项互补技术实现了大幅方差缩减：一方面利用廉价机器学习模型对全量样本做先验预测，再通过广义差分估计器（Difference Estimator）借助少量真实标注修正预测残差；另一方面通过非均匀加权抽样策略，对高不确定性或高影响力的样本赋予更高采样权重。在已有 ASI 框架中，实现加权采样的标准算法是泊松抽样（Poisson Sampling, PS），即对每个样本独立抛掷一枚带偏硬币来决定是否标注。

然而，独立抛币机制给泊松抽样带来了难以忽视的实际障碍与统计缺陷。在实际科研管理中，标注预算通常是硬性固定的常数，而泊松抽样的实现样本量是一个随机变量，实际抽样往往会突破预算或闲置名额；更关键的是，这种随机波动在统计上直接向最终估计量注入了不必要的抽样方差。当预测模型性能不佳、存在预测偏差（Bias）或遭遇分布偏移时，估计量与样本量之间的协方差会急剧放大，使泊松抽样的方差严重虚高。

为了克服样本量随机波动这一瓶颈，本文发掘了调查抽样理论中历史悠久的条件泊松抽样（Conditional Poisson Sampling, CPS），将其作为主动统计推断与多元 Z 估计问题的无缝替代设计。核心 idea：通过对泊松抽样施加严格样本量等于 $n$ 的条件约束（CPS），完全消除实现样本量随机性引入的额外方差，利用 Hájek 渐近理论与设计-模型联合框架证明 CPS 在任意包含概率下渐近方差恒不劣于 PS，且在预测器失准场景下带来显著的精度增益。

方法详解¶

整体框架¶

本文的方法 pipeline 围绕在给定固定标注预算 $n$ 的条件下，从规模为 $N$ 的有限总体中估计目标参数 $\theta_0$ 展开。整体流程涵盖目标包含概率设定、CPS 校准映射求解、基于动态规划的高效无放回定容抽样、真实标注采集，以及最终差分 Z 估计量求解与一致方差估计。

输入为规模为 $N$ 的未标注特征数据、预先训练好的廉价预测器 $f(X)$、目标样本量预算 $n$，以及基于预测器不确定性或影响函数计算的目标包含概率策略 $\bm{\pi}$。首先通过陈氏校准映射（Chen's Calibration Map）将 $\bm{\pi}$ 转化为底层泊松参数 $\bm{p}$；接着利用反向动态规划递推表实现时间复杂度仅为 $\mathcal{O}(N)$ 的定容依概率抽样，获得严格包含 $n$ 个单位的样本集合 $\bm{s}$；随后查询这 $n$ 个样本的真实标签 $Y_i$，代入广义差分估计方程求解 $\hat{\theta}_N$；最后利用无需二阶联合包含概率的 Deville 方差估计器构建渐近有效的 Wald 置信区间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：全量未标注协变量与预测器<br/>设定目标采样预算 n"] --> B["目标包含概率策略设定<br/>基于预测残差/影响函数构造 π"]
    B --> C["陈氏校准映射与动态规划高效抽样<br/>迭代定点求解 p 并构建递推表抽取 n 个样本"]
    C --> D["联合设计-模型差分 Z 估计求解<br/>结合全量预测与样本残差解估计方程"]
    D --> E["计算友好的 Deville 一阶方差估计器<br/>一阶概率封闭形式计算渐近方差与 CI"]

关键设计¶

1. 陈氏校准映射与动态规划高效抽样：消除拒绝采样开销的定容机制

条件泊松抽样定义为以泊松抽样为基础、条件于实现样本量严格等于 $n$ 的条件分布：$\mathcal{P}_{\mathrm{cps}(\bm{\pi})}(\bm{s}) \propto \mathcal{P}_{\mathrm{ps}(\bm{p})}(\bm{s}) \cdot \mathbb{I}(\sum_{i=1}^N s_i = n)$。朴素的拒绝采样需要反复独立抛币直至命中大小为 $n$ 的样本，效率极低。本文采用 Chen 等人的定点迭代校准算法 $\phi_n(\bm{\pi})$，将目标一阶包含概率 $\bm{\pi}$ 精确转换为底层泊松参数 $\bm{p}$，使得条件分布下的边际包含概率严格等于目标 $\bm{\pi}$。在此基础上，利用反向动态规划递推表避免了全样本联合枚举，构建递推关系 $Z(i, m) = p_i Z(i+1, m-1) + (1-p_i) Z(i+1, m)$，从而可以在 $\mathcal{O}(nN)$ 时间预计算并在 $\mathcal{O}(N)$ 时间内完成单次严格大小为 $n$ 的顺序抽样。

2. 联合设计-模型差分 Z 估计求解：渐近正态性与消除样本量随机性方差

传统 PS 可直接使用独立随机变量的 Lindeberg 中心极限定理，而 CPS 由于施加了固定大小硬约束导致各样本指示变量负相关（Negative Dependence）。本文借助 Hájek（1964）渐近框架，并基于 Rubin-Bleuer 与 Schiopu Kratina（2005）的两阶段联合框架（超总体模型随机性与有限总体设计随机性），证明了在一般多元预测辅助 Z 估计问题下，CPS 估计量渐近服从正态分布 $\sqrt{n}(\hat{\theta}_N - \theta_0) \xrightarrow{d} \mathcal{N}(0, \Sigma)$，且渐近方差满足半正定支配关系： $$\Sigma_{\infty,\mathrm{ps}} - \Sigma_{\infty,\mathrm{cps}} = \frac{\mathbb{E}_m\bigl[w^\star(1-\pi^\star)\bigr]\mathbb{E}_m\bigl[w^\star(1-\pi^\star)\bigr]^\top}{\mathbb{E}_m\bigl[\pi^\star(1-\pi^\star)\bigr]} \succeq 0$$ 其中 $w^\star = g_{\theta_0}(X,Y) - g_{\theta_0}(X,f(X))$ 表示估计方程在真实标签与预测标签之间的残差。该差值严格等于估计量与 PS 随机样本量之间的协方差平方除以样本量方差，这意味着 CPS 完全抹去了 PS 因样本量随机波动而带来的多余方差，且在任何加权策略下均不差于 PS。

3. 计算友好的 Deville 一阶方差估计器：摆脱二阶联合概率的区间构建

固定大小无放回抽样下的精确方差估计（如 Sen-Yates-Grundy 估计器）通常需要遍历全部样本对的二阶联合包含概率 $\pi_{ij}$，直接计算复杂度高达 $\mathcal{O}(n N^2)$。本文引入并从理论上证明了一阶 Deville 方差估计器在 CPS 下的设计一致性： $$\widehat{\mathbb{V}}[\hat{\mu}_{\bm{\pi}}^w] = \frac{1}{N^2} \sum_{k \in \bm{s}} \frac{c_k}{\pi_k^2} (w_k - \pi_k \hat{\beta})^2, \quad c_k := \frac{n}{n-1}(1-\pi_k), \quad \hat{\beta} := \frac{\sum_{l \in \bm{s}} c_l w_l / \pi_l}{\sum_{l \in \bm{s}} c_l}$$ 该估计器完全仅依赖样本内的一阶概率 $\pi_k$，计算复杂度降至 $\mathcal{O}(n)$，且天生半正定，彻底消除了常规 Horvitz-Thompson 方差估计量可能出现的负值崩溃问题，使置信区间的构建轻量且稳健。

损失函数 / 训练策略¶

本方法属于主动推断与采样设计框架，核心估计方程通过广义差分形式对齐总体目标： $$\hat{G}_N(\theta) := \frac{1}{N} \sum_{i=1}^N \frac{s_i}{\pi_i^{(N)}} \Bigl(g_\theta(X_i, Y_i) - g_\theta(X_i, f(X_i))\Bigr) + \frac{1}{N} \sum_{i=1}^N g_\theta(X_i, f(X_i)) = 0$$ 针对凸 M 估计任务，对应于经验损失梯度的校正；针对均值估计任务，退化为经典差分估计量 $\hat{\mu} = \frac{1}{N}\sum_i f(X_i) + \frac{1}{N}\sum_i \frac{s_i}{\pi_i}(Y_i - f(X_i))$。

实验关键数据¶

主实验¶

论文在合成数据、Pew 选举民调、真实人口收入普查（SAIPE 跨州分布偏移）及原 ASI 论文基准（Census 线性回归、Pew 民调均值、AlphaFold 蛋白质比值比）等场景下，全面评测了简单随机抽样（SRS）、泊松抽样（PS）与条件泊松抽样（CPS）在不同预算 $n \in \{100, 300, 500, 700, 1000\}$ 下的表现。

数据集 / 场景	预测器偏差 (Bias)	RMSE 相对 PS 变化	期望 CI 宽度相对 PS 变化	RMSE 相对 SRS 变化	CPS 经验覆盖率
合成数据 DGP0 (均值0, HT)	–	-0.2% (不显著)	-0.1% (不显著)	-1% (不显著)	0.899
合成数据 DGP1 (均值2, HT)	–	-26%	-26%	-1% (不显著)	0.899
合成数据 DGP0 ($f_{\mathrm{bias}}$, DE)	–	-30%	-29%	-0.7% (不显著)	0.899
Pew-Biden (Logit平移偏移 $f$)	+35%	-16%	-17%	-11%	0.890
Pew-Trump (Logit平移偏移 $f$)	+115%	-13%	-14%	+86%	0.877
SAIPE 跨州迁移 AL (阿拉巴马)	+29%	-3%	-4%	-15%	0.894
SAIPE 跨州迁移 OR (俄勒冈)	+23%	-4%	-3%	-15%	0.899
SAIPE 跨州迁移 MA (马萨诸塞)	+8%	-0.6% (不显著)	-0.2% (不显著)	-15%	0.897
SAIPE 跨州迁移 TX (德克萨斯)	+14%	+0.4% (不显著)	-1%	-15%	0.891
ASI 原任务 Census (年龄斜率回归)	-19%	-2% (不显著)	-1%	-42%	0.894
ASI 原任务 Pew-Biden (支持率均值)	-1%	-0.7% (不显著)	-0.2% (不显著)	-9%	0.895
ASI 原任务 AlphaFold (比值比)	-7%	0% (不显著)	-1% (不显著)	-0.5% (不显著)	0.864

消融实验与抽样规模方差分析¶

为探究 PS 性能下降的本质根源，论文对比了各方法在不同预算下的样本量真实方差（抽样容量波动性）以及方差估计与经验蒙特卡洛方差的比值。

任务 / 数据集	预算 $n$	SRS 样本量方差	PS 样本量方差	CPS 样本量方差	方差估计比值 $\mathbb{E}[\hat{v}]/\mathrm{MCvar}$ (CPS)
AlphaFold	300 / 1000	0 / 0	278 / 804	0 / 0	0.92
Census	300 / 1000	0 / 0	314 / 1025	0 / 0	1.02
Pew (Biden)	300 / 1000	0 / 0	275 / 780	0 / 0	0.99
Pew (Trump)	300 / 1000	0 / 0	267 / 793	0 / 0	0.98
SAIPE AL	1000	0	800+	0	0.99

关键发现¶

PS 方差暴增直接源于均值残差偏离零：合成实验表明，只要残差期望为 0（如 DGP0），PS 与 CPS/SRS 完全一致；一旦总体均值非零（DGP1）或预测器存在偏差导致残差均值非零（$f_{\mathrm{bias}}$），PS 的方差立即剧增 26%~30%，而 CPS 维持与固定样本量一致的低方差。
CPS 在真实分布偏移场景下增益显著：在 SAIPE 跨州迁移实验中，加州模型迁移至阿拉巴马和俄勒冈时偏差最大（+29% 与 +23%），CPS 相比 PS 的 RMSE 分别降低 3% 与 4%，置信区间显著收窄；在偏差较小的马萨诸塞（+8%）和德州（+14%），CPS 与 PS 持平或略优，全面验证了协方差消除理论。
极端劣质预测器下权重策略反噬：在 Pew-Trump 严重失真场景（偏差达 +115%）下，加权采样策略基于错误的预测置信度过度过采样了低价值点，导致 CPS 和 PS 虽然互相比拼仍是 CPS 占优，但两者均大幅跑输无偏均匀抽样的 SRS（RMSE 上升 86%）。这提示当预测器严重不可靠时应退回均匀采样。

亮点与洞察¶

将经典调查抽样经典理论引入现代 AI 主动评测：敏锐地指出主动统计推断（ASI）采用泊松抽样属于“为了数学独立性妥协了工程实用性与方差”，通过引入具有固定样本量特性的条件泊松抽样（CPS）完成了优雅的理论闭环与工具替换。
协方差视角的方差消除机理：清晰地证明了 CPS 相比 PS 带来的方差减少量精确等于差分估计量与随机样本量之间的线性解释方差（即 $\mathrm{cov}(\hat{\mu}, \tilde{n})^2 / \mathbb{V}[\tilde{n}]$），从数学上彻底讲透了“固定样本量为什么能降方差”。
开源高效易用的 Python 工具包：作者将原本存在于 R 语言特定生态中的 CPS 动态规划高效采样与方差估计重构成独立开源包 cps-sampling，为社区提供了即插即用的生产级工具。

局限与展望¶

大规模总体的预计算内存开销：CPS 动态规划需要构建大小为 $\mathcal{O}(nN)$ 的反向递推表。当样本量 $n=10^4$ 且总体规模 $N=10^7$ 时，存储空间需求将达到数百 GB，在大规模超大总体场景下计算内存瓶颈显现，需进一步探索近似或分块策略。
策略依赖于预测器质量的内在风险：当机器学习先验模型发生极端灾难性偏差时，依赖其构建的加权抽样包含概率反而可能劣于普通的简单随机抽样（SRS），未来需要建立自适应收缩至均匀采样的鲁棒权重混合机制。

评分¶

新颖性: ⭐⭐⭐⭐ [成功发掘调查抽样古典理论解决现代主动统计推断的样本量随机性痛点]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖合成控制、模型平移、真实地理分布偏移及全部前序基准任务，证据扎实]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨通透，动机切入点直击要害，讨论客观诚恳]
价值: ⭐⭐⭐⭐⭐ [给出即插即用的 Python 库，有望成为未来主动模型评测与主动推断的默认标准配置]