Calibration Without Labels in Multiple Testing¶

会议: NeurIPS 2026
arXiv: 2606.19737
OpenReview: https://openreview.net/forum?id=hy5oPeNUEK
领域: 学习理论
关键词: 多重假设检验, 局部错误发现率, 保序校准, 伪标签, Brier遗憾

一句话总结¶

针对大规模假设检验中无真实标签导致单假设误差率难以校准的难题，本文通过 $p$ 值间距构建渐近无偏的连续伪标签，证明了保序校准等价于非参数经验贝叶斯 Grenander 估计，给出了无单调性假设下的有限样本 Brier 遗憾上界，并为单假设提供了可靠的后验概率校准诊断。

研究背景与动机¶

大规模多重假设检验传统上主要被当作多重性校正（multiplicity correction）问题来处理，重点在于控制全局的错误发现率（FDR）。从 Robbins 的经验贝叶斯思想发展至今，统计学界逐渐认识到海量检验统计量本身蕴含着丰富的经验分布结构，能够估计单假设层面的局部错误发现率（local false discovery rate, lfdr）。然而，在实际数据分析与跨学科元科学研究中，研究人员不仅需要拒绝域阈值，更希望给出的每一个检验得分 $g(p) \in [0, 1]$ 具备真实的概率校准意义——即当得分报告为 0.1 时，对应的零假设恰好有 10% 的真实发生率。

然而，将概率预测中的校准（calibration）工具直接平移到假设检验中面临一个本质障碍：在天气预报或标准监督学习中，真实标签在未来终将被观测到；而在多重检验中，每一个假设的真实类别（零假设是否成立）永远对分析人员隐藏，导致经典的可靠性图（reliability diagram）与校准误差指标无法直接计算。此外，广泛使用的 $q$ 值（$q$-value）等度量作为累积型 FDR 指标，常被从业者误用为单假设后验错误概率，在实际中容易出现严重的过度自信或系统性失真。

本文的切入角度是将多重检验重新形式化为带隐藏标签的“随机监督分类”问题，利用原假设下 $p$ 值严格服从标准均匀分布这一结构先验来绕过无监督障碍。核心 idea：利用有序 $p$ 值的相邻间距构造以局部错误发现率 lfdr 为回归目标的无偏伪标签，将监督校准工具迁移至多重检验，并证明基于伪标签的保序校准在理论上等价于 Grenander 非参数密度估计且具备无单调性前提的有限样本收敛保证。

方法详解¶

整体框架¶

在两组模型（two-groups model）设定下，每个假设检验有一对变量 $(p_i, Y_i)$，其中 $Y_i \in \{0, 1\}$ 表示零假设是否为真（$Y_i=1$ 为真，$Y_i=0$ 为假），$p_i \in [0, 1]$ 为检验的 $p$ 值。在原假设下，$p \mid Y=1 \sim \text{Unif}([0, 1])$。目标是学习或校准预测器 $g(p)$，使其逼近理想的后验概率 $\text{lfdr}(p) = \mathbb{P}\{Y=1 \mid p\}$。

整体流程包含三个核心阶段：首先计算有序 $p$ 值的相邻间距并缩放生成连续伪标签；随后在伪标签上实施单调约束回归（保序校准），得到逐段常数的校准预测器 $\widehat{\text{lfdr}}_{\uparrow}$；最后将校准得分映射至可靠性图评估与不对称损失下的二元决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：原始检验 p 值集合<br/>{p_1, ..., p_m}"] --> B["间距伪标签构造<br/>有序统计量间距缩放"]
    B --> C["保序校准等价统一<br/>PAVA 平滑 / 拟似然 IS 散度 / Grenander 密度估计"]
    C --> D["后验误差预测器<br/>非降阶梯函数 lfdr_hat_up"]
    D --> E["校准诊断与决策评估<br/>伪标签可靠性图 / 加权分类风险决策"]

关键设计¶

1. 间距伪标签构造：用次序统计量间距替代隐藏标签 在真实二元标签 $Y_i$ 完全不可观测的前提下，传统校准诊断和回归损失完全失效。为建立监督学习桥梁，本文利用原假设下 $p$ 值的均匀分布性质。将 $m$ 个 $p$ 值排序为 $0 = p_{(0)} \le p_{(1)} \le \dots \le p_{(m)} \le 1$。设秩为 $R_i$（即 $p_i = p_{(R_i)}$），给定零假设先验比例估计 $\hat{\pi}_{\text{null}}$，定义伪标签为： $$ \widetilde{Y}i := m \hat{\pi}) $$ 根据 Pyke 次序统计量间距经典极限定理，在边际密度 }} (p_{(R_i)} - p_{(R_i - 1)$f$ 连续正值的前提下，归一化间距 $m f(p_{(r)})(p_{(r)} - p_{(r-1)})$ 弱收敛于均值为 1 的标准指数分布 $\text{Exp}(1)$。由于两组模型下 $f(p) = \pi_{\text{null}} / \text{lfdr}(p)$，条件期望满足 $\mathbb{E}[\widetilde{Y}_i \mid p_i] \approx \text{lfdr}(p_i)$。对于任意黎曼可积测试函数 $\psi$，加权平均 $\frac{1}{m}\sum_{i=1}^m \psi(p_i)\widetilde{Y}_i$ 与真实标签加权平均 $\frac{1}{m}\sum_{i=1}^m \psi(p_i)Y_i$ 均依概率收敛于 $\pi_{\text{null}}\int_0^1 \psi(u)du$。这证明伪标签能够在任何期望泛函中无偏替代真实标签。

2. 保序校准等价统一：平方损失、乘性似然与经验贝叶斯的数学一致性 小 $p$ 值对应更强拒绝证据这一领域先验要求预测器在单调非降类 $\mathcal{G}_{\uparrow}$ 中寻找最优解。本文揭示了三种表面不同路径的本质等价性： 1. 伪标签保序回归：直接对 $(\widetilde{Y}_i)$ 最小化经验 Brier 均方误差 $\frac{1}{m}\sum_{r=1}^m (\theta_r - \widetilde{Y}_{(r)})^2$； 2. 乘性误差极大似然估计：基于指数噪声假定 $\widetilde{Y}_i \mid p_i \sim \text{lfdr}(p_i) E_i$（$E_i \sim \text{Exp}(1)$），最小化负对数拟似然，即 Itakura-Saito 广义 Bregman 散度； 3. 经验贝叶斯密度估计：利用 Bayes 公式 $\text{lfdr}(t) = \pi_{\text{null}}/f(t)$，将单调非降约束转化为对边际密度 $f$ 的单调非增约束，采用经典的 Grenander 极大似然估计 $\hat{f}_m$ 构造插入估计量。本文证明上述三种解完全重合。保序回归通过 PAVA 算法在 $O(m)$ 时间内完成相邻区间合并。合并后连续区间 $(p_{(g-1)}, p_{(d)}]$ 内的估计值恰好等于局部错误发现比例（local FDP）的经验估计 $\frac{\hat{\pi}_{\text{null}} m (p_{(d)} - p_{(g-1)})}{d - g + 1}$。

3. 有限样本 Brier 遗憾理论上界：摆脱真实单调性假设 以往基于形状约束的经验贝叶斯方法通常依赖真实 lfdr 严格单调的假设。本文将单调投影 $\text{lfdr}_{\uparrow} = \arg\min_{g \in \mathcal{G}_{\uparrow}} \mathbb{E}[(g(p) - \text{lfdr}(p))^2]$ 视作基准，利用 Brunk 经典自洽性证明其自身具有完美校准性（$\mathbb{E}[\text{lfdr}(p) \mid \text{lfdr}_{\uparrow}(p)] = \text{lfdr}_{\uparrow}(p)$）。进而，通过将优化目标改写为仅依赖经验分布函数 $F_m$ 的积分，并结合 Dvoretzky-Kiefer-Wolfowitz (DKW) 不等式，证明有限样本 Brier 遗憾满足： $$ \mathbb{E}\left[\text{Reg}{\mathcal{G}}}(\widehat{\text{lfdr}{\uparrow})\right] \le \sqrt{\frac{2\pi}{m}} + 2\,\mathbb{E}\left|\hat{\pi}\right| $$ 该上界表明，即使真实 }} - \pi_{\text{null}$\text{lfdr}(p)$ 非单调，保序校准预测器仍以 $O(m^{-1/2})$ 速率向最优单调校准子收敛。当零假设比例保守估计为 $\hat{\pi}_{\text{null}} = 1$ 时，引入的偏差仅为 $2(1 - \pi_{\text{null}})$，在稀疏信号场景下渐近自适应消失。

4. 伪标签可靠性图与非对称风险决策：从统计检验到行动落地 为评估现有检验打分或预训练预测器的单假设校准性，本文将伪标签代入直方图分箱中，计算分箱均值 $\hat{\pi}^{(b)} = \frac{1}{n_b}\sum_{i: g(p_i)\in A_b} \widetilde{Y}_i$，构建无监督的可靠性图，并推广至反射高斯核平滑形式。在行动决策端，若漏报（伪阴性）相对成本为 $\alpha$，误报相对成本为 $1 - \alpha$，贝叶斯最优决策即为对校准得分阈值化 $\widehat{\text{lfdr}}_{\uparrow}(p) \le \alpha$。论文证明该阈值正是 Support Line 流程的最优解，且其加权分类遗憾同样具有以 $\alpha\sqrt{2\pi/m} + 2\mathbb{E}|\hat{\pi}_{\text{null}} - \pi_{\text{null}}|$ 为界的有限样本收敛性。

实验关键数据¶

主实验¶

仿真实验在两组混合模型 $f = \pi_{\text{null}} \text{Unif}(0, 1) + (1 - \pi_{\text{null}}) \text{Beta}(\alpha, \beta)$ 下进行，设定 $\beta = 2.3$，对比了原始 $p$ 值、Storey $q$ 值以及本文保序校准估计量 $\widehat{\text{lfdr}}_{\uparrow}$ 的 Brier 遗憾衰减速率（500 次 Monte Carlo 重复）。

评估指标	实验设定 ($\pi_{\text{null}}, \alpha$)	本文 $\widehat{\text{lfdr}}_{\uparrow}$	原始 $p$ 值	Storey $q$ 值	性能表现说明
遗憾衰减率 (Ours vs 稳态)	$\pi_{\text{null}}=0.50, \alpha=0.50$	-0.6095 (0.0088)	0.0000	+0.0235 (0.0025)	本文随 $m$ 快速收敛，基线完全不衰减
遗憾衰减率 (Ours vs 稳态)	$\pi_{\text{null}}=0.50, \alpha=0.95$	-0.5457 (0.0056)	0.0000	+0.0652 (0.0034)	$q$ 值的遗憾随样本量甚至出现微弱恶化
遗憾衰减率 (非单调真实情形)	$\pi_{\text{null}}=0.50, \alpha=1.50$	-0.4753 (0.0069)	0.0001 (0.0000)	-0.1026 (0.0355)	真实模型非单调下本文仍保持多项式收敛
遗憾衰减率 (高稀疏设定)	$\pi_{\text{null}}=0.90, \alpha=0.50$	-0.6004 (0.0136)	0.0000	-0.0890 (0.0248)	本文收敛率稳定在 $O(m^{-0.6})$ 附近
遗憾衰减率 (高稀疏设定)	$\pi_{\text{null}}=0.90, \alpha=1.50$	-0.6012 (0.0202)	0.0000	-0.4053 (0.0541)	$q$ 值衰减慢且方差显著高于本文估计

消融实验¶

表 2 总结了在不同先验零假设比例 $\pi_{\text{null}}$ 与分布参数 $\alpha$ 组合下，本文估计量 $\widehat{\text{lfdr}}_{\uparrow}$ 的对数遗憾衰减斜率。无论真实 lfdr 是否单调（$\alpha \le 1$ 为单调，$\alpha = 1.5$ 违反单调），方法均展现了稳定的非参数一致性。

零假设比例 $\pi_{\text{null}}$	对立分布参数 $\alpha$	单调假设是否满足	经验衰减斜率 (标准误)	理论界一致性
0.50	0.50	满足单调	-0.6095 (0.0088)	优于理论最坏界 $O(m^{-0.5})$
0.50	0.95	满足单调	-0.5457 (0.0056)	快速衰减
0.50	1.50	违背单调	-0.4753 (0.0069)	验证了定理 4 在失配下的鲁棒收敛
0.75	0.50	满足单调	-0.6214 (0.0072)	稀疏度提升衰减更稳健
0.75	0.95	满足单调	-0.5849 (0.0085)	与理论完全吻合
0.75	1.50	违背单调	-0.5202 (0.0111)	非单调下稳态收敛
0.90	0.50	满足单调	-0.6004 (0.0136)	高稀疏信号下保持 $O(m^{-0.6})$
0.90	0.95	满足单调	-0.5963 (0.0235)	高度鲁棒
0.90	1.50	违背单调	-0.6012 (0.0202)	复杂分布下依然稳定

在涵盖认知神经科学与实验心理学 18 种期刊（2011-2014 年）的真实数据集（$m \approx 27,000$ 个 $t$ 检验统计量）中，直方图分箱与核平滑可靠性图（带宽 $\sigma = 0.1$）结果显示：原始 $p$ 值和 $q$ 值严重偏离对角线（显著高估或低估真实失误概率），而本文估计量 $\widehat{\text{lfdr}}_{\uparrow}$ 的预测点高度贴合对角线 $y = x$，表现出优异的校准可靠性。

关键发现¶

传统 $q$ 值并不是针对单假设后验错误概率校准的度量，将其作为个别检验的置信得分会导致严重误判，其在某些参数场景下的 Brier 遗憾甚至比原始 $p$ 值还要糟糕或无法渐近收敛。
伪标签保序回归在理论保证为 $O(m^{-0.5})$ 的情况下，实际蒙特卡洛衰减斜率普遍达到 $-0.55 \sim -0.62$，表现优于理论悲观界。
当备择假设破坏单调性先验时（$\alpha = 1.5$），保序估计依然具备向单调投影 $\text{lfdr}_{\uparrow}$ 收敛的良好性质，衰减速率仍维持在 $-0.47 \sim -0.60$ 之间，证明了该方法在模型误设下的极强弹性。

亮点与洞察¶

将间距转化为无偏监督信号：巧妙利用原假设下的均匀性，将次序统计量间距缩放为期望等于真实 lfdr 的连续伪标签，化解了多重检验“无标签”的固有死局。
三大主流学派理论等价性闭环：证明了机器学习中的保序校准、广义 Bregman 散度极大拟似然以及统计学中的 Grenander 经验贝叶斯密度估计完全同构，打通了统计推断与概率预测的学科界限。
元科学研究的实用工具：在缺乏真实真理的大规模文献荟萃分析中，无需人为设定主观先验赔率即可直接评估已发表结果的假阳性率，具备高度的可解释性与泛化价值。

局限与展望¶

依赖 $p$ 值的原假设均匀性：现有伪标签构造严格依赖 $p \mid Y=1 \sim \text{Unif}(0, 1)$。在连续性修正不足、存在离散统计量、或高维相关检验导致经验原假设漂移的情形下，均匀性可能被破坏。
检验间独立性假设的延展：理论虽然通过 DKW 统一到了经验分布函数一致性，但若存在强局域相关（如全基因组关联分析中的连锁不平衡），伪标签方差将增大，未来需拓展针对相关数据的稳健方差修正。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 伪标签间距构造与多重检验无标签校准视角的建立高度原创且数学优美。
实验充分度: ⭐⭐⭐⭐☆ 仿真与神经科学大规模实证兼备，对数回归衰减验证扎实。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰、理论推导层层递进，定理与引理陈述非常严谨。
价值: ⭐⭐⭐⭐⭐ 为大规模推断与可重复性元科学研究提供了兼具理论保障与实操性的新基石。

评估指标	实验设定 (\(\pi_{\text{null}}, \alpha\))	本文 \(\widehat{\text{lfdr}}_{\uparrow}\)	原始 \(p\) 值	Storey \(q\) 值	性能表现说明
遗憾衰减率 (Ours vs 稳态)	\(\pi_{\text{null}}=0.50, \alpha=0.50\)	-0.6095 (0.0088)	0.0000	+0.0235 (0.0025)	本文随 \(m\) 快速收敛，基线完全不衰减
遗憾衰减率 (Ours vs 稳态)	\(\pi_{\text{null}}=0.50, \alpha=0.95\)	-0.5457 (0.0056)	0.0000	+0.0652 (0.0034)	\(q\) 值的遗憾随样本量甚至出现微弱恶化
遗憾衰减率 (非单调真实情形)	\(\pi_{\text{null}}=0.50, \alpha=1.50\)	-0.4753 (0.0069)	0.0001 (0.0000)	-0.1026 (0.0355)	真实模型非单调下本文仍保持多项式收敛
遗憾衰减率 (高稀疏设定)	\(\pi_{\text{null}}=0.90, \alpha=0.50\)	-0.6004 (0.0136)	0.0000	-0.0890 (0.0248)	本文收敛率稳定在 \(O(m^{-0.6})\) 附近
遗憾衰减率 (高稀疏设定)	\(\pi_{\text{null}}=0.90, \alpha=1.50\)	-0.6012 (0.0202)	0.0000	-0.4053 (0.0541)	\(q\) 值衰减慢且方差显著高于本文估计