Post-Selection Distributional Model Evaluation¶

会议: NeurIPS 2026
arXiv: 2603.23055
OpenReview: https://openreview.net/forum?id=BHw0wT9T0q
代码: https://github.com/amirfar76/PS-DME
领域: 其他
关键词: 模型评估, 后选择推断, e-值, 错误覆盖率控制, 经验分布函数置信带

一句话总结¶

针对机器学习模型经数据依赖预筛选后性能评估存在的过乐观偏差，本文提出 PS-DME 框架，借助 e-值反演构建全样本复用的 CDF 一致置信带，在保证后选择错误覆盖率（FCR）的同时显著提升样本利用效率。

研究背景与动机¶

在现代机器学习系统的部署流程中，工程师通常需要面对大量的候选配置（如不同剪枝比例、不同解码温度、或不同的资源调度策略），并试图从中筛选出兼顾高吞吐与高可靠性的最优配置。现有的形式化模型评估与选择方法大多建立在多重假设检验或共形风险控制理论之上，其核心范式是预先设定一个固定的标量风险容忍阈值（例如要求平均误差或失效率低于某个具体数值），进而筛选满足该界限的模型。然而在实际工程场景中，静态的风险阈值往往无法预先给定；系统架构师往往需要探索不同测试期可靠性水平与性能指标之间的完整帕累托权衡曲线。这就要求评估系统不仅给出单点均值估计，而是能够精确且可信地量化关键性能指标（KPI，如推理首字延迟、错误率或缓冲区占用）在测试期的全累积分布函数（CDF）。

这一评估目标面临着极其严苛的统计推断挑战：当从海量候选模型中筛选出高潜力子集时，候选模型的初筛往往不得不与后续的分布估计共享同一批校准数据。由于模型预筛选具有数据依赖性，表现较好的模型天然包含了有利的样本噪声，直接在全样本上套用经典 DKW 不等式构建经验分布置信带会引入严重的“后选择偏差”（Post-Selection Bias），导致名义置信区间严重欠覆盖。为了消除该偏差，传统的稳健手段是采用样本分割（Sample Splitting），将校准集人为拆分为“筛选集”与“推断集”。但这种割裂使得后续构建分布置信带时有效样本量直接减半或更多，在校准样本稀缺的实际部署环境下导致置信带过宽、保守性剧增，进而无法提供具有实用价值的可靠性保证。

面对“全样本复用必然导致选择偏差，而样本分割又严重浪费样本效率”的核心矛盾，本文提出了突破传统分割思路的全新方案。作者意识到，在保证统计有效性的前提下，不必通过物理隔离数据来规避偏差，而是可以通过具有序贯与后验有效性特性的现代统计工具建立对偶校准。核心 idea：利用 e-值对偶反演框架与 DKW 超均匀 p-值，建立支持任意数据依赖前置筛选的后选择分布模型评估框架（PS-DME），在实现 100% 样本全量复用的同时严格控制后选择错误覆盖率（FCR），并通过 Lambert W 函数闭式解证明其相比样本分割具有显著的样本效率优势。

方法详解¶

整体框架¶

PS-DME 面向包含 $K$ 个候选模型的系统，对每个模型观测到 $n_k$ 个负向标量 KPI 样本。方法允许用户执行任意未知或复杂的数据依赖筛选规则产生优质子集 $\mathcal{K} \subseteq \{1, \dots, K\}$，随后复用全部观测样本为所选模型构建一致有效的 CDF 置信带 $[L_k(x), U_k(x)]$，最终根据用户指定的测试期失效率 $\gamma$ 直接读取最优保证 KPI。整体流程涵盖数据依赖筛选、超均匀统计量构造、e-值校准器反演以及基于保证性能的最优模型决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：K 个候选模型及各自分布样本 D_k"] --> B["前置筛选：任意数据依赖筛选规则 S(D) 获得子集 K"]
    B --> C["全数据复用与 e-值置信带反演"]
    C --> D["基于 Lambert W 函数的最优 e-校准器参数优化"]
    D --> E["性能-可靠性权衡探索与后选择保证 KPI 决策"]
    E --> F["输出：严格控制 FCR 下的最优配置 X* 与全 CDF 置信带"]

关键设计¶

1. 全数据复用与 e-值置信带反演：解决在同一数据集上筛选与评估导致的置信度虚高问题

针对数据复用引入的选择偏差，传统方法要么牺牲一半样本做切分，要么直接假设独立性导致覆盖率失控。PS-DME 的切入点是将 CDF 一致覆盖问题转化为原假设 $\mathcal{H}_{0,k}(F): F_k = F$ 的一致检验。基于 Kolmogorov 统计量 $T_k(F) = \sup_{x \in \mathbb{R}} |\widehat{F}_k(x) - F(x)|$，根据 DKW 不等式，统计量 $p_k(F) = \min\{1, 2\exp(-2 n_k (T_k(F))^2)\}$ 在原假设下严格满足超均匀性，即构成合法 p-值。

为赋予其在后选择条件下的自适应有效性，PS-DME 引入非负上半连续单调非增的 e-校准器 $f: [0, 1] \to [0, \infty]$，满足 $\int_0^1 f(u) du \le 1$，定义 e-值统计量 $E_k(F) = f(p_k(F))$。通过对偶检验反演，所选集合 $\mathcal{K}$ 中每个模型 $k$ 的置信集合被定义为： $$ \mathcal{C}_k = \left{F: E_k(F) < \frac{K}{\delta |\mathcal{K}|}\right} = \left{F: p_k(F) > f^{-1}\left(\frac{K}{\delta |\mathcal{K}|}\right)\right} $$ 将此集合投影到 CDF 空间，直接导出一对全域对称置信带边界： $$ L_k(x) = \max{0, \widehat{F}_k(x) - \varepsilon_k}, \quad U_k(x) = \min{1, \widehat{F}_k(x) + \varepsilon_k} $$ 其一致半宽度为： $$ \varepsilon_k = \sqrt{\frac{1}{2n_k} \log\left(\frac{2}{f^{-1}\left(\frac{K}{\delta |\mathcal{K}|}\right)}\right)} $$ 该设计通过马尔可夫不等式与示性函数放缩，严密证明了在任意复杂的数据依赖模型筛选规则下，后选择错误覆盖率（False Coverage Rate, FCR）恒满足 $\mathrm{FCR} = \mathbb{E}[\mathrm{FCP}] \le \delta$。

2. 基于 Lambert W 函数的最优 e-校准器参数优化：在后选择惩罚与样本利用率之间求取最优界宽

尽管 e-值理论保证了任意校准器的 FCR 有效性，但置信带半宽 $\varepsilon_k$ 高度依赖校准器的选择。若校准器选择不当，e-值转换引入的保守性会抵消样本复用带来的收益。作者针对最常用的幂律校准器族 $f_\tau(p) = (1-\tau) p^{-\tau} \; (\tau \in (0, 1))$ 展开理论解析，该族的广义逆具有闭式形式 $f_\tau^{-1}(t) = ((1-\tau)/t)^{1/\tau}$。

通过与样本分割方法 SS-DME 的半宽 $\varepsilon_k^{\mathrm{eval}} = \sqrt{\frac{1}{2 n_k^{\mathrm{eval}}} \log(2/\delta)}$ 进行逐项对比，作者建立了 PS-DME 置信带严格优于样本分割的充要条件。进一步利用 Vovk-Sellke 极值上界，证明了当样本分割比例满足下述条件时，PS-DME 必然优于 SS-DME： $$ \frac{n_k^{\mathrm{eval}}}{n_k} < \frac{\log(2/\delta)}{\log 2 - W\left(-\frac{\delta |\mathcal{K}|}{e K}\right)} $$ 其中 $W(\cdot)$ 表示 Lambert W 函数在 $[-1/e, 0)$ 区间上的负实数分支。更为关键的是，当预筛选子集大小 $|\mathcal{K}|$ 给定时，作者推导出了使得 PS-DME 置信带最紧的闭式最优幂指数： $$ \tau^* = 1 + \frac{1}{W\left(-\frac{\delta |\mathcal{K}|}{e K}\right)} $$ 该设计彻底消除了启发式调参的盲目性，使得置信带宽度相比默认的平方根校准器（$\tau=0.5$）进一步收紧 11%–15%，为在样本稀缺条件下实现高精度评估奠定了坚实基础。

3. 性能-可靠性权衡探索与后选择保证 KPI 决策：支撑端到端无预设阈值的多模型比较

在构建完具有有限样本保证的 CDF 置信带之后，系统无需预先绑定单一 KPI 目标，而是允许决策者灵活设定不同的测试期失效率 $\gamma \in (0, 1)$。由于置信下界 $L_k(x)$ 在置信度 $1-\delta$ 下构成了对真实分布 $F_k(x)$ 的全域保真下界，每个入选模型在失效率 $\gamma$ 下能够提供的确定性后选择保证 KPI 直接由下界的广义逆给出： $$ X_k^* = \inf{x \in \mathbb{R}: L_k(x) \ge 1 - \gamma} $$ 决策者随后可以通过横向比较子集 $\mathcal{K}$ 内所有模型的 $X_k^*$，挑选出在当前可靠性预算下的最佳配置： $$ X^* = \min_{k \in \mathcal{K}} X_k^* $$ 该设计使得模型对比摆脱了传统“仅在特定标量阈值下检定”的被动限制，工程师可在全可靠性谱系（如从常规 $\gamma=0.2$ 到极端高可靠 $\gamma=0.01$）上自由漫游，评估不同候选配置在不同业务压力下的真实承载上限。

损失函数 / 训练策略¶

作为纯后处理统计评估与选择框架，PS-DME 不涉及网络权重梯度的反向传播与损失函数训练。其统计检验与参数标定遵循以下离线执行准则： - 校准数据输入：针对 $K$ 个待评估配置，各自收集 $n_k$ 个负向标量 KPI 观测值（允许不同配置之间的样本跨输入呈现任意相关性，但单配置内部样本需服从独立同分布）。 - 标称参数配置：设定目标 FCR 控制水平 $\delta$（实验通常设为 $0.1$），根据业务需求定义筛选规则 $S(\mathcal{D})$ 选出前 $M$ 个均值最优模型。 - 校准器自适应赋值：根据初筛比例 $|\mathcal{K}|/K$ 与 $\delta$，直接代入闭式解计算最优 $\tau^*$ 并求得逆校准阈值，单次解析计算即可得到各模型的均匀边界半径 $\varepsilon_k$。 - 扩展变体计算：若用户关注极端尾部指标，可在相同 e-值框架下用 Berk-Jones 经验似然统计量替换 DKW 统计量，通过 Noé 递归求解非对称输入依赖型局部置信带。

实验关键数据¶

主实验¶

主实验在三个异构场景下展开：线性高斯合成回归基准、Spider / BIRD 文本转 SQL（Text-to-SQL）大模型解码策略选择、以及 O-RAN 无线通信切片资源分配评估。

在合成数据（$K=2000, M=1000, \delta=0.1$）与真实数据集上，比较样本分割（SS-DME，筛选比例 $50\%$）、朴素全样本复用（N-PS-DME，忽略偏差）与本文 PS-DME 的后选择覆盖率与保证性能：

数据集 / 场景	配置 / 规模	评估指标	本文 (PS-DME)	基线 (SS-DME)	朴素复用 (N-PS-DME)	说明
合成回归 ($n=20$)	$K=2000, M=1000$	经验 FCR	0.0116	0.0401	0.2850 (失效)	目标 $\delta=0.10$；朴素复用严重欠覆盖
合成回归 ($n=100$)	$K=2000, M=1000$	经验 FCR	0.0000	0.0923	0.1740 (失效)	样本增多后 PS-DME 保持严格覆盖
Spider (Text-to-SQL)	$M=5, n_{\mathrm{cal}}=100$	经验 FCR	0.031 ± 0.007	0.088 ± 0.006	0.352 ± 0.014	Qwen2.5-7B-Instruct 43种解码策略
Spider (Text-to-SQL)	$M=10, n_{\mathrm{cal}}=100$	经验 FCR	0.046 ± 0.007	0.091 ± 0.006	0.364 ± 0.015	筛选规模扩大时 FCR 仍显著低于 0.1
O-RAN 无线切片	$M=6, 18$种调度配置	经验 FCR	0.007 ± 0.001	0.045 ± 0.004	0.312 ± 0.018	真实无线网络缓冲区占用指标
BIRD (Text-to-SQL)	$K=10, M=5, n=200$	经验 FCR	0.087 ± 0.011	0.088 ± 0.006	0.372 ± 0.017	朴素复用失效率超标近 4 倍
BIRD (Text-to-SQL)	$p=0.90$ 可靠性	保证损失 $X^*$	0.751	0.776	0.762 (无效界)	数值越小代表模型在失效率下的性能越优

消融实验¶

消融实验重点验证了：(1) 初筛模型比例 $M/K$ 对置信带宽度的影响；(2) 闭式最优校准器参数 $\tau^*$ 相对默认固定参数的紧致性收益；(3) PS-DME 与朴素 Bonferroni 联合界保守性的分解。

针对合成数据在不同初筛数量 $M$ 下的置信带半宽 $\varepsilon$ 与最佳保证 KPI $X^*$（$K=31, n=200, \delta=0.1, 1-\gamma=0.75$）：

候选筛选数 $M$	筛选比例 $M/K$	PS-DME 半宽 $\varepsilon_{\mathrm{PS}}$	SS-DME 半宽 $\varepsilon_{\mathrm{SS}}$	PS-DME 保证指标 $X^*_{\mathrm{PS}}$	SS-DME 保证指标 $X^*_{\mathrm{SS}}$	理论增益说明
$M=2$	0.06	0.149	0.179	0.793	0.814	激进筛选时样本分割推断集严重不足
$M=5$	0.16	0.139	0.168	0.791	0.807	PS-DME 宽度缩窄 17.3%
$M=10$	0.32	0.132	0.158	0.790	0.804	PS-DME 保证性能持续占优
$M=20$	0.65	0.124	0.148	0.789	0.799	随 $M$ 增加修正项惩罚自然降低
$M=30$	0.97	0.119	0.142	0.787	0.798	接近全选时两方法趋于稳态

校准器幂指数 $\tau$ 优化对比消融（$K=31, 1-\gamma=0.75$）：

筛选配置 $M$	最优闭式 $\tau^*$	$\varepsilon(\tau^*)$ 最优半宽	$\varepsilon(\tau=0.5)$ 默认半宽	$X^(\tau^)$ 最优保证	$X^*(\tau=0.5)$ 默认保证	相对收紧幅度
$M=5$	0.859	0.139	0.161	0.791	0.808	半宽缩小 13.7%
$M=10$	0.841	0.132	0.150	0.790	0.793	半宽缩小 12.0%
$M=20$	0.816	0.124	0.138	0.789	0.791	半宽缩小 10.1%

关键发现¶

样本极度稀缺时优势最突出：在校准样本规模极小（如 $n=20$）或初筛极激进（$M/K$ 很小）的严苛条件下，样本分割方法由于推断集样本被严重削减，其置信带发生急剧发散；而 PS-DME 依托全数据复用，置信带半宽显著缩小 15%–25%，给出的后选择保证 KPI 明显更优。
校准器闭式解的有效性确证：通过 Lambert W 函数解析计算出的 $\tau^*$ 相比文献常用的经典经验值 $\tau=0.5$（平方根校准器），在各类 $M$ 规模下稳定带来 10%–14% 的额外区间收窄，证实了理论界推导的精确性。
极端尾部可切换至 Berk-Jones 置信带：在对极端失效率要求极高（如 $\gamma \le 0.05$）的可靠性探索中，采用以伯努利 KL 散度为基础的 Berk-Jones 经验似然变体能在分布两侧尾部提供比经典 DKW 更紧的置信界。

亮点与洞察¶

将 e-值有效拓展至后选择无限维函数评估：以往 e-值工具多局限于单一统计量检验或标量均值置信区间，本文巧妙利用 DKW 统计量原假设下的超均匀性，将其与 e-校准器结合，首次打通了面向整个经验分布函数（CDF）的无偏置信带构建通路。
严密刻画了与样本分割的效率交叉界限：并非盲目宣称全样本复用在任何条件均优于分割，而是通过严格的数学推导，以 Lambert W 函数给出了 PS-DME 全面超越样本分割的显式样本比例临界点与最优超参数闭式解。
从点式指标验证跃迁为连续可靠性谱系决策：允许工程人员无需预先固化业务指标阈值，即可对不同剪枝倍率、采样温度等配置进行全分布探索，直接量化“为了追求更低失效率需要付出多少性能退化”。

局限与展望¶

独立同分布假设约束：方法目前严格假设每个候选配置所产生的 KPI 样本在样本维度呈 i.i.d. 分布，无法直接原生推广至含有强烈时序自相关或马尔可夫演化的时间序列数据。
局限于单一标量指标评估：当前框架仅能对单一负向标量 KPI 构建分布函数，对于在现实世界中同等重要的多指标联合帕累托前沿分布（如同时联合评估延迟与准确率），尚需开发多元联合经验过程的 e-值拓展理论。
校准器结构拓展空间：目前闭式优化主要聚焦于幂律校准器族，针对其他潜在超几何或混合校准器族的全局最优反演仍有待深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 e-值对偶反演推广至数据依赖筛选后的全分布函数评估，理论推导严密且优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖线性高斯合成、两组 Text-to-SQL 大模型评测、无线通信切片以及 LLM-as-judge，实验规模宏大、数据详实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，从标量局限到全分布需求过渡自然，数学符号定义清晰、逻辑闭环。
价值: ⭐⭐⭐⭐⭐ 为大模型解码策略选择、网络调度与轻量化模型部署提供了一套严格统计保证与实用效率兼具的新基准。

数据集 / 场景	配置 / 规模	评估指标	本文 (PS-DME)	基线 (SS-DME)	朴素复用 (N-PS-DME)	说明
合成回归 (\(n=20\))	\(K=2000, M=1000\)	经验 FCR	0.0116	0.0401	0.2850 (失效)	目标 \(\delta=0.10\)；朴素复用严重欠覆盖
合成回归 (\(n=100\))	\(K=2000, M=1000\)	经验 FCR	0.0000	0.0923	0.1740 (失效)	样本增多后 PS-DME 保持严格覆盖
Spider (Text-to-SQL)	\(M=5, n_{\mathrm{cal}}=100\)	经验 FCR	0.031 ± 0.007	0.088 ± 0.006	0.352 ± 0.014	Qwen2.5-7B-Instruct 43种解码策略
Spider (Text-to-SQL)	\(M=10, n_{\mathrm{cal}}=100\)	经验 FCR	0.046 ± 0.007	0.091 ± 0.006	0.364 ± 0.015	筛选规模扩大时 FCR 仍显著低于 0.1
O-RAN 无线切片	\(M=6, 18\)种调度配置	经验 FCR	0.007 ± 0.001	0.045 ± 0.004	0.312 ± 0.018	真实无线网络缓冲区占用指标
BIRD (Text-to-SQL)	\(K=10, M=5, n=200\)	经验 FCR	0.087 ± 0.011	0.088 ± 0.006	0.372 ± 0.017	朴素复用失效率超标近 4 倍
BIRD (Text-to-SQL)	\(p=0.90\) 可靠性	保证损失 \(X^*\)	0.751	0.776	0.762 (无效界)	数值越小代表模型在失效率下的性能越优

候选筛选数 \(M\)	筛选比例 \(M/K\)	PS-DME 半宽 \(\varepsilon_{\mathrm{PS}}\)	SS-DME 半宽 \(\varepsilon_{\mathrm{SS}}\)	PS-DME 保证指标 \(X^*_{\mathrm{PS}}\)	SS-DME 保证指标 \(X^*_{\mathrm{SS}}\)	理论增益说明
\(M=2\)	0.06	0.149	0.179	0.793	0.814	激进筛选时样本分割推断集严重不足
\(M=5\)	0.16	0.139	0.168	0.791	0.807	PS-DME 宽度缩窄 17.3%
\(M=10\)	0.32	0.132	0.158	0.790	0.804	PS-DME 保证性能持续占优
\(M=20\)	0.65	0.124	0.148	0.789	0.799	随 \(M\) 增加修正项惩罚自然降低
\(M=30\)	0.97	0.119	0.142	0.787	0.798	接近全选时两方法趋于稳态