density-ratio losses for post-hoc learning to defer¶

会议: NeurIPS 2026
arXiv: 2605.19557
领域: 优化/理论
关键词: 事后推迟学习, 密度比估计, 理想分布, 类别概率估计, 假设检验

一句话总结¶

本文提出从理想分布及其密度比的视角形式化事后推迟学习（post-hoc L2D），借助类别概率估计（CPE）将密度比学习规约为可微二分类评分器，不仅在联合分布设定下打通了与专家倾斜后验下的 Chow 规则及专家比较回归目标的理论联系，而且实现了无需重新训练即可根据验证集灵活调整推迟率。

研究背景与动机¶

高风险决策场景（如医疗诊断、金融信贷）要求机器学习模型具有极高的可靠性，而在边缘端部署或算力受限时，级联路由架构同样迫切需要将困难样本转交给大模型或下游人类专家处理。推迟学习（Learning to Defer, L2D）通过赋予模型推迟预测给专家的能力，显著提升了人机协作决策系统的整体精度与效率。然而在超大预训练模型盛行的背景下，端到端联合训练分类器与拒绝器的高昂代价使得事后（post-hoc / two-stage）推迟学习变得极为关键：基础分类模型保持冻结，仅基于有限样本学习独立的推迟仲裁策略。

现有的事后推迟方法在面对专家特异化或真实数据分布偏移时常常表现脆弱。朴素的置信度阈值法（如基于分类器自身最大预测概率）完全忽略了专家的下游能力与损失，而端到端代理损失方法通常要求在训练时硬编码推迟成本参数 $c$，当业务需要调整推迟率或专家调用预算时，必须对每个成本参数重新从头训练推迟器。与此同时，现存的点对点专家比较方法直接去回归专家与基础模型在离散样本上的 0-1 表现差异，缺乏原则性的统计分布支撑，容易在特异化下游专家数据上发生严重过拟合。

针对这一困境，本文选择从分布视角切入，将推迟学习重新解释为两个分布之间的似然比假设检验：一个是使基础模型达到低风险的“理想分布”，另一个是使专家模型达到低风险的“专家理想分布”。核心 idea：将事后推迟决策建模为基础模型与专家模型的散度正则化理想分布之间的密度比估计，并通过 DRE 到 CPE 的规约构建无偏的联合 DR CPE 损失函数，使评分器直接输出具备专家倾斜特性的推迟排序分，实现无需重训的推迟率动态阈值调节。

方法详解¶

整体框架¶

本文方法的输入为固定特征向量 $x \in \mathcal{X}$ 以及冻结的基础预测器 $h$ 与专家预测器 $h^{(\mathrm{e})}$ 的预测分布。方法整体管线分为三步：首先，基于散度正则化最优化分别定义基础模型与专家模型的理想分布；其次，将两者在输入空间的边际分布之比定义为 Neyman-Pearson 意义下的最佳似然比假设检验；最后，利用密度比估计（DRE）到严格真复合损失下类别概率估计（CPE）的规约，将密度比学习转化为一个带样本重权重的评分器优化问题。在推理阶段，评分器仅需输入由基础模型预测概率构成的轻量特征向量，通过简单的实数阈值截断确定是否推迟，从而在全推迟率区间平滑调节。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x 与冻结模型 h, 专家 h^(e)"] --> B["构建散度正则化理想分布<br/>KL 惩罚下模型与专家的性能重加权分布"]
    B --> C["定义理想分布密度比推迟准则<br/>Neyman-Pearson 似然比检验与专家倾斜"]
    C --> D["联合 DR CPE 损失规约优化<br/>DRE 转化为带权二分类评分器 s(x) 训练"]
    D -->|阈值截断 s(x) ≤ τ| E["输出仲裁决策：自主预测或推迟至专家"]

关键设计¶

1. 散度正则化理想分布与密度比推迟准则：从单模型拒绝扩展到专家竞争检验 传统拒绝学习（L2R）仅考虑单模型在真实分布偏离下的行为，而 L2D 核心在于两者的相对比较优势。对于给定的损失函数 $\ell$ 与散度 $D$，固定分类器 $h$ 的 $(\mathrm{D}, \gamma)$ 边际与联合理想分布分别最小化期望预测损失与到真实分布的偏离惩罚： $$Q_{\mathrm{m}} \in \arg\min_{Q \in \triangle(\mathcal{X})} \mathbb{E}_{X \sim Q, Y \sim \eta^\star(X)}[\ell(X, Y, h(X))] + \gamma \cdot \mathrm{D}(Q \parallel \mathrm{P}_{\mathrm{x}})$$ 当选择 KL 散度时，边际理想分布与联合理想分布在输入 $x$ 处呈现出乘性指数重权形式 $Q(x;\gamma) = \frac{1}{Z} \tilde{w}(x;\gamma) \mathrm{P}_{\mathrm{x}}(x)$。推迟准则被优雅地定义为基础模型理想分布与专家理想分布的密度比 $\rho(x) = \frac{\mathrm{d}Q(x)}{\mathrm{d}Q^{(\mathrm{e})}(x)}$。在假设检验视阈下，原假设 $H_0: x \sim Q^{(\mathrm{e})}$ 表示样本属于专家的优势分布，备择假设 $H_1: x \sim Q$ 表示属于基础模型优势分布；当且仅当似然比 $\rho(x) \le \tau$ 时不拒绝 $H_0$，即执行推迟。

2. 边际与联合理想分布的理论断裂：专家倾斜后验分布的建立 在经典的 L2R 理论中，边际与联合构造均直接等价于原始数据分布下的 Chow 规则；但在引入专家的 L2D 设定下，两者呈现出深刻的本质分歧。理论分析证明，KL 边际密度比规则在特定阈值下精确恢复了原始数据分布 $\mathrm{P}$ 下的 Chow 规则 $r^\star(x; c, \mathrm{P})$；然而联合理想分布因为积分在指数函数外部，其推迟决策满足 $r_{\mathrm{j}}(x; \tau, \gamma, \gamma) \le r^\star(x; c, \tilde{\mathrm{P}}^{(\mathrm{e})}_\gamma)$，即严格弱于在专家倾斜分布 $\tilde{\mathrm{P}}_\gamma$ 下的 Chow 准则。专家倾斜后验定义为： $$\tilde{\eta}^\star_y(x; \gamma) = \frac{\exp(-\ell(x, y, h^{(\mathrm{e})}(x))/\gamma)}{\mathbb{E}_{Y \sim \eta^\star(x)}[\exp(-\ell(x, Y, h^{(\mathrm{e})}(x))/\gamma)]} \cdot \eta^\star_y(x)$$ 该设计将传统的标签偶然不确定性修正为“与专家能力密切相关的有效不确定性”：仅当标签模糊且模糊方向有利于专家正确分类时才鼓励推迟，从而排除了双方皆不可靠的盲目推迟区域。

3. 联合 DR CPE 损失构建与可微优化：摆脱贝叶斯后验先验依赖 理论上的密度比直接计算受限于两处阻塞：一是依赖未知的贝叶斯真实后验 $\eta^\star(x)$，二是推理阶段若需评估 $Q^{(\mathrm{e})}$ 则必须先调用专家，违背了低成本初筛的初衷。本文引入 DRE 向严格真复合损失 $\uplambda$ 下二分类 CPE 的经典规约，并巧妙设置先验比例 $\pi = Z / (Z + Z^{(\mathrm{e})})$，从而完全消除了不可知归一化常数的估计难题。由于边际损失包含置于指数内部的期望无法从有限单标签样本进行无偏蒙特卡洛采样，本文采用联合 DR CPE 损失作为经验优化目标： $$\mathcal{L}_{\mathrm{j}}(s; \gamma, \gamma^{(\mathrm{e})}) = \mathbb{E}_{(X,Y) \sim \mathrm{P}}\left[\exp\left(-\frac{\ell(X,Y,h(X))}{\gamma}\right) (\uplambda_{+1} \circ s)(X) + \exp\left(-\frac{\ell(X,Y,h^{(\mathrm{e})}(X))}{\gamma^{(\mathrm{e})}}\right) (\uplambda_{-1} \circ s)(X)\right]$$ 理论进一步证明，当损失 $\ell$ 有界时，联合损失构成了边际损失的严格上界（$\mathcal{L}_{\mathrm{m}} \le \mathcal{L}_{\mathrm{j}}$），两者的差异严格受限于模型与专家损失在真实后验下的条件方差 $\mathbb{V}_{\mathrm{P}}[\ell \mid X]$。当输入几乎不存在偶然不确定性时，该松弛间隙趋于零。

4. 渐近专家比较与异常检测的内在统一：温度极限下的动态加权 在采用平方损失 $\uplambda(v, y) = (v-y)^2$ 与 0-1 预测误差作为底座时，考察零温极限 $\gamma \to 0^+$，最优评分器解析解表现为 $s_0^\star(x) = \frac{p_h(x) - p_e(x)}{p_h(x) + p_e(x)} = \frac{\Delta(x)}{\Sigma(x)}$。由此推迟判定 $s_0^\star(x) \le \tau$ 等价于 $\Delta(x) \le \tau \cdot \Sigma(x)$。相较于以往启发式专家差异回归方法（如 Estimate-Diff01 拟合无缩放的 $\Delta(x) \le \tau$），DR CPE 在数学上自发诱导出了一个由双方准确率之和构成的动态调节项 $\Sigma(x) = p_h(x) + p_e(x)$。这使得模型在双方预测概率都极低（即无解样本）时避免浪费推迟预算，并与基于数据重加权的异常检测建立了统一的理论桥梁。

损失函数 / 训练策略¶

在实现中，评分网络 $g(x)$ 采用轻量多层感知机（MLP，全连接隐层维度 64 和 16，ReLU 激活），输入由基础模型预测概率提取的特征：熵、前 10 大预测概率以及 top-1 类别的 one-hot 编码。在冻结基础网络和专家网络后，仅使用干净推迟验证集训练该 MLP。优化目标采用平方二分类损失 $\uplambda_{+1}(v) = (v-1)^2$、$\uplambda_{-1}(v) = (v+1)^2$，默认温度设为 $\gamma = \gamma^{(\mathrm{e})} = 0.5$。任务损失 $\ell$ 分别测试广义交叉熵（Generalized Cross Entropy, GCE）与概率化 0-1 损失（Prob01，即预测概率与真实 one-hot 标签的 $L_1$ 距离）。使用 Adam 优化器，学习率设为 $7 \times 10^{-4}$，权重衰减 $10^{-3}$。在测试阶段，通过扫描评分器阈值 $\tau$ 即可绘制连续的准确率-推迟率权衡折线。

实验关键数据¶

主实验¶

实验采用 ResNet 级联架构评估模型在各种数据腐败与专家特异化设定下的准确率-推迟率权衡。基线包括纯置信度阈值法（Conf）、两阶段指数代理损失（TwoStage-Exp）、零一误差差值回归（Estimate-Diff01）以及专家最高概率估计（Estimate-MaxProb）。以下选取 CIFAR-100（ResNet14 推迟至 ResNet56）在干净及长尾噪声下的主实验对比：

数据集与设定	方法	10% 推迟率	20% 推迟率	50% 推迟率	75% 推迟率	说明
CIFAR-100 Clean [14-56]	Conf	66.67±0.00	68.21±0.00	70.16±0.00	69.64±0.00	启发式置信度
CIFAR-100 Clean [14-56]	TwoStage-Exp	66.45±0.02	67.14±0.02	68.41±0.03	69.18±0.01	凸代理损失
CIFAR-100 Clean [14-56]	Estimate-Diff01	66.79±0.07	67.98±0.10	69.93±0.08	69.72±0.07	点对点差值回归
CIFAR-100 Clean [14-56]	Estimate-MaxProb	66.98±0.05	68.01±0.06	70.13±0.06	69.79±0.09	相对置信度回归
CIFAR-100 Clean [14-56]	DR CPE (GCE)	66.74±0.07	68.03±0.06	70.12±0.05	69.84±0.05	本文方法
CIFAR-100 Clean [14-56]	DR CPE (Prob01)	66.84±0.05	68.07±0.07	70.07±0.05	69.73±0.06	本文方法
CIFAR-100 Long-Tail [8-32]	Conf	40.70±0.00	41.43±0.00	43.91±0.00	44.31±0.00	长尾分布下严重受挫
CIFAR-100 Long-Tail [8-32]	TwoStage-Exp	40.70±0.01	41.24±0.05	42.87±0.05	43.48±0.03	劣于随机推迟趋势
CIFAR-100 Long-Tail [8-32]	Estimate-Diff01	41.80±0.05	43.28±0.07	45.63±0.12	45.82±0.07	拟合强但易失稳
CIFAR-100 Long-Tail [8-32]	DR CPE (Prob01)	41.76±0.06	43.09±0.07	45.08±0.07	45.64±0.07	紧随且方差更平稳

消融实验¶

在医学影像专家特异化任务中（PathMNIST 肿瘤切片，专家只精通 3/9 类肿瘤；DermaMNIST 黑色素病变，专家只精通 2/7 类），各方法的鲁棒性差异最为显著：

配置 / 方法	PathMNIST Specialist (20%推迟)	PathMNIST Specialist (75%推迟)	DermaMNIST Specialist (20%推迟)	DermaMNIST Specialist (75%推迟)	说明 / 核心发现
Conf	87.10±0.00	84.83±0.00	75.76±0.00	72.52±0.00	缺乏专家信息，大比例推迟反噬精度
TwoStage-Exp	87.74±0.08	84.32±0.06	74.38±0.15	72.62±0.06	严重失灵，衰退至接近随机猜测
Estimate-Diff01	84.97±0.02	83.83±0.25	76.50±0.27	76.15±0.21	PathMNIST 上发生严重过拟合崩溃
Estimate-MaxProb	87.08±0.05	86.57±0.08	76.37±0.09	75.49±0.09	无法有效建模非特长类别的错误置信
DR CPE (GCE)	87.05±0.06	86.57±0.07	86.52±0.10	76.13±0.09	全局鲁棒性最强，无任何崩塌
DR CPE (Prob01)	86.23±0.64	86.40±0.15	76.59±0.09	76.12±0.14	表现优异但小样本特异化方差略大

关键发现¶

在干净数据集上，所有学习推迟方法差异较小，甚至基础模型的 Conf 置信度在小推迟率下即有不错表现；但在专家特异化（Specialist）和标签噪声（Label Noise）下，Conf 和 TwoStage-Exp 全面崩溃，高推迟率下性能甚至低于不推迟的单模型。
Estimate-Diff01 虽然在部分任务（如 CIFAR-100 Long-Tail）取得微弱数值优势，但在 PathMNIST 特异化专家场景下彻底发生灾难性过拟合（83.83% 甚至低于随机推迟线）；而 DR CPE (GCE) 在全部腐败组合中始终保持前两名的顶尖水准，展现出极强的鲁棒性。
在密度比估计损失 $\uplambda$ 的选型上，平方损失与 LSIF / KLIEP 表现出优异稳定性，而 Logistic 损失在经验上由于方差过大导致收敛性能明显退化。

亮点与洞察¶

将事后推迟问题重构为假设检验与似然比估计，从理论上揭示了边际理想对应真实分布 Chow 规则、联合理想对应专家倾斜分布 Chow 规则的对应律。
利用 DRE 到 CPE 规约消除未知归一化常数，推导出的解析解表明零温极限下自动内生了由模型与专家联合置信度 $\Sigma(x)$ 构成的自适应动态阈值，抑制了对“盲区样本”的无效推迟。
该框架具有高度的可拓展性，其分布重加权思想天然可推广至多专家级联路由系统、模型拒绝与越界检测（OOD / Anomaly Detection）的跨任务联合分析。

局限与展望¶

论文目前缺乏针对推迟分类器在有限样本条件下的严格超额风险一致性理论上界（consistency guarantees），更多依赖与现有回归方法的经验等价性迁移。
超参数温度 $\gamma$ 的调节对复杂场景（如极度不均衡医疗数据）的方差仍有一定影响，尚需开发自适应的温度退火或选择策略。
未来工作可探索将该理想分布比值体系扩展至多专家（multi-expert routing）场景下的多类概率估计规约，或在理想分布优化中显式加入公平性与审计预算约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从双模型理想分布与 DRE-CPE 规约视角重塑推迟学习，理论深刻而优美。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 CIFAR-100、PathMNIST、DermaMNIST 等多类噪声与特异化设定，评测详实。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密连贯，定理物理图像直观生动，概念层层递进。
价值: ⭐⭐⭐⭐☆ 对大模型级联路由、高效推迟仲裁以及边缘系统部署具有极高的实用与指导价值。