The Limits of AI-Driven Allocation: Optimal Screening under Aleatoric Uncertainty¶
会议: NeurIPS 2026
arXiv: 2605.07979
OpenReview: https://openreview.net/forum?id=KanvRVjn7U
代码: https://github.com/cmpatino/optimal-screening
领域: 其他
关键词: 资源分配, 偶然不确定性, 两阶段筛选, 算法定向, 贝叶斯最优
一句话总结¶
论文揭示了偶然不确定性导致纯AI资源分配存在不可消除的错配上限，证明了最优两阶段策略应将物理筛选集中在算法分配的分位数决策边界周围，并通过收缩不动点算法与人道排雷、社会救助实证实现了分配精度的大幅跃升。
研究背景与动机¶
在公共政策制定、人道主义援助及医疗资源配置等高风险场景中，决策机构往往需要在严格的预算约束下将稀缺资源精准发放给潜在的脆弱群体。传统做法依赖实地家访、专家会诊或逐户排查等物理筛查手段，直接核验个体的真实脆弱状态。然而，这类人工核验的行政与后勤成本极其高昂，难以在大规模人口中实现全量覆盖。随着机器学习技术的普及，基于预测风险评分的“事前算法定向”已迅速成为诸多领域的主流替代方案，决策者仅依据可观测的协变量特征预测个体的脆弱概率，并由高到低贪心地完成资源分配。
然而，这种完全依赖纯算法预测的资源分配机制存在不可逾越的理论上限。在现实世界中，拥有完全相同可观测协变量的个体之间依然存在内在随机性，即不可消除的偶然不确定性（Aleatoric Uncertainty）。这意味着即便预测模型达到了贝叶斯最优水平、能够完美输出真实的条件概率，事前概率化定向也必然导致部分资源的错误配置——许多被算法划入受助名单的个体实际并不脆弱，而大量真正脆弱的个体却因边际概率略低而被排除在外。相比之下，物理核验虽然昂贵，却能彻底消除被核验个体的偶然不确定性，将不确定分配转化为确定性收益。
因此，算法定向与人工筛选绝非简单的“新旧替代”关系，而是具有深度的互补性。当决策者同时拥有有限的筛选预算与固定的分配预算时，如何以最优方式将物理核验能力嵌入算法决策流，成为了高风险决策优化的核心课题。核心 idea：构建两阶段资源分配优化框架，严格证明无论风险分布形态如何，最优筛选策略既不应浪费在最高风险群体、也不应耗费在最低风险群体，而应精准圈定在算法分配决策边界的边际区间 \([q_\alpha, q_\beta]\)，并通过排除核验未通过个体节约分配预算，反哺更多高置信度候选者。
方法详解¶
整体框架¶
本文考虑中心化决策者在总人口中分配覆盖率为 \(\beta \in (0, 1)\) 的稀缺资源，并拥有覆盖率为 \(\alpha \in (0, \beta)\) 的直接筛选预算。每个个体具有可观测协变量 \(X \in \mathcal{X}\) 与潜在脆弱状态 \(Y \in \{0, 1\}\)，满足 \(Y \mid X \sim \text{Bernoulli}(\mu(X))\)，其中 \(\mu(X) = \mathbb{P}(Y=1 \mid X)\) 为贝叶斯最优风险评分。两阶段决策机制包含：第一阶段筛选规则 \(S(X) \in \{0, 1\}\)，满足 \(\mathbb{E}[S(X)] \le \alpha\)，被选中的个体将通过实地核验确定其真实的 \(Y\)；第二阶段分配规则 \(\pi(X, Y) = S(X)Y + (1 - S(X))T(X)\)，其中被筛选且确认脆弱（\(Y=1\)）的个体确定获得资源分配，未被筛选的个体则依据风险分阈值分配规则 \(T(X) \in \{0, 1\}\) 瓜分剩余的分配预算。
整体机制的运作流程涵盖样本风险排序、边际筛选带定位、真实标签核验与节约预算反哺分配，如下流程图所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["全体待分配候选群体<br/>观测协变量 X 并估计风险分 μ(X)"] --> B["风险分排序与三段区间划分"]
B --> C["高风险确定带 μ(X) > q_β<br/>直接算法定向分配"]
B --> D["边际筛选带 μ(X) ∈ [q_α, q_β]<br/>投入预算 α 实施物理核验"]
B --> E["低风险排除带 μ(X) < q_α<br/>直接排除，不予分配"]
D -->|核验为真实脆弱 Y=1| F["确定性资源分配"]
D -->|核验为非脆弱 Y=0| G["排除分配并节约预算<br/>节约配额 α(1-ρ)"]
G --> H["拓展直接分配带 q_β<br/>反哺高风险未筛选个体"]关键设计¶
1. 边际区间筛选准则：打破高风险优先直觉的区间收敛定理
直觉上，管理者常倾向于对预测风险最高或最低的人群进行抽检复核。然而，本文在数学上严格证明，最优筛选集合 \(S^*(X)\) 必定呈现风险分空间中的连续单区间形态 \([q_\alpha, q_\beta]\)，且严格位于直接分配集合下方（\(T^*(X) = \mathbf{1}\{\mu(X) > q_\beta\}\)）。对于最高风险的个体（\(\mu(X) \to 1\)），算法预测的期望准确度极高，消耗昂贵的物理筛选配额仅能排除极少数非脆弱者，边际收益极低；对于极低风险的个体（\(\mu(X) \to 0\)），核验出真实脆弱者的概率微乎其微，无法转化为有效的确定性分配。最优筛选必须聚焦在算法定向的边际临界点周围，即纯算法阈值 \(\widetilde{q}_\beta = F^{-1}(1-\beta)\) 必然满足 \(q_\alpha < \widetilde{q}_\beta < q_\beta\)。这说明筛选的作用是消除决策最犹豫、信息最模糊群体的偶然不确定性。
2. 筛选价值的无分布凹性：收益递减的理论保证
论文推导了最优分配价值 \(V^*(\alpha) = \int_{q_\alpha}^1 \mu dF(\mu)\) 关于筛选预算 \(\alpha\) 的一阶导数与二阶导数，建立了无需假设具体风险分布形态的通用性质： $$ \frac{d V^(\alpha)}{d\alpha} = \frac{q_\alpha (1 - q_\beta)}{1 - q_\beta + q_\alpha} > 0, \qquad \frac{d^2 V^(\alpha)}{d\alpha^2} = -\frac{(1-q_\beta)^3 f(q_\beta) + q_\alpha^3 f(q_\alpha)}{f(q_\alpha) f(q_\beta)(1-q_\beta+q_\alpha)^3} < 0 $$ 该结论确立了筛选对分配效率提升的“边际报酬递减定律”。导数始终严格大于零，说明引入物理筛选必然带来确定性的分配净收益；而二阶导数严格为负，证明了盲目扩大人工复核规模的边际收益将快速萎缩。决策者无需追求全量筛选，只需配置适度预算覆盖边际模糊带，即可捕获绝大部分效率提升红利。对于均匀分布风险 \(\mu \sim \text{Unif}[0, 1]\)，最优阈值更具有闭式解：\(q_\beta = \frac{1 - \beta - \alpha^2 / 2}{1 - \alpha}, q_\alpha = q_\beta - \alpha\)。
3. 不动点收敛算法：高效求解任意连续分布的筛选边界
对于非均匀的任意经验风险分布，边界阈值 \(q_\beta\) 需满足非线性积分约束 \(\int_{q_\alpha}^{q_\beta} \mu dF(\mu) + 1 - F(q_\beta) = \beta\)。论文设计了基于收缩映射的不动点迭代算法。算法将总人群划分为固定直接分配带（质量 \(\beta - \alpha\)）、由筛选排除 \(Y=0\) 节省预算所构成的动态残差分配带（质量 \(\alpha(1-\rho)\)）以及筛选带（质量 \(\alpha\)）。定义映射函数 \(g(\rho) = \frac{1}{\alpha} \int_{q_\alpha(\rho)}^{q_\beta(\rho)} \mu dF(\mu)\)，通过巴拿赫不动点定理证明了 \(g(\rho)\) 是利普希茨常数 \(c_F = F^{-1}(1-\beta+\alpha) - F^{-1}(1-\beta-\alpha) < 1\) 的严格压缩映射。因此，从任意初始平均风险 \(\rho^{(0)} \in [0, 1]\) 出发，算法均能以几何级速度唯一收敛至最优筛选带。
实验关键数据¶
主实验¶
论文在合成数据集（控制偶然不确定性参数）与两个典型真实高风险场景中评估了该框架：哥伦比亚格拉纳达市人道主义排雷（RELand 数据集，63维地理/社会/冲突特征，污染流行率及分配预算 \(\beta=10\%\)）与美国人口普查局社会救助资格预测（ACS 2018 Folktables，低收入界限 \(\$50\text{k}\)，160万样本，分配预算 \(\beta=30\%\)）。对比基线包括无筛选纯算法定向（\(\alpha=0\)）、均匀随机筛选（Random Screening）以及基于 XGBoost、随机森林和逻辑回归构建的风险模型。
| 数据集 / 场景 | 分配预算 \(\beta\) | 筛选预算 \(\alpha\) | 模型配置 | 本文最优筛选 (Ours) | 无筛选基线 (Prev. SOTA) | 随机筛选基线 | 相对提升 |
|---|---|---|---|---|---|---|---|
| 合成均匀分布 (\(t=1\)) | 35% | 35% | 贝叶斯最优 | 98.0% | 82.0% | 85.1% | +16.0% |
| 合成单峰分布 (\(t=10\)) | 35% | 35% | 贝叶斯最优 | 83.0% | 61.0% | 66.2% | +22.0% |
| 合成点集分布 (\(\delta_{0.5}\)) | 35% | 35% | 贝叶斯最优 | 75.0% | 50.0% | 55.0% | +25.0% |
| 哥伦比亚人道排雷 | 10% | 10% | XGBoost | 70.0% | 39.0% | 39.0% | +31.0% |
| 哥伦比亚人道排雷 | 10% | 10% | Random Forest | 66.0% | 37.0% | 38.0% | +29.0% |
| 哥伦比亚人道排雷 | 10% | 10% | Logistic Reg. | 58.0% | 35.0% | 36.0% | +23.0% |
| 美国 ACS 社会救助 | 30% | 30% | XGBoost | 80.0% | 65.0% | 65.0% | +15.0% |
| 美国 ACS 社会救助 | 30% | 30% | Random Forest | 77.0% | 63.0% | 64.0% | +14.0% |
| 美国 ACS 社会救助 | 30% | 30% | Logistic Reg. | 73.0% | 60.0% | 62.0% | +13.0% |
消融实验¶
消融实验聚焦于不同筛选区间定位机制的对比（在合成数据 \(\beta=35\%\) 下对比），检验是否必须将筛选严格置于边际区间 \([q_\alpha, q_\beta]\)，以及不同不确定性强度 \(t\)（Beta\((t,t)\) 分布参数）下的效用增益 \(\Delta V^*(\alpha)\)。
| 筛选区间配置 / 不确定性机制 | 筛选预算 \(\alpha\) | 偶然不确定性状态 (\(t\)) | 分配精度 (Precision) | 相对无筛选增益 \(\Delta V^*\) | 说明 |
|---|---|---|---|---|---|
| 本文最优边际筛选 \([q_\alpha, q_\beta]\) | 35% | 中等不确定性 (Uniform, \(t=1\)) | 98.0% | +16.0% | 严格贴合边际阈值，双向扩展 |
| 顶端邻接启发式筛选 \([q_\beta-\alpha, q_\beta]\) | 35% | 中等不确定性 (Uniform, \(t=1\)) | 91.2% | +9.2% | 仅向单侧扩展，浪费配额 |
| 全局均匀随机筛选 | 35% | 中等不确定性 (Uniform, \(t=1\)) | 85.1% | +3.1% | 脱离风险引导，收益近乎归零 |
| 本文最优边际筛选 | 35% | 极低不确定性 (Bimodal, \(t=0.1\)) | 100.0% | +0.0% | 纯算法已近最优，筛选呈替代关系 |
| 本文最优边际筛选 | 35% | 极高不确定性 (Unimodal, \(t=10\)) | 83.0% | +22.0% | 模糊样本聚集，筛选互补收益达顶峰 |
| 本文最优边际筛选 | 35% | 极大不确定性 (Point mass, \(\delta_{0.5}\)) | 75.0% | +25.0% | 预测完全失效，物理核验带来纯净增益 |
关键发现¶
- S形效用增益曲线：筛选带来的效用增益 \(\Delta V^*(\alpha)\) 随偶然不确定性参数 \(t\) 呈现经典的 S 型三阶段变化：当 \(t \to 0\) 时模型预测近乎确定，AI 定向直接替代筛选；当 \(t \in [0.1, 10]\) 时，物理筛选与算法定向呈现高度互补性，边际效率跃升最为陡峭；当 \(t \to \infty\) 时增益趋于饱和。现实世界中绝大多数公共政策数据恰好处于 \(t \in [0.1, 10]\) 的强互补区间。
- 随机筛选的低效性：在人道排雷实战中，无针对性的随机核验在 \(\alpha=10\%\) 预算下仅使查准率从 35% 提升到 39%（几乎无效），而最优边际筛选将查准率从 39% 翻倍拉升至 70%，证实了筛选位置比筛选数量更为决定性。
- 对认知不确定性（模型泛化误差）的强鲁棒性：即便真实场景中使用的是存在估计误差的经验机器学习模型，最优筛选策略在不同模型上均保持单调凸显的增益趋势，证明框架在实际有限样本和特征噪声下具备出色的鲁棒性。
亮点与洞察¶
- 纠正了高风险优先筛选的实践误区：在传统业务直觉中，审核人员往往倾向于复查“得分最高”的候选人。本文用极简的数学交换论证指出：高风险者应直接放行分配，筛选的唯一合理支点是算法分歧最大、概率不确定性最强的边际交界处。
- 构建了确定性与概率性的动态预算桥梁：物理筛选淘汰的 \(Y=0\) 个体释放出宝贵分配额度 \(\alpha(1-\rho)\)，该额度重新注入未筛选的高风险池，从而实现了“前线精准排雷、后方扩大战果”的正向协同。
- 理论无分布性与落地开箱即用：边际区间的凹性与最优性不依赖特定分布假设，且伴随严格收敛的不动点求解器，使各领域的政策设计者能够在获取任何风险模型输出后，一键生成全局最优核验名单。
局限与展望¶
- 外生预算的静态割裂：当前理论将筛选预算 \(\alpha\) 与分配预算 \(\beta\) 视作独立外生的预设常数，而在真实政策制定中，两者往往受制于统一的资金池（即筛选成本与资源成本之间存在边际兑换汇率），未来需扩展联合动态预算规划。
- 模型估计误差（认知不确定性）传播：论文理论部分假设风险分为贝叶斯最优。虽然实验展示了经验鲁棒性，但模型欠拟合或分布偏移所引起的认知不确定性如何扰动最优边界 \([q_\alpha, q_\beta]\)，仍缺乏严密的有限样本泛化界保证。
- 个体行为激励与公平性考量：在教育资助或信贷申请等场景中，将核验集中在边际区间可能诱导申请人针对性操纵协变量（博弈操纵），同时对特定人口亚群的筛选强度差异亦需结合算法公平性展开延伸探索。
相关工作与启发¶
- vs. Fischer-Abaigar et al. (ICML 2025) & Perdomo (ICML 2024)：以往关于预测价值的研究主要探讨“改进算法准确度”与“扩大资源准入覆盖面”的权衡；本文则在预算与模型均固定的现实短板约束下，开辟了引入边际物理核验以穿透偶然不确定性天花板的第三维度。
- vs. 传统代理均值测试 (Proxy Means Tests, Grosh & Baker 1995)：传统社会救助要么全量人工家访、要么全量依靠特征打分；本文框架从数学上形式化了二者结合的最优拓扑结构，为多阶段人机协作决策提供了坚实的公理化基础。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从偶然不确定性视角形式化多阶段资源分配的最优筛选问题，给出了极具穿透力且反直觉的区间定理与无分布凹性证明。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖了从连续插值受控分布到真实世界高风险哥伦比亚排雷与百万级普查社会援助数据集，消融与对比充分完备。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严丝合缝，理论证明优美精炼，图文对应清晰直观。
- 价值: ⭐⭐⭐⭐⭐ 为人道主义救援、社会福利分配等重大公共决策提供了兼具理论保障与实操价值的开源算法范式。