Performative Prediction with Selective Labels¶

会议: NeurIPS 2026
arXiv: 2610.08272
代码: https://github.com/recod-ai/perf_selective
领域: 学习理论
关键词: 表现性预测、选择性标签、重复风险最小化、鲁棒优化、部分可识别性

一句话总结¶

本文形式化了选择性标签约束下的表现性预测问题，证明了仅在被接受子群体上再训练会导致模型严重偏离表现性稳定解，并提出基于正标签概率区间与强凸上界损失的鲁棒重复风险最小化（Robust RRM）方法，理论上严格约束了与真稳定点的距离，且可利用历史接受样本持续收紧不确定性区间。

研究背景与动机¶

在信贷审批、高校录取、司法保释与医疗诊断等高风险决策场景中，算法决策不仅用来被动预测未来，还会主动干预并塑造其所预测的目标群体。表现性预测（Performative Prediction）形式化了这种模型部署与群体反馈之间的耦合关系：部署模型会诱导出一个新的特征-标签分布。经典的重复风险最小化（Repeated Risk Minimization, RRM）机制证明，在损失函数强凸平滑且分布映射满足 Wasserstein 敏感度约束时，基于最新诱导数据反复重训练模型能够收敛到表现性稳定点（Performatively Stable Point），即模型在其自身诱导的分布上达到局部最优，从而具备抵御内生分布漂移的稳定性。

然而，现有的表现性预测理论近乎普遍假设决策者在每次部署后能够获取诱导全分布上的完整特征与真实标签。这种假设在现实决策机制中极易失效：现实系统普遍存在选择性标签（Selective Labels）现象——特征通常对全量申请人群可见，但真实标签仅在模型做出“通过/接受”决策的子群体上才能被观测到。例如，在银行贷款中，只有贷款被审批通过的借款人才能观察到其后续履约或违约标签；被拒申请人的还款表现永远是反事实的不可观测项。在表现性反馈与选择性标签叠加的动力学环境下，如果决策者天真地仅利用被接受样本的过滤分布进行重复经验风险最小化，过滤带来的选择偏差会被模型自身的序列更新逐轮放大，导致优化轨迹严重失偏。

这造成了一个核心矛盾：表现性稳定要求模型在“全量诱导分布”上求极小，但选择性标签使得未被接受群体的真实损失无法直接计算；同时，基于硬阈值的确定性决策彻底阻断了未通过区域的直接反馈，令传统重要性加权或逆倾向得分等依赖严格正倾向假设的因果校正方法全面失效。本文的核心 idea 是：将选择性标签视作未观测区域的标签概率不确定性，构造一个仅依赖正标签概率上下界、与真实未知标签解耦且保持强凸光滑性质的悲观最坏情况上界损失（Worst-Case Loss），由此驱动鲁棒重复风险最小化（Robust RRM），并在理论与算法上利用历史已接受样本的几何敏感度渐进收紧不确定性包络。

方法详解¶

整体框架¶

所提框架针对带确定性阈值决策机制的序贯表现性预测系统。在每一轮决策交互中，决策者发布当前模型，环境群体随之响应并生成新的特征-标签联合分布。决策者获得全量样本的特征向量，并通过设定阈值筛选出接受群体（观察到标签）与拒绝群体（标签缺失）。对于接受样本，直接计算真实损失；对于未接受样本，系统维护或动态更新正标签后验概率的上下界区间，并基于该区间构建凸对偶形式的悲观最坏情况损失。二者加权组合成最坏情况解耦风险后，通过梯度优化得到下一轮模型参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["发布当前模型 θ_t<br/>诱导环境分布 (X,Y) ~ D(θ_t)"] --> B["全量特征观测与阈值判定<br/>计算评分 f_θ(X)，判定 O = 1{f_θ(X) >= τ}"]
    B -->|已接受 O=1| C["观测真实标签 Y<br/>计算经验损失 ℓ(X,Y,θ)"]
    B -->|未接受 O=0| D["标签缺失区域<br/>基于几何敏感度构建/更新置信区间 [l, u]"]
    D --> E["最坏情况上界损失构造<br/>可微强凸悲观包络 ℓ_bar_ϕ(X,θ)"]
    C --> F["最坏情况解耦风险聚合<br/>J_bar(ϕ,θ) = E[O·ℓ + (1-O)·ℓ_bar]"]
    E --> F
    F --> G["鲁棒重复风险最小化 (Robust RRM)<br/>优化求解 θ_{t+1} = argmin J_bar(θ_t,θ)"]
    G --> A

关键设计¶

1. 选择性表现性偏差形式化：揭示硬阈值过滤诱发的最坏情况发散

针对选择性标签机制下直接使用观测数据再训练的可行性，论文首先给出了理论否定。设决策者采用确定性阈值决策 \(O = \mathbf{1}\{f_\phi(X) \ge \tau\}\)，只保留通过样本形成过滤分布 \(\tilde{D}(\phi)\)。记全分布与过滤分布的单步 RRM 算子分别为 \(G(\phi) = \arg\min_{\theta \in \Theta} \mathbb{E}_{D(\phi)}[\ell(X,Y,\theta)]\) 与 \(\tilde{G}(\phi) = \arg\min_{\theta \in \Theta} \mathbb{E}_{\tilde{D}(\phi)}[\ell(X,Y,\theta)]\)。论文给出的反例证明，即使数据生成机制完全不依赖模型（即无表现性效应），单步更新的偏差 \(\|G(\phi) - \tilde{G}(\phi)\|_2\) 也能达到参数空间的最大直径 \(\text{diam}(\Theta)\)。例如在单维逻辑回归且阈值为 0 的场景中，未接受群体的缺失会导致过滤目标函数的单调性完全反转，优化轨迹直接冲向参数边界。这揭示了天真过滤再训练从根本上破坏了稳定解收敛性。

2. 悲观最坏情况上界损失构造：基于概率区间的强凸代理损失

为攻克拒绝群体标签不可见的困境，论文引入部分可识别性（Partial Identification）视角。假设真实后验标签分布 \(\alpha_\phi(x) = P(Y=1 \mid X=x, \phi)\) 处于已知先验或估计的不确定性区间内，即存在界函数满足 \(l(x,\phi) \le \alpha_\phi(x) \le u(x,\phi)\)。由于条件期望损失对未知标签概率 \(\alpha_\phi(x)\) 严格线性，在区间端点取极端值即可得到条件风险的上界。为保证优化过程的连续性与数值稳定性，论文采用 Log-Sum-Exp 平滑算子构建最坏情况损失：定义 \(\Delta_\ell(x,\theta) := \ell(x,1,\theta) - \ell(x,0,\theta)\)，对未观测标签的样本定义：

\[\overline{\ell}_\phi(x,\theta) := \ell(x,0,\theta) + \log\left(e^{l(x,\phi)\Delta_\ell(x,\theta)} + e^{u(x,\phi)\Delta_\ell(x,\theta)}\right)\]

论文证明了该上界损失保持了原损失函数的 \(\gamma\)-强凸性与可微性，进而构建最坏情况解耦风险 \(\overline{J}(\phi,\theta) := \mathbb{E}_{D(\phi)}[O\,\ell(X,Y,\theta) + (1-O)\,\overline{\ell}_\phi(X,\theta)]\)，由此定义鲁棒更新算子 \(\overline{G}(\phi) := \arg\min_{\theta \in \Theta} \overline{J}(\phi,\theta)\)。

3. 鲁棒近似稳定性理论：构建与真实稳定解的有界误差管道

由于平滑后的最坏情况损失 \(\overline{\ell}_\phi\) 不再全局满足特征连续性上的 \(\beta\)-光滑条件，经典 Banach 不动点收敛理论无法直接套用。论文建立了扰动压缩映射分析，证明鲁棒更新算子 \(\overline{G}\) 与全量标签理想算子 \(G\) 之间的单步漂移满足：

\[\|G(\phi) - \overline{G}(\phi)\|_2 \le \frac{1}{\gamma} \sup_{\theta \in \Theta} \mathbb{E}_{D(\phi)}\left[(1-O)|u(X,\phi) - l(X,\phi)| \|\nabla_\theta \Delta_\ell(X,\theta)\|_2\right]\]

在逻辑回归线性模型下，梯度项直接受特征模长上界 \(R\) 控制。若理想全量更新具备压缩系数 \(\eta = \epsilon\beta/\gamma < 1\)，令统一误差上确界为 \(\kappa := \sup_{\theta}\|\overline{G}(\theta) - G(\theta)\|_2\)，则迭代序列 \(\{\theta_t\}\) 与真表现性稳定解 \(\theta^{PS}\) 的距离满足：

\[\limsup_{t \to \infty} \|\theta_t - \theta^{PS}\|_2 \le \frac{\kappa}{1-\eta}\]

这为 Robust RRM 提供了坚实的渐近近似保障，证明鲁棒模型轨迹始终被牢牢约束在真实稳定点的有界邻域内。

4. 历史观测驱动的几何敏感度区间收紧：时空历史数据复用机制

固定宽度的平凡置信区间 \([0,1]\) 虽然安全，但会放大 \(\kappa\)。论文进一步提出利用分布的几何李普希茨性质随训练推进逐步缩小不确定性区间。假设标签分布具有 \((L_x, L_\theta)\)-敏感度，即 \(|\alpha_\theta(x) - \alpha_\phi(x')| \le L_x\|x-x'\|_2 + L_\theta\|\theta-\phi\|_2\)。在内生标签不变假设（\(L_\theta = 0\)）下，随着系统不断发布不同模型，所有历史轮次被接受样本构成的支撑集 \(\mathcal{X}_{1:t}^{\mathrm{obs}}\) 随时间单调扩张。对于当前轮次未被接受的任意样本 \(x_{\mathrm{unobs}}\)，其上下界可由下式紧致确定：

\[l(x_{\mathrm{unobs}}) = \max\left\{0,\, \sup_{x_{\mathrm{obs}} \in \mathcal{X}_{1:t}^{\mathrm{obs}}} \alpha(x_{\mathrm{obs}}) - L_x \|x_{\mathrm{obs}} - x_{\mathrm{unobs}}\|_2\right\}\]

\[u(x_{\mathrm{unobs}}) = \min\left\{1,\, \inf_{x_{\mathrm{obs}} \in \mathcal{X}_{1:t}^{\mathrm{obs}}} \alpha(x_{\mathrm{obs}}) + L_x \|x_{\mathrm{obs}} - x_{\mathrm{unobs}}\|_2\right\}\]

在工程实现中，论文利用 KD-Tree 检索未标记样本最近的 50 个历史已知邻居来高效求解极值。随着覆盖面积扩大，区间宽度快速收窄至 0.1 以下，使单步近似误差上界随迭代轮次显著下降。

损失函数 / 训练策略¶

在带公平性正则化的实际借贷场景中，优化目标结合了逻辑回归二元交叉熵损失与统计均等（Demographic Parity, DP）惩罚项。设受保护属性为 \(Z \in \{0, 1\}\)，公平性代理惩罚定义为两组预测得分均值差的平方：

\[J_\lambda^{\mathrm{fair}}(\phi,\theta) := \overline{J}(\phi,\theta) + \lambda \left(\mathbb{E}_{D(\phi)}[\theta^\top X \mid Z=1] - \mathbb{E}_{D(\phi)}[\theta^\top X \mid Z=0]\right)^2\]

该公平性正则项完全由特征与当前参数计算，不依赖于未观测标签 \(Y\)，因而免受选择偏差干扰。每轮重训练使用批量梯度下降迭代 5000 步，辅以 \(10^{-2}\) 权重的 \(L_2\) 正则项严格确保强凸性条件。

实验关键数据¶

主实验¶

实验基于 FICO 信用数据集构建长期公平性借贷仿真环境，模拟人群规模 \(n = 100{,}000\)，重训练循环执行 400 轮，重点对比不同基线在全量标签下的真实表现性风险、群体均等差距以及与理想稳定解 \(\theta^{PS}\) 的欧氏距离（环境敏感度 \(\epsilon = 50\)）。

算法机制	标签获取方式	表现性风险 \(J(\theta,\theta)\) (↓)	人口统计学差异 DP (↓)	与稳定解距离 \(\\|\theta - \theta^{PS}\\|_2\) (↓)	收敛状态
Oracle RRM	全量真标签可见	0.336 (±0.001)	0.042 (±0.003)	0.000 (基准)	理想稳定收敛
Robust RRM (Ours, Tighter)	选择性标签 + 动态敏感度区间	0.336 (±0.001)	0.043 (±0.003)	0.212 (±0.025)	逼近稳定解
Robust RRM (Trivial [0,1])	选择性标签 + 平凡全宽区间	0.337 (±0.001)	0.045 (±0.004)	1.485 (±0.038)	有界漂移
Accept-only (Naive G~)	仅基于被接受样本重训练	0.358 (±0.004)	0.089 (±0.012)	2.140 (±0.085)	严重偏离
Affine RM	历史 3 轮接受数据平滑	0.342 (±0.002)	0.058 (±0.006)	0.420 (±0.041)	次优收敛
DCEM (EM 伪标签法)	EM 迭代生成软标签	0.338 (±0.002)	0.048 (±0.005)	0.650 (±0.062)	局部稳定
DR Estimator (双重鲁棒)	连续倾向得分加权	0.892 (±0.120)	0.315 (±0.054)	5.820 (±0.310)	数值发散

消融与敏感度实验¶

对敏感度超参数 \(L_x\)（真实值 0.15）的设定偏差及其估计方式进行鲁棒性评估：

配置 / 敏感度规格	表现性风险 (↓)	与稳定解距离 \(\\|\theta - \theta^{PS}\\|_2\) (↓)	平均区间宽度 \(\\|u-l\\|\)	说明
\(L_x = 0.15\) (精确规格)	0.336 (±0.001)	0.212 (±0.025)	0.082	理论与经验最佳折中
\(L_x + 0.0375\) (+25% 过于保守)	0.336 (±0.001)	0.241 (±0.020)	0.104	区间更宽，界轻度放大
\(L_x + 0.0750\) (+50% 过于保守)	0.336 (±0.001)	0.282 (±0.028)	0.128	距离稳定解增大
\(L_x - 0.0375\) (-25% 乐观估计)	0.336 (±0.001)	0.187 (±0.018)	0.065	经验距离更小，但理论覆盖有风险
\(L_x - 0.0750\) (-50% 激进低估)	0.336 (±0.001)	0.159 (±0.024)	0.049	边界点可能违反包含假设
数据估计 \(\widehat{L}_x = 0.287\) (2000随机样本)	0.337 (±0.001)	0.363 (±0.024)	0.132	实际免专家先验可行解

关键发现¶

表现性差距单调递减：在前 400 轮训练中，无论环境响应系数 \(\epsilon\) 为 50、90 还是 150，Robust RRM 的单步表现性增量差距 \(J(\theta_{t+1}, \theta_{t+1}) - J(\theta_t, \theta_{t+1})\) 均快速衰减到 \(10^{-4}\) 以下，展现出优秀的数值稳定性。
历史样本有效驱动区间收缩：借助 KD-Tree 动态维护的历史邻域，拒绝人群的平均区间宽度 \(|u-l|\) 从初始的 1.0 快速下降到约 0.08，最终下界和上界均值分别收敛于 0.16 与 0.24，精准拟合了被拒人群真实的低正向概率。
经典双重鲁棒方法失效机理：DR Estimator 遭遇了灾难性发散。其根源在于确定性硬阈值切分导致拒绝人群的真实观测倾向得分为 0，彻底违背了倾向得分有正下界（\(\pi(x) \ge \delta > 0\)）的因果重加权前提。

亮点与洞察¶

将不可识别问题转化为凸优化悲观包络：巧妙利用期望损失对正样本后验概率的严格线性特性，把无法点识别的条件风险松弛为极值对偶并用 Log-Sum-Exp 平滑，既维持了损失对模型参数的强凸性质，又规避了不可微对抗极大带来的数值震荡。
以空间几何覆盖克服时间序贯的反馈断层：以往工作将历史数据简单做样本滑动平均，本文则利用李普希茨敏感度空间映射，将历史不同模型接受样本汇总为特征空间的高维几何支集，使得被拒人群的不确定性得以随历史累积而指数级消退。
低估敏感度反而带来更紧的经验收敛：消融表明即便 \(L_x\) 被低估 50%，经验风险和解距离依然优异，证明该悲观框架对李普希茨常数的错配具有强大的容错与降解韧性。

局限与展望¶

依赖群体级 Lipschitz 敏感度先验：方法依赖 \(L_x\) 与 \(L_\theta\) 的先验或外部探索估计。在无法承担小规模随机接受探索成本且特征维度极高的领域，获取严格保真的李普希茨常数存在阻碍。
确定性阈值假设的拓展约束：当前理论主要针对单调得分的确定性硬截断规则，若引入探索性随机放贷策略或软决策机制，如何融合重要性采样与悲观鲁棒包络仍待深入探索。
群体均衡与个体表现性的权衡：仅证明了收敛于全量稳定解的有界邻域，但未探讨该稳定解在长期社会动态福利维度上的帕累托最优性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化了表现性预测与选择性标签的双重耦合难题，提出的悲观代理损失极具理论美感。
实验充分度: ⭐⭐⭐⭐☆ 在真实 FICO 基准与公平性动态借贷场景中完成严密多轮迭代检验，提供了详实的消融与错配分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从反例动机、区间凸松弛到误差扰动界的逻辑链条一气呵成。
价值: ⭐⭐⭐⭐⭐ 对算法公平、动态信贷风控与带干预决策系统的长期稳定性分析具有不可替代的现实指导意义。