Distributionally-Robust Policy Learning with Observational Data¶
会议: NeurIPS 2026
arXiv: 2610.25591
代码: https://github.com/debmandal/DR-Policy-Learning
领域: 学习理论
关键词: 分布鲁棒优化, 离线策略学习, 双重稳健估计, 宽边际条件, 快速收敛速率
一句话总结¶
针对观测数据策略学习面临的测试期协变量分布漂移挑战，本文提出基于交叉拟合双重稳健分数与对偶样本分割偏差修正的分布鲁棒策略学习算法，并首次在 Tsybakov 宽边际条件下突破 \(\widetilde{O}(n^{-1/2})\) 瓶颈，实现介于 \(\widetilde{O}(n^{-1/2})\) 至 \(\widetilde{O}(n^{-1})\) 之间的快速收敛速率。
研究背景与动机¶
从历史观测数据中学习个性化决策策略（如精准医疗、福利项目资格分配、个性化推荐等）是因果推断与统计学习理论交叉领域的核心课题。现有的经验福利最大化（Empirical Welfare Maximization, EWM）框架及其扩展算法通常假设部署阶段的数据生成分布与训练阶段的观测分布 \(P_0\) 严格一致，并在此前提下证明了匹配极小化极大下界的 \(O(n^{-1/2})\) 统计最优遗憾界。
然而在现实场景中，训练分布与部署分布几乎不可避免地存在差异：某地区试点推行的就业培训政策常被推广至人口结构完全不同的其他县区；临床试验的病患协变量分布也常与基层医院面临的实际群体存在偏差。一旦发生协变量分布偏移，原本在训练分布 \(P_0\) 下学得的最优策略，在部署时可能会遭受灾难性的性能骤降。虽然分布鲁棒优化（Distributionally Robust Optimization, DRO）能够通过在基准分布邻域内优化最坏情况损失来对冲分布扰动，但现有理论几乎全建立在有监督学习（分类与回归）之上。当将 DRO 引入因果策略学习时，由于反事实潜在结果不可观测，目标函数必须依赖讨厌参数（倾向得分与条件期望）的经验估计；此前鲜有的工作不仅受限于 \(\widetilde{O}(n^{-1/2})\) 的标准速率，且由于经验 DRO 目标函数天然内生 \(\Theta(n^{-1/2})\) 阶非凸偏差，导致在分类领域广泛适用的边际加速条件此前始终无法在 DRO 中发挥作用。
面对“观测数据反事实不可见需要双重稳健修正”与“插件式 DRO 固有估计偏差阻断边际快速收敛”的双重挑战，现有因果策略学习与稳健统计文献留下了显著的理论空白。核心 idea：将交叉拟合双重稳健分数与 \(f\)-散度对偶解耦相结合，通过样本分割独立估计拉格朗日乘子以消除插件式 DRO 的一阶固有偏差，并首次在处理效应宽边际条件下建立紧致的伯恩斯坦方差界与剥皮分析，实现最优快速收敛速率。
方法详解¶
整体框架¶
本文针对以数据生成分布 \(P_0\) 为中心的 \(f\)-散度球 \(\mathcal{U}_{P_0}=\{Q: D_f(Q \lVert P_0) \le \rho\}\)，旨在学习策略 \(\pi \in \Pi: \mathcal{X} \to \{0,1\}\) 以最大化最坏情况相对优势 \(A_f(\pi) = \min_{Q \in \mathcal{U}_{P_0}} \mathbb{E}_{X \sim Q}[(2\pi(X)-1)\tau(X)]\)。算法流程由三个紧密嵌套的层级构成：首先通过交叉拟合样本分割训练条件结局模型 \(\widehat{m}\) 与倾向得分模型 \(\widehat{e}\)，构建具备 Neyman 正交性的双重稳健分数 \(\widehat{\Gamma}_i\)；随后针对通用分布漂移或群体比例漂移构建内层凸优化求解器；最后，为突破标准收敛速率限制，利用 \(f\)-散度共轭对偶性质设计解耦双变量的样本分割算法（Algorithm 3），消除固有偏差并实现快速收敛。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["观测数据集 D = {(X_i, Y_i, W_i)}<br/>四重样本分割 D1, D2, D3, D4"] --> B["阶段1：分布鲁棒讨厌参数估计<br/>D2 训 m(x,w)，D3 训 e(x)"]
B --> C["阶段2：交叉拟合双重稳健分数构建<br/>计算正交分数 Γ_i 保持双重稳健性"]
C --> D["阶段3：拉格朗日对偶参数解耦估计<br/>在 D1 上独立求解最优对偶变量 (λ, η)"]
D --> E["阶段4：对偶去偏目标外层策略优化<br/>在 D4 上利用固定对偶变量求解最优策略 π"]
E --> F["输出分布鲁棒策略 π_hat<br/>突破 n^(-1/2) 达到快速收敛界"]关键设计¶
1. 交叉拟合双重稳健分数与统一内层 DRO 求解：兼顾非参数讨厌参数容忍度与多种散度模糊集
在处理不可观测的潜在反事实结果时，常规插件式估计容易受讨厌参数估计误差的严重干扰。方法在分割样本上利用分布鲁棒逻辑回归分别拟合条件结局模型 \(\widehat{m}(x,w)\) 与倾向得分模型 \(\widehat{e}(x)\)，并在评估集上计算双重稳健分数： $\(\widehat{\Gamma}_i = \widehat{m}(X_i, 1) - \widehat{m}(X_i, 0) + \frac{W_i - \widehat{e}(X_i)}{\widehat{e}(X_i)(1 - \widehat{e}(X_i))} \left(Y_i - \widehat{m}(X_i, W_i)\right)\)$ 在优化最坏情况优势 \(\max_{\pi \in \Pi} \min_{Q: D_f(Q \lVert \widehat{P}_n) \le \rho} \sum_{i=1}^n q_i (2\pi(X_i)-1)\widehat{\Gamma}_i\) 时，尽管外层关于策略 \(\pi\) 通常非凸，但内层关于重新加权概率分布 \(q\) 为标准凸优化问题。该结构统一支持 KL 散度（标量求根）、\(\chi^2\) 散度（嵌套一维优化）以及 CVaR（排序分位数截断）。理论证明其遗憾分解由两项主导：第一项为讨厌参数 \(L_2\) 估计误差乘积项 \(O(n^{-(\beta+\gamma)})\)，只要 \(\beta+\gamma \ge 1/2\)，讨厌参数即便以极慢的非参数收敛速率更新，整体估计依然能够维持标准速率；第二项为 \(O(\sqrt{d \log(LBn)/n})\) 的统计泛化误差。
2. 组间比例鲁棒扩展：解耦组间漂移与组内混杂的不变性建模
针对群体比例发生严重变迁（例如试点县区与部署县区的人口统计学占比剧变）但组内因果机制保持不变的应用场景，模型进一步拓展为组间鲁棒策略学习架构（Group-Robust Policy Learning）。定义预先划分的 \(k\) 个子群体，其经验比例为 \(d_0(g) = n_g / n\)。与全量协变量 DRO 不同，该设计利用组内因果不变性，无需对组内讨厌参数施加全分布 DRO 正则，而是直接在各组数据 \(\mathcal{D}_{j,g}\) 上独立估计每组的条件期望与倾向得分，进而构建组内经验优势估计 \(\widehat{A}_g^{\text{est}}(\pi) = \frac{1}{|\mathcal{D}_g|} \sum_{i \in \mathcal{D}_g} (2\pi(X_i)-1)\widehat{\Gamma}_i\)。组间分布鲁棒优化目标形式化为： $\(\max_{\pi \in \Pi} \min_{p: D_f(p \lVert d_0) \le \rho} \sum_{g=1}^k p_g \widehat{A}_g^{\text{est}}(\pi)\)$ 此设计的优势在于显式刻画了各个群体的样本量 \(n_g\) 对极小化极大风险的影响，使极小化极大稳健界的讨厌参数偏差严格分解到各组的样本规模 \(n_g^{-(\beta_g+\gamma_g)}\) 上，而统计误差仅按 \(O(\sqrt{k \log k / n})\) 缩放。
3. 对偶解耦去偏与宽边际快速收敛机制：消除固有插件偏差并诱导超额方差收缩
传统插件式经验 DRO 目标 \(\widehat{A}_{n,f}(\pi)\) 其期望与真实稳健值 \(A_f(\pi)\) 之间存在不可消除的 \(\Theta(n^{-1/2})\) 固有经验偏差，直接阻断了在边缘清晰时达成快速收敛的可能。为此，Algorithm 3 引入 Ben-Tal 等人的 Fenchel 对偶形式： $\(\min_{Q: D_f(Q \lVert \widehat{P}_n) \le \rho} \sum_{i=1}^n q_i (2\pi(X_i)-1)\widehat{\Gamma}_i = \max_{\lambda \ge 0, \eta \in \mathbb{R}} \frac{1}{n}\sum_{i=1}^n -\lambda f^\star\left(\frac{-(2\pi(X_i)-1)\widehat{\Gamma}_i - \eta}{\lambda}\right) - \lambda\rho - \eta\)$ 算法在四重数据划分中，首先在 \(\mathcal{D}_1\) 上为每个策略 \(\pi\) 独立求解经验对偶最优解 \((\widehat{\lambda}(\pi), \widehat{\eta}(\pi))\)；随后在独立的 \(\mathcal{D}_4\) 数据集上固定该对偶参数并执行策略优化。样本解耦彻底消除了参数过拟合导致的 \(O(n^{-1/2})\) 偏差，使得贝叶斯最优策略处的偏差收敛至 \(O(\frac{\log n}{n})\)。结合 Tsybakov 宽边际假设 \(\mathbb{P}_{X \sim P_0}(|\tau(X)| \le t) \le (t/\eta)^\alpha\)，利用对偶目标局部强凹性建立经验最优策略与贝叶斯最优策略之间的方差压缩控制，进而应用剥皮（peeling）技巧推导出 \(\widetilde{O}(n^{-(1+\alpha)/(2+\alpha)})\) 的加速收敛速率。
泛化界与有限样本理论保证¶
论文在有界结果（\(|Y| \le M/2\)）、重叠性假设（\(e(X) \in [\kappa, 1-\kappa]\)）、光滑参数化策略类（\(d\) 维且 \(L\)-Lipschitz）以及内部最优与非退化方差条件下，严格确立了三大核心理论：
-
基本分布鲁棒遗憾界（Theorem 1）：在 KL、\(\chi^2\) 与 CVaR 约束下，经验最优策略 \(\hat{\pi}_n\) 满足： $\(\max_{\pi \in \Pi} A_f(\pi) - A_f(\hat{\pi}_n) \le \frac{4M}{\kappa} \frac{1}{n^{\beta+\gamma}} + O\left(\frac{M\sqrt{d\log(LBn)}}{\kappa\sqrt{n}} \cdot e_f\right)\)$ 其中 \(e_f\) 分别对应 CVaR 的 \(1/\alpha\)、\(\chi^2\) 的 \(\sqrt{1+2\rho}\) 以及 KL 的 \(e^\rho\)。
-
组鲁棒策略界（Theorem 2）：在 \(k\) 个子群划分下，最坏组间重加权遗憾界满足： $\(\max_{\pi \in \Pi} A_f(\pi) - A_f(\hat{\pi}_n) \le \frac{2M}{\kappa} \max_{p: D_f(p \lVert d_0) \le \rho} \sum_{g=1}^k \frac{p_g}{n_g^{\beta_g+\gamma_g}} + O\left(\frac{M\sqrt{k(\log k + d\log(LBnM/\kappa))}}{\kappa\sqrt{n}} \cdot e_f\right)\)$
-
宽边际快速收敛速率（Theorem 3 / Theorem 4）：在边际参数 \(\alpha > 0\) 时，对偶解耦算法在 KL 散度与小半径 \(\chi^2\) 散度下达成： $\(A_{\text{KL}}(\pi^\star_b) - A_{\text{KL}}(\hat{\pi}_n) \le O\left(\frac{M}{\kappa} n^{-(\beta+\gamma)}\right) + C \cdot \left(\frac{d\log n}{n}\right)^{\frac{1+\alpha}{2+\alpha}}\)$ 当 \(\alpha \to 0\) 时退化回标准速率 \(\widetilde{O}(n^{-1/2})\)；当 \(\alpha \to \infty\) 时达到超快极限界 \(\widetilde{O}(n^{-1})\)。
实验关键数据¶
主实验¶
实验基于加州 GAIN（Greater Avenues for Independence）福利就业培训项目构建半合成基准。数据涵盖 6 个县（训练集使用 Riverside、San Diego、Tulare 共 1200 样本；测试集使用 Alameda、Butte、Los Angeles 各 1500 样本）。在受教育年限相关的处理效应系数上故意施加符号反转（训练县高学历个体接受培训获得正收益，测试县高学历个体接受培训遭受负收益），以模拟剧烈分布漂移。实验采用深度为 2 的决策树策略，对比经验福利最大化（ERM）与各类 DRO 策略。
| 测试场景 / 县区 | 评估指标 | DR (CVaR, \(\alpha=0.3\)) | DR (KL, \(\rho=0.4\)) | 基线 ERM | 稳健提升幅度 |
|---|---|---|---|---|---|
| Alameda (分布外测试县 1) | 测试集策略价值 \(V(\pi)\) | 0.142 ± 0.012 | 0.128 ± 0.015 | 0.082 ± 0.018 | +73.2% |
| Butte (分布外测试县 2) | 测试集策略价值 \(V(\pi)\) | 0.118 ± 0.010 | 0.106 ± 0.012 | 0.065 ± 0.014 | +81.5% |
| Los Angeles (分布外测试县 3) | 测试集策略价值 \(V(\pi)\) | 0.135 ± 0.011 | 0.121 ± 0.014 | 0.079 ± 0.016 | +70.9% |
| Pooled Training (训练县域内) | 训练集策略价值 \(V(\pi)\) | 0.185 ± 0.009 | 0.179 ± 0.010 | 0.168 ± 0.011 | +10.1% |
消融实验¶
通过对模糊集半径 \(\rho\)、CVaR 截断分位数 \(\alpha\) 以及不同讨厌参数估计器（标准经验逻辑回归 vs 分布鲁棒逻辑回归）进行系统消融，评估算法鲁棒性增益的来源：
| 配置模式 | 算法变体参数 | 测试集综合平均价值 | 相对完全配置变化 | 核心作用说明 |
|---|---|---|---|---|
| Full Model | DR (CVaR, \(\alpha=0.3\) + DR 讨厌参数) | 0.132 | — | 基准最佳全流程配置 |
| 消融：标准讨厌参数 | CVaR (\(\alpha=0.3\)) + 标准 ERM 逻辑回归 | 0.114 | -13.6% | 证明讨厌参数本身的 DRO 训练至关重要 |
| 消融：散度半径变化 | KL 散度 (\(\rho=0.1\), 较小半径) | 0.098 | -25.8% | 保护半径不足导致对抗跨县漂移能力受限 |
| 消融：散度半径变化 | KL 散度 (\(\rho=0.8\), 较大半径) | 0.109 | -17.4% | 半径过大导致策略过度保守，损害测试收益 |
| 完全去除鲁棒性 | 标准 ERM 策略学习 | 0.075 | -43.2% | 完全忽视分布漂移，遭受严重负迁移 |
关键发现¶
- 针对跨地域因果效应异质性漂移，CVaR 与 KL 约束下的分布鲁棒策略显著超越经验风险最小化，在面临教育效应反转的测试县中，策略劣势下降幅度最高达 81.5%。
- 讨厌参数本身的稳健化极其关键：采用 DRO 逻辑回归替代标准经验逻辑回归估计 \(\widehat{m}\) 与 \(\widehat{e}\)，能够进一步带来 13.6% 的测试期泛化增益，防止双重稳健分数因分布偏移出现恶性加权崩溃。
- 在同分布的域内训练集上，分布鲁棒策略学习并未出现明显的性能牺牲（依然维持在 0.185 且优于 ERM 的 0.168），表明该方法的悲观对冲能够有效过滤有限样本方差带来的过拟合策略。
亮点与洞察¶
- 理论突破“根号 n 屏障”：首次将经典的 Tsybakov 宽边际条件引入分布鲁棒学习理论，利用对偶变量样本解耦规避插件固有偏差，在分布鲁棒策略学习领域达成了 \(O(n^{-(1+\alpha)/(2+\alpha)})\) 的快速收敛速率。
- 因果双重稳健与最坏情况凸对偶的精巧结合：巧妙保持了双重稳健分数的一阶正交性，即使讨厌参数收敛缓慢，只要乘积满足 \(\beta+\gamma \ge 1/2\)，全套极小极大收敛保证依然无损成立。
- 虚构博弈（Fictitious Play）求解非凸策略优化：针对决策树策略不可导、最外层极大极小非凸问题，利用历史策略平均混合物建立鞍点最佳响应，为不可导复杂离线策略类提供了切实可行的算法实现路径。
局限与展望¶
- 无未观测混杂假设的限制：理论仍基于无隐性混杂（Unmeasured Confounding）的强可忽略性假设；若部署期漂移源自隐变量迁移，双重稳健分数本身将出现系统偏差，未来需与倾向敏感度分析（如 Rosenbaum 边界或 \(\Gamma\)-混杂模型）结合。
- CVaR 快速速率的技术瓶颈：由于 CVaR 对偶目标函数在贝叶斯最优解邻域内既不光滑也不强凹，当前对偶强凹性收缩证明链条对 CVaR 暂不适用，CVaR 能否达成快速速率仍是理论悬案。
- \(\chi^2\) 散度受制于关键半径：对于 \(\chi^2\) 散度，当前快速速率要求半径满足 \(\rho \le \sigma_0 / (4\sqrt{2}M)\)，大半径下的快速速率存在性仍待进一步厘清。
相关工作与启发¶
- vs Athey & Wager (2021) EWM 策略学习: Athey & Wager 在同分布假设下建立了双重稳健 EWM 的 \(O(n^{-1/2})\) 渐近正态与后悔界；本文将其全面拓展至存在协变量分布漂移的 \(f\)-散度球与组间鲁棒环境，并额外推导出宽边际快速收敛速率。
- vs Kallus et al. (2022) 分布鲁棒策略评估与学习: Kallus 等人研究了 KL 散度下的离线分布鲁棒评估与学习，但速率局限在 \(O(n^{-1/2})\)；本文建立了涵盖 KL、\(\chi^2\)、CVaR 的统一理论，并首次攻破了边际条件下的加速收敛。
- vs Wang et al. (2025) 概念漂移鲁棒策略学习: Wang 等人仅考虑条件分布漂移且证明了最坏情况 \(n^{-1/2}\) 下界；本文指出该下界仅是无边际条件下的最坏情况，宽边际假设恰恰是突破该瓶颈的充要杠杆。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立分布鲁棒学习在宽边际条件下的快速收敛速率，对偶样本解耦设计十分巧妙。
- 实验充分度: ⭐⭐⭐⭐ 半合成 GAIN 数据设计合理且真实反映了跨县因果异质性逆转，若能辅以真实多中心随机对照试验数据更佳。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密完备，附录提供了精细的梯度与 Hessian 浓度、局部强凹性证明。
- 价值: ⭐⭐⭐⭐⭐ 弥合了统计学习理论（快速率、边际条件）、分布鲁棒优化与因果推断（离线策略学习）之间的理论鸿沟。