Learning Polyhedral Conformal Sets for Robust Optimization¶
会议: NeurIPS 2026
arXiv: 2605.08506
OpenReview: https://openreview.net/forum?id=eeozf66KYf
领域: 优化/理论
关键词: 鲁棒优化, 共形预测, 不确定性集合, 决策导向学习, 多面体校准
一句话总结¶
针对传统共形预测不确定性集与下游任务解耦导致决策过度保守的问题，本文提出一种决策感知的多面体共形集合学习框架，通过极小化诱导的下游鲁棒损失自适应优化超平面几何形态，并借助独立重校准步骤在消除选择偏差的同时严格恢复有限样本覆盖率保证。
研究背景与动机¶
在电力系统规划、供应链调度及医疗决策等高风险场景中，鲁棒优化（Robust Optimization, RO）是应对环境不确定性与模型设定偏差的核心决策框架。其核心机制是在预先设定的不确定性集合内对最坏潜在扰动进行对冲防御。然而，不确定性集合的构建长期陷入两难困境：过大的保守集合会导致代价极其高昂的悲观决策（如电网过度扩容或供应链严重积压），而过紧的集合又可能无法覆盖真实扰动，引发灾难性系统失效。
近年来，以共形预测（Conformal Prediction, CP）为代表的数据驱动方法因其无需分布假设即可提供有限样本统计覆盖保证而受到广泛关注。但现有的共形集合构造策略大多与下游任务完全解耦：传统方案通常以点预测误差的对称范数（如 \(\ell_2\) 球或 \(\ell_\infty\) 盒）为基础，仅关注集合的无向收缩或高密度区域拟合，忽视了具体决策损失函数的各向异性与方向敏感性。这种统计有效性与决策最优性之间的割裂，使得即便经验覆盖率达标，其诱导出的鲁棒决策成本依然居高不下。
为了弥合这一鸿沟，亟需构建一种既能紧密贴合下游决策目标几何特性、又能保持严格有限样本置信度的不确定性集合。核心 idea：将多面体不确定性集合的超平面法向量与截距参数化为可学习非共形分数，直接极小化下游决策诱导的鲁棒最坏情况损失以定向规避高损失区域，并结合独立数据集上的后验重校准消除数据复用带来的选择偏差。
方法详解¶
整体框架¶
本文构建了一套决策感知的两阶段共形鲁棒优化管线。其核心流程分为基础预测与残差抽取、决策导向几何学习、独立数据后验重校准以及最终鲁棒决策四个阶段。在学习阶段，模型通过数据驱动的超平面簇刻画残差空间的不确定性几何，将共形分位数约束转化为数学规划或松弛惩罚，直接以最坏情况决策损失为目标调整多面体朝向；在重校准阶段，利用全新独立样本重新标定半空间阈值，彻底纠正由于参数优化引起的经验过拟合与非对称选择偏差。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入上下文与历史样本<br/>训练预测器并提取残差"] --> B["阶段 1：参数化多面体非共形分数<br/>Max-Affine 构造半空间交集"]
B --> C["阶段 2：决策导向集合学习<br/>极小化诱导最坏损失 + Pinball 惩罚"]
C --> D["阶段 3：独立数据集后验重校准<br/>恢复有限样本有效覆盖保证"]
D --> E["输出：下游任务上下文鲁棒决策<br/>兼顾几何方向适配与置信度"]关键设计¶
1. 参数化多面体非共形分数：自适应拟合各向异性残差几何
针对传统共形预测多采用各向同性 \(\ell_2\) 球或轴对称 \(\ell_\infty\) 超矩形、无法表达扰动方向敏感性的缺陷，本文将非共形分数定义为关于增广残差向量的极大仿射（max-affine）凸函数。设点预测器为 \(\hat{f}(x)\)，残差记为 \(\epsilon(x,y)=y-\hat{f}(x)\)，增广形式为 \(\tilde{\epsilon}(x,y)=[\epsilon(x,y)^\top, 1]^\top \in \mathbb{R}^{d+1}\)。通过引入参数簇 \(\theta=\{\theta_k=[w_k^\top, b_k]^\top\}_{k=1}^K\)，定义非共形分数为：
$\(s(x,y;\theta) \coloneqq \max_{k \in [K]} \left\{ w_k^\top (y-\hat{f}(x)) + b_k \right\}\)$
该分数的下水平集天然定义了由 \(K\) 个超平面截断而成的有界多面体 \(\mathcal{C}(x;\mathcal{D}_n,\theta)=\{u \in \mathcal{Y}: W(u-\hat{f}(x))+b \le R(\mathcal{D}_n;\theta) \mathbf{1}_K\}\)，其中 \(W=[w_1,\dots,w_K]^\top \in \mathbb{R}^{K \times d}\) 且 \(b=[b_1,\dots,b_K]^\top \in \mathbb{R}^K\)。只需超平面法向量集 \(\{w_k\}\) 正向张成（positively span）\(\mathbb{R}^d\)，即可确保集合有界且计算易解。
2. 决策导向集合学习：面向最坏损失的双层优化与连续松弛
以往的集合紧凑化通常以最小化集合体积为目标，但体积小并不等价于决策性能好。本文直接以下游上下文鲁棒决策损失作为学习驱动力：
$\(\min_{\theta \in \Theta} \frac{1}{n} \sum_{i=1}^n \min_{z \in \mathcal{Z}} \max_{u \in \mathcal{C}(X_i;\mathcal{D}_n,\theta)} g(z,u)\)$
针对这一包含非光滑经验分位数约束的双层优化难题，对于线性决策损失 \(g(z,y)=g_0(z)+z^\top Q y\)，本文通过对偶变换与 Big-M 技术将分位数选取松弛为精确混合整数二次约束规划（MIQCP）；而面对大规模样本，进一步引入连续 Pinball 损失构造分位数松弛惩罚目标：
$\(\min_{\theta \in \Theta, r \in \mathbb{R}, z \in \mathcal{Z}} \left\{ \max_{y \in \mathcal{C}_\theta(x,r)} g(z,y) + \gamma \cdot \frac{1}{n}\sum_{i=1}^n \rho_{\tau_n}(s(X_i,Y_i;\theta) - r) \right\}\)$
其中 \(\tau_n = \lceil (n+1)(1-\alpha) \rceil / n\)。结合随机子梯度下降，大幅降低了求解复杂度，使超平面朝向在训练中主动远离会触发高额决策代价的扰动空间。
3. 独立数据集后验重校准：破除选择偏差并恢复有限样本覆盖保证
在学习集 \(\mathcal{D}_n\) 上通过优化参数 \(\theta\) 极小化损失会破坏基础样本的可交换性（Exchangeability），导致经验分位数低估真实误差分布并发生欠覆盖（Undercoverage）。本文在理论上证明了数据复用引入的全变差距离偏差界，并设计了第二阶段独立重校准方案：固定学习得到的几何参数 \(\hat{\theta}(\mathcal{D}_n)\)，在全新的独立校准集 \(\mathcal{D}_m\) 上重新计算经验分位数半轻 \(R(\mathcal{D}_m; \hat{\theta})\)。由于条件于 \(\hat{\theta}\) 后新样本对仍保持严格可交换，该机制在保持学习得到的有向几何形态的同时，无损恢复了名义水平 \(1-\alpha\) 的有限样本边际覆盖率。
损失函数 / 训练策略¶
在连续松弛训练模式下，采用随机 Pinball 子梯度下降更新参数 \((\theta, r, z)\)。每次迭代从学习集采分子集批次 \(\mathcal{B}_\ell\)，计算当前多面体极值响应 \(y^\ell = \arg\max_{y \in \mathcal{C}_{\theta^\ell}(x,r^\ell)} g(z^\ell,y)\)，并结合分位数超额/不足误差的符号乘子 \(\xi_i \in \partial \rho_{\tau_n}(S_i(\theta)-r)\) 共同回传梯度。优化完成后，将学习到的超平面参数固定并送入重校准阶段更新标量半轻 \(r\)。
实验关键数据¶
主实验¶
在名义覆盖率要求为 \(1-\alpha = 0.90\) 的条件下，论文在合成决策任务（包含线性、二次正则及报童 Newsvendor 目标）与真实建筑能效数据集（UCI Energy Efficiency）上进行了全面评测（\(K=4\)）。本文方法在严格满足约 90% 覆盖率的前提下，最坏情况损失显著优于传统对称集合与基线决策感知方法。
| 任务 / 数据集 | 方法 | 覆盖率 | 集合体积 | 最坏情况损失（\(\times 10^{-1}\)） | 决策遗憾值（\(\times 10^{-1}\)） | 耗时 (s) |
|---|---|---|---|---|---|---|
| 线性目标 (\(n=m=300\)) | Bonferroni 盒 | \(0.913 \pm 0.021\) | \(0.84 \pm 0.15\) | \(1.35 \pm 0.26\) | \(0.26 \pm 0.16\) | \(<0.01\) |
| 共形椭球 (\(\ell_2\)) | \(0.896 \pm 0.025\) | \(1.03 \pm 0.12\) | \(1.97 \pm 0.21\) | \(0.30 \pm 0.06\) | \(<0.01\) | |
| PCP (生成式) | \(0.915 \pm 0.021\) | \(0.68 \pm 0.07\) | \(1.83 \pm 0.40\) | \(0.33 \pm 0.22\) | \(<0.01\) | |
| F-CROMS (20个候选) | \(0.899 \pm 0.024\) | \(0.85 \pm 0.08\) | \(1.31 \pm 0.24\) | \(0.30 \pm 0.16\) | \(0.25\) | |
| Yeh et al. (PICNN) | \(0.899 \pm 0.023\) | \(1.10 \pm 0.08\) | \(2.04 \pm 0.45\) | \(0.24 \pm 0.06\) | \(4.6\) | |
| 本文方法 (Ours) | \(0.902 \pm 0.021\) | \(0.78 \pm 0.04\) | \(\mathbf{1.19 \pm 0.44}\) | \(0.29 \pm 0.24\) | \(1.6\) | |
| 二次正则 (\(n=m=300\)) | Bonferroni 盒 | \(0.913 \pm 0.021\) | \(0.84 \pm 0.15\) | \(2.10 \pm 0.27\) | \(0.24 \pm 0.14\) | \(<0.01\) |
| 共形椭球 (\(\ell_2\)) | \(0.896 \pm 0.025\) | \(1.03 \pm 0.12\) | \(2.55 \pm 0.21\) | \(0.29 \pm 0.04\) | \(<0.01\) | |
| PCP (生成式) | \(0.915 \pm 0.021\) | \(0.68 \pm 0.07\) | \(2.51 \pm 0.42\) | \(0.31 \pm 0.21\) | \(<0.01\) | |
| F-CROMS (20个候选) | \(0.899 \pm 0.024\) | \(0.85 \pm 0.08\) | \(2.01 \pm 0.24\) | \(0.28 \pm 0.15\) | \(0.97\) | |
| 本文方法 (Ours) | \(0.901 \pm 0.019\) | \(0.78 \pm 0.04\) | \(\mathbf{1.80 \pm 0.32}\) | \(0.20 \pm 0.08\) | \(5.9\) | |
| 真实建筑能效 (\(n=160, m=144\)) | Bonferroni 盒 | \(0.914 \pm 0.017\) | \(0.72 \pm 0.08\) | \(2.29 \pm 0.97\) | \(0.43 \pm 0.12\) | \(<0.01\) |
| 共形椭球 (\(\ell_2\)) | \(0.908 \pm 0.033\) | \(0.84 \pm 0.12\) | \(2.94 \pm 1.02\) | \(0.74 \pm 0.05\) | \(<0.01\) | |
| PCP (生成式) | \(0.906 \pm 0.027\) | \(0.65 \pm 0.09\) | \(3.41 \pm 0.84\) | \(0.41 \pm 0.10\) | \(<0.01\) | |
| F-CROMS (20个候选) | \(0.893 \pm 0.034\) | \(0.85 \pm 0.24\) | \(1.93 \pm 0.93\) | \(0.54 \pm 0.17\) | \(0.25\) | |
| 本文方法 (Ours) | \(0.896 \pm 0.024\) | \(1.16 \pm 0.17\) | \(\mathbf{1.76 \pm 0.88}\) | \(0.48 \pm 0.15\) | \(1.6\) |
消融实验¶
论文设计了针对“后验重校准机制”与“不同优化导向准则”的消融对比（数据取自合成线性目标与精确/松弛计算评估）：
| 配置 / 变体 | 覆盖率 | 集合体积 | 最坏情况损失（\(\times 10^{-1}\)） | 说明 |
|---|---|---|---|---|
| Ours (完整两阶段) | \(0.902 \pm 0.021\) | \(0.78 \pm 0.04\) | \(1.19 \pm 0.44\) | 学习几何后由独立数据集校准半轻，兼顾置信度与最优性 |
| Ours w/o recal (无重校准) | \(0.901 \pm 0.019\) | \(0.78 \pm 0.15\) | \(1.15 \pm 0.34\) | 同一数据集复用导致过拟合与选择偏差，高维/小样本下面临欠覆盖风险 |
| Polyhedron (无决策导向) | \(0.906 \pm 0.022\) | \(0.69 \pm 0.13\) | \(2.23 \pm 0.88\) | 固定超平面几何，未针对损失函数旋转对齐，损失劣势明显（+87%） |
| Polyhedron (最小化体积) | \(0.909 \pm 0.027\) | \(0.61 \pm 0.09\) | \(2.44 \pm 0.73\) | 单纯追求几何紧凑反倒割裂了决策目标，损失上升最为严重（+105%） |
此外，在精确 MIQCP 与 Pinball 连续松弛的扩展性对比中：当 \(n=600\) 时，MIQCP 求解均耗时 49.90 秒（且仅 2/5 样本获得全局最优性证书），而 Pinball 随机子梯度下降仅需 2.16 秒（加速达 23.10 倍），最坏目标差距始终控制在 4.6% 以内，兼具极佳的数值稳定性与可扩展性。
关键发现¶
- 体积最小并不等价于决策最优：PCP 与以“最小化体积”为目标的多面体基线虽然压缩了集合体积（如体积降至 0.61），但在鲁棒决策最坏损失上却表现极差。这表明盲目压缩体积可能削掉对冲高风险所必须保留的几何裕量，而本文方法能有针对性地对齐关键决策超平面。
- 重校准在几乎无损决策质量的前提下守住统计底线：后验重校准仅调整全局标量半轻，并不破坏训练好的超平面法向量朝向。从“Ours w/o recal”到“Ours”，最坏情况损失仅微幅变动（从 1.15 到 1.19），但彻底消除了由于数据依赖选择引起的失效隐患。
- 数据切分比例指导：理论次优界误差分解显示校准误差以 \(\mathcal{O}(m^{-1/2})\) 衰减，而学习误差以 \(\mathcal{O}(\sqrt{\log n / n})\) 衰减；实验证实将相对更多的数据倾斜于几何学习阶段（增大 \(n/(n+m)\)）可获得更优的决策性能。
亮点与洞察¶
- 统计有效与决策感知的优雅统一：通过参数化 Max-Affine 非共形分数，将几何形状探索嵌入到鲁棒双层优化中，在保持凸多面体计算易解性的同时，摆脱了传统启发式对称集合设定的局限。
- 理论刻画次优差距上界：定理 2 将与 Oracle 最优决策之间的差距显式拆解为校准误差、学习误差与优化容差，为有限样本下两阶段数据的切分平衡提供了坚实的理论依据。
- 可复用的 Pinball 连续松弛技巧：利用分位数损失消除混合整数规划中高复杂度的指示变量，将离散经验分位数选择转化为凸松弛惩罚项，使得随机一阶优化在大规模复杂决策场景中切实可行。
局限与展望¶
- 几何表达受限于多面体模板：当前方法依赖超平面截断的多面体表达，虽然与线性/凸规划求解器兼容性极佳，但难以刻画具有高度非凸流形或强非线性边界的残差分布。
- 超平面超参数选择：超平面数量 \(K\) 需要人工指定，高维空间下若 \(K\) 较小可能欠拟合，而过大又会增加对偶求解负担；未来可探索自适应剪枝与超平面动态生成机制。
相关工作与启发¶
- vs 传统共形预测 (Vovk et al. / Johnstone & Cox)：传统方案采用固定的对称范数（球形、矩形）构建置信集，与下游损失无关；本文通过内生双层学习机制，直接优化集合朝向。
- vs 离散候选集筛选 (F-CROMS, Bao et al. 2025)：F-CROMS 仅能从预先采样的有限候选半空间库中做离散选择；本文在连续参数空间中全局优化多面体超平面法向量与偏置，覆盖了更丰富的几何形状。
- vs 端到端神经网络集合 (Yeh et al. 2024, PICNN)：PICNN 采用部分输入凸神经网络拟合任意凸集，虽具极高表现力，但求导依赖高开销的隐式微分与 KKT 求解，训练耗时高出数倍且容易陷入局部极小；本文的多面体结构保证了高效的对偶重构与稳定一阶松弛求解。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将可学习多面体非共形分数与后验重校准有机结合，打通了统计共形推断与下游鲁棒优化的理论与算法通路。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三类合成目标、UCI 真实建筑能耗数据集、严格消融对比、敏感度分析及松弛与精确求解器的扩展性测评。
- 写作质量: ⭐⭐⭐⭐⭐ 理论证明完整严密，问题背景引人入胜，方法阐释与算法推导层次分明。
- 价值: ⭐⭐⭐⭐☆ 为运筹优化与统计机器学习的交叉融合提供了极具工程落地价值的模板。