跳转至

Super-Level-Set Regression: Conditional Quantiles via Volume Minimization

会议: NeurIPS 2026
arXiv: 2605.06210
OpenReview: https://openreview.net/forum?id=ASsB7ycA7e
代码: https://github.com/ElSacho/super_level_sets_regression
领域: 优化/理论
关键词: 条件分位数回归, 超水平集, 体积最小化, 保体积正则化流, 双层优化

一句话总结

针对多变量条件分位数预测区域估计中的“先估全密度再阈值化”两步法瓶颈,提出超水平集回归(SLS),通过收缩概率窗口代理目标消解体积目标与模型自身条件分位数的隐式耦合,实现复杂非凸多峰条件最高密度区域的直接几何参数化与端到端优化。

研究背景与动机

在多变量回归任务中,刻画给定特征 \(X\) 下多维连续响应变量 \(Y \in \mathbb{R}^d\) 的不确定性具有重大意义。在实际决策中,人们通常不需要重建完整的条件概率密度,而是希望找到在给定目标覆盖率 \(\tau\) 下体积最小的预测区域,即条件最高密度区域(HDR)或超水平集 \(\mathcal{A}(X) = \{y: p(y \mid X) \geq t_\tau(X)\}\)。然而,传统提取该区域的标准流程是两步法:先通过极大似然估计学习完整的条件分布 \(p(y \mid X)\)(如条件高斯混合或条件正则化流),再通过蒙特卡洛采样或数值搜索寻找截断阈值 \(t_\tau(X)\)。这种间接路线极其低效且脆弱,迫使模型将大量的表征容量浪费在与目标分位数完全无关的低密度或远端尾部区域,同时高维下密度的估计误差会在阈值截断阶段被急剧放大。

若转向直接几何优化,直接最小化预测区域体积 \(\mathbb{E}_X[\text{Vol}(\mathcal{B}(X))]\) 并施加条件覆盖约束 \(\mathbb{P}(Y \in \mathcal{B}(X) \mid X) \ge \tau\),则面临一个本质的优化困境:几何边界的阈值 \(q(X)\) 必须精确等于模型自身残差/距离在给定 \(X\) 下的条件 \(\tau\)-分位数。这一约束使得体积目标函数与模型自身诱导的分布紧密耦合;由于条件分位数随协变量 \(X\) 动态剧烈变化,现有的可微排序(Differentiable Sorting)、软拉格朗日乘子或随机平滑技术仅适用于边际(全局)分位数,直接对其求导计算极其困难。而条件风险价值(CVaR)等代理损失仅关注尾部期望,无法直接最小化分位数本身的任意体积函数,导致直接优化体积时经常退化至体积坍缩为零的病态解。

本文的切入角度是:不再去逼近整个条件概率分布曲面,而是为给定分位数直接参数化超水平集的几何边界,并利用积分均值定理构建局部平滑。核心 idea:通过在目标条件分位数周围引入逐步收缩的概率邻域窗口,将强约束的双层体积最小化问题重构为连续无约束的代理平滑积分目标,在保持端到端可微性的同时消解分位数耦合,从而利用保体积流直接学习任意多模态、非凸或断开的紧致预测区域。

方法详解

整体框架

SLS 设定预测区域为边界函数(Frontier Function)\(G(X, y)\) 的下水平集 \(\mathcal{C}_{G, q}(X) = \{y \in \mathcal{Y}: G(X, y) \le q(X)\}\),其中阈值 \(q(X) \ge \text{Quantile}_\tau(\mathbb{P}_{G(X, Y) \mid X})\) 确保条件有效性。整体学习流程采用双层交替优化:一方面使用共享主干的分位数网络 \(q_\omega\) 通过 Pinball 损失追踪当前边界函数在特定分位数水平下的取值;另一方面,通过收缩窗口加权的体积代理目标更新边界函数网络参数 \(\theta\)。为了保障训练初始阶段的几何稳定性,框架首先经历无加权的全概率积分热身阶段,随后激活退火收缩窗口聚焦于目标分位数 \(\tau\) 的几何轮廓。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本对 (X, Y) 与目标覆盖率 τ"] --> B["保体积流边界参数化<br/>T_φ 雅可比行列式恒为 1 保持测度不变"]
    B --> C["双层交替分位数追踪<br/>Pinball 损失自适应拟合条件边界阈值 q_ω"]
    C --> D["收缩邻域代理目标优化<br/>退火 Logistic 窗口消除隐式耦合与体积坍缩"]
    D --> E["多流融合自适应多模态<br/>Softmin 退火至硬极小值捕获断开拓扑"]
    E --> F["输出紧致条件预测集<br/>C(X) = {y : G(X, y) ≤ q(X)}"]

关键设计

1. 收缩邻域代理目标优化:以局部均值积分消除分位数隐式求导耦合

直接优化以条件分位数 \(q_\tau(X)\) 为上界的体积积分会导致梯度无法穿透经验阶跃函数。SLS 引入两个正衰减序列 \(\phi(n) \to 0\) 和 \(\psi(n) \to 0\),定义条件分位数指示窗口 \(K_n(X, g) = \mathbbm{1}\{q_{\tau-\phi(n)}(X) \le g \le q_{\tau+\psi(n)}(X)\}\)。通过全期望公式及概率积分变换 \(\beta = F_{G \mid X}(g)\),加权代理目标转化为在目标分位数邻域内的均匀体积积分: $\(\mathbb{E}_{X, Y}\left[\frac{K_n(X, G(X, Y))}{\psi(n) + \phi(n)} \text{Vol}_G(G(X, Y), X)\right] = \mathbb{E}_X\left[\frac{1}{\psi(n) + \phi(n)} \int_{\tau-\phi(n)}^{\tau+\psi(n)} \text{Vol}_G(q_\beta(X), X) d\beta\right]\)$ 文中给出了严格的收敛性证明(Proposition 3.1):在边界密度有下界和体积映射局部 Lipschitz 的正则性假定下,该序列目标 \(J_n(G)\) 一致收敛至真实目标 \(\mathbb{E}_X[\text{Vol}_G(q_\tau(X), X)]\),其极小值点列的极限必是原约束问题的最优解。在具体训练中,退火窗口序列采用对称/非对称归一化 Logistic 衰减函数 \(\sigma(k(t - t_0))\),并在有限样本下收缩至极小的正值下界 \(\varepsilon_{\text{low}}, \varepsilon_{\text{high}}\),有效避免了经验梯度爆炸与分位数微小估计误差造成的几何漂移。

2. 保体积流边界参数化:构建具有闭式体积表达的高表达力单模态几何

为了在不借助蒙特卡洛数值积分的前提下显式计算并对体积反向传播,SLS 设计了流控马氏距离边界函数 \(G_\theta(X, Y) = \|L_\theta(X)(T_\phi(Y; X) - \mu_\theta(X))\|_2^2\)。其中 \(L_\theta(X)\) 为对角元严格为正的下三角 Cholesky 矩阵,\(\mu_\theta(X)\) 为条件中心,而 \(T_\phi(\cdot; X)\) 为条件加性耦合层构建的微分同胚。由于加性耦合层的前向雅可比行列式严格为 1,空间中的勒贝格测度在非线性变换下保持不变,这使得水平集在原始空间中的体积能够完全等价转化为潜在高斯空间的椭球体积,从而获得严格解析的闭式体积解析式: $\(\text{Vol}(q(X), X) \propto \frac{q(X)^{d/2}}{\det(L_\theta(X))}\)$ 文中在理论上证明了其几何完备性(Proposition 4.1):任何与闭球同胚的平滑紧致区域 \(\Omega\),都存在一个保体积微分同胚 \(T\)、矩阵 \(L\) 及中心 \(\mu\) 使得该边界函数完全无损地恢复该区域。在实现中,对 \(d \ge 5\) 的高维输出,采用对角加低秩分解 \(L^\top L = D + VV^\top\)(其中秩 \(r = \lceil\sqrt{d}\rceil\))并直接最小化对数体积 \(\log \text{Vol}\),兼顾了高维计算稳定性与协方差灵活性。

3. 多流融合自适应多模态:软极小值退火突破单同胚拓扑连通性局限

单一一对一保体积映射受拓扑连通性限制,无法表示不相交的多峰分布(Disjoint Clusters)。SLS 提出了由 \(K\) 个独立局部流组件构成的并集边界架构,每个组件具有独立的 \(T_{\phi_k}, \mu_{\theta_k}, L_{\theta_k}\)。为避免硬极小值算子造成的梯度截断及未选中组件陷入“死亡中心”(Dead Centers),引入平滑 Softmin 加权边界: $\(G_\beta(X, Y) = \sum_{k=1}^K w_k G_k(X, Y), \quad w_k = \frac{\exp(-\beta \cdot G_k(X, Y))}{\sum_{j=1}^K \exp(-\beta \cdot G_j(X, Y))}\)$ 其中每个基础组件通过输入自适应混合权重 \(p_k(X)\) 归一化缩放:\(G_k(X, Y) = \|p_k(X)^{-1/d} L_{\theta_k}(X)(T_{\phi_k}(Y; X) - \mu_{\theta_k}(X))\|_2^2\) 且约束 \(\det(L_{\theta_k}(X))=1\)。在训练推进过程中退火逆温度 \(\beta \to \infty\),使可微边界渐进收敛至硬下边界 \(G_\infty(X, Y) = \min_k G_k(X, Y)\)。配合各组件体积之和的代理体积上界 \(\Omega_{\text{Vol}} = \sum_k \text{Vol}_k\),强力驱动各流组件自发分离并覆盖不同的局部模态,实现对断开复杂几何区域的自适应捕获。

4. 双层交替分位数追踪与全局热身:解耦优化动态与防止退化

在训练循环中,参数 \(\theta\)(几何流边界)和参数 \(\omega\)(分位数预测头)严格交替更新。分位数网络采用单一骨干 MLP 搭配三个单调正值输出头,在固定 \(\theta\) 的前提下通过三项 Pinball 联合损失更新,从而保证 \(q_\omega\) 快速精准追踪当前边界分布的 \(\tau-\phi(n)\)、\(\tau\) 与 \(\tau+\psi(n)\) 分位数。更关键的是,在训练前 \(n_0\) 步执行无加权全局热身(权重窗恒置为 1),这在数学上等价于对所有 \(\alpha \in [0, 1]\) 分位数体积的均匀积分。对于高斯或椭球分布,该热身损失与多元高斯负对数似然在最优尺度下完全等价,能够以极高鲁棒性预先锁定数据的全局协方差框架与中心,完全杜绝了收缩窗口过早介入导致的初始震荡与病态收敛。

损失函数 / 训练策略

训练分为两个阶段。在 \(j \le n_0\) 的热身阶段,边界网络直接最小化经验全局体积代理 \(\hat{\mathcal{L}}_\theta = \frac{1}{|\mathcal{B}|} \sum_{(X_i, Y_i) \in \mathcal{B}} h_{G_\theta}(G_\theta(X_i, Y_i), X_i)\)(高维下 \(h\) 采用对数体积)。在 \(j > n_0\) 阶段,采用滑动截断窗口代理目标: $\(\hat{\mathcal{L}}_\theta = \frac{1}{|\mathcal{B}|} \sum_{(X_i, Y_i) \in \mathcal{B}} \mathbbm{1}_{\{q_\omega^{(\beta_{\text{low}})}(X_i) \le G_\theta(X_i, Y_i) \le q_\omega^{(\beta_{\text{high}})}(X_i)\}} h_{G_\theta}(G_\theta(X_i, Y_i), X_i)\)$ 其中 \(\beta_{\text{low}} = \tau - \phi(j), \beta_{\text{high}} = \tau + \psi(j)\)。分位数网络则在每步最小化三点 Pinball 损失: $\(\hat{\mathcal{L}}_\omega = \frac{1}{|\mathcal{B}|} \sum_{(X_i, Y_i) \in \mathcal{B}} \sum_{\beta \in \{\beta_{\text{low}}, \tau, \beta_{\text{high}}\}} \max\big(\beta(G_\theta(X_i, Y_i) - q_\omega^{(\beta)}(X_i)), (\beta - 1)(G_\theta(X_i, Y_i) - q_\omega^{(\beta)}(X_i))\big)\)$ 在模型训练收尾后,可通过在训练集上利用 TabICL 进一步微调最终的标量分位数阈值 \(q_\tau(X)\) 提升条件校准质量;在部署时,可采用以 \(G(X, Y) / q_\tau(X)\) 为不贴合度分数的 Split Conformal 校准作为边际覆盖的统计兜底保障。

实验关键数据

主实验

在 6 个标准多变量真实回归数据集(包含 2 维输出的 Bias、CASP、House、Taxi 以及 8 维输出的 rf1、rf2)上评估表现。主要评价指标包括缩放体积(Scaled Volume: \(\text{Vol}^{1/d}\))与条件覆盖偏差(通过 LightGBM 分类器评估的 ERT 误差,值越小表示条件覆盖越精确)。对比基线涵盖条件密度估计后切分(C-HDR)以及概率保形预测主流基准(PCP、CP2-PCP、L-CP、C-PCP)。

下表汇报目标覆盖率 \(\tau = 0.9\) 时的表现(均值与标准误差):

数据集 指标 SLS (本文) C-HDR (CDE) PCP CP2-PCP L-CP C-PCP
bias (\(d=2\)) Volume
ERT
1.11 \(\pm\) 0.02
0.04 \(\pm\) 0.00
1.34 \(\pm\) 0.03
0.02 \(\pm\) 0.01
1.35 \(\pm\) 0.01
0.01 \(\pm\) 0.01
1.42 \(\pm\) 0.02
0.04 \(\pm\) 0.00
1.35 \(\pm\) 0.03
0.03 \(\pm\) 0.01
1.47 \(\pm\) 0.02
0.02 \(\pm\) 0.00
rf1 (\(d=8\)) Volume
ERT
0.36 \(\pm\) 0.00
0.04 \(\pm\) 0.00
0.46 \(\pm\) 0.01
0.05 \(\pm\) 0.00
0.49 \(\pm\) 0.01
0.09 \(\pm\) 0.00
0.49 \(\pm\) 0.00
0.07 \(\pm\) 0.00
0.48 \(\pm\) 0.01
0.05 \(\pm\) 0.01
0.49 \(\pm\) 0.00
0.04 \(\pm\) 0.00
rf2 (\(d=8\)) Volume
ERT
0.47 \(\pm\) 0.01
0.05 \(\pm\) 0.00
0.44 \(\pm\) 0.00
0.05 \(\pm\) 0.00
0.44 \(\pm\) 0.01
0.07 \(\pm\) 0.01
0.98 \(\pm\) 0.53
0.07 \(\pm\) 0.00
0.43 \(\pm\) 0.01
0.05 \(\pm\) 0.00
0.44 \(\pm\) 0.01
0.04 \(\pm\) 0.00
casp (\(d=2\)) Volume
ERT
1.15 \(\pm\) 0.01
0.02 \(\pm\) 0.00
1.32 \(\pm\) 0.01
0.02 \(\pm\) 0.00
1.48 \(\pm\) 0.01
0.02 \(\pm\) 0.00
1.45 \(\pm\) 0.01
0.04 \(\pm\) 0.01
1.42 \(\pm\) 0.01
0.02 \(\pm\) 0.00
1.51 \(\pm\) 0.01
0.01 \(\pm\) 0.00
house (\(d=2\)) Volume
ERT
1.20 \(\pm\) 0.01
0.03 \(\pm\) 0.00
1.15 \(\pm\) 0.01
0.03 \(\pm\) 0.00
1.22 \(\pm\) 0.01
0.04 \(\pm\) 0.00
1.42 \(\pm\) 0.15
0.03 \(\pm\) 0.00
1.27 \(\pm\) 0.01
0.02 \(\pm\) 0.00
1.80 \(\pm\) 0.51
0.02 \(\pm\) 0.00
taxi (\(d=2\)) Volume
ERT
2.77 \(\pm\) 0.02
0.01 \(\pm\) 0.00
2.65 \(\pm\) 0.11
0.01 \(\pm\) 0.00
3.46 \(\pm\) 0.28
0.01 \(\pm\) 0.00
5.26 \(\pm\) 0.79
0.03 \(\pm\) 0.02
3.08 \(\pm\) 0.02
0.01 \(\pm\) 0.00
3.25 \(\pm\) 0.01
0.01 \(\pm\) 0.00

消融与中位数覆盖分析

在目标覆盖率较低(\(\tau = 0.5\))的更苛刻工况下,各模型在紧致性与条件校准之间的权衡更加剧烈。下表为 \(\tau = 0.5\) 下的对比表现:

数据集 配置 / 方法 缩放体积 (Volume) 条件覆盖误差 (ERT) 说明
bias (\(d=2\)) SLS (本文)
C-HDR
CP2-PCP
0.59 \(\pm\) 0.01
0.69 \(\pm\) 0.01
0.79 \(\pm\) 0.01
0.06 \(\pm\) 0.00
0.07 \(\pm\) 0.00
0.04 \(\pm\) 0.01
相比全密度 C-HDR 体积显著缩减 14.5%,且条件误差更低
rf1 (\(d=8\)) SLS (本文)
C-HDR
C-PCP
0.26 \(\pm\) 0.00
0.29 \(\pm\) 0.00
0.36 \(\pm\) 0.00
0.07 \(\pm\) 0.00
0.22 \(\pm\) 0.01
0.13 \(\pm\) 0.01
高维下体积最小,同时 ERT 暴降 68%,避免了基线的严重失校准
casp (\(d=2\)) SLS (本文)
C-HDR
L-CP
0.60 \(\pm\) 0.00
0.47 \(\pm\) 0.06
0.56 \(\pm\) 0.06
0.03 \(\pm\) 0.00
0.11 \(\pm\) 0.00
0.10 \(\pm\) 0.00
C-HDR 虽测得较小体积,但 ERT 严重偏离;SLS 维持最低条件误差
taxi (\(d=2\)) SLS (本文)
C-HDR
CP2-PCP
1.32 \(\pm\) 0.01
1.27 \(\pm\) 0.01
1.58 \(\pm\) 0.13
0.02 \(\pm\) 0.00
0.21 \(\pm\) 0.12
0.01 \(\pm\) 0.00
C-HDR 在 \(\tau=0.5\) 发生严重的条件覆盖崩溃 (ERT=0.21)

关键发现

  • 在包含偏态(如异方差指数噪声)或污染(如 10% 孤立异常值)的合成实验中,基准 NLL 方法因强行拟合全分布而严重畸变,导致生成体积膨胀 30% 以上;而 SLS 借助收缩窗口完全屏蔽了目标分位数外部的异常样本,几何轮廓紧密咬合真实高密度核心。
  • 在真实数据集的帕累托前沿分析中,SLS 稳固占据了“最小体积-最小条件覆盖偏差”的包络线外沿。尤其在 \(\tau = 0.5\) 的严格条件下,传统采样类与后验切分方法(如 C-HDR)频繁出现高 ERT 崩溃(例如 rf1 上 ERT 高达 0.22),而 SLS 的 ERT 保持在 0.07,展示出极其优异的局部适应稳定性。
  • 多流融合消融实验证实,在单峰连续分布数据上增加组件数目不会损害性能(多余组件的权重自发衰减),而在双峰/三峰合成数据上,单一流因同胚限制无法断开,多流结构(如 \(K=3, 4\))能自发收敛至互不相交的局部致密区域,完美契合真实断开拓扑。

亮点与洞察

  • 将不可微的水平集体积优化重塑为局部分位数带的积分平均,在数学上证明了代理目标的一致收敛性与极小值等价性,从根本上绕过了对条件分位数求导的理论死结。
  • 利用雅可比行列式恒等于 1 的条件加性耦合层保证勒贝格测度不变性,使得非线性扭曲的任意复杂几何水平集体积可以直接在潜在空间解析求得,兼备极高几何表达力与极低计算复杂度。
  • 确立了无加权全局体积优化在单峰椭球族下与高斯极大似然的理论等价性,设计出“全局热身预定位 + 收缩窗口精雕琢”的二阶段策略,为双层非凸几何优化提供了极其稳健的防坍缩方案。

局限与展望

  • 理论上由于无分布有限样本下精确条件覆盖的不可能定理(Barber et al.),SLS 仅能逼近条件覆盖,严格的有限样本覆盖保证仍依赖于边际 Split Conformal 矫正。
  • 当前多流融合架构中的体积代理采用了各流体积的直接加和上界 \(\Omega_{\text{Vol}}\),当流组件之间发生严重空间重叠时,体积估计会出现正向偏差,需依赖优化动力学自然分离。
  • 目前的模型主要针对连续实数响应空间 \(\mathbb{R}^d\),未来可拓展至具有离散约束、图流形或混合类型响应的复杂几何空间。

相关工作与启发

  • vs C-HDR / HPD-split (Izbicki et al., 2022): 传统 HPD 遵循两步法,必须先拟合完整的非参数或参数化条件密度曲面再数值求解等高线,高维下计算昂贵且尾部误差放大;SLS 摒弃全局密度建模,针对特定目标分位数直接参数化紧致边界,大幅提升了样本效率与抗噪性。
  • vs CQR (Romano et al., 2019): CQR 基于 Pinball 损失直接回归单变量上下界,但强行假设等尾区间(Equal-tailed),在偏态或多峰分布下区间显著偏离最高密度区且无法自然扩展至多变量;SLS 直接以最小体积超水平集为优化目标,天然自适应偏态并支持多维非凸区域。
  • vs Bach (2025) 凸损失集合预测: Bach 的凸损失框架对所有可能的覆盖水平同时进行全局平均优化,无法单独针对特定目标分位数 \(\tau\) 定制最优形状;SLS 证明了无加权热身正是其全局积分的特例,并通过收缩窗口技术成功攻克了针对单一指定分位数的局部极小化难题。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出超水平集回归数学框架,巧妙借助收缩窗口消解分位数耦合并证明收敛性,立意极具开创性。
  • 实验充分度: ⭐⭐⭐⭐ 涵盖合成复杂几何/污染实验、真实多变量数据集对比与消融分析,帕累托前沿论证扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨精炼,数学符号系统清晰,图文对照直观透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为多变量不确定性量化与高维预测集构建提供了脱离全密度估计的全新几何优化范式。