跳转至

Neural Slack Variables for Shape Constraints

会议: NeurIPS 2026
arXiv: 2606.13803
OpenReview: https://openreview.net/forum?id=hWUODLVAFM
论文: https://arxiv.org/abs/2606.13803
领域: 优化/理论
关键词: 约束优化, 神经松弛变量, 形状约束, 变量分裂, 无套利曲面

一句话总结

本文提出一种深度学习原生的原始侧软约束优化框架——神经松弛变量（Neural Slack Variables），通过将初级网络与结构化非负辅助网络在约束空间进行尺度平衡与双曲正弦稳定的回归匹配，彻底根除了传统罚函数与原始对偶方法因互补松弛性导致的“约束漂移”失效模式，在单调性、高维凸性验证以及金融期权无套利隐式波动率曲面生成中实现了零违规与高精度数据拟合。

研究背景与动机

在控制系统、动力学验证和量化金融等众多科学与工业计算场景中，深度神经网络常被用作连续低维紧集上的连续函数逼近器。此类任务不仅要求模型以极高保真度拟合观测数据，更严苛要求输出必须全局满足单调性、凸性、控制屏障稳定性或无套利法则等物理与结构定律。这些由函数及其导数构成的函数不等式被称为形状约束（Shape Constraints）。然而，通用神经网络架构本身不具备保持此类几何形态的先验机制；若仅采用无约束经验风险最小化训练，模型即使能够完美拟合训练点，也会在插值或未采样区域产生严重违背系统一致性的失真。

针对形状约束，现有解决方案主要分为两大派系，但均面临严重的理论瓶颈与实用局限。第一类是架构保证的硬约束网络（如单调性网络 CMNN、输入凸网络 ICNN），它们通过限制权重非负性和激活函数单调性强行实现结构合规；然而这种硬性约束严重削减了假设空间的表达容量，引入强烈的低频拟合偏差，且仅能覆盖极少数初等数学形态，无法扩展至包含高阶导数与多元非线性耦合的通用约束。第二类是在损失函数中添加违规代价的软约束方法，包括单侧罚函数法以及带拉格朗日乘子的原始对偶（Primal-Dual）鞍点优化；然而在深度神经网络优化过程中，这两类方法普遍深陷“约束漂移（Constraint Drifting）”的失效死循环：当网络在某个区域偶然满足约束时，罚函数梯度与满足互补松弛条件的拉格朗日乘子梯度瞬间归零，随后主拟合任务的梯度更新便毫无阻力地将网络参数再次推向违规区域，使得模型在可行与违规状态之间反复震荡，最终落盘模型残留不可接受的违规斑驳。

打破这一困境的关键在于：不能在可行区域直接撤销约束几何对参数的牵引作用，而必须在整个优化轨迹中持续提供引导网络流形走向合规的稳定信号。核心 idea：将约束优化通过变量分裂等价重构为原始空间的回归匹配问题，引入一个输出架构天然非负的有限容量辅助神经网络作为“神经松弛变量”，联合最小化初级网络约束轮廓与松弛变量之间的相对双曲正弦距离，利用松弛网络的有限容量残差在合规区提供持续锚定梯度，彻底杜绝约束漂移并实现平滑正则性迁移。

方法详解

整体框架

神经松弛变量框架针对有界紧集 \(\Omega \subset \mathbb{R}^d\) 上的初级网络 \(f^\theta: \Omega \to \mathbb{R}\)，要求其在整个定义域上处处满足 \(m\) 维泛函不等式约束 \(\mathcal{C}[f^\theta](x) \ge 0\)。其中 \(\mathcal{C}[\cdot]\) 是映射至导数、Hessian 特征值或非线性微分组合的算子。

整个求解流程通过“变量分裂（Variable Splitting）”解耦可行性构造与网络参数更新：首先引入辅助网络 \(s^\phi: \Omega \to [\varepsilon, \infty)^m\)，通过激活函数设计使其输出在架构上天然严格非负，作为约束空间的合法目标；随后在增广损失中引入约束空间的回归匹配项，驱动初级网络的约束轮廓 \(c_\theta(x) := \mathcal{C}[f^\theta](x)\) 向 \(s^\phi(x)\) 对齐，同时驱动松弛变量 \(s^\phi(x)\) 追踪数据驱动的几何轮廓。当两者的匹配残差收敛时，\(c_\theta(x)\) 自然继承 \(s^\phi(x)\) 的非负性与正则性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据样本 (x, y)<br/>与配置网格 ξ ~ U(Ω)"] --> B["初级网络拟合与算子求导<br/>计算数据损失与约束轮廓 c_θ(ξ)"]
    B --> C["神经松弛变量正向映射<br/>输出架构非负目标 s_ϕ(ξ) ≥ ε"]
    C --> D["自适应尺度平衡与反双曲正弦变换<br/>构建尺度分母 d_ϕ(ξ) 并稳定化残差"]
    D --> E["联合原始侧增广优化<br/>最小化 L_data + L_slack 杜绝漂移"]
    E --> F["输出严格合规初级模型 f_θ<br/>无套利 / 单调 / 凸性处处成立"]

关键设计

1. 神经松弛变量构造与有限容量梯度持久化机制

传统罚函数在可行域（\(\mathcal{C}[f^\theta](x) \ge 0\)）梯度归零，导致参数在主数据损失驱动下漂回违规域；而精确变量分裂 \(\min_{\theta, s} \frac{1}{2} \|c_\theta - s\|^2 \text{ s.t. } s \ge \varepsilon\) 在逐点投影下退化为经典二次惩罚。本文的关键突破在于将辅助变量限制在有限容量的神经网络函数族 \(\mathcal{S} = \{s^\phi: \phi \in \Phi\}\) 中，并通过输出端内置刚性非负变换（如平移平方 \(\varepsilon + (\cdot)^2\) 或平移指数 \(\varepsilon + \exp(\cdot)\)）保证 \(s^\phi(\cdot) \in [\varepsilon, \infty)^m\) 处处成立。由于 \(s^\phi\) 是由有限参数表达的平滑神经网络，其无法在全域毫无误差地塌缩为 \(c_\theta\) 的精确逐点投影，由此使得残差 \(r_{\theta, \phi}(x) = c_\theta(x) - s^\phi(x)\) 在松弛区域内始终保持非零，持续为主网络参数 \(\theta\) 提供正向锚定梯度，从根本上锁死可行状态。

2. 隐式归纳偏置与正规性迁移机制

将松弛变量投影到有限容量网络族 \(\mathcal{S}\)，在数学上等价于为可行的初级网络添加了一个显式的几何正则化项：

\[\inf_\phi \mathcal{L}_{\text{slack}}(\theta, \phi) \ge \mathcal{L}_{\text{hinge}, 2}(\theta) + \frac{1}{2}\operatorname{dist}_{L^2}^2\big(\Pi_K(c_\theta), \mathcal{S}\big)\]

当网络处于可行状态时，传统违规项 \(\mathcal{L}_{\text{hinge}, 2}\) 归零，目标函数退化为 \(\frac{1}{2}\operatorname{dist}_{L^2}^2(c_\theta, \mathcal{S})\)。这意味着神经松弛项在所有能够等价拟合数据的可行解中，自发挑选其约束轮廓 \(c_\theta\) 与松弛网络空间 \(\mathcal{S}\) 距离最近的解。因此，松弛网络 \(s^\phi\) 的架构选择成为了控制初级网络导数频谱特性的强力归纳偏置杠杆。由于微分算子 \(\mathcal{C}\) 通常会显著放大高频噪声，论文将 \(s^\phi\) 默认配置为带适度输入基频标度（\(\omega_0 = 5\)）的正弦表示网络（SIREN），成功将光滑正则性迁移至初级网络，避免了在采样配置点之间发生高频振荡穿透网格产生隐式违规（Constraint-Grid Overfitting）。

3. 自适应相对尺度平衡与双曲正弦数值稳定化

在工程实现中，不等式约束算子的数值动态范围往往跨越数个数量级，普通均方误差损失会被取值极大的松弛冗余区域主导，从而忽视边界附近的微小违规。为此，算法构建了基于自身预测的自适应相对尺度分母 \(d_\phi(x) := \max(\delta, \mathrm{sg}[s^\phi(x)])\)，其中 \(\mathrm{sg}[\cdot]\) 为停止梯度算子，设定截断门限 \(\delta = 1/\sqrt{\rho_{\max}}\)。在结合数值稳定的反双曲正弦（\(\operatorname{asinh}\)）变换后，增广松弛损失定义为：

\[\mathcal{L}_{\text{slack}}^{\rho_{\max}}(\theta, \phi) = \frac{1}{2 B_{\text{g}}} \sum_{n=1}^{B_{\text{g}}} \left\| \operatorname{asinh}\!\left(\frac{\mathcal{C}[f^\theta](\xi_n)}{d_\phi(\xi_n)}\right) - \operatorname{asinh}\!\left(\frac{s^\phi(\xi_n)}{d_\phi(\xi_n)}\right) \right\|^2\]

该设计使得在约束临界区（\(s^\phi \le \delta\)）自动等价于最大有效权重为 \(\rho_{\max}\) 的紧束缚惩罚，而在远离边界的可行区呈现尺度不变性；\(\operatorname{asinh}\) 变换在原点处与恒等映射一阶等价，同时有效抑制了导数爆炸引起的梯度漂移。

损失函数 / 训练策略

系统采用全联合端到端优化，单步迭代中同时抽取数据批次与定义域均匀配置网格：

\[\min_{\theta, \phi} \mathcal{L}_{\text{total}}(\theta, \phi) = \mathcal{L}_{\text{data}}(\theta) + \mathcal{L}_{\text{slack}}^{\rho_{\max}}(\theta, \phi)\]

其中初级网络参数 \(\theta\) 同时接收拟合梯度与向合法松弛目标靠拢的拉动梯度，松弛网络参数 \(\phi\) 接收追踪当前约束轮廓的驱动梯度。优化器默认使用 Adam 配合余弦退火学习率调度。对于高维生成任务（如期权表面自解码器），初级解码器与松弛变量以学习率 \(3\times 10^{-4}\) 协同更新，期权潜在变量以 \(10^{-3}\) 更新，并引入权重 \(\beta = 10^{-2}\) 的 KL 正则项约束潜在后验分布。

实验关键数据

主实验

在单维单调性（对抗性微弱负倾斜台阶目标，100 个随机种子，MLP 初级网络，10,000 稠密评估网格）、高维凸性（Log-Sum-Exp 目标，Hessian 最小特征值 \(\ge 0\)）以及量化金融纳斯达克 100 指数（NDX）全天候 251 个交易日跨 4.6 年期权隐含波动率曲面生成中，神经松弛变量展现了决定性的约束维持能力。

任务与实验设定 评估指标 本文 (Neural Slack) 罚函数法 (Penalty) 拉格朗日对偶 (Lagrangian / AL) 结构化硬约束 (CMNN / ICNN)
单调回归 (d=1, 100 seeds) 违规率 \(\eta_{\text{rate}}\) 0 \(6.0\times 10^{-3}\) \(4.8\times 10^{-3}\) (AL) 0
单调回归 (d=1, 100 seeds) 最大违规 \(\eta_{\text{max}}\) 0 \(3.2\times 10^{-4}\) \(2.3\times 10^{-4}\) (AL) 0
单调回归 (d=1, 100 seeds) 达标率 \(n_{\text{sat}} / N\) 100 / 100 2 / 100 73 / 100 (AL) 100 / 100
单调回归 (d=1, 100 seeds) 拟合误差 \(\delta_{\text{mae}}\) \(9.6\times 10^{-2}\) \(9.2\times 10^{-2}\) \(9.3\times 10^{-2}\) (AL) \(8.5\times 10^{-2}\)
高维凸性拟合 (d=2, 5 seeds) 达标率 \(n_{\text{sat}} / N\) 5 / 5 0 / 5 - 5 / 5
高维凸性拟合 (d=2, 5 seeds) 拟合误差 \(\delta_{\text{mae}}\) \(4.2\times 10^{-2}\) \(4.1\times 10^{-2}\) - \(5.4\times 10^{-2}\)
高维凸性拟合 (d=3, 5 seeds) 达标率 \(n_{\text{sat}} / N\) 3 / 5 0 / 5 - 5 / 5
高维凸性拟合 (d=3, 5 seeds) 最大违规 \(\eta_{\text{max}}\) \(1.0\times 10^{-3}\) \(2.1\times 10^{-2}\) - 0
波动率曲面自解码 (Prior 生成) 拟合误差 \(\delta_{\text{mae}}\) \(6.9\times 10^{-3}\) \(1.0\times 10^{-2}\) \(7.8\times 10^{-3}\) (NAL) 架构模型不适配数据
波动率曲面自解码 (Prior 生成) 违规率 \(\eta_{\text{rate}}\) 0 \(4.9\times 10^{-4}\) \(1.5\times 10^{-3}\) (NAL) -
波动率曲面自解码 (Prior 生成) 最大违规 \(\eta_{\text{max}}\) 0 \(2.8\times 10^{-3}\) \(7.7\times 10^{-3}\) (NAL) -

消融实验

论文系统探究了松弛变量网络结构（SIREN vs. Softplus-MLP / Tanh-MLP）、隐藏层宽度 \(W \in \{1, 4, 16, 64, 256\}\) 对优化稳定性的影响，并在无数据项干扰的动力学控制屏障证书（FOSSIL Barr3 基准）中验证了容量权衡。

模型与消融配置 (Barr3 动力系统) 隐藏层宽度 \(W\) 最小特征约束 \(c^{\theta}_{\min}\) 松弛尾部震荡 \(\sigma_\tau\) 相对位移 \(\|\Delta s^\phi\|_2 / \|s^\phi_0\|_2\) 达标种子数 \(n_{\text{sat}} / N\)
SIREN 松弛变量 \(W = 1\) \(-1.0\times 10^{-2}\) \(3.6\times 10^{-2}\) 0.97 (塌缩零值) 0 / 5
SIREN 松弛变量 \(W = 4\) \(-3.5\times 10^{-3}\) \(1.5\times 10^{-2}\) 0.82 0 / 5
SIREN 松弛变量 \(W = 8\) \(+1.2\times 10^{-4}\) \(4.2\times 10^{-3}\) 0.31 5 / 5
SIREN 松弛变量 \(W = 16\) \(+4.8\times 10^{-4}\) \(2.1\times 10^{-3}\) 0.28 5 / 5
SIREN 松弛变量 \(W = 32\) \(+2.3\times 10^{-4}\) \(3.5\times 10^{-3}\) 0.35 5 / 5
SIREN 松弛变量 \(W = 64\) \(-1.8\times 10^{-3}\) \(1.8\times 10^{-2}\) 0.74 0 / 5
SIREN 松弛变量 \(W = 256\) \(-8.5\times 10^{-3}\) \(4.5\times 10^{-2}\) 0.95 (微观震荡) 0 / 5
Tanh-MLP 松弛变量 \(W = 16\) \(-1.3\times 10^{-3}\) \(8.5\times 10^{-3}\) 1.00 (完全塌缩) 0 / 5
Tanh-MLP 松弛变量 \(W = 256\) \(-1.3\times 10^{-3}\) \(1.7\times 10^{-2}\) 1.00 (完全塌缩) 0 / 5

关键发现

  • 容量权衡呈现显著 U 型规律：当松弛变量容量过低（如 \(W=1\)）时，辅助网络缺乏表达几何拐点的能力，将初级网络强制拉平为线性，损害数据拟合；当容量过大（如 \(W=256\)）时，MLP 结构会自发塌缩为平直零向量导致初级网络退化为常数预测器，而 SIREN 结构则会陷入高频微观震荡状态，导致联合优化脱轨。最优区间集中在适度宽度 \(W \in [8, 32]\)。
  • 高阶表达架构释放初级网络潜力：当主模型 \(f^\theta\) 替换为表达力更强的高频 SIREN 时，传统罚函数法产生严重的“网格过拟合”，配置点间疯狂违规；拉格朗日乘子法直接数值崩溃发散。而神经松弛变量不仅保持 10/10 种子全局 0 违规，拟合 MAE 达到 0.071，反超硬约束架构 CMNN（0.081）。
  • 杜绝外推与无套利生成的破局点：在 Nasdaq-100 隐含波动率生成任务中，不仅在训练潜在码（train）和线性插值潜在码（interpolation）上实现零套利，更在未见过的先验采样分布（prior）中保持处处正方差与正局部波动率（严格满足日历套利与蝶式套利不等式），成功使得基于 Dupire 方程的奇异衍生品扩散定价模型在全域处处良态有解。

亮点与洞察

  • 以回归替代单侧截断的构想：将单侧非负不等式转化为初级网络与结构化非负网络的双侧连续匹配，巧妙绕过了罚函数法与 Kuhn-Tucker 乘子在可行域因梯度归零引发的漂移与振荡。
  • 正规性显式迁移的桥梁：证明了有限容量松弛网络在可行域充当了向其网络空间投影的隐式正则化器，使得通过调控松弛网络的谱偏差（如 SIREN 频率 \(\omega_0\)）即可直接净化初级网络的导数场。
  • 开箱即用的工业落地范本：为长久以来困扰量化金融工程的神经网络波动率曲面“无套利”构建提供了无需繁琐调节拉格朗日乘子的端到端生成方案。

局限与展望

  • 维度灾难与网格采样依赖：方法本质上依赖在定义域内均匀或低差异序列（Sobol）抽样配置点；当维度 \(d \ge 4\) 时，由于体积效应导致单位体积网格密度指数级稀疏，神经松弛变量与罚函数法均无法完全避免测试网格上的微量越界，未提供形式化验证的形式认证。
  • 双倍参数与设计开销：引入辅助松弛网络使得优化参数量近乎翻倍，且引入了松弛网络的容量与频带超参数需仔细权衡。
  • 未来方向：探索结合符号界分析或自适应对抗采样机制，在高维输入空间中主动定位潜在违规坐标，进一步摆脱对密集离散网格采样的依赖。

相关工作与启发

  • vs. 架构硬约束模型 (CMNN / ICNN)：CMNN 和 ICNN 具有绝对的理论合规保证，但对网络权重强加非负约束使得优化极其迟缓，且强烈的低频归纳偏置导致尖锐数据特征严重欠拟合；本文通过软性松弛分离了拟合能力与约束强加，在保持经验零违规的同时大幅提升逼近精度。
  • vs. 罚函数法与拉格朗日对偶法 (Penalty / Primal-Dual GDA)：罚函数与拉格朗日法在数据拟合存在竞争对抗时必定出现“约束漂移”；本文通过辅助网络提供的非零残差锚定梯度，维持了持续朝向可行区域内部的牵引力。
  • vs. 投影层物理信息神经网络 (HardNet / DAE-HardNet)：投影类硬约束方法通常在前向传播中嵌套数值求解器或固定的代数投影算子，计算开销巨大且受限于低维确定性关系；本文通过联合训练神经网络逼近投影算子，保持纯 PyTorch 梯度图的反向传播高效率。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将泛函不等式约束重构为有限容量非负神经网络的原始侧回归匹配，构思极具原创性]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖单调、凸性、控制屏障动力系统及工业级期权波动率曲面生成，跨多维度全方位严密对照]
  • 写作质量: ⭐⭐⭐⭐⭐ [数学推导严丝合缝，机制分析透彻深入，图表设计极其直观优雅]
  • 价值: ⭐⭐⭐⭐⭐ [彻底攻克了物理守恒与金融无套利网络在工业部署中反复违规的顽疾，落地实用价值极大]

相关论文