INEUS: Iterative Neural Solver for High-Dimensional PIDEs¶
会议: NeurIPS 2026
arXiv: 2605.06281
领域: 其他
关键词: 偏积分微分方程, 物理信息神经网络, 递归回归, 单跳采样, 维数灾难
一句话总结¶
INEUS 提出了一种针对高维偏积分微分方程（PIDE）的无网格递归神经网络求解框架，通过单跳采样目标替代非局部积分的数值离散，并结合基于 Feynman–Kac 算子的收缩型松弛迭代与方向导数加速，在避免高阶混合导数反向传播的同时实现了高维（达 150 维）全时空域全局精确求解。
研究背景与动机¶
高维偏积分微分方程（PIDE）在金融工程、物理学以及带跳随机最优控制等工程与科学领域具有基础性的建模地位。然而，传统基于网格的数值求解方法（如有限差分法与有限元法）面临严重的维数灾难，其计算复杂度随空间维度呈指数级爆炸，因而在高维复杂系统中完全不可行。近年来，基于深度学习的高维偏微分方程（PDE）求解器取得了长足进展，其中以物理信息神经网络（PINN）与基于倒向随机微分方程（BSDE / Feynman–Kac）的求解器最为典型。但现有方法在推广至包含非局部跳跃积分项的 PIDE 时遇到了严峻的技术瓶颈。
在这一背景下，基于残差优化的 PINN 扩展方案需要在每一个采样的时空配置点处对高维非局部积分项进行耗时的数值求积或多重蒙特卡洛抽样；更致命的是，残差中本就包含二阶空间导数，对网络参数求梯度时会触发极高计算开销且数值不稳定的三阶混合导数反向传播。另一方面，基于 BSDE 与 Feynman–Kac 表示的随机模拟方法虽然能直接将跳跃纳入随机动力学，但其依赖离散时间步的轨道模拟，仅能给出固定初始点沿离散轨迹的局部解，累积离散误差大，且极难覆盖全时空域以构建全局解。
这两大求解范式之间的核心矛盾在于：如何既保留 PINN 的全域连续空间映射能力，又摆脱非局部积分项显式数值计算与全残差高阶导数的反向传播负担。核心 idea：将 PIDE 求解重新表述为以单跳单点采样为目标的递归均方回归问题，并在理论上将其等价映射为 Feynman–Kac 压缩半群的离散松弛更新，从而以极低求导开销与无网格采样实现高维非局部方程的全局收敛。
方法详解¶
整体框架¶
INEUS 的核心思想是彻底避免在损失函数中显式计算非局部跳跃期望积分，同时阻断高阶微分算子对网络权重的反向传播。针对定义在时空区域 \(D_T = [0,T) \times D\) 上的非线性 PIDE，算法将待求函数解 \(u(t,x)\) 参数化为一个严格满足终值与边界条件的硬约束物理信息神经网络（hPINN）。在每个外层迭代中，INEUS 冻结上一轮模型参数，构造一个单跳采样且包含一阶微分修正的期望自由回归目标（expectation-free regression target），并通过内层多步梯度下降驱动网络向该目标靠拢。随后，算法利用基于 Feynman–Kac 算子的 Polyak 松弛平均来更新全局网络，从而保证迭代映射在泛函空间中的收敛性与稳定性。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：随机时空配置点 (t, x) 与单次跳跃采样 e"] --> B["阶段1：单跳无期望回归目标构建<br/>冻结旧网络并计算一阶修正"]
B --> C["阶段2：内层递归梯度更新<br/>仅对当前网络求导且无需反向传播微分算子"]
C --> D["阶段3：Feynman–Kac 松弛收缩与 Polyak 平均<br/>跨 Epoch 参数投影蒸馏稳定迭代"]
D --> E["阶段4：方向二阶导数快速求值<br/>将 Hessian 评估从 O(d^2) 降至 O(q)"]
E --> F["输出：全时空域全局 PIDE 连续数值解"]关键设计¶
1. 单跳无期望回归目标构建：彻底消除非局部项的显式数值积分
在带有跳跃测度 \(\nu\) 的 PIDE 中，非局部算子 \(\mathcal{I}[u]\) 包含形如 \(\mathbb{E}^\nu[\ell(u(t, x + \gamma(t, x, E_1)) - u(t, x))]\) 的期望积分。若在每个时空配置点使用多样本蒙特卡洛积分，计算开销与方差极大。针对此痛点，INEUS 构造了一个依赖单次独立跳跃抽样 \(e \sim \nu\) 的无期望替代算子 \(\mathcal{G}_\xi\)： $\(\mathcal{G}_\xi(t, x, e, u) := u(t, x) + \xi \Big[ \partial_t u(t, x) + \mathcal{F}(t, x, u, \nabla_x u, \nabla_x^2 u) + \lambda(t, x) \ell\big(u(t, x + \gamma(t, x, e)) - u(t, x)\big) \Big]\)$ 当 \(u\) 为真实解时，其全算子残差为 0，条件期望 \(\mathbb{E}[\mathcal{G}_\xi(Y, E_1, u) \mid Y = (t, x)] = u(t, x)\) 精确成立。由于均方误差的理论极小点恰为该条件期望，直接以单样本 \(\mathcal{G}_\xi(Y, E_1, u)\) 作为回归目标便能在期望意义下无偏地恢复方程解。此外，缩放参数 \(\xi = h/(n-1)\) 的引入使单跳诱导的方差被缩小了 \(\xi^2\) 倍（实验中约为 \(6.9 \times 10^{-4}\)），使其总体方差远低于 PINN 使用 64 次 MC 采样的标准求积方差。
2. 递归回归与廉价导数：规避残差高阶混合导数反向传播
传统 PINN 最小化残差的平方期望 \(\mathbb{E}[(\mathcal{A}[u_\theta])^2]\)，由于微分算子 \(\mathcal{A}\) 内部已包含 \(u_\theta\) 对空间坐标 \(x\) 的二阶空间导数，使用反向传播计算损失关于网络权重 \(\theta\) 的梯度时，会强制引入对权重的三阶混合导数 \(\nabla_\theta \nabla_x^2 u_\theta\)，计算极为沉重且对网络激活函数的高阶平滑性极其敏感。INEUS 将其转换为递归逼近问题：在第 \(k\) 轮外层迭代中，回归目标 \(\mathcal{G}_\xi(Y, E_1, u_{\theta^{(k)}})\) 的权重完全被冻结为常数，当前可学习网络仅作为回归输入 \(u_\theta(Y)\) 出现。此时梯度反向传播仅需要计算一阶网络导数 \(\nabla_\theta u_\theta(y_m)\)： $\(\nabla_\theta \widehat{\mathscr{L}}(\theta) = \frac{2}{M} \sum_{m=1}^M \big( u_\theta(y_m) - \mathcal{G}_\xi(y_m, e_m, u_{\theta^{(k)}}) \big) \nabla_\theta u_\theta(y_m)\)$ 该机制完全解耦了物理微分算子与网络参数反向传播链路，不仅彻底免去了高阶微分的显式图展开，还将单步更新的内存与算力消耗压缩到了普通监督回归的量级。
3. Feynman–Kac 松弛收缩与 Polyak 蒸馏：保证迭代稳定性与严格收敛
纯粹的递归回归算子在泛函空间中通常不是收缩映射，直接迭代极易在深层神经网络近似误差下发散。针对这一问题，INEUS 基于线性 PIDE 的 Feynman–Kac 算子族 \(\mathcal{T}_h\) 建立了严格的收缩理论，并构造了松弛迭代算子 \(\widetilde{\mathcal{T}}_h \Psi := (1 - \frac{\alpha}{h})\Psi + \frac{\alpha}{h}\mathcal{T}_h \Psi\)。理论证明当松弛因子满足 \(0 < \alpha < 2h / (1 + e^{-c_0 h})\) 时，\(\widetilde{\mathcal{T}}_h\) 在有界连续函数空间 \(\bar{\mathcal{C}}\) 上构成严格收缩映射，且唯一不动点恰为 PIDE 真实解。在算法实现上，外层更新采用权重 Polyak 平均： $\(u^{(k+1)} = \Big(1 - \frac{\alpha}{h}\Big) u_{\theta^{(k)}} + \frac{\alpha}{h} u_{n-1}\)$ 为避免每个 Epoch 都进行耗时的函数空间投影，算法每隔 \(K=10\) 个外层 Epoch 执行一次块展开回归（block distillation），将累积的 Polyak 目标网络通过轻量学生网络投影回 hPINN 参数空间，大幅抑制了递归求解的数值抖动。
4. 方向二阶导数加速技巧：消除 Hessian 矩阵的二次方维度瓶颈
尽管回归目标冻结了权重导数，但在每个采样点前向评估目标 \(\mathcal{G}_\xi\) 时，仍需要计算空间二阶导数 \(\text{Tr}[\sigma \sigma^\top \nabla_x^2 u]\)。显式求解完整的 Hessian 矩阵需要 \(\mathcal{O}(d^2)\) 的复杂度，当维度达到 \(d=100\) 时极为缓慢。INEUS 引入了方向二阶导数恒等式：构造辅助单变量标量函数 \(\psi(h) := \sum_{i=1}^q u(t + \frac{h^2}{2q}, x + \frac{h}{\sqrt{2}}\sigma_i + \frac{h^2}{2q}b)\)，则其标量二次导数 \(\psi''(0)\) 在数学上严格等价于扩散漂移微分算子 \(\partial_t u + b^\top \nabla_x u + \frac{1}{2}\text{Tr}[\sigma \sigma^\top \nabla_x^2 u]\)。借助自动微分仅需 \(q\) 次标量求导即可完成计算，使单步微分前向开销直接与布朗运动有效维度 \(q\) 呈线性关系，彻底突破了高维全 Hessian 的计算壁垒。
损失函数 / 训练策略¶
INEUS 采用 DGM（Deep Galerkin Method）深度网络架构配合 tanh 激活函数，通过硬约束边界编码结构 \(u_\theta(t,x) = A(t,x) + B(t,x)v_\theta(t,x)\) 显式消除边界误差。内层迭代包含 \(n=20\) 步递归，每步执行 \(N=32\) 步 Adam 优化（学习率 \(\eta = 5 \times 10^{-4}\)，批大小 \(M=1024\)）。外层时间尺度参数设为 \(h=0.5\)，松弛参数为 \(\alpha=0.4\)，内层单步比例参数 \(\xi = h/(n-1) \approx 0.0263\)。配点采样使用基于残差自适应分布（RAD）配合部分金融几何布朗运动轨迹生成，投影蒸馏每 \(K=10\) 个 Epoch 采用 Adam 迭代 200 步完成。
实验关键数据¶
主实验¶
论文在多类高维代表性 PIDE（带二次终值的线性 PIDE、非线性 Hamilton–Jacobi–Bellman PIDE 以及含信用违约风险的非线性 Black–Scholes PIDE）上对 INEUS 进行了全面评测，对比基线包括标准残差 PINN（配 64 样本 MC 积分）及跳跃深度倒向随机微分方程求解器（Deep BSDE with jumps）。
| 测试方程设置 | 状态维度 \(d\) | 评估指标 | INEUS（本文） | 传统 PINN | Deep BSDE with jumps | 性能对比增益 |
|---|---|---|---|---|---|---|
| 线性跳跃 PIDE (32) | \(d=10\) | MAE / 训练耗时 (s) | 0.00043 / 4,120s | 0.0012 / 12,850s | 0.0145 / 8,900s | MAE 降低 64.2%，速度提升 3.12× |
| 线性跳跃 PIDE (32) | \(d=100\) | MAE / 训练耗时 (s) | 0.01529 / 4,687s | 不可计算 (OOM/耗时过长) | 0.0820 / 21,500s | 成功突破 100 维，PINN 无法完成 |
| 非线性 HJB PIDE (34) | \(d=10\) | MAE / 训练耗时 (s) | 0.0158 / 3,289s | 0.0385 / 9,720s | 0.0612 / 7,450s | 精度显著优于 BSDE，速度为 PINN 2.95× |
| 非线性 HJB PIDE (34) | \(d=100\) | MAE / 训练耗时 (s) | 0.2526 / 10,422s | 不可计算 (三阶导爆炸) | 0.4180 / 34,200s | 全时空全局 MAE 显著优于 BSDE 代理 |
| 非线性 Black–Scholes (36) | \(d=100\)（无跳） | \(u(0, x_0)\) 点估绝对误差 | 0.041（收敛至 57.34） | 不可计算 | 0.000（参考基准 57.30） | 与局部专用 BSDE 基准高度吻合（误差 <0.1%） |
| 非线性 Black–Scholes (36) | \(d=100\)（带跳） | \(u(0, x_0)\) 点估绝对误差 | 0.085（收敛至 55.73） | 不可计算 | 0.000（Picard 基准 55.81） | 准确贴合 30 轮 Picard 迭代的理论参考值 |
消融实验¶
针对高维可扩展性与核心设计模块，论文统计了状态维度外推以及松弛收缩算子对收敛行为的影响：
| 实验配置与维度考察 | 关键指标 (线性 PIDE MAE) | 关键指标 (线性 BS PIDE MAE) | 计算耗时 (s) | 机制说明与消融分析 |
|---|---|---|---|---|
| 线性方程 \(d=5\) | 0.00021 ± 0.00002 | 0.0202 ± 0.0031 | 3,259s | 低维基准，误差与方差极小 |
| 线性方程 \(d=10\) | 0.00043 ± 0.00004 | 0.0224 ± 0.0045 | 4,049s | 维度加倍，计算时间仅轻微增加 24% |
| 线性方程 \(d=25\) | 0.00106 ± 0.00014 | 0.0246 ± 0.0036 | 8,248s | 保持出色数值精度与收敛稳定度 |
| 线性方程 \(d=50\) | 0.00291 ± 0.00055 | 0.0257 ± 0.0054 | 10,984s | 凭借方向二阶导数避开 Hessian 二次方增长 |
| 线性方程 \(d=100\) | 0.01529 ± 0.00663 | 0.0294 ± 0.0064 | 15,799s | 100 维下 MAE 依旧控制在 0.03 以内 |
| 线性方程 \(d=150\) | 0.04091 ± 0.01670 | 未测试 | 5,028s (\(q=10\)) | 维度增加 15 倍时耗时仅由 4120s 增至 5028s |
| 标准 Feynman–Kac (\(\alpha = h\)) | 出现周期性误差振荡 | 收敛速度慢 | 基准耗时 | 未引入 Polyak 松弛阻尼时，递归误差易累积 |
| 松弛收缩算子 (\(\alpha = 0.4, h = 0.5\)) | 误差曲线单调平滑下降 | 稳定收敛至最小 MAE | +12% (含 \(K=10\) 蒸馏) | 松弛收缩映射保证理论极小与数值稳定性 |
关键发现¶
- 维度扩展能力出色：受益于方向二阶导数恒等式，当空间维度 \(d\) 从 10 激增至 150 时，由于有效布朗驱动维度 \(q\) 保持为 10，单轮迭代时间仅增加约 22%（4120s 增至 5028s），彻底打破了 Hessian 矩阵的二次方诅咒。
- 单跳采样的低方差优势：理论与数值证明，由于步长参数 \(\xi \approx 0.0263\) 极小，单跳期望自由目标中的跳跃扰动被缩减了 \(\xi^2 \approx 6.9 \times 10^{-4}\) 倍，其实际方差显著低于在每个配置点使用 64 次 MC 积分采样的标准 PINN 残差。
- 全局近似质量碾压局部 BSDE：Deep BSDE 仅针对特定起点仿真轨道，在构建全域代理模型时因轨道外推分布漂移导致 MAE 迅速劣化，而 INEUS 在全时空测试集上展现出均一的高精度。
亮点与洞察¶
- 将积分求值转换为均方回归极值：巧妙利用条件期望是均方误差理论唯一极小点的统计学性质，用单次跳跃采样点构造无偏回归目标，彻底免去了非局部算子的高维数值积分。
- 解耦物理微分与网络权重梯度的计算图：将更新目标冻结在上一轮外层参数，避免了对残差进行二阶导数反向传播导致的三阶混合导数，大幅降低了显存与时间消耗，同时增强了对激活函数阶数的宽容度。
- 可迁移至更广阔的随机最优控制：该递归松弛框架与基于半群的收缩证明机制不仅适用于 PIDE，还天然契合连续时间倒向控制与高维 Hamilton–Jacobi–Bellman 准变分不等式的数值逼近。
局限与展望¶
- 理论收敛保证目前局限于线性体系：收缩映射与 Feynman–Kac 半群性质在非线性 PIDE 中不再严格具备半群线性结构，非线性情形下的全局收敛性理论尚待开拓。
- 递归逼近对参数超参数较为敏感：松弛因子 \(\alpha\)、步长 \(h\) 与内层更新步数 \(n\) 之间存在细致的权衡关系，若超参数选择不当易出现欠阻尼振荡或收敛迟滞。
- 未来方向：研究自适应退火松弛因子 \(\alpha_k\)，引入准蒙特卡洛或重要性采样优化跳跃采样分布，并将该框架扩展至带跳跃驱动的随机博弈与高维随机脉冲控制问题。
相关工作与启发¶
- vs 标准 PINN / fPINN：标准 PINN 依赖全残差反向传播并需要数值逼近跳跃积分，计算极耗时且易在三阶导处数值崩溃；INEUS 采用参数冻结的单跳递归目标，梯度开销仅为一阶，计算效率与高维可扩展性实现质的飞跃。
- vs Deep BSDE with jumps：Deep BSDE 基于时间离散轨道模拟，本质上属于局部解算器，在全域推断时累积时间步误差严重；INEUS 通过全域连续配置点训练 hPINN，直接输出全局连续的时空解函数。
- vs 纯迭代算子分裂方法（Deep Splitting）：传统算子分裂通常需要将时间轴划分为密集网格并分步拟合多组网络；INEUS 使用单网络通过全域外层松弛平均进行不动点迭代，内存开销更轻量。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙融合单跳目标回归与 Feynman–Kac 松弛收缩，为高维非局部方程提供了全新的免积分免高阶导求解路径。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 至 150 维的线性、非线性 HJB 与 Black–Scholes PIDE，对照严格且包含理论方差与收缩证明。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨完备，算法流程清晰，理论与实验呼应紧密。
- 价值: ⭐⭐⭐⭐⭐ 为金融衍生品定价、复杂跳跃扩散系统与高维控制提供了一个强大、实用且极具拓展潜力的深度学习求解基石。