Born-Preconditioned Learning for Iterative Neural PDE Solvers¶

会议: NeurIPS 2026
arXiv: 2603.18527
代码: https://github.com/wangjt23/NeuralPreconditionedBornSeries
领域: 优化/理论
关键词: 神经PDE求解器, 预条件子, 玻恩级数, 亥姆霍兹方程, 度量匹配

一句话总结¶

针对非均匀介质高频波模拟及不适定线性系统，本文提出神经预条件玻恩级数（NPBS），将经典收敛玻恩级数解释为位移拉普拉斯左预条件系统，并通过参考格林算子诱导的度量匹配损失函数协同训练残差更新网络，在保持快速谱变换计算效率的同时显著降低迭代步数与求解耗时。

研究背景与动机¶

非均匀介质中的高频波动方程求解（如异质亥姆霍兹方程）是地震反演、医学超声成像及光子学设计的核心基础。然而，经典数值迭代方法面临污染误差、高对比度介质引起的不定性（indefiniteness）以及粗网格色散失配等严重障碍，导致传统多重网格与松弛方法极易收敛停滞或发散。尽管位移拉普拉斯预条件（Shifted-Laplacian）、波射线多重网格以及收敛玻恩级数（Convergent Born Series, CBS）等物理预条件方案取得了一定进展，在高波数和强间断介质下构建兼顾计算效率与鲁棒收敛的求解器依然极为困难。

随着深度学习与科学计算的结合，神经算子（如 FNO、MgNO 等）为参数化 PDE 映射提供了新范式，但受限于神经网络的频偏（spectral bias），直接单步预测震荡剧烈的高频波场极易丢失关键高阶波模式。将神经网络内嵌于数值迭代流程中充当“残差到修正量”映射（Residual-to-Correction Map），成为突破精度与频偏瓶颈的有力路径。然而，现有迭代式神经求解器普遍直接将未预条件的物理残差送入网络，并采用标准欧几里得空间 $L_2$ 范数优化网络参数。面对不定亥姆霍兹系统，靠近共振频率的模式会引发严重的梯度刚性，使得训练目标与迭代推理时的预条件几何空间严重脱节。

本文抓住这一结构性矛盾：若在迭代中引入预条件算子，网络输入应当接收何种坐标下的残差，且训练损失应以何种几何度量评估残差收敛？核心 idea：将收敛玻恩级数严格等价于位移拉普拉斯左预条件系统，构建以玻恩预条件残差为输入的神经更新映射，并利用参考格林算子内积诱导的度量匹配损失函数（$\mathcal{L}_{\mathrm{bs}}^{R_\eta}$）进行端到端对齐训练。

方法详解¶

整体框架¶

NPBS 的核心思想是借助一个计算廉价且可快速对角化的阻尼参考算子，辅助训练高效的非对角神经预条件映射。对于离散亥姆霍兹系统 $A\bm{u} = \bm{f}$，方法首先引入阻尼参考算子 $L_\eta = -\Delta - (k_0^2 + i\eta)$（其中 $\eta > 0$），将离散算子显式拆解为参考部分与扰动部分 $A = L_\eta - V_\eta$。代数上，经典李普曼-施温格积分方程与玻恩级数形式 $(I - G_\eta V_\eta)\bm{u} = G_\eta \bm{f}$（其中 $G_\eta = L_\eta^{-1}$ 为参考格林算子）严格等价于左预条件系统 $L_\eta^{-1}A\bm{u} = L_\eta^{-1}\bm{f}$。

在迭代求解过程中，NPBS 舍弃了 CBS 原有的局部对角空间扰动缩放系数，直接将玻恩预条件残差 $\bm{r}_{\mathrm{bs}}^m = G_\eta (\bm{f} - A\bm{u}^m)$ 输入神经修正网络 $\mathcal{M}_\theta$，输出解的增量更新 $\delta\bm{u}^m = \mathcal{M}_\theta(\bm{r}_{\mathrm{bs}}^m)$。利用代数恒等式将其重写为高效积分形式，单步迭代仅需点积与一次正反快速傅里叶变换（FFT/IFFT）。在训练阶段，优化目标衡量更新后预条件残差在诱导度量 $R_\eta = G_\eta^* G_\eta$ 下的相对衰减率，从而使损失函数与推理动力学处于完全同构的几何空间中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前解估计与右端项<br/>u^m, f"] --> B["高效积分残差计算<br/>G_η(V_η u^m + f) - u^m"]
    B --> C["玻恩预条件残差坐标<br/>r_bs^m = G_η(f - A u^m)"]
    C --> D["神经修正网络映射<br/>δu^m = M_θ(r_bs^m)"]
    D --> E["解状态累加更新<br/>u^(m+1) = u^m + δu^m"]
    E --> F["度量匹配几何评估<br/>||r^(m+1)||_R_η = ||G_η r^(m+1)||_2"]
    F -->|达到容差 rTol| G["收敛输出真实波场 u*"]

关键设计¶

1. 玻恩级数与位移拉普拉斯左预条件的代数等价：确立预条件残差坐标空间

传统神经迭代求解器直接将物理残差 $\bm{r}^m = \bm{f} - A\bm{u}^m$ 喂给网络，但在不定高频算子下残差高低频能量分布极度不平衡。NPBS 从算子分裂理论出发，构建参考算子 $L_\eta$ 并定义扰动算子 $V_\eta = L_\eta - A$。命题 3.1 证明了以下代数等价性： $$I - G_\eta V_\eta = G_\eta(L_\eta - V_\eta) = G_\eta A = L_\eta^{-1}A$$ 这一恒等式揭示出经典收敛玻恩级数（CBS）在本质上就是位移拉普拉斯左预条件系统。理想残差修正方程 $A\,\delta\bm{u} = \bm{r}$ 在左预条件变换下变为 $(G_\eta A)\delta\bm{u} = G_\eta \bm{r}$。因此，玻恩预条件残差 $\bm{z} = G_\eta \bm{r}$ 天然构成了用于预测解修正量的最优坐标系。网络 $\mathcal{M}_\theta$ 不再需要强行记忆全局震荡算子的直接逆，而是逼近条件数大幅改善的紧致摄动逆 $(G_\eta A)^{-1}$。

2. 快速积分形式迭代：消除多余离散拉普拉斯算子作用开销

直接评估预条件残差 $G_\eta(\bm{f} - A\bm{u}^m)$ 通常需要先通过有限差分或高阶伪谱法计算物理算子矩阵乘向量 $A\bm{u}^m$（包含额外的高阶导数求值与 PML 运算），然后再施加一次参考格林算子 $G_\eta$。NPBS 巧妙利用代数恒等式 $G_\eta(\bm{f} - A\bm{u}^m) = G_\eta(V_\eta \bm{u}^m + \bm{f}) - \bm{u}^m$，将迭代步改写为积分计算流： $$\bm{u}^{m+1} = \bm{u}^m + \mathcal{M}_\theta\left(G_\eta(V_\eta \bm{u}^m + \bm{f}) - \bm{u}^m\right)$$ 在介质扰动仅表现为声速或波数变化的介质层中，$V_\eta \bm{u}^m$ 仅退化为逐点标量乘法；阻尼参考算子的逆 $G_\eta = L_\eta^{-1}$ 在规则笛卡尔网格下由快速三角变换（周期边界下为 FFT，Dirichlet 边界下为离散正弦变换 DST-I）在 $\mathcal{O}(N\log N)$ 复杂度内精确实现。这种积分形式避免了在内迭代中重复调用物理导数算子，使得每步迭代的数值开销几乎等同于一次常规的前向网络推理加两次 FFT。

3. 参考格林算子诱导的度量匹配训练准则：消除共振模态梯度刚性

如果网络输入采用了预条件残差 $G_\eta \bm{r}$，但训练损失仍然沿用标准欧氏空间残差 $\mathcal{L}_{\mathrm{bs}}^{\ell_2}(\theta) = \mathbb{E}[\|A\mathcal{M}_\theta(G_\eta \bm{r}) - \bm{r}\|_2 / \|\bm{r}\|_2]$，那么在反向传播时损失度量与输入几何仍存在代数割裂。NPBS 定义了由参考格林算子自伴算子诱导的加权内积度量 $R_\eta = G_\eta^* G_\eta$，即定义范数 $\|\bm{x}\|_{R_\eta} := \|G_\eta \bm{x}\|_2$。由此推导出的度量匹配损失函数为： $$\mathcal{L}_{\mathrm{bs}}^{R_\eta}(\theta) = \mathbb{E}_{\bm{r}\sim\mathcal{D}}\frac{\|(I - G_\eta V_\eta)\mathcal{M}_\theta(G_\eta \bm{r}) - G_\eta \bm{r}\|_2}{\|G_\eta \bm{r}\|_2} = \mathbb{E}_{\bm{r}\sim\mathcal{D}}\frac{\|A\mathcal{M}_\theta(G_\eta \bm{r}) - \bm{r}\|_{R_\eta}}{\|\bm{r}\|_{R_\eta}}$$ 在频域视角下，常系数亥姆霍兹参考算子的傅里叶符号为 $\widehat{G_\eta}(\bm{\xi}) = \frac{1}{|\bm{\xi}|^2 - k_0^2 - i\eta}$。当空间频率 $|\bm{\xi}|$ 接近特征波数 $k_0$ 时，传统欧几里得损失极易因共振分量的病态响应出现梯度不稳定；度量匹配机制借助 $G_\eta$ 自动对物理残差模式进行频率重加权，使得网络在单步梯度下降中直接最小化下一步实际接收的输入残差比例，在理论上保证了条件收敛的均匀几何收缩率。

损失函数 / 训练策略¶

训练采用无监督探针回放策略。探针残差分布 $\mathcal{D}$ 从高斯分布或模拟迭代历程的残差重放池中采样。整个网络只需针对单步残差衰减进行优化，训练时完全无需昂贵的真实波场标签数据。对于阻尼参数 $\eta$，在基准实验中设定在标准 CBS 经验尺度 $\eta_{\mathrm{base}} = \max_x |k(x)^2 - k_0^2|$ 附近。相较于无预条件的直接残差训练（Direct + $\mathcal{L}_{\mathrm{dir}}$），度量匹配训练仅在探针输入与输出端增加了一次可微解析变换，整体训练时间开销仅增加 0.7%。

实验关键数据¶

主实验¶

实验基于 OpenFWI 基准中的二维异质介质数据集（平滑弯曲波速场的 CurveVel-A，以及包含强断层和突变界面的 CurveFault-B），在 $256 \times 256$ 空间网格（外加 32 单元 PML 吸收边界）及统一残差收敛阈值 $\mathrm{rTol}=10^{-6}$ 下进行评估。对比配置包括：Direct 迭代（输入未经预条件物理残差，以 $\mathcal{L}_{\mathrm{dir}}$ 训练）、NPBS 迭代搭配标准欧氏损失（NPBS + $\mathcal{L}_{\mathrm{bs}}^{\ell_2}$），以及 NPBS 搭配度量匹配损失（NPBS + $\mathcal{L}_{\mathrm{bs}}^{R_\eta}$）。

数据集	ppw (波长点数)	Direct + $\mathcal{L}_{\mathrm{dir}}$ (步数 / 时间)	NPBS + $\mathcal{L}_{\mathrm{bs}}^{\ell_2}$ (步数 / 时间)	NPBS + $\mathcal{L}_{\mathrm{bs}}^{R_\eta}$ (步数 / 时间)	步数加速比 (Direct / 本文)
CurveVel-A	12	491 步 / 0.499 s	466 步 / 0.470 s	300 步 / 0.301 s	1.6×
CurveFault-B	24	531 步 / 0.537 s	517 步 / 0.537 s	458 步 / 0.403 s	1.2×
CurveFault-B	20	616 步 / 0.642 s	539 步 / 0.550 s	475 步 / 0.465 s	1.3×
CurveFault-B	16	895 步 / 0.914 s	842 步 / 0.848 s	538 步 / 0.544 s	1.7×
CurveFault-B	12	1051 步 / 1.030 s	859 步 / 0.838 s	556 步 / 0.571 s	1.9×

在经典与学习型求解器集成对比中（CurveFault-B, ppw=12），选取轻量且编译友好的 MgNO 作为神经骨干，并与灵活 GMRES（FGMRES, restart=50）配合使用：

方法	平均迭代步数	平均求解耗时 (s)	备注说明
经典 CBS	1124	0.086 s	纯物理固定对角预条件迭代
FGMRES + CBS	547	1.820 s	Krylov 子空间加速经典 CBS
FGMRES + SL	781	4.312 s	位移拉普拉斯多重网格预条件
FGMRES + $G_\eta$	894	2.821 s	单纯使用解析参考格林算子逆
NPBS (MgNO) 定常迭代	123	0.107 s	本文度量匹配学习型定常迭代
FGMRES + MgNO (直接训练)	47	0.116 s	物理残差训练的神经 FGMRES
FGMRES + NPBS (MgNO)	37	0.078 s	本文方法：全场最低迭代与最高速度

消融实验¶

在 CurveFault-B（ppw=12）上针对不同神经网络架构（骨干网络）进行跨模型通用性消融，同时检验输入坐标与度量匹配各自带来的收益：

骨干网络架构 (Backbone)	Direct + $\mathcal{L}_{\mathrm{dir}}$ (步数 / 时间)	NPBS + $\mathcal{L}_{\mathrm{bs}}^{\ell_2}$ (步数 / 时间)	NPBS + $\mathcal{L}_{\mathrm{bs}}^{R_\eta}$ (步数 / 时间)	步数降幅 (相对于 Direct)
FNO	1051 步 / 1.030 s	859 步 / 0.838 s	556 步 / 0.571 s	-47.1%
U-Net	853 步 / 0.433 s	496 步 / 0.254 s	399 步 / 0.198 s	-53.2%
MgNO	342 步 / 0.268 s	141 步 / 0.123 s	123 步 / 0.107 s	-64.0%
Encoder–solver	468 步 / 0.562 s	404 步 / 0.455 s	321 步 / 0.350 s	-31.4%
MGCFNN	69 步 / 0.336 s	66 步 / 0.334 s	48 步 / 0.235 s	-30.4%

针对三维高维扩展（Kimberlina-V1 3D 数据集，$192^3$ 网格，ppw=6，MgNO 架构）以及对流-扩散-反应（CDR）和非线性偏微分方程牛顿线性化系统的泛化测试同样证明了度量匹配的显著优势： - 3D 亥姆霍兹：Direct 为 445 步 / 39.1 s，NPBS + $\mathcal{L}_{\mathrm{bs}}^{\ell_2}$ 为 68 步 / 5.69 s，而 NPBS + $\mathcal{L}_{\mathrm{bs}}^{R_\eta}$ 仅需 41 步 / 3.60 s（提速超过 10 倍）。 - 线性 CDR 系统：Direct 需 391 步，度量匹配 NPBS 降至 96 步。 - 非线性牛顿内迭代系统：Direct 需 25 步，度量匹配 NPBS 仅需 9 步。

关键发现¶

高波数与强异质性下增益显著放大：随着网格每波长点数（ppw）从 24 降至 12（即物理波数急剧提高、震荡剧烈），NPBS 对 Direct 基线的迭代步数缩减比从 1.2× 扩大到 1.9×。这表明介质异质性越强、频率越高，传统残差训练的梯度刚性越严重，而度量匹配的频率平滑效果越突出。
输入预条件与损失度量匹配缺一不可：消融数据显示，仅将输入改为玻恩预条件残差但保留 $\ell_2$ 损失（NPBS + $\mathcal{L}_{\mathrm{bs}}^{\ell_2}$）能带来初步收益，但进一步引入度量匹配（$\mathcal{L}_{\mathrm{bs}}^{R_\eta}$）能再度带来 20%~35% 的额外步数骤降，证明输入空间与优化几何的一致性是保证几何级数收敛的核心。
最少迭代步不等于最短运行时间：MGCFNN 依靠极其复杂的多尺度神经结构取得了最少的 48 步迭代，但单步推理开销较大；MgNO 结构高度轻量且对深度学习编译器极度友好，使得 FGMRES + NPBS (MgNO) 仅耗时 0.078 s，在所有评估算法中端到端运行速度最快。

亮点与洞察¶

将物理积分级数与现代算子学习无缝融合：本文并没有将经典物理方法简单当作数据前处理，而是从算子代数上严格指出了收敛玻恩级数与位移拉普拉斯左预条件的同一性，为神经网络寻找到了数学性质优良的残差作用空间。
“度量匹配”统一了训练损失与推理坐标：以往神经预条件子常常在物理空间定损失、在预条件空间做推理，本文推导出的 $R_\eta = G_\eta^* G_\eta$ 加权范数从根本上消除了训练与推理目标脱节的问题，这一思想具备高度的可迁移性。
全无监督的即插即用泛化力：训练仅依赖算子本身及随机激发的探针残差，不需要昂贵的高精度解标签，且能自然外推作为 FGMRES 的柔性预条件子，在保证绝对数值精度的同时实现工业级加速。

局限与展望¶

依赖结构化笛卡尔网格的快速谱变换：当前参考格林算子 $G_\eta$ 的高效实现强依赖于 FFT/DST。若面对高度复杂几何形体与非结构化非均匀网格，需要进一步探索基于几何代数多重网格或快速多极子算法的离散参考逆。
理论收敛常数与经验实测存在差距：理论上的严格谱界要求算子扰动满足 $\|G_\eta V_\eta\|_2 < 1$，但在实际强非均匀测试案例中，该矩阵范数往往大于 1。虽然实验中经验收缩因子均表现出良好的收缩性（$\rho_{\max} \approx 0.9269$），但严谨的非局部全局收敛证明仍有待突破。
尚未覆盖含时演化波动问题：目前算法聚焦于频域稳态亥姆霍兹方程及定常系统，将其推广至显式时域波动方程或大规模非线性瞬态物理场是后续的重要课题。

评分¶

新颖性: ⭐⭐⭐⭐☆ (将玻恩级数与左预条件在代数上统一，并提出匹配的格林诱导度量损失，理论思路清晰优美)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖二维平滑与强断层介质、5种不同主流神经骨干、3D高维算例、FGMRES集成以及CDR和非线性牛顿系统)
写作质量: ⭐⭐⭐⭐⭐ (数学推导严谨自洽，代数等价与几何解释深入透彻，实验消融逻辑清晰)
价值: ⭐⭐⭐⭐⭐ (为高频波模拟及不适定线性系统提供了一个理论扎实、兼具精度与极致速度的实用型学习预条件新框架)