PDE-PFN: Prior-Data Fitted Neural PDE Solver¶
会议: NeurIPS 2026
arXiv: 2610.13334
OpenReview: https://openreview.net/forum?id=3SCmcBS34S
领域: 物理/科学计算
关键词: 神经偏微分方程求解器、先验数据拟合网络、上下文学习、后验预测均值、物理信息神经网络先验
一句话总结¶
针对传统神经算子依赖规则网格、需要符号方程输入以及对预训练噪声敏感的问题，提出基于先验数据拟合网络（PFN）的 PDE-PFN，通过 Transformer 的自注意力与交叉注意力在带噪声的 PINN 近似解先验上学习后验预测均值（PPM），实现了无梯度更新、无需符号方程且支持任意离散点观测的零样本上下文 PDE 求解。
研究背景与动机¶
偏微分方程（PDE）是描述自然系统与工程物理规律的核心数学工具。近年来，以物理信息神经网络（PINN）与神经算子（如 FNO、DeepONet）为代表的科学机器学习（SciML）方法发展迅速，并催生了在多种 PDE 上进行预训练的基础科学模型（Scientific Foundation Models）。然而，现有方法在面对真实工程场景（如半导体制造监测、非均匀传感器稀疏采样）时面临两大约束：一方面，大多数神经算子要求严格的规则均匀网格或预设空间坐标系统，且在推理阶段通常需要输入显式的控制方程形式；另一方面，现有预训练模型假设训练数据来自高精度数值模拟器，但在大规模多方程预训练中获取海量精确数值解极其昂贵，往往充斥着近似误差与物理残差噪声，模型对此类不完美先验缺乏理论指导与经验鲁棒性。
这种局限的核心矛盾在于：真实物理反演与外推需要模型从非规则观测点直接推断未知场，但现有神经算子要么需要根据新任务重新微调网络参数，要么在面对未清洗、带噪声的廉价前向近似解时泛化崩塌。大语言模型（LLM）通过上下文学习（ICL）表现出对不完美语料的强鲁棒性与强大的上下文自适应能力，而在贝叶斯推断视角下，先验拟合网络（PFN）已被证明能够通过单次前向传播逼近未知系统的后验预测分布。
本文的切入角度是：将 PDE 求解重新建模为基于先验数据的上下文回归任务，利用廉价但有噪声的 PINN 生成解作为先验分布，训练神经网络直接逼近后验预测均值（PPM）。核心 idea：构建基于 Transformer 的先验数据拟合神经求解器 PDE-PFN，将观测点作为上下文、待求解坐标作为查询，在均方误差目标下直接逼近以有噪 PINN 为先验的后验预测均值，实现无需符号方程、无需测试期梯度微调的灵活几何零样本 PDE 上下文推断。
方法详解¶
整体框架¶
PDE-PFN 将 PDE 解的推断视为先验数据拟合（PFN）过程。在训练阶段，算法从参数化 PDE 参数空间 \(\Omega\) 中采样方程参数 \(\boldsymbol{\alpha}\)，由对应方程的 PINN 生成带有近似误差的解场 \(\tilde{u}(\boldsymbol{\alpha})\)；接着从中随机划分出包含坐标与解值的上下文集合 \(D\) 以及仅包含坐标的查询集合 \(T\)。模型输入首先经过傅里叶特征嵌入（FFE）与有理激活函数 MLP 编码，随后送入堆叠的注意力图滤波器（AGF）Transformer 层，其中上下文内部执行自注意力交互，查询点对上下文执行单向交叉注意力聚合，最后通过轻量解码器直接输出查询点处的预测解值。在测试阶段，冻结的预训练网络直接接收未知物理实例的非规则观测点，无需任何优化更新即可一次前向生成查询位置的场值。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据采样<br/>参数 α 采样与 PINN 先验解生成"] --> B["数据集划分与混合<br/>上下文集合 D 与查询集合 T"]
B --> C["高频与物理特征编码<br/>傅里叶特征嵌入 + 有理激活函数 MLP"]
C --> D["奇异值域注意力特征提取<br/>AGF 块：上下文自注意力与查询-上下文交叉注意力"]
D --> E["连续场解码与正交正则优化<br/>MLP 解码预测 + L_alpha 均方误差与 L_AGF 正则"]
E --> F["测试期零更新上下文推断<br/>任意非规则点观测输入 → 一次前向输出查询解"]关键设计¶
1. 高频与物理特征编码：解决坐标连续性与多尺度场表达能力受限问题
为了使模型能够同时处理连续时空坐标与剧烈变化的物理场值，编码器引入多尺度正弦傅里叶特征映射（Fourier Feature Embedding, FFE）。对于标量输入 \(v \in \mathbb{R}\)（如空间坐标 \(x\)、时间坐标 \(t\) 或物理场值 \(y\)），定义频率系数为 \(\omega_i = 2\pi / i\)，构造包含 \(n\) 组正余弦分量的增强向量 \(\text{FFE}(v; n) = [\sin(v \cdot \omega_1), \cos(v \cdot \omega_1), \dots, \sin(v \cdot \omega_n), \cos(v \cdot \omega_n)]\)。编码器分别针对上下文时空域信息 \(l_{CD} := [x_D, t_D, \text{FFE}(x_D), \text{FFE}(t_D)]\)、上下文物理量 \(l_{CS} := [y_D, \text{FFE}(y_D)]\) 以及查询域信息 \(l_{QD} := [x_T, t_T, \text{FFE}(x_T), \text{FFE}(t_T)]\) 构建专属 MLP，并在层间采用具有自适应能力的 Padé 有理激活函数（Rational Activation）。随后将上下文特征拼接送入主干，使网络从浅层即可有效捕获高频振荡模式与激波特征。
2. 奇异值域注意力特征提取：平衡长序列全局依赖与计算复杂度
标准 Transformer 自注意力机制计算复杂度随观测点数量呈二次方增长，难以处理稠密采样时空网格。PDE-PFN 引入注意力图滤波器（Attentive Graph Filter, AGF）架构，在奇异值分解（SVD）谱域中学习自适应注意力权重。将注意力矩阵分解为 \(A = U \Sigma V^\top\)（其中 \(U, V\) 保持正交，\(\Sigma\) 包含降序奇异值），AGF 自适应调整谱分量重要性，在过滤不相关随机扰动和噪声的同时保留主导低频动力学模态。在交互机制上，网络在同一 Transformer 层中显式解耦上下文内自注意力（提取先验解动力学表征）与从查询点到上下文的跨注意力（提取待查坐标对应的场响应），实现任意空间位置的端到端条件化推断。
3. 数据集划分与混合：统一时空插值与时序外推的多任务泛化机制
传统神经算子通常将前一时间步输入映射至下一时间步输出，无法兼顾跨时间维度的内插和外推。PDE-PFN 在基于 2D 对流-扩散-反应（CDR）方程与浅水方程训练时，采用打乱配对的时空采样策略：在给定时间间隔 \([t_n, t_{n+1}]\) 内，将两时刻的场点混合后随机抽取无重叠的上下文子集 \(D'\) 与查询子集 \(T'\)，而非强行绑定因果拓扑关系。这种设计迫使网络依据上下文观测点所蕴含的局部导数与演化趋势做无偏贝叶斯推断，使得同一个预训练 Checkpoint 无需结构改动即可同时完成时空稀疏点重构（Interpolation）与未来时刻连续演化外推（Extrapolation）。
损失函数 / 训练策略¶
理论上，在均方误差（MSE）目标下，确定性预测器的总体最优解严格对应于以给定上下文为条件的后验预测均值（PPM）。即使训练先验包含无偏目标噪声，最优预测器仍然收敛到无噪真实解的条件均值。训练时，针对采样的参数 \(\boldsymbol{\alpha}\) 和先验预测 \(\tilde{u}(\boldsymbol{\alpha})\)，查询集合上的预测损失为：
为保持 AGF 模块中奇异值分解正交性，引入正交约束正则化项 \(\mathcal{L}_{AGF} = \frac{1}{n^2} \|U^\top U - \mathbf{I}\| + \frac{1}{m^2} \|V V^\top - \mathbf{I}\|\)，并由上下文样本量 \(N_D\) 进行动态缩放，总训练目标为：
模型使用 AdamW 优化器进行优化。
实验关键数据¶
主实验¶
在 2D 对流-扩散-反应（CDR）方程族基准上，针对训练期间见过的系数配置（Seen Coefficients），评估时空内插（Spatiotemporal Interpolation）与时间外推（Temporal Extrapolation）两个任务。基线涵盖经典算子（DeepONet、FNO、F-FNO、A-FNO、LNO）以及预训练科学大模型（Poseidon、DPOT）。
| 任务 | 指标 | 本文 (数值先验) | 本文 (PINN先验) | DeepONet | FNO | F-FNO | DPOT |
|---|---|---|---|---|---|---|---|
| 时空内插 | \(L_1\) Abs | 0.01218 | 0.01507 | 0.01922 | - | - | - |
| 时空内插 | \(L_2\) Rel | 0.01643 | 0.02057 | 0.02479 | - | - | - |
| 时空内插 | \(L_\infty\) Rel | 0.04600 | 0.06584 | 0.05980 | - | - | - |
| 时间外推 | \(L_1\) Abs | 0.01474 | 0.01940 | 0.06529 | 0.03302 | 0.02731 | 0.04924 |
| 时间外推 | \(L_2\) Rel | 0.02261 | 0.02705 | 0.08212 | 0.04058 | 0.03430 | 0.08587 |
| 时间外推 | \(L_\infty\) Rel | 0.08444 | 0.08802 | 0.22802 | 0.09553 | 0.09877 | 0.08587 |
在跨方程迁移评估（Cross-PDE Transfer）中，将基于 CDR 预训练的模型在浅水方程（SWE，Seen IC）上使用减半的 Epoch 数量微调，时间外推任务的 \(L_2\) 相对误差达到 0.03273（数值先验）与 0.03221（PINN 先验），显著优于 F-FNO（0.04110）、FNO（0.05429）和 DPOT（0.05860）。
消融实验¶
在 2D CDR 见系数配置下，对 AGF 模块与有理激活函数进行消融评估：
| 配置 | 时空内插 \(L_2\) Rel | 时间外推 \(L_2\) Rel | 说明 |
|---|---|---|---|
| Full model (完整模型) | 0.01643 | 0.02261 | 包含 AGF 谱域注意力与有理激活函数 |
| w/o AGF (替换为标准 Transformer) | 0.01625 | 0.02779 | 外推误差显著恶化（相对上升约 22.9%） |
| w/o Activation (替换为 GELU) | 0.01495 | 0.02665 | 内插略优但外推能力衰减明显 |
| w/o All (标准 Transformer + GELU) | 0.02281 | 0.03437 | 内插与外推误差全面大幅上升（外推恶化 52.0%） |
关键发现¶
- 外推能力高度依赖架构稳定性：消融实验表明，在简单的内插任务中标准 Transformer 与 GELU 表现接近甚至个别指标略好，但在时间外推与非线性复杂演化任务中，去除 AGF 与有理激活函数会导致外推相对误差大幅恶化（从 0.02261 升至 0.03437），验证了谱域过滤与有理非线性对长时间泛化的关键作用。
- 对不完美 PINN 预训练先验的强鲁棒性：仅使用平均相对误差为 0.0228 的粗糙 PINN 先验进行预训练，PDE-PFN 在多数任务中的预测精度依然能超越使用精确数值数据从头训练的基准算子（如在 CDR 时间外推中，Ours(PINN) 的 \(L_2\) Rel 为 0.02705，优于 F-FNO 的 0.03430 与 FNO 的 0.04058）。
- 上下文规模敏感性符合理论预期：测试期上下文点数增加时，模型预测误差单调下降（符合 Corollary A.3 条件方差非增的理论性质），展现出随观测密度增加而自适应提高分辨率的 ICL 能力。
亮点与洞察¶
- PPM 贝叶斯统计理论落地于 SciML：严格证明了在均方误差损失下，网络最优解即为条件后验预测均值，且具备对零均值噪声的免疫特性，在数学上为利用海量不精确 PINN 解作为预训练语料提供了坚实理论依据。
- 无方程符号依赖的灵活拓扑推理：抛弃了将控制方程编码为显式 Token 的范式，直接从时空坐标与状态观测中识别动力学模式，自然支持任意非规则传感器采样点输入与任意连续时空坐标查询。
- 可复用的先验数据生成范式：传统科学大模型依赖昂贵的高精度数值仿真网格，而本方案证明廉价、可批量并行生成但带有误差的 PINN 解足以训练出泛化优异的基础求解器，大幅降低了科学机器学习的预训练数据获取门槛。
局限与展望¶
- 作者承认的局限：预训练仅在参数化 2D CDR 方程族上进行，覆盖的反应项形式仍然有限；跨方程迁移到完全异构系统（如三维湍流或高超音速流体）时仍需小幅微调，未能实现全物理谱系的通用完全零样本推断。
- 进一步发现的局限：对先验噪声的无偏性假设在现实中可能难以完全满足，若 PINN 训练出现严重的系统性偏差（Biased Error）或局部伪解，后验预测均值也会受到系统性漂移的影响。
- 改进思路：后续可探索连续扩散先验或将保辛几何、守恒律约束显式注入注意力图滤波器中，在保留数据驱动先验拟合灵活性的同时，严格约束物理守恒量。
相关工作与启发¶
- vs DeepONet & FNO: 传统算子学习通常依赖固定空间离散网格（如 FNO）或固定的分支网络坐标传感器配置（如 DeepONet），且每遇到新方程参数时需要重新训练；PDE-PFN 通过 Transformer 架构同时接收任意离散坐标的上下文集合与查询集合，在单次前向中实现任意网格几何与参数零样本求解。
- vs ICON & ICON-LM: ICON 类上下文算子模型需要引入额外的算子级输入输出演示（Operator Demos）或文本符号方程；PDE-PFN 仅以当前待求系统的稀疏观测为条件，无需显式方程符号，也不需要收集离线算子示例。
- vs Poseidon & DPOT: 科学大模型侧重通过大规模混合物理数据集预训练重型网络骨干；PDE-PFN 另辟蹊径，探索了 PFN 架构在不完美预训练先验下的统计自适应与去噪能力，证实通过后验均值拟合可以在紧凑参数量下达到甚至超越主流大模型的泛化表现。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将先验拟合网络（PFN）与后验预测均值机制引入神经 PDE 求解，并提出利用有噪 PINN 解作为先验语料。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2D CDR 参数内插外推、浅水方程、可压缩 NS 方程、3D 扩散反应与 3D Gray-Scott 复杂系统，对比了 7 种主流算子与大模型。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学定义与贝叶斯推导完备，实验设计与分析详实。
- 价值: ⭐⭐⭐⭐⭐ 为科学基础模型打破规则网格依赖和海量精确数据瓶颈提供了具有统计学保证的高效范式。