Compute-Optimal Data Scaling for Neural Surrogates via Multi-Fidelity Training

会议: NeurIPS 2026
arXiv: 2610.17221
代码: https://github.com/tum-pbs/multi-fidelity-scaling
领域: 物理/科学计算
关键词: 神经代理模型, 多保真度训练, 计算最优数据缩放, 偏微分方程, 帕累托最优

一句话总结

本文提出将数值模拟的数据生成预算显式拆解为样本数量与保真度混合谱的优化问题，通过连续保真度条件调制多保真度神经代理模型，在相同计算预算下将所需数据生成开销降低多达 6.3 倍。

研究背景与动机

在科学机器学习（SciML）领域，随着神经代理模型（Neural Surrogates）参数量迈向数亿至数十亿，大模型缩放定律（Scaling Laws）对海量偏微分方程（PDE）训练数据的需求变得愈发严苛。然而，与自然语言或计算机视觉领域可低成本爬取公开数据不同，偏微分方程模拟数据完全依赖高精度的数值求解器（如有限差分、有限元或有限体积法）从头计算。在很多流体动力学与连续介质力学实际任务中，生成高精度训练集所需的算力开销已经显著超越了神经网络本身的训练成本，成为横亘在学术界与工业界之间最核心的经济与算力瓶颈。

现存的数据生成范式普遍采用单一最高保真度策略，默认整套数据集必须全部在满足工程精度要求的单一网格与容差下计算。这种惯性思维完全忽视了数值求解器内在的数学收敛特性：样本的计算开销与其精度紧密耦合，且遵循已知且可预测的收敛阶（例如空间离散误差呈代数衰减、迭代求解器截断误差呈指数收敛）。以往尝试利用低保真度数据的研究多局限于粗/细双层离散二元设定，不仅无法刻画广阔的保真度频谱，而且未从数据生成总预算（Data Generation Compute Budget）的视角系统探讨质量与数量的权衡。

面对这一矛盾，本文提出重新审视数据生成算力受限下的帕累托前沿：低保真度样本生成速度极快，能够在算力预算内提供大量全局拓扑与粗粒度场信息，而少量高保真度样本足以校准高频细节与数值基准。核心 idea：将多保真度数据生成形式化为固定算力预算下由连续参数 \(\lambda\) 控制的细粒度离散保真度 Softmax 分布，并结合正弦位置编码条件调制代理模型，在相同数据生成计算预算下实现帕累托最优的误差缩放。

方法详解

整体框架

本文方法的整体 pipeline 从预设的离散保真度谱支持集与数据生成总预算出发，通过参数化的概率质量函数分配不同保真度的样本生成配比，调用数值求解器产出带保真度标签的成对数据；神经代理模型接收输入场与对应的归一化保真度条件信号，联合学习全谱系物理场映射；在推理阶段，固定输入目标最高保真度条件向量（或将其静态折叠进网络权重），以零额外推理代价直接输出最高保真度的物理预测解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["算力预算 B 与保真度集合 Ξ<br/>锚定误差边界"] --> B["多保真度预算采样器<br/>Softmax 分布配比"]
    B --> C["数值求解器并行模拟<br/>生成离散场数据"]
    C --> D["保真度正弦编码与归一化<br/>构建线性误差表征"]
    D --> E["自适应层归一化调制<br/>多保真度代理联合训练"]
    E --> F["最高保真度推理转向<br/>零代价静态权重折叠"]

关键设计

1. 细粒度连续保真度谱设计与保真度锚定准则：打破二元粗/细保真度人为割裂

以往多保真度代理多采用“一粗一细”二元结构，但在实际工程仿真管线中，空间分辨率或迭代步数可以细致微调。本文构建包含 \(|\Xi|\) 个离散水平的保真度候选集 \(\Xi = \{\xi_1, \xi_2, \dots, \xi_{|\Xi|}\}\)，并确立严格的端点锚定准则以防止无效计算：最高保真度端点 \(\xi_{\max}\) 必须设定在略低于神经代理模型自身容量极限的位置（经验目标相对误差 \(e(\xi_{\max}) \approx 0.5\%\)），避免在模型根本无法解析的极限精度（如机器浮点误差 \(\xi_{\epsilon}\)）上浪费昂贵模拟算力；最低保真度端点 \(\xi_{\min}\) 则选在虽粗糙但仍具有清晰物理场演化信号的下界（相对误差 \(e(\xi_{\min}) \in [10\%, 30\%]\)，均值约 \(20\%\)），剔除输出完全被数值震荡和发散噪声掩盖的无效模拟。

2. 基于 Softmax 分布的预算约束多保真度采样机制：显式权衡样本质量与数量

在给定总数据生成算力预算 \(B\) 下，为了控制各保真度样本的抽取比例，算法采用以超参数 \(\lambda \in \mathbb{R}\) 控制的 Softmax 概率质量函数对归一化保真度 \(\hat{\xi}\) 进行加权抽样：

\[p(\hat{\xi}_i; \lambda, \Xi) = \frac{\exp(\lambda \, \hat{\xi}_i)}{\sum_{j=1}^{|\Xi|} \exp(\lambda \, \hat{\xi}_j)}\]

其中 \(\lambda > 0\) 偏向抽取高保真度样本，\(\lambda < 0\) 偏向抽取便宜的低保真度样本，\(\lambda = 0\) 对应均匀分布。设保真度为 \(\xi\) 时的单样本计算开销为 \(c(\xi)\)，采样器持续抽取样本直至累计成本满足 \(\sum_{j=1}^M c(\xi^{(j)}) \ge B\)。这使得期望总样本数 \(\mathbb{E}[M] = B / \mathbb{E}_{\hat{\xi} \sim p}[c(\hat{\xi})]\) 随着 \(\lambda\) 的减小而显著扩增，将有限的预算转化为更多样化、更密集的物理输入空间覆盖。

3. 保真度正弦位置编码与自适应归一化调制：赋予模型推理时保真度转向与插值能力

为了使单一代理网络能联合消化具有不同误差特征的训练数据，输入保真度参数首先根据其误差收敛规律（网格离散误差呈代数衰减 \(\mathcal{O}(\xi^{-\alpha})\)，求解器迭代误差呈指数收敛 \(\mathcal{O}(\rho^\xi)\)）进行误差线性化归一化映射 \(\hat{\xi} \in [0, 1]\)。随后利用多频带正弦编码提取高维特征表示：

\[\gamma(\hat{\xi}) = \big[\sin(\omega_0 \hat{\xi}), \dots, \sin(\omega_{J-1} \hat{\xi}), \cos(\omega_0 \hat{\xi}), \dots, \cos(\omega_{J-1} \hat{\xi})\big], \quad \omega_j = \frac{2\pi}{\ell_{\min}} 10^{-4j/J}\]

编码向量通过轻量 MLP 映射后，通过自适应层归一化（adaLN）机制调制神经网络（如 Transolver 或 AB-UPT 结构）的主干特征。这种条件机制让模型学会了“误差随着保真度参数演进”的规律，在推理阶段不仅能通过指定 \(\hat{\xi}(\xi_{\max})\) 逼近最高保真度真实解，还能平滑插值未在训练集中出现的中间保真度。

4. 基于小预算校准的最优混合比例外推策略：避免高昂的全网格搜索成本

由于不同 PDE、几何与网格拓扑的最优混合参数 \(\lambda^\star(B)\) 各不相同，直接在大算力预算下网格搜索 \(\lambda\) 极不现实。本文揭示了最优混合参数随归一化预算 \(\tilde{B} = B / c(\xi_{\max})\) 的对数增长规律，并提出拟合公式：

\[\lambda^\star(\tilde{B}) = a + b \log(\tilde{B})\]

通过在 3 个较小的基础算力预算梯级上进行少量校准训练，结合加权最小二乘法（WLS）与饱和截断（\(\lambda_{\text{sat}} = 15\)），即可将学习到的混合律外推至达 16 倍以上的超大算力规模，平均遗憾值（Regret）在求解器误差下低于 \(5\%\)。

损失函数 / 训练策略

对于结构化规则网格（如 Poisson 实验），训练损失采用标准化空间场上的标准均方误差（MSE）：

\[\zeta_{\text{grid}}(\tilde{\mathbf{u}}_h, \mathbf{u}_h) = \frac{1}{N} \|\tilde{\mathbf{u}}_h - \mathbf{u}_h\|_2^2\]

对于非结构化网格几何（如弹性力学及机翼流动模拟），训练目标采用多通道相对 \(L_2\) 误差：

\[\zeta_{\text{mesh}}(\tilde{\mathbf{u}}_h, \mathbf{u}_h) = \frac{1}{F} \sum_{f=1}^F \frac{\|\tilde{\mathbf{u}}_h^{(f)} - \mathbf{u}_h^{(f)}\|_2}{\|\mathbf{u}_h^{(f)}\|_2}\]

优化器选用 AdamW，配合单周期余弦退火（One-Cycle Cosine Annealing）学习率调度策略。在测试评估时，始终以输入最高在谱保真度条件 \(\hat{\xi}(\xi_{\max}) = 1\) 的模型输出与最高保真度数值解进行无偏评估。

实验关键数据

主实验

论文在 Poisson 方程（1D/2D/3D 网格）、线弹性力学（2D 非结构网格）、超弹性力学（Neo-Hookean 非线性材料）以及机翼 RANS 气动外流等任务上展开了超过 7,000 次训练评估。下表汇总了各典型代表任务在适中计算预算下，最佳多保真度配置（MF）相较于仅用最高保真度样本（HF）的性能对比：

数据集 / 物理场景	误差来源与模型	归一化预算 \(\tilde{B}\)	样本数 (MF vs HF)	本文相对误差 (MF)	基线相对误差 (HF)	误差相对降幅
3D Poisson	求解器误差 (U-Net)	300	722 vs 300 (+140.7%)	0.038	0.071	-46.9%
3D Poisson	离散误差 (U-Net)	300	1,799 vs 300 (+499.7%)	0.046	0.079	-42.2%
超弹性力学 (Hyperelasticity)	求解器误差 (Transolver)	400	3,188 vs 400 (+697.0%)	0.072	0.176	-59.0%
超弹性力学 (Hyperelasticity)	离散误差 (Transolver)	400	4,273 vs 411 (+939.7%)	0.111	0.219	-49.4%
线弹性力学 (Linear Elasticity)	求解器误差 (AB-UPT)	200	1,455 vs 200 (+627.5%)	0.081	0.494	-83.6%
机翼气动 (Airfoil RANS 2D)	体积场离散误差 (AB-UPT)	200	584 vs 200 (+192.0%)	0.017	0.036	-54.1%
机翼气动 (Airfoil RANS 2D)	壁面场离散误差 (Transolver)	200	940 vs 200 (+370.0%)	0.011	0.028	-62.0%
机翼阻力系数 (\(C_d\))	气动积分指标 (Transolver)	200	584 vs 200 (+192.0%)	0.046	0.109	-58.2%

消融实验

针对保真度建模方式（连续谱 vs 传统粗细二元配比）以及外推策略在不同数据集上的有效性分析如下：

配置 / 实验变体	评估环境与指标	相对测试误差 / 遗憾值 (Regret)	结论与机制说明
细粒度离散谱 (21 级保真度)	超弹性力学离散误差 (\(\tilde{B}=200\))	相对误差 0.151	多保真度连续过渡促使模型学到平滑映射，泛化更稳定
传统二元保真度 (仅取最大/最小两级)	超弹性力学离散误差 (\(\tilde{B}=200\))	相对误差 0.226 (+49.7% 劣于谱方法)	二元跳跃缺乏过渡态，无法有效捕捉复杂的收敛轨迹
仅最高保真度基线 (HF-only)	超弹性力学离散误差 (\(\tilde{B}=200\))	相对误差 0.329	样本匮乏，高保真度有限点无法充分覆盖几何变形空间
对数线性混合外推 (求解器误差)	线弹性力学 (AB-UPT, 4 个外推梯级)	平均 Regret: 0.0%, 0.6%, 5.2%, 0.0%	在求解器误差轴上外推精度极高，遗憾值几乎为零
对数线性混合外推 (求解器误差)	超弹性力学 (Transolver, 3 个外推梯级)	平均 Regret: 0.0%, 5.1%, 7.8%	非线性力学场景下依然能稳健追踪最佳混合前沿
对数线性混合外推 (离散网格误差)	机翼气动模拟 (AB-UPT, 2 个外推梯级)	平均 Regret: 0.0%, 1.7%	真实 CFD 仿真中基于小样本外推的配比非常贴近真值

关键发现

• 求解器误差轴展现出比网格离散轴更优越的实用性：在非结构网格结构力学与流体力学中，调节求解器迭代步数（如线性求解器的 Gauss-Seidel 步数或非线性 Modified Newton 迭代步）保持了网格拓扑与空间分辨率不变，避免了神经算子在跨两三个数量级分辨率变化时面临的频域泛化退化问题，在相同误差阈值下实现了多达 6.3 倍的计算节省（相比之下网格离散轴节省约为 2.1 倍）。
• 中低计算预算区间收益最为丰厚：在等价高保真度样本数 \(\tilde{B} \in [100, 500]\) 的区间内，多保真度训练能够以便宜数倍至十余倍的代价充实样本池，普遍带来 \(50\% \sim 80\%\) 的相对误差压降；而在预算趋于无限大时，高保真度数据已足够密集，二者曲线自然渐近收敛。
• 物理场收益能够端到端传导至工程宏观指标：机翼实验表明，体积压力/速度场与表面剪切应力上的误差减少，直接转化为了升力系数 \(C_l\) 与阻力系数 \(C_d\) 等气动积分指标的大幅改善（如 Transolver 在 \(\tilde{B}=200\) 下阻力预测误差从 \(0.109\) 骤降至 \(0.046\)）。

亮点与洞察

• 将保真度从二元离散扩展至连续频谱：突破了以往多保真度研究仅在单一粗网格与单一细网格之间微调的局限，证明了密集采样的离散谱能让代理模型构建平滑的收敛流形，显著优于端点二元混合。
• 利用数值求解器的先验收敛阶构造线性化条件输入：结合代数收敛与指数收敛规律，将不同维度的数值误差先验映射为归一化的正弦位置编码，让模型自然具备在推理时按需转向目标精度的能力。
• 可复用的数据预算标定与外推范型：通过在小算力预算下拟合对数线性律，工程团队无需在大规模数据生成阶段反复进行网格调参，即可直接预测最优保真度配比，兼具理论指导与落地可行性。

局限与展望

• 假设数据生成成本远大于网络训练成本：该假设在三维高精度的 CFD、结构力学仿真中完全成立，但如果数值求解器本身极快（如简单二维稳态标量问题），多保真度混合带来的网络多轮训练及调参开销可能削弱端到端总收益。
• 尚未直接覆盖建模误差（Modeling Error）：本文主要探索了离散误差与求解器迭代截断误差，未涉及湍流模型（如 RANS 到 LES）等跨不同物理假设的建模误差混合，后者往往涉及跨维度的相空间分布偏移。
• 未来方向：将标量保真度条件扩展为包含时空多尺度、湍流闭合参数的向量上下文；将静态对数外推拓展为基于主动学习（Active Learning）的动态在线样本保真度决策。

相关工作与启发

• vs Composite DeepONets / 迁移学习多保真度方案：以往工作（如 Lu et al., 2022; Tang et al., 2024）多使用预先训练好的低保真度网络再进行残差修正或高保真度微调，不仅架构繁冗且无法分析数据生成总算力下的帕累托权衡；本文采用单模型端到端条件化统一训练，并在同一算力标尺下给出了系统的缩放法则。
• vs 视觉与语言多模态数据缩放法则 (Data Scaling Laws)：NLP 领域的 Chinchilla 关注模型参数与训练 token 的配比，而 Goyal et al. 关注数据过滤质量；本文首次将科学计算领域特有的“数据质量已知且可由数值求解器显式计算”这一特性形式化为连续可控谱，确立了 SciML 专属的数据算力最优缩放范式。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从算力最优数据生成视角全面系统化多保真度连续谱缩放，理论视角与实验框架极其扎实。
• 实验充分度: ⭐⭐⭐⭐⭐ 跨越 6 种偏微分方程、网格与非结构网格、4 种核心神经算子架构，累计超过 7,000 次独立训练与 12,000 GPU-hours。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导环环相扣，从数学形式化、锚定设计到工程落地外推阐述得非常透彻。
• 价值: ⭐⭐⭐⭐⭐ 直接击中 AI for Science 大规模模型预训练中最核心的数据生成成本壁垒，对工业界工程仿真代理研发具有极高指导意义。

相关论文

• [NeurIPS 2026] Geometry Meets Physics: Data-Efficient Pre-Training for Unstructured Neural PDE Solvers
• [NeurIPS 2026] Phaedra: Learning High-Fidelity Discrete Tokenization for the Physical Sciences
• [NeurIPS 2025] Multi-Trajectory Physics-Informed Neural Networks for HJB Equations with Hard-Zero Terminal Inventory: Optimal Execution on Synthetic & SPY Data
• [NeurIPS 2026] In-Context Multi-Operator Learning with DeepOSets
• [NeurIPS 2026] Optimal Algorithmic Complexity of Inference in Quantum Kernel Methods