跳转至

Adaptive Coordinate Transforms for Neural Operators

会议: NeurIPS 2026
arXiv: 2605.06203
OpenReview: https://openreview.net/forum?id=0FTnHtuj1L
领域: 其他
关键词: 神经算子, 偏微分方程, 自适应坐标变换, 几何对齐, 谱偏差调制

一句话总结

针对传统神经算子受困于固定欧拉坐标系所致的空间错位与过度平滑问题，本文提出即插即用的自适应坐标变换（ACT）模块，通过特征条件驱动的可微重采样动态对齐潜空间并解耦局部梯度陡峭度，在多个经典算子骨干与跨维PDE基准上取得显著误差降低。

研究背景与动机

神经算子近年来已成为偏微分方程（PDE）高效求解的重要范式，如傅里叶神经算子（FNO）、ConvNeXt-UNet（CNextU）和 Transolver 等，在流体力学与波动力学模拟中展现出优秀的拟合能力。然而，现存绝大多数神经算子架构本质上都固守在预设的静态欧拉网格（fixed Eulerian coordinates）上。在许多连续对流、激波扩散或涡旋演化主导的动力学系统中，流动结构随着时间在空间中大范围迁移演化，而静态坐标系统与演化物理结构之间的天然错位，强迫网络去学习高度非局部且异常复杂的输入-输出算子映射，严重加剧了算子学习的优化难度。

除了空间错位带来的非局部复杂度激增，固定网格下的深度神经网络还面临固有的谱偏差（spectral bias）或平滑偏好（smoothness preference）。深度模型倾向于拟合平滑的低频模式，难以保持强非线性演化中的解正则性，在面对激波（shocks）、剪切层或陡峭界面时往往产生过度的数值耗散与模糊。在经典数值计算领域，任意拉格朗日-欧拉（ALE）方法与自适应移动网格（moving mesh methods）通过令坐标系随流体运动变形并在强梯度处局部压缩网格，从根本上化解了固定网格的对流困难与界面耗散。受这一数值思想启发，若能在算子神经网络的隐层表征学习中原生引入自适应坐标变换，将显著减轻骨干网络吸收空间几何变形的负担。

本文的核心 idea 是将经典自适应网格机制内化为神经算子层间的即插即用模块（ACT），通过残差预测连续坐标偏移场并实施可微网格重采样，同时在深层架构中自发形成“浅层追踪对流以稳定潜空间、终层雅可比压缩以放大梯度陡度”的双重功能解耦。

方法详解

整体框架

本文构建的自适应坐标变换（ACT）框架旨在通过数据驱动方式显式完成特征空间的几何重对齐，而不是强迫算子骨干网络用参数隐式吸收几何畸变。在整体拓扑上，ACT 模块以残差和组合方式交替插入到基础算子骨干（如 FNO、CNextU、Transolver）的每一层中，使得整个隐层堆叠交替进行“算子特征更新”与“几何自适应重采样”。

每个 ACT 模块接收输入特征图 \(h\)，首先预测多头特征条件下的连续坐标位移场，随后在标准化参考坐标网格上生成变形采样网格，通过保持周期性等拓扑边界的可微网格采样（grid sample）重构特征，最后经由线性投射与残差连接融合输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入状态序列 u(t0:tk)"] --> Lift["升维与基底坐标编码"]
    Lift --> Op["骨干算子更新: G_theta^l<br/>谱卷积 / 空间注意力 / 层次卷积"]
    Op --> HeadSplit["多头特征投射与坐标拼接<br/>fin^(m) = [Vm, xi]"]
    HeadSplit --> Pred["1. 多尺度残差位移预测<br/>1x1 + 3x3 + 空洞卷积融合 & tanh截断"]
    Pred --> Resamp["2. 保物理拓扑的可微网格重采样<br/>周期性域边界重映射 & 双线性采样"]
    Resamp --> Merge["3. 多头特征拼接与残差融合<br/>投影线性层 + 残差快捷分支 + 归一化"]
    Merge -->|层级交替堆叠| NextL{"是否达到终层?"}
    NextL -->|否| Op
    NextL -->|是| Decouple["4. 终层雅可比梯度调制<br/>局部网格压缩恢复锐利物理界面"]
    Decouple --> Proj["降维投影头 Q"]
    Proj --> Out["预测物理场 u(tk+1)"]

关键设计

1. 多尺度残差位移预测：解耦大幅对流与局部形变 传统固定欧拉坐标系下的网络更新必须同时兼顾大尺度平流输运与微观尺度演化。为使几何重对齐在训练初期具备极高稳定度，ACT 采用基于恒等映射的残差位移表征。给定隐层特征图 \(h \in \mathbb{R}^{B \times C \times H \times W}\)，首先将其投影并拆分为 \(M\) 个独立的注意力头特征 \(V_m\)。为了引入绝对几何参照，标准归一化基底坐标 \(\xi \in [-1, 1]^d\) 在通道维度与各头特征进行显式拼接，构成 \(f_{\mathrm{in}}^{(m)} = [V_m, \xi]\)。位移预测塔由并行的 \(1\times 1\) 卷积、\(3\times 3\) 卷积以及空洞 \(3\times 3\) 卷积组成多尺度分支，以捕获从局部剪切变形到长程漂移的不同波长位移。最后通过融合卷积与双曲正切函数约束最大位移幅度：

\[\Delta_{h}^{(m)} = \alpha \tanh\Big(\mathrm{Conv}_{\mathrm{fuse}}\big(\sigma([\mathrm{Conv}_{1\times 1}(f_{\mathrm{in}}^{(m)}), \mathrm{Conv}_{3\times 3}(f_{\mathrm{in}}^{(m)}), \mathrm{Conv}_{\mathrm{dilated}}(f_{\mathrm{in}}^{(m)})])\big)\Big)\]

其中 \(\alpha\) 是最大可允许位移幅度，在层次多尺度架构（如 CNextU）中按局部网格分辨率自适应缩放，最后一层融合卷积参数初始化为零。当网络开始训练时，位移场恒为零，采样映射精准退化为恒等变换，从而彻底规避了训练初期的几何震荡。

2. 保物理拓扑的可微网格重采样：消除虚假边界效应 预测的位移场定义了自适应采样坐标映射 \(\phi_h^{(m)}(\xi) = \xi + \Delta_h^{(m)}(\xi)\)，并通过连续插值采样出变换后的特征图 \(\widetilde{V}_m(\xi) = V_m(\phi_h^{(m)}(\xi))\)。然而，深度学习常规的网格采样往往采用边缘截断（clamping）策略，这直接违背了许多物理系统（如环面流动、周期性剪切层）的几何连续性。如果采样坐标超出边界时直接截断在边界点，将导致虚假的边界质量堆积与伪影。ACT 显式结合物理问题的拓扑边界条件，在重采样前对越界坐标执行周期性折叠投影：

\[\hat{\phi}(\xi) = \big((\phi(\xi) + 1) \bmod 2\big) - 1, \quad \xi \in [-1, 1]^d\]

此机制确保了向边界外运动的涡旋或波动能够平滑穿透并从对向边界自洽采回特征，保持了算子在周期性环面流形上的守恒性质与物理一致性。

3. 多头特征拼接与残差融合：维持算子线性与表达能力 在得到所有经几何对齐的重采样头特征 \(\widetilde{V}_m\) 后，ACT 并不直接替换原始特征，而是将其沿通道维度拼接后经过点级线性层 \(W_o\) 进行信息交叉融合。与此同时，原始特征 \(h\) 经由残差映射分支 \(h_{\mathrm{res}} = W_{\mathrm{res}} h\) 传递，最终输出结合两者并通过归一化层约束幅度：

\[\widetilde{h} = \mathcal{T}_{\theta}(h) = \mathrm{Norm}\Big(W_{\mathrm{res}} h + W_o\big(\mathrm{Concat}(\widetilde{V}_1, \dots, \widetilde{V}_M)\big)\Big)\]

这种双路残差设计确保了算子主干不必承担剧烈的特征重写风险，使得 ACT 仅仅提供坐标基底层面的增量几何校正，算子核心表征能力得以完整保留。

4. 自主功能解耦与终层雅可比梯度调制：打破谱偏差平滑限制 在深层堆叠的神经算子中，ACT 模块自发表现出随网络深度变化的自主分工现象。在理论上，对于积分算子 \(v(x) = \int_{\Omega} K(x, y) u(y) dy\)，输入端坐标变换 \(y = \phi_{\mathrm{in}}(\xi)\) 与输出端变换 \(x = \phi_{\mathrm{out}}(\xi)\) 会分别以互补方式重塑有效积分核：前者通过核函数变形叠加雅可比行列式乘子 \(|\det \nabla \phi_{\mathrm{in}}(\xi)|\) 改变源域聚合方式，后者直接改变算子评估查询坐标。实验揭示，前层与中间层的 ACT 模块主要承担“空间追踪器”角色，消除平流迁移带来的错位，简化潜在映射复杂度；而最末层的 ACT 模块则扮演“正则性调制器”。当输出侧诱导重参数化 \(\bar{v}(\xi) = v(\phi(\xi))\) 时，链式法则导出其空间导数关系：

\[\nabla_{\xi} \bar{v}(\xi) = \nabla \phi(\xi)^{\top} \nabla_x v\big(\phi(\xi)\big)\]

当终层 ACT 在激波或界面前沿诱导局部的坐标压缩时，雅可比矩阵 \(\nabla \phi(\xi)\) 充当了物理梯度的放大倍率因子。这使得网络无须在权重参数层面强行拟合病态的超高频响应，即可通过几何压缩效应直接在物理空间还原出极具锐利度的激波前沿与相界面，从而在机理上克服了神经网络固有的平滑偏好。

损失函数 / 训练策略

模型采用标准的时序多步自回归范式，输入历史 \(k+1\) 个连续时间步的状态场 \((u(\cdot, t_0), \dots, u(\cdot, t_k))\)，预测未来步 \(u(\cdot, t_{k+1})\)。模型使用均方误差（MSE）作为全局优化损失函数：

\[\mathcal{L} = \frac{1}{B} \sum_{i=1}^B \| \mathcal{F}_{\theta}(u_{\mathrm{in}}^{(i)}) - u_{\mathrm{gt}}^{(i)} \|_2^2\]

优化器采用 AdamW，初始学习率设为 \(5 \times 10^{-4}\)，权重衰减为 \(1 \times 10^{-4}\)，梯度裁剪阈值设置为 \(1.0\)。学习率调度采用 StepLR，对二维系统每 50 个 epoch 衰减 0.5，对三维系统每 25 个 epoch 衰减 0.5。为节约训练显存开销，位移张量在训练阶段不向外暴露，仅在评估模式下输出用于可视化分析。

实验关键数据

主实验

评估指标采用归一化均方根误差（NRMSE），实验覆盖二维与三维共 6 个经典物理数据集（Navier-Stokes、Diff-Reaction、Shallow-Water、Active-Matter、TRL-2D、3D MHD-64），全面测试了 CNextU（卷积）、Transolver（注意力）和 FNO（谱方法）三大基干网络引入 ACT 后的性能提升。

数据集 维度/特性 CNextU (VAN) CNextU (+ACT) Transolver (VAN) Transolver (+ACT) FNO (VAN) FNO (+ACT)
Navier_Stokes 2D 涡旋流动 6.13% 4.96% (↓19.1%) 32.29% 1.35% (↓95.8%) 2.22% 0.62% (↓72.1%)
Diff_Reaction 2D 斑图扩散 4.03‰ 1.20‰ (↓70.2%) 2.20‰ 0.69‰ (↓68.6%) 1.66‰ 1.34‰ (↓19.3%)
Shallow_Water 2D 溃坝激波 2.11‱ 1.58‱ (↓25.1%) 3.49‱ 0.78‱ (↓77.7%) 1.38‱ 0.93‱ (↓32.6%)
Active_Matter 2D 活性悬浮 3.43% 2.31% (↓32.7%) 18.61% 4.91% (↓73.6%) 4.49% 2.69% (↓40.1%)
TRL_2D 2D 辐射湍流 9.14% 7.57% (↓17.2%) 20.34% 6.98% (↓65.7%) 11.97% 8.95% (↓25.2%)
MHD_64 3D 磁流体湍流 12.08% 9.63% (↓20.3%) 29.30% 6.82% (↓76.7%) 15.40% 9.09% (↓41.0%)
平均相对降幅 全基准综合 — ↓30.8% — ↓76.4% — ↓38.4%

消融实验

在 Navier-Stokes 基准上使用 FNO 骨干进行受控消融实验，验证误差降低源自几何坐标自适应机制本身，而非模型参数量的被动增加：

模型配置 参数量 (Params) NRMSE 相比基线相对降幅 说明
FNO (Vanilla) 16.8M 2.22% — 标准基准模型
FNO (2× Params 扩大容量) 37.9M 1.80% ↓18.9% 单纯参数翻倍，收益有限
FNO + Final ACT (仅末层) ~16.85M 1.15% ↓48.2% 仅做终层坐标变换，显著锐化梯度
FNO + Layer-wise ACT (逐层) 16.87M 0.62% ↓72.1% 浅层几何对齐 + 终层梯度调制全生效

此外，在计算开销与显存开销方面（基于浅水波 Shallow_Water 测定）： - CNextU：参数量从 18.57M 微增至 19.57M（仅 +5.37%），前向推理耗时从 0.038s 变为 0.072s。 - FNO：参数量从 16.83M 微增至 16.87M（仅 +0.27%），前向推理耗时从 0.029s 变为 0.054s。 - Transolver：参数量从 0.18M 增至 0.33M，单步耗时从 0.128s 变为 0.210s。

关键发现

  • Transolver 受益最为显著：Transolver 在无坐标变换时处理强对流复杂流动（如 Navier-Stokes 的 32.29%、MHD_64 的 29.30%）误差极大，但融合 ACT 后误差暴降 76.4%（Navier-Stokes 达到 1.35%，相对降幅达 95.8%），说明注意力机制对固定网格下的严重空间错位极度敏感，而几何重采样直接打通了其表达瓶颈。
  • 参数效率极高：FNO 仅增加 0.27%（0.04M）的微量参数，便在平均意义上带来 38.4% 的相对误差消除，效果远超将 FNO 参数量直接翻倍（37.9M 仅取得 1.80% NRMSE，而 +ACT 达 0.62%）。
  • 空间与维度泛化稳定：ACT 不仅在标准 2D 正方形网格表现优异，在 2D 非均匀比例网格（TRL_2D: \(128 \times 384\)）和 3D 立体网格（MHD_64: \(64^3\)）中均能稳健运作并实现 20%~76% 的性能增益。

亮点与洞察

  • 将经典自适应网格计算思想与现代神经算子优雅结合：不同于前序工作只在数据预处理阶段做坐标变换或仅优化网格剖分，ACT 将坐标形变融入到神经算子隐层传播过程中，让网络每一层都能“在最舒适的坐标系下做算子更新”。
  • 揭示层级深度的自主功能解耦机制：深层堆叠的 ACT 模块并非机械重复相同操作，而是前端层负责追踪流体整体迁移对齐表征，末端层通过局部坐标压缩的雅可比乘子机制直接放大物理梯度，有效攻克了深度网络的谱偏置平滑弊病。
  • 保物理拓扑的周期性坐标折叠：通过取模重映射（periodic fold）解决了微分网格采样在周期性物理域上的边缘截断失真，保证了连续物理拓扑结构的自洽性。

局限与展望

  • 计算与显存开销的权衡：尽管参数增量极微（FNO 仅 +0.27%），可微网格采样操作（grid_sample）在反向传播时需要保留坐标与采样图的梯度计算图，使显存占用与推理耗时略有上升（约 1.5~2 倍）。
  • 几何依赖性与任务边界：作者坦承对于不存在明显平流输运、大变形或激波界面的静态扩散问题，ACT 的性能增益相对有限；几何重对齐的红利主要集中于对流主导与复杂界面问题。
  • 向非结构化网格拓展的挑战：当前实现依托于张量化网格（structured grid）的双线性/三线性插值，未来需进一步推广到复杂几何边界、非结构化四面体/多边形网格及无网格（point cloud）算子学习架构中。

相关工作与启发

  • vs. FNO / Transolver / CNextU (经典固定坐标算子)：传统算子仅在固定欧拉网格上依靠谱卷积、自注意力或局部卷积隐式逼近非局部流动，导致模型在对流剧烈时难以拟合；ACT 提供显式几何对齐，将复杂非局部映射化解为更局部的平滑映射。
  • vs. Geo-FNO / Lie Algebra Canonicalization (预处理与全局形变映射)：Geo-FNO 等方法学习从物理复杂几何到计算矩形域的全局静态坐标映射，而 ACT 是特征条件驱动、层层递进、动态演化的隐层坐标调整。
  • vs. Deformable Convolution / Deformable Attention (视觉可变形模块)：视觉中的可变形卷积通常用于检测与分割中对物体形变的捕捉，且缺乏物理边界约束；ACT 引入了保拓扑周期性折叠投影、雅可比梯度调制机制，紧密贴合 PDE 的连续介质力学特性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙借鉴 ALE 与移动网格思想，首次提出并论证了神经算子层级坐标变换与功能解耦机制。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 2D/3D、6 大物理基准、3 大异构算子骨干，参数量消融与机理分析完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，数学推导与物理直觉高度契合，图表信息充实且论证逻辑清晰。
  • 价值: ⭐⭐⭐⭐⭐ 为解决神经算子在对流主导问题中的非局部与平滑困境提供了极具通用性的即插即用基石模块。

相关论文