Advectra: Asymmetric Latent Transport for Non-Stationary Physics

会议: NeurIPS 2026
arXiv: 2610.05098
OpenReview: https://openreview.net/forum?id=wJA5smlez3
论文: https://arxiv.org/abs/2610.05098
领域: 其他
关键词: 神经算子, 非定常物理系统, 输运主导流动, 运动坐标系, 状态空间模型

一句话总结

针对神经算子在输运主导系统中难以追踪相干结构的局限，Advectra 通过正则化运动学坐标映射解耦源坐标与目标坐标图卡，构建共动隐式参考系并配合几何感知潜变量排序，在保持高维全局交互的同时大幅降低平流扩散误差。

研究背景与动机

神经算子（Neural Operators）作为偏微分方程（PDE）求解与工业仿真的高效代理模型取得了显著进展。从早期基于均匀网格的傅里叶神经算子（FNO），到处理非结构化几何与离散网格的图神经网络（MeshGraphNet、GNO）和基于物理注意力（Physics-Attention）的隐式切片路由模型（Transolver），研究重点主要集中在空间离散化的不变性与几何适应性上。近期甚至出现了以 LinearNO 为代表的无固定结构（form-free）算子，主张用广义线性注意力替代显式物理切片交互。

然而，现有隐式神经算子大多隐含着一个静态假设：它们将输入与输出物理场绑定在固定或对称共享的单一隐式图卡（latent chart）中。以 Transolver 的对称物理注意力为例，特征投影与重建共用同一套分配矩阵（即 \(Z=W^\top V, Y=WZ'\)）。在湍流、涡旋脱落、混合层以及钝体空气动力学等输运主导（transport-dominated）系统中，质量与动量在流动中发生连续平流迁移，相干结构（如涡旋和剪切层）随时间剧烈移动和变形。固定的隐式参考系强迫模型只能通过反复的局部特征混合来间接模拟对流，不可避免地引发严重的人工数值扩散，抹平了清晰的界面和锋面。

为打破固定空间图卡的束缚，本文的核心 idea 是引入基于正则化运动学映射的非对称隐式输运机制，解耦源与目标参考系以构建共动图卡，并配合几何感知顺序使状态空间模型沿平流连续路径稳定积分。

方法详解

整体框架

Advectra 的核心流程分为四个主要阶段：首先将物理空间坐标、输入特征和时间偏置统一嵌入为特征荷载与局部坐标图卡；接着利用正则化运动学位移场将源/目标坐标及隐式锚点（anchors）分别输运至独立的运动参考系；随后在源参考系中通过单位分解核执行非对称特征聚合，获得紧凑的潜变量序列；最后通过几何贪心近邻排序将潜变量沿物理临近路径送入双向状态空间模型（SSM）进行全局演化，并在目标参考系中完成高保真场重建。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["物理输入<br/>(坐标 X, 特征 V, 时间 t)"] --> B["特征与坐标嵌入<br/>坐标图卡 X 与荷载 V"]
    B --> C["运动学坐标位移场<br/>解耦生成源/目标图卡与锚点"]
    C --> D["非对称隐式路由<br/>源参考系单位分解聚合"]
    D --> E["几何感知潜变量排序<br/>贪心近邻生成 1D 连续路径"]
    E --> F["双向状态空间模型<br/>全局潜变量动态序列演化"]
    F --> G["目标参考系逆向解码<br/>输出物理场重构"]

关键设计

1. 运动学坐标位移场：解耦源与目标参考系

为了使神经算子摆脱欧拉固定网格的限制，Advectra 构建了类似于拉格朗日观察者的动态隐式参考系。模型定义了一组可学习的局部潜变量锚点 \(C \in \mathbb{R}^{G \times d}\) 以及相对目标偏置 \(\Delta \in \mathbb{R}^{G \times d}\)，并由锚点均值拼接入上下文向量 \(s = \bar{C} \oplus \bar{\Delta}\)。利用满足局部利普希茨约束（Lipschitz constant \(\le 0.95 < 1\)）的光滑位移场映射 \(\mathcal{T}\) 和 \(\mathcal{U}\)，分别对网格点坐标和潜变量锚点施加动力部位移：

\[X^{src} = X + \mathcal{T}(X, s), \quad X^{tgt} = X^{src} + \mathcal{T}(X^{src}, s)\]

\[C^{src} = C + \mathcal{U}(C, s), \quad C^{tgt} = (C + \Delta) + \mathcal{U}(C + \Delta, s)\]

由于雅可比矩阵满足 \(\|\nabla_x \mathcal{T}(x, s)\|_{\mathrm{op}} < 1\)，由反函数定理可知该映射为局部双射且局部不折叠（non-folding）。这意味着源坐标系 \((X^{src}, C^{src})\) 与目标坐标系 \((X^{tgt}, C^{tgt})\) 各自形成了局部有效、近似共动（approximately co-moving）的坐标图卡，从而为后续的非对称特征聚合与解耦重建提供了几何基础。

2. 非对称隐式路由：输运感知特征投影与目标解码

在传统 Physics-Attention 中，编码与解码共享权重矩阵，导致输运效应被强制约束在原位混叠。Advectra 采用正定相似核函数 \(\kappa\) 构建源分配矩阵 \(\Psi_{ig}\) 与目标分配矩阵 \(\Phi_{ig}\)。源分配矩阵在源图卡中建立针对锚点的局部单位分解（Partition of Unity），将高维网格特征加权投影为 \(G\) 个紧凑潜变量：

\[Z_g = \frac{\sum_{i=1}^M \Psi_{ig} V_i}{\sum_{i=1}^M \Psi_{ig}}, \quad \Psi_{ig} = \frac{\kappa(x_i^{src}, c_g^{src})}{\sum_{k=1}^G \kappa(x_i^{src}, c_k^{src})}\]

经过中间潜在状态空间演化得到更新后的潜变量 \(Z'\) 后，模型不返回源图卡，而是直接在目标图卡中利用目标分配矩阵 \(\Phi\) 进行场重建：\(Y_i = \sum_{g=1}^G \Phi_{ig} Z'_g\)。理论证明，当潜在演化算子退化为恒等映射时，只要目标核基底与源核基底关于对流流场满足推前变换（pushforward），这种非对称投影能严格无耗散地表示纯平流输运过程。

3. 几何感知潜变量排序：保持 1D SSM 的物理邻近性

潜变量序列需要在压缩状态下捕获全局长程依赖。虽然 1D 状态空间模型（SSM，如 Mamba）具有线性复杂度，但在直接展平高维或 3D 非规则几何结构时，任意无序排列会破坏局部物理邻近关系，导致序列更新在物理上相距甚远的区域之间产生跳跃式虚假交互。Advectra 针对源锚点与目标锚点计算物理中点 \(m_g = \frac{1}{2}(C_g^{src} + C_g^{tgt})\)，并利用确定性贪心最近邻算法遍历 \(\{m_g\}\) 生成置换矩阵 \(P_\pi\)：

\[Z' = \sigma\left(P_\pi^\top \mathcal{S}_{SSM}(P_\pi Z)\right)\]

该排序将相邻序列更新的累计物理跳跃距离大幅压缩，使 1D SSM 沿着空间上光滑连续的物理轨迹执行状态迁移，同时自然保留少量跨区域的稀疏长程跳转，有效解决了 3D 复杂工程几何下隐式 SSM 退化的问题。

损失函数 / 训练策略

在 POSEIDON 偏微分方程基准测试中，Advectra 采用半群风格（semigroup-style）的长周期直接预测协议，在固定长时预测步长下通过相对 \(L_2\) 误差优化模型；对于工业空气动力学仿真（如 ShapeNet-Car 与 AirCraft），模型采用包含体场（volume field）与表面场（surface field）的复合相对加权损失：

\[\mathcal{L} = \mathcal{L}_{\mathrm{volume}} + \lambda \mathcal{L}_{\mathrm{surface}}\]

模型采用 Adam/AdamW 优化器配合 OneCycle 学习率衰减调度器。在训练过程中，几何排序置换矩阵 \(P_\pi\) 每隔 \(K=100\) 次迭代离散刷新一次，且不反向传播梯度，使每层摊销计算复杂度完全稳定在 \(O(MGD)\)，保持了与常规隐式神经算子同阶的显存与计算开销。

实验关键数据

主实验

论文在 POSEIDON 输运主导 PDE 基准（Rayleigh–Taylor 不稳定性 GCE-RT、被动标量输运 NS-Tracer-PwC、强制 Kolmogorov 流 FNS-KF）以及工业气动基准（AirfRANS 与 3D 汽车空气动力学 ShapeNet-Car）上进行了广泛评测，报告相对 \(L_2\) 误差（\(\downarrow\)）与斯皮尔曼等级相关系数（\(\uparrow\)）。

基准任务 / 数据集	关键预测场 / 指标	Advectra (本文)	最优基准模型 (指标)	相对改善幅度
NS-Tracer-PwC (\(t=14\))	示踪剂相对误差 (tracer \(\downarrow\))	0.1607	0.2311 (LaMO) / 0.2047 (U-Net)	降低 21.5% ~ 30.4%
NS-Tracer-PwC (\(t=14\))	速度场相对误差 (\(\mathbf{v} \downarrow\))	0.1209	0.1577 (FNO) / 0.1773 (LaMO)	降低 23.3% ~ 31.8%
FNS-KF (\(t=14\))	速度场相对误差 (\(\mathbf{v} \downarrow\))	0.1202	0.1317 (FNO) / 0.1627 (LaMO)	降低 8.7% ~ 26.1%
GCE-RT (\(t=7\))	密度场相对误差 (\(\rho \downarrow\))	0.0149	0.0171 (Transolver++)	降低 12.9%
GCE-RT (\(t=7\))	速度场相对误差 (\(\mathbf{v} \downarrow\))	0.0595	0.0671 (Transolver++)	降低 11.3%
ShapeNet-Car (3D)	空间体场误差 (Volume \(\downarrow\))	0.0149	0.0194 (LinearNO) / 0.0210 (SpiderSolver)	降低 23.2% ~ 29.0%
ShapeNet-Car (3D)	阻力系数排序相关性 (\(\rho_D \uparrow\))	0.9941	0.9928 (SpiderSolver) / 0.9925 (LinearNO)	显著提升排序一致性
AirCraft (3D)	轴向速度误差 (\(U \downarrow\))	0.0057	0.0091 (Transolver)	降低 37.3%

消融实验

论文在 NS-Tracer-PwC 与 ShapeNet-Car 两个代表性任务上，对几何感知排序（Ordering）与隐式输运坐标更新（Transport）进行了系统消融（如下表所示）：

配置	NS-Tracer 速度 \(\mathbf{v} \downarrow\)	NS-Tracer 示踪剂 \(\downarrow\)	ShapeNet-Car 体误差 \(\downarrow\)	阻力系数相关性 \(\rho_D \uparrow\)	说明
Advectra (Full)	0.1209	0.1607	0.0149	0.9941	完整模型：共享运动映射 + 贪心排序
独立扭曲 (Independent Warps)	0.1548	0.2183	0.0174	0.9931	源与目标独立学习坐标变形场
无几何排序 (w/o Ordering)	0.1446	0.1840	0.0169	0.9923	移除几何排序，潜变量随机/默认输入
无隐式输运 (w/o Transport)	0.1858	0.2435	0.0159	0.9928	移除运动学坐标位移，采用静态对称图卡
两者皆无 (w/o Both)	0.2001	0.2525	0.0169	0.9918	退化为无输运且无排序的隐式结构

关键发现

• 流动主导任务核心受益于隐式输运：在 NS-Tracer-PwC 中，移除隐式输运导致示踪剂误差暴增 51.5%（从 0.1607 恶化至 0.2435）；质心偏移分析（COM Diagnostic）显示 Advectra 将质心误差降低约 40%，且平移校准后误差比值 \(R \approx 1.01\)，表明模型误差源自局部微观结构残差而非整体平流滞后。
• 高维复杂几何核心受益于几何排序：在 3D ShapeNet-Car 稳态外流场中，移除排序导致的体场误差下降幅度（0.0149 到 0.0169）远大于移除输运，这表明将 3D 几何投影至 1D SSM 时，维持局部物理连贯性是解决非定常/不规则几何建模的决定性瓶颈。
• 对排序刷新频率展现极强鲁棒性：排序更新间隔从 25 步扩大至 400 步时，ShapeNet-Car 体场误差几乎完全稳定在 0.015 左右，证明几何排序发挥的是周期性拓扑正则化作用，而非每步必须高频调整的脆弱超参。

亮点与洞察

• 将拉格朗日共动参考系引入隐式神经算子：传统模型常将物理平流与网格扩散强行在固定参考系中耦合，Advectra 通过李普希茨正则化的轻量级残差坐标映射实现了隐式图卡的动态追踪，在数学上证明了局部不折叠性并逼近推前平流算子。
• 巧妙化解 1D SSM 处理 3D 不规则网格的拓扑失真：通过在输运后的锚点中点空间进行贪心近邻序列化，平滑了状态空间模型的沿途特征跳跃，使序列平均物理跳步长度缩短 16.4%，从根本上缓解了 Transformer 替代方案（Mamba）在高维非结构网格上退化的问题。
• 更优的隐式 Token 利用效率：在 Airfoil 基准测试中，Advectra 仅使用 32~64 个潜变量 Token 即达到性能饱和区，而 Transolver 与 LaMO 则需要依赖 128 个切片，这表明运动感知表征显著提升了单位潜变量的信息承载力。

局限与展望

• 强激波与拓扑突变适应受限：模型所依托的反函数定理与利普希茨正则化要求坐标变换具备局部连续可逆性，在强激波形成、特征线交叉或流场拓扑结构剧烈断裂的多对一物理演化中可能受阻。
• 未显式融入严格物理守恒律：虽然质量矩诊断显示示踪剂整体质量损失低于 0.67%，但隐式图卡并未在网络架构中硬编码质量、动量等全局守恒约束。
• 未来方向：可进一步探索分段隐式图卡（Piecewise latent charts）、激波感知门控机制，以及具备辛几何或保体积性质的参数化物理正则项。

相关工作与启发

• vs Transolver / Transolver++: Transolver 基于 Physics-Attention 使用单一共享权重矩阵完成投影与重构，导致输运特征被抹平；Advectra 将其解耦为源与目标两组非对称图卡，从根源上消除了平流滞后。
• vs LinearNO: LinearNO 认为隐式物理切片是多余约束并转向无规则线性注意力，但在 NS-Tracer 等强平流问题上表现严重下滑（示踪剂误差 0.2811 vs Advectra 的 0.1607）；实验证明针对非定常物理系统，显式的输运归纳偏置不可或缺。
• vs LaMO: LaMO 首次将 Mamba 引入 PDE 求解，但在 3D 几何（如 AirCraft）上由于缺乏序列空间拓扑约束而表现平庸；Advectra 提出的贪心几何排序有效弥合了 1D SSM 与 3D 空间结构的鸿沟。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次在隐式神经算子中提出正则化共动图卡与非对称物理路由，构思精巧。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2D/3D PDE、复杂真实工业级空气动力学（AirCraft 30 万节点）及详尽的矩诊断分析。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，数学理论证明（局部可逆性、推前平流算子形式）完备扎实。
• 价值: ⭐⭐⭐⭐⭐ 为流体力学、气动外形优化等输运主导复杂系统的神经算子设计开辟了新范式。

相关论文

• [NeurIPS 2026] Neural Field Thermal Tomography: A Differentiable Physics Framework for Non-Destructive Testing
• [NeurIPS 2026] What Matters for Diffusion-Friendly Latent Manifold? Prior-Aligned Autoencoders for Latent Diffusion
• [NeurIPS 2026] Principia: Relational Physics Tests for Video Models
• [NeurIPS 2026] On Observation Time for Recovering Latent Hawkes Networks
• [NeurIPS 2026] Why Latent Actions Fail, and How to Prevent It