GeoTransolver: Learning Physics on Irregular Domains using Multi-scale Geometry Aware Physics Attention Transformer¶

会议: NeurIPS 2026
arXiv: 2512.20399
代码: https://github.com/NVIDIA/physicsnemo-cfd
领域: 物理驱动与仿真
关键词: 神经算子, 几何感知注意力, 多尺度球查询, 工业CAE代理模型, 跨工况持久调节

一句话总结¶

针对工业CAE中几何细节沿网络深度稀释、非均匀网格尺度失配及单次工况调节漂移三大失效模式，本文提出GeoTransolver，在Transolver切片注意力基础上引入多尺度几何感知潜在嵌入（GALE）与持久上下文投影，在整车气动与碰撞动力学仿真中大幅降低流场与结构变形预测误差。

研究背景与动机¶

计算机辅助工程（CAE）在现代工业设计中扮演着关键角色，但高精度的计算流体力学（CFD）和有限元分析（FEA）计算开销极其昂贵。近年来，神经算子（如FNO、Transolver等）和基于Transformer的物理代理模型快速兴起，被广泛用于加速空气动力学演化与结构响应评估。然而，当将现有的神经算子架构直接部署到真实的工业级复杂几何与非均匀离散网格上时，普遍暴露出了三个核心失效模式。

首先，工业网格通常包含数千万到上亿个单元，在边界层、分离区和尾迹等关键区域进行了高度自适应加密。现有的Transformer算子通常仅在输入层将几何坐标或表面特征投影为初始token，随着网络深度的加深，边界细粒度几何特征在逐层注意力混合中被逐步稀释，深层表征失去了对物理边界的直接感知能力，导致近壁面剪切应力和分离点预测发生严重退化。其次，边界层与远场单元之间存在高达数个数量级的空间尺度跨度，固定半径的单尺度邻域采样要么被近壁面海量细节淹没，要么完全遗漏远场大尺度耦合。最后，工况参数（如马赫数、攻角、冲击速度）传统上仅通过输入端简单拼接进行单次注入，在深层传播中极易发生工况漂移与解耦。

现有方法中，Domino与AB-UPT仅在输入层注入几何，GAOT仅在编码器/解码器边界引入几何，中间的处理层缺乏几何回溯机制。本文的核心 idea 是：构建多尺度球查询提取跨越边界层到远场的几何特征，并借助独立的上下文投影器将表面几何与全局工况映射到与物理切片完全同构的潜在空间中，在每个GALE Transformer块内部通过跨注意力（Cross-Attention）持续注入该共享上下文，实现全网络深度的几何与工况持久回溯。

方法详解¶

整体框架¶

GeoTransolver 的输入包含三个部分：带有初始局部场特征或坐标的查询点集 $X = \{(\mathbf{x}_i, \mathbf{f}_i)\}_{i=1}^N$、领域边界表面网格点云 $\mathcal{G} = \{\mathbf{g}_j\}_{j=1}^M$ 以及标量全局工况参数 $\mathbf{p} \in \mathbb{R}^{d_p}$（如来流马赫数、攻角或初始碰撞速度）。模型的整体流水线分为离线单次计算的几何上下文构建阶段与逐层交替演化的 GALE 处理主干。

在上下文构建阶段，模型通过多尺度球查询双向提取查询点与几何网格间的空间特征，并将几何点云、全局工况参数以及多尺度几何特征通过不包含反切片（de-slicing）操作的半注意力上下文投影器 $\mathcal{T}$，统一投射到具有相同切片数 $S$ 和注意力头数 $H$ 的切片 token 空间中，拼接形成全局共享上下文 $C$。同时，局部多尺度特征被拼接增强至初始查询点表示上。在主干网络中，物理状态 token 在每一层 GALE 块中依次经历切片内物理自注意力计算，并与共享上下文 $C$ 执行跨注意力对齐，最后通过可学习门控参数动态加权融合并解切片回物理空间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：查询点 X、几何点云 G、全局参数 p"] --> Prep["几何预处理与多尺度特征提取"]
    Prep --> Proj["上下文投影器：构建统一切片上下文 C<br/>[Z_geo, Z_glob, Z_1, ..., Z_Ns]"]
    Prep --> Aug["局部几何特征拼接增强：x_tilde_i"]
    Aug --> Block["堆叠 GALE 块：前向物理状态演化"]
    Proj -.->|"在每一层持久注入跨注意力"| Block
    subgraph GALE ["GALE 块内部机制"]
        direction TB
        B1["物理切片投影与自注意力"] --> B2["可学习门控融合：自注意力与几何跨注意力"]
        B3["跨注意力：查询为状态切片，键值来自上下文 C"] --> B2
        B2 --> B4["切片反投影恢复物理点维度"]
    end
    Block --> Out["输出预测物理场（速度、压力、剪切应力或位移）"]

关键设计¶

1. 几何感知潜在嵌入（GALE）跨注意力：解决深层几何稀释

传统 Transolver 将 $N$ 个物理点投影到 $S$ 个可学习切片基向量上计算自注意力，将传统注意力的二次复杂度降至线性，但由于中间各层仅单向接收上一层潜状态，深层网络逐渐丧失了对精细几何边界的感知。GALE 块在此基础上进行了关键升级：每个块在完成物理状态切片自注意力后，保留该层切片投影作为查询，同时以预先构建的共享几何与全局上下文 $C$ 作为键和值执行多头跨注意力。为了使模型能够在不同网络深度自主调整几何引导与自演化状态的权重，两路注意力的输出通过一个逐层独立的可学习标量门控 $\alpha = \sigma(\eta)$ 进行平滑混合： $$\tilde{\mathbf{Z}} = (1 - \alpha) \mathbf{Z}_{\text{self}} + \alpha \mathbf{Z}_{\text{cross}}$$ 其中 $\eta$ 为层级参数，$\sigma$ 为 Sigmoid 函数。这种机制确保了网络在极深层依然能够直接对齐近壁面关键几何特征，有效消除了边界层物理量随深度衰减的痛点。

2. 多尺度几何处理器与双向特征聚合：跨越边界层至远场的尺度失配

工业气动网格中近壁边界层与远离车体的外场网格单元尺寸差异超过三个数量级。单一的局部邻域采样无法兼顾极近距离的剧烈法向梯度和广域尾迹对流扩散。设计中引入多尺度几何处理器 $\Pi_{r_s, k_s}$，在 $N_s$ 个离散半径集合 $\{(r_s, k_s)\}_{s=1}^{N_s}$ 下进行双向球查询（Ball Query）。第一条路径为输入点向几何点聚合（Input-to-Geometry），为表面几何点收集周围流动状态，并经投影器生成各尺度的上下文切片 $\mathbf{Z}_s = \mathcal{T}_s(\mathbf{h}_s^{\text{ctx}})$；第二条路径为几何点向输入点聚合（Geometry-to-Input），为每个物理查询点检索其最近边界表面的局部法向与曲率分布，生成局部增强向量 $\mathbf{u}_i = [\mathbf{h}_1^{\text{loc}}, \dots, \mathbf{h}_{N_s}^{\text{loc}}]$。多尺度半径跨越极小值（如 $0.01$）到广阔范围（如 $5.0$），使近壁剪切应力和大范围脱体涡流动在同一架构中获得自适应的多分辨率表征。

3. 持久工况投影器与解耦注意力后端：消除工况漂移并赋予架构通用性

为了解决常规操作符仅在输入端简单拼接入流参数导致深层工况漂移的缺陷，GeoTransolver 构造了无反解切片过程的专用半注意力投影器 $\mathcal{T}_{\text{glob}}$ 与 $\mathcal{T}_{\text{geo}}$。对于任意可变长度的输入向量，投影器生成查询矩阵 $\mathbf{Q}$ 与键矩阵 $\mathbf{K}$，通过可学习权重 $W_s \in \mathbb{R}^{D \times S}$ 计算切片得分，并利用温度调节 Softmax 得到行切片权重 $\mathbf{A} = \text{softmax}_S(\mathbf{Q} W_s / \tau)$，将特征聚合至固定的切片空间 $\mathbf{Z} = \overline{\mathbf{A}}^\top \mathbf{K} \in \mathbb{R}^{H \times S \times D}$。这种方式把几何结构和标量操作工况（如攻角、马赫数）映射至与场演化同构的切片基底，随各层 GALE 跨注意力贯穿始终。此外，几何上下文分支完全独立于自注意力机制，使得自注意力主干可模块化替换；在非线性碰撞动力学中，自注意力被无缝替换为低秩注意力后端 FLARE，在保持几何上下文不变的前提下进一步降低了计算与显存开销。

损失函数 / 训练策略¶

模型直接在真实物理场标签上采用相对 $L_1$ 范数损失进行监督训练： $$\mathcal{L} = \frac{\sum_{j} \|u_j - \tilde{u}_j\|}{\sum_{j} \|u_j\|}$$ 在包含表面压强 $p_s$ 与剪切应力 $\tau_w$、体网格压强 $p_v$ 与速度 $\mathbf{u}$ 的多任务气动预测中，多物理场损失进行加权求和。优化器选用近期针对张量收敛性优化的 Muon 优化器，在 NVIDIA GB200 / H100 GPU 节点上支持 bfloat16 混合精度与 PyTorch 2.0 编译加速（torch.compile），训练周期最高达到 500 个 epoch。

实验关键数据¶

主实验¶

论文在三个工业级气动数据集（DrivAerML、Luminary SHIFT-SUV、Luminary SHIFT-Wing）以及两个非线性结构碰撞动力学数据集（保险杠冲击与整车白车身 BIW 正面碰撞）上进行了系统评估。

下表给出了在 SHIFT-SUV（Estate 和 Fastback 车身形态）与 SHIFT-Wing（跨音速马赫数 0.5 与 0.85）测试集上的体流场相对 $L_1$ 误差（%）对比：

数据集 / 场景	模型	体压强 $p_v$ 相对 $L_1$ (%)	速度 $u$ 相对 $L_1$ (%)	阻力系数 $C_D$ ($R^2$)	升力系数 $C_L$ ($R^2$)
SHIFT-SUV Estate	GeoTransolver	0.0026	1.36	0.98	0.88
SHIFT-SUV Estate	AB-UPT	0.0025	2.25	-	-
SHIFT-SUV Estate	Transolver	0.0040	1.87	-	-
SHIFT-SUV Estate	DoMINO	0.0062	8.14	-	-
SHIFT-SUV Fastback	GeoTransolver	0.0023	1.30	0.99	0.99
SHIFT-SUV Fastback	AB-UPT	0.0024	2.21	-	-
SHIFT-SUV Fastback	Transolver	0.0039	1.81	-	-
SHIFT-SUV Fastback	DoMINO	0.0067	7.73	-	-
SHIFT-Wing Ma=0.5	GeoTransolver	0.022	1.92	1.00	1.00
SHIFT-Wing Ma=0.5	AB-UPT	0.027	9.56	1.00	1.00
SHIFT-Wing Ma=0.5	Transolver	1.19	3.60	1.00	1.00
SHIFT-Wing Ma=0.5	DoMINO	2.25	21.34	1.00	1.00
SHIFT-Wing Ma=0.85	GeoTransolver	0.099	2.00	1.00	1.00
SHIFT-Wing Ma=0.85	AB-UPT	0.125	9.51	1.00	1.00
SHIFT-Wing Ma=0.85	Transolver	1.34	3.72	1.00	1.00
SHIFT-Wing Ma=0.85	DoMINO	3.17	29.20	1.00	1.00

在非线性大变形碰撞动力学基准测试中，评估全时空时序预测的相对 $L_2$ 误差：

模型	保险杠梁冲击 (Bumper Beam) $\epsilon_{L_2}$	白车身正面碰撞 (BIW Crash) $\epsilon_{L_2}$	训练速度 (s/epoch)	参数量
Transolver	$9.12 \times 10^{-3}$	$1.60 \times 10^{-2}$	4.8	3.70M
GeoTransolver	$7.32 \times 10^{-3}$	$1.33 \times 10^{-2}$	7.5	5.69M
GeoTransolver (FLARE)	$\mathbf{6.80 \times 10^{-3}}$	$\mathbf{8.95 \times 10^{-3}}$	7.1	5.15M

消融实验¶

在 DrivAerML 测试集（48 个参数化整车设计，含 20% OOD 极端高/低阻力样本）上，论文对 GALE 层数、球查询多尺度半径集合以及球查询近邻邻居数 $k$ 进行了全面解耦消融：

消融维度	具体配置	参数量	表面压强 $p_s$ (%)	壁面剪切 $\tau_w$ (%)	阻力 $C_D$ ($R^2$)	升力 $C_L$ ($R^2$)	体压强 $p_v$ (%)	速度 $u$ (%)
层数深度	6 层	9M	3.52	5.88	0.996	0.987	3.79	4.44
层数深度	10 层	14M	3.25	5.51	0.995	0.987	3.31	4.21
层数深度	14 层	20M	3.11	5.29	0.995	0.983	3.34	4.24
层数深度	18 层	26M	2.95	5.19	0.994	0.987	3.08	4.08
完整模型	20 层, 6尺度, $k=32$	29M	2.86	4.90	0.996	0.991	3.09	4.02
半径尺度	单半径 $r=0.05$	12M	3.14	5.38	0.993	0.989	3.60	4.34
半径尺度	单半径 $r=2.5$	12M	3.09	5.38	0.995	0.986	3.24	4.20
半径尺度	4 尺度 ($0.05 \sim 2.5$)	21M	3.03	5.23	0.993	0.989	3.06	4.06
邻域大小	$k=8$	13M	3.12	5.32	0.994	0.984	3.37	4.06
邻域大小	$k=16$	18M	3.07	5.27	0.993	0.989	3.12	4.11

关键发现¶

多尺度半径的关键作用：单一尺度半径（无论是微观近壁 $r=0.05$ 还是广域 $r=2.5$）在壁面剪切应力 $\tau_w$ 上的误差均为 5.38%，而引入跨越 0.01 至 5.0 的 6 尺度球查询后直接降至 4.90%，表明同时捕捉边界层细粒度法向导数与宏观尾流相互作用至关重要。
几何 Token 密度的决定性影响：几何点数量消融显示，固定 20k 查询点时，将几何点从 50k 扩充到 300k，体网格压强误差从 11.1% 陡降至 3.09%，证明充分的几何表面覆盖率是支撑外场流体解算的基础。
注意力后端的解耦优势：在 BIW 碰撞测试中，将自注意力替换为 FLARE 后，模型参数量从 5.69M 降至 5.15M，训练步速由 7.5 s/epoch 加快到 7.1 s/epoch，而碰撞相对误差由 $1.33 \times 10^{-2}$ 进一步优化至 $8.95 \times 10^{-3}$，验证了几何上下文分支的模块化普适性。

亮点与洞察¶

统一且持久的切片空间映射：将离散的表面几何特征、标量工况条件与连续流动状态映射入数学结构完全一致的切片 token 空间，并借助跨注意力每层复用，规避了传统深层神经网络中高频几何特征逐层丢失的顽疾。
多尺度球查询的双向解耦：通过“输入向几何聚合”建立全局切片上下文，通过“几何向输入聚合”增强局部点表示，既保证了近壁微观特征不丢失，又赋予模型广域长程对流的感知能力。
工业级代码开源落地：模型深度集成于 NVIDIA PhysicsNeMo 开源框架中，配合 Muon 优化器与 GPU 编译优化，展现了从千万级汽车流场到全车碰撞动力学的全栈工程落地实力。

局限与展望¶

计算与显存开销增加：多尺度球查询引入了局部近邻搜索与投影运算，在 8 卡 H100 集群上使步训练时间较无局部特征基线增加了约 2 倍；6 尺度配置下需将查询点从 200k 缩减至 160k 才能适应 80GB 显存限制。
极端外推样本泛化边界：在 DrivAerML 的 OOD 极端阻力设计点上，预测曲线在极值边缘仍存在轻微振荡，表明对训练分布外极端外形变化的外推预测仍依赖更多数据增广。
动态物理跨领域的验证范围：当前碰撞动力学验证仅局限于短时间窗（120 ms 内 25 个时间步）以及单一白车身刚性壁冲击，在更长时程、接触分离剧烈的多物理场耦合中的拓展能力仍待进一步检验。

评分¶

新颖性: ⭐⭐⭐⭐☆ (针对工业 CAE 核心痛点设计了 GALE 跨注意力与统一切片上下文，架构思路严密清晰)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖三大工业气动数据集与两类碰撞动力学，涵盖从消融、收敛、吞吐到实测设计的全维度评估)
写作质量: ⭐⭐⭐⭐⭐ (问题定义极其聚焦，三个痛点与三个模块一一对应，数学表达与图表清晰规范)
价值: ⭐⭐⭐⭐⭐ (开源于 NVIDIA PhysicsNeMo，并在上亿网格规模的真实工业标准几何上实现了大幅度 SOTA 突破)

模型	保险杠梁冲击 (Bumper Beam) \(\epsilon_{L_2}\)	白车身正面碰撞 (BIW Crash) \(\epsilon_{L_2}\)	训练速度 (s/epoch)	参数量
Transolver	\(9.12 \times 10^{-3}\)	\(1.60 \times 10^{-2}\)	4.8	3.70M
GeoTransolver	\(7.32 \times 10^{-3}\)	\(1.33 \times 10^{-2}\)	7.5	5.69M
GeoTransolver (FLARE)	\(\mathbf{6.80 \times 10^{-3}}\)	\(\mathbf{8.95 \times 10^{-3}}\)	7.1	5.15M