Lie Generator Networks for Nonlinear Partial Differential Equations¶

会议: NeurIPS 2026
arXiv: 2603.29264
OpenReview: https://openreview.net/forum?id=9C9CBCbkzx
领域: 物理/科学计算
关键词: 神经算子, 偏微分方程, 库普曼算子, 李代数生成元, 动力系统稳定性

一句话总结¶

本文提出 LGN-KM 神经算子，将非线性偏微分方程映射至线性潜在空间，并将连续时间库普曼生成元解耦为“反对称保守耦合”与“正定对角模态耗散”，在纯数据驱动下严格保证长程泛化稳定性并直接解析出物理色散关系。

研究背景与动机¶

动力系统理论中最强大的分析工具（如特征谱分析、模态解耦、李雅普诺夫稳定性准则、色散关系和传递函数）几乎完全建立在线性系统基础之上。然而，绝大多数现实物理现象（从流体湍流到反应扩散）本质上都是非线性的。二次对流项 $(u \cdot \nabla)\omega$ 彻底打破了线性叠加原理，使得全局特征谱不复存在，传统分析只能退化为局部微扰线性化或专用渐近理论。这种理论上的不对称性，导致人们对线性系统能做深刻的直接机理诊断，而对非线性系统往往只能依赖正向数值模拟。

近年来兴起的神经算子（如 FNO、DeepONet、GNOT）通过数据驱动拟合偏微分方程的解算子，在计算速度与正向预测精度上取得了显著突破。但现有神经算子本质上是黑盒映射，既无法显式给出系统的模态耦合机制，也无法揭示演化算子的代数结构，更缺乏内在的数值稳定性保障。虽然深度库普曼（Deep Koopman）理论提供了一条将非线性动力学提升到线性潜在空间的可行路径，但现有方法大多只学习离散时间步进算子 $K = \exp(L)$，丢失了连续时间生成元 $L$ 的可诊断谱结构；少数尝试拟合连续时间生成元的方法又因缺乏物理对称性约束，极易导致长程预测能量爆炸。

面对预测能力与物理机理可解释性之间的割裂，本文的核心切入点是回归连续时间李代数生成元的结构化归纳偏置。通过在潜在空间中对库普曼生成元实施保守动力学与耗散动力学的代数分解，既能彻底消除长程外推的发散风险，又能从网络权值中直接读取系统的解析特征。核心 idea：通过将连续时间库普曼生成元显式分解为全频共享的反对称保守耦合矩阵与各向异性正定模态耗散对角阵（$L_k = S - D_k$），以架构级约束确保固有李雅普诺夫稳定性，并从无物理监督的轨迹数据中无损还原非线性 PDE 的多分支物理色散关系。

方法详解¶

整体框架¶

LGN-KM 的前向计算流包含四个阶段：非线性库普曼升维编码、傅里叶空间模态截断、连续时间矩阵指数演化以及逐点轻量解码。模型接收历史时空快照，映射至潜在复数域，利用严格满足左半平面约束的连续生成元完成任意时刻推演，最后恢复为物理场标量预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入历史轨迹与空间坐标<br/>T帧物理场 + 2D坐标"] --> B["谱卷积编码器升维<br/>映射至r通道潜空间 Z0"]
    B --> C["空间2D FFT与低频截断<br/>提取前M×M个波数模态 C0[k]"]
    C --> D["各模态独立连续生成元<br/>Lk = S - Dk 施加结构化约束"]
    D --> E["矩阵指数单步外推<br/>Ct[k] = exp(Lk · t) · C0[k]"]
    E --> F["拼接保留高频并执行2D IFFT<br/>恢复潜变量场 Zt"]
    F --> G["逐点两层MLP解码<br/>输出目标物理标量场"]

关键设计¶

1. 谱卷积升维与解耦潜在坐标构建：强制空间信息由线性动力学生成元驱动 为了使非线性系统的动力学能够在有限维不变子空间中线性演化，模型首先通过编码网络构造库普曼可观测标量场。输入为 $T$ 步连续空间涡度场拼接二维空间坐标网格，每个像素点的特征维度为 $T+2$。编码器首先通过逐点线性层投影到隐空间宽度 $w$，随后串联两个 FNO 风格的谱卷积层，每层包含频域参数化复权重滤波、逐点残差混合以及 GELU 激活函数，最后映射为 $r$ 个潜在通道的可观测场 $Z_0 \in \mathbb{R}^{r \times n \times n}$。关键在于，后续的解码器被刻意限制为逐点轻量两层网络（$r \to \text{hidden} \to 1$），完全不进行任何像素间的空间混合。这种设计建立了一种强诱导偏置：所有跨空间尺度的长程动力学与复杂相互作用，被完全倒逼通过生成元 $L_k$ 承担，杜绝了解码器对演化机制的黑盒隐式记忆。

2. $S - D_k$ 生成元代数解耦：保守交叉耦合与模态耗散的物理结构映射 在空间傅里叶变换截断保留的 $M \times M$ 个有效波数模态上，每个模态 $k$ 分配一个独立的连续时间演化矩阵 $L_k \in \mathbb{R}^{r \times r}$。本文将 $L_k$ 严格分解为两项之差： $$L_k = S - D_k$$ 第一项 $S$ 为实反对称矩阵，由无约束自由参数矩阵 $P \in \mathbb{R}^{r \times r}$ 通过 $S = (P - P^T)/2$ 显式构造，共含 $r(r-1)/2$ 个可学习参数，且在所有傅里叶模态 $k$ 之间全局共享。这反映了物理系统中的无耗散对流与保守模态耦合在不同空间频率下具备统一代数结构的先验。第二项 $D_k$ 为正定对角阵，采用软间隔（softplus）保障严格正定性，其形式显式依赖于物理波数的二次拉普拉斯项： $$D_k = \text{diag}\left(\text{softplus}(d) + \text{softplus}(\alpha) \cdot \frac{|k|^2}{k_{\max}^2}\right)$$ 其中 $d \in \mathbb{R}^r$ 刻画基础衰减率，$\alpha \in \mathbb{R}^r$ 学习空间耗散系数。当 $k=0$ 时耗散仅由基底项 $d$ 决定；随着波数模态模长平方 $|k|^2$ 增大，$\alpha$ 项迅速主导，与纳维-斯托克斯方程中流体粘性项 $\nu \nabla^2 \omega$ 在傅里叶空间对应乘子 $-|k|^2$ 的物理行为在数学形式上达成严格同构。

3. 固有李雅普诺夫收缩性保障：架构级彻底消除长程滚降发散 传统自回归神经算子在多步递推时，由于误差逐步累积放大，高阶能量与拟涡度（enstrophy）极易发生超指数爆炸。LGN-KM 借助 $S - D_k$ 代数结构提供了数学上严格的收缩性保证。设 $L_k$ 的任意特征向量为 $v$，对应特征值为 $\lambda$。利用反对称矩阵内积为零的性质（$v^* S v + v^* S^T v = 0 \implies \text{Re}(v^* S v) = 0$），特征值的实部严格满足： $$\text{Re}(\lambda) \|v\|_2^2 = - v^* D_k v \le 0$$ 由于 $D_k$ 的所有对角元均经 softplus 处理严格为正，生成元的所有特征值实部必然严格位于复平面左半开平面（$\text{Re}(\lambda) < 0$）。这意味着潜在状态模态的范数在时间演化下具有单调非增的收缩界限，从数学原理上杜绝了动力学发散。

4. 连续时间无自回归直接矩阵指数传播：$O(1)$ 时间复杂度的任意步长外推 对于选取的任意连续时间间隔 $t \ge 0$，傅里叶模态的高维状态演化直接由矩阵指数给出： $$C_t[k] = \exp(L_k \cdot t) \cdot C_0[k]$$ 因为潜在通道数 $r$ 通常较小（如 $r=32$），$r \times r$ 矩阵的指数计算可通过高精度有理 Padé 逼近与缩放平移算法以极低计算开销一次性完成。最突出的实用价值在于，$t$ 仅作为连续标量乘子直接传入生成元，预测 $t=200$ 与预测 $t=1$ 耗费完全相同的常数计算时间（$O(1)$ 复杂度），相较于必须顺序迭代 200 步的自回归算子（$O(T)$ 复杂度）带来了百倍以上的长程计算加速。

损失函数 / 训练策略¶

模型端到端通过时域轨迹相对 $L_2$ 范数损失进行无监督训练，完全不添加任何基于偏微分方程残差的物理惩罚项： $$\mathcal{L} = \frac{1}{N} \sum_{i=1}^N \frac{\|\hat{u}_i - u_i\|_2}{\|u_i\|_2}$$ 在 2D 纳维-斯托克斯湍流涡度数据集（网格分辨率 $64 \times 64$）上，输入 $T_{in}=10$ 帧，输出 $T_{out}=10$ 帧（$\nu=10^{-5}$，Re $\approx 10^5$）或 $T_{out}=40$ 帧（$\nu=10^{-3}$，Re $\approx 10^3$）。优化器采用 AdamW，初始学习率 $10^{-3}$，权重衰减 $10^{-4}$，500 个 epoch 采用余弦退火调度，梯度裁剪阈值设为 1.0。所有可解释物理规律均完全从轨迹拟合自发涌现。

实验关键数据¶

主实验¶

在二维纳维-斯托克斯湍流基准上，将 LGN-KM 与匹配频域截断模态数（$M=12$）的经典二维傅里叶神经算子（FNO-2D）在相对测试误差、长期稳定性以及不同时间范围下的推理耗时进行对比评估：

评估维度 / 任务	评估指标	LGN-KM (本文)	FNO-2D (基线)	对比结论与增益
训练窗口内短期预测 ($\nu=10^{-5}$)	相对 $L_2$ 误差	0.240	0.160	FNO短程拟合更优，LGN牺牲短程换取纯物理结构
跨粘度迁移训练 ($N=50$ 极少样本)	相对 $L_2$ 误差	0.191	0.233 (从头训练)	冻结 $S$ 迁移，误差降低 18%，收敛提速约 6 倍
20倍超长预测步数 ($T=200$)	平均拟涡度 $\\|\omega\\|^2$	0.280 (单调稳定)	$\sim 10^{18}$ (数值发散)	架构级特征值约束彻底杜绝长程爆炸
短程外推耗时 ($T=1$)	GPU 壁钟耗时 (ms)	1.7 ms	1.5 ms	极轻微矩阵指数开销
长程外推耗时 ($T=200$)	GPU 壁钟耗时 (ms)	1.9 ms	299.0 ms	运算复杂度由 $O(T)$ 骤降至 $O(1)$，提速 157×
物理耗散规律恢复 ($R^2$ 拟合度)	$\text{Re}(\lambda_{\text{dom}}) \propto \\|k\\|^2$	0.920 ($\nu=10^{-5}$) / 0.947 ($\nu=10^{-3}$)	无特征谱	纯数据驱动精准复原柯尔莫哥洛夫二次耗散律

消融实验¶

为验证生成元 $L_k = S - D_k$ 中各代数模块对动力学稳定性和机理表征的必要性，在 $\nu=10^{-5}$ 湍流数据集上开展结构消融实验（控制潜空间维度 $r=32$、模态数 $M=12$ 保持一致）：

结构配置	相对 $L_2$ 误差	谱稳定性 ($\text{Re}(\lambda)<0$)	最大实部 $\max \text{Re}(\lambda)$	虚部振荡范围 $\text{Im}(\lambda)$	耗散标度 $R^2$	说明
完整模型 ($S - D$)	0.240	稳定 (100%)	-0.021	$\pm 0.70$	0.92	兼具严格稳定性、复数色散与耗散标度
无约束生成元 $L$	0.247	不稳定 (40% 发散)	+0.347	$\pm 0.61$	0.94	去除反对称与对角约束，特征值逃逸至右半平面
纯反对称 ($S$-only, $D=0$)	0.241	临界边缘	0.000	$\pm 0.62$	不适用	谱线完全塌缩至虚轴，无法模拟空间色散与耗散
纯模态对角 ($D$-only, $S=0$)	0.253	稳定	-0.026	0.000	0.80	谱线塌缩至实轴，丢失一切振荡机制与通道耦合

关键发现¶

纯数据还原真实物理色散关系：在 $r=32$、$M=12$ 的设置下，生成元跨所有截断模态共有 $r \times M^2 = 4,608$ 个特征值，在复平面上自发划分为 32 条平滑的色散分支曲线。特征值的虚部由矩阵 $S$ 独立主导，在各波数下保持稳定振荡；而实部则随 $|k|^2$ 线性向左半平面延伸，完美重现了高频小尺度涡旋强耗散、低频大尺度流动弱阻尼的流体动力学规律。
跨雷诺数规范不变性（Gauge Invariance）：尽管在低粘度（$\nu=10^{-5}$）与高粘度（$\nu=10^{-3}$）下独立训练的模型由于潜空间基底旋转使得原始矩阵 $S$ 的余弦相似度仅为 0.023，但其规范不变量（规范化奇异值谱）的皮尔逊匹配度高达 $R^2 = 0.941$；同时基底阻尼 $d$ 的分布匹配度亦达到 $R^2 = 0.942$。这充分证实了反对称矩阵 $S$ 学习到的是与粘度无关的纯对流非线性相互作用 $(u \cdot \nabla)\omega$，契合柯尔莫哥洛夫第一相似性假说。
物理先验驱动的模型无损迁移：直接冻结在 $\nu=10^{-5}$ 预训练得到的耦合矩阵 $S$，仅在 $\nu=10^{-3}$ 的小样本（$N=50$）数据上微调编码解码器与对角耗散矩阵 $D$，即可取得比完全从头训练低 18% 的测试误差，并实现 6 倍的收敛加速；微调全参数与冻结 $S$ 性能差异小于 5%，证实了保守流体耦合特征具备真实的跨工况泛化能力。

亮点与洞察¶

将经典李代数分解植入神经算子生成元：通过 $L_k = S - D_k$ 显式分离可逆能量传递（反对称李代数生成正交旋转群）与不可逆熵增耗散，从数学根源上将控制理论的无源性与热力学耗散性注入黑盒深度网络。
连续时间演化打破时间离散化步长桎梏：采用单次矩阵指数计算替代传统的自回归时间步进迭代，使计算耗时完全脱钩于预测步长，不仅将推理复杂度压缩至 $O(1)$，更赋予了算子在任意连续时间点直接取样的解析能力。
无监督学习发现规范对称性与物理不变量：模型未施加任何物理正则化损失，却通过隐空间特征谱奇异值的一致性揭示了库普曼表征中潜在的规范自由度，为后续设计内建规范等变性的神经动力学系统指明了方向。

局限与展望¶

短程预测精度存在结构性权衡：由于严格将生成元约束在稳定耗散的类线性动力学假设空间中，模型丧失了任意非线性自由拟合能力，在短预测周期内的相对 $L_2$ 误差（0.240）略逊于无约束的经典 FNO（0.160）。
计算复杂度对潜在通道数较敏感：矩阵指数运算的时间复杂度为 $O(r^3)$，当前在 $r=32$ 时极快，但当系统极度复杂需要数百个潜在通道时，计算耗时将迅速上升；未来可引入 Krylov 子空间投影算法或稀疏化李代数分解进一步扩充规模。
空间几何依赖周期性边界条件：当前方法依赖二维傅里叶变换将拉普拉斯算子对角化，因此强假设系统满足周期性空间拓扑；未来拓展至复杂无界域、非均匀狄利克雷/诺伊曼边界或三维曲面网格时，需要借助广义流形拉普拉斯-贝尔特拉米基底或图神经算子。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将反对称与正定对角李代数分解引入连续时间库普曼神经算子，在非线性 PDE 中开辟了直接解析色散关系的全新视角。
实验充分度: ⭐⭐⭐⭐⭐ 在纳维-斯托克斯湍流与 FitzHugh-Nagumo 反应扩散两大不同物理机理系统上深度验证，涵盖严密谱分析、结构消融与跨工况迁移。
写作质量: ⭐⭐⭐⭐⭐ 数学严密，物理图景清晰，将抽象李代数理论与实际动力系统仿真无缝对接。
价值: ⭐⭐⭐⭐⭐ 为解决科学机器学习（SciML）领域中长期存在的“拟合黑盒化”与“长程发散”顽疾提供了兼顾数学自洽与工程可行的优秀范式。

评估维度 / 任务	评估指标	LGN-KM (本文)	FNO-2D (基线)	对比结论与增益
训练窗口内短期预测 (\(\nu=10^{-5}\))	相对 \(L_2\) 误差	0.240	0.160	FNO短程拟合更优，LGN牺牲短程换取纯物理结构
跨粘度迁移训练 (\(N=50\) 极少样本)	相对 \(L_2\) 误差	0.191	0.233 (从头训练)	冻结 \(S\) 迁移，误差降低 18%，收敛提速约 6 倍
20倍超长预测步数 (\(T=200\))	平均拟涡度 \(\\|\omega\\|^2\)	0.280 (单调稳定)	\(\sim 10^{18}\) (数值发散)	架构级特征值约束彻底杜绝长程爆炸
短程外推耗时 (\(T=1\))	GPU 壁钟耗时 (ms)	1.7 ms	1.5 ms	极轻微矩阵指数开销
长程外推耗时 (\(T=200\))	GPU 壁钟耗时 (ms)	1.9 ms	299.0 ms	运算复杂度由 \(O(T)\) 骤降至 \(O(1)\)，提速 157×
物理耗散规律恢复 (\(R^2\) 拟合度)	\(\text{Re}(\lambda_{\text{dom}}) \propto \\|k\\|^2\)	0.920 (\(\nu=10^{-5}\)) / 0.947 (\(\nu=10^{-3}\))	无特征谱	纯数据驱动精准复原柯尔莫哥洛夫二次耗散律

结构配置	相对 \(L_2\) 误差	谱稳定性 (\(\text{Re}(\lambda)<0\))	最大实部 \(\max \text{Re}(\lambda)\)	虚部振荡范围 \(\text{Im}(\lambda)\)	耗散标度 \(R^2\)	说明
完整模型 (\(S - D\))	0.240	稳定 (100%)	-0.021	\(\pm 0.70\)	0.92	兼具严格稳定性、复数色散与耗散标度
无约束生成元 \(L\)	0.247	不稳定 (40% 发散)	+0.347	\(\pm 0.61\)	0.94	去除反对称与对角约束，特征值逃逸至右半平面
纯反对称 (\(S\)-only, \(D=0\))	0.241	临界边缘	0.000	\(\pm 0.62\)	不适用	谱线完全塌缩至虚轴，无法模拟空间色散与耗散
纯模态对角 (\(D\)-only, \(S=0\))	0.253	稳定	-0.026	0.000	0.80	谱线塌缩至实轴，丢失一切振荡机制与通道耦合