PhysGuard: Fisher-Guided Gradient Projection for Sim-to-Real Neural PDE Surrogates¶

会议: NeurIPS 2026
arXiv: 2606.16602
OpenReview: https://openreview.net/forum?id=zHUiR3DWyZ
代码: https://github.com/ZhouChaunge/PhysGuard
领域: 机器人/具身智能
关键词: 神经偏微分方程代理模型、Sim-to-Real迁移、费舍尔信息矩阵、梯度投影、频域结构保持

一句话总结¶

针对神经算子在仿真向真实物理测量迁移时易破坏大尺度物理先验的难题，PhysGuard 利用经验 Fisher 信息矩阵的核 Gram 矩阵高效提取低频物理关键子空间，并通过正交梯度投影在微调中消除破坏性更新，在 4 种主流算子架构上显著降低低频物理误差。

研究背景与动机¶

在科学机器学习（SciML）领域，以傅里叶神经算子（FNO）、卷积神经算子（CNO）、DeepONet 及 Transolver 为代表的神经偏微分方程（PDE）代理模型取得了巨大成功。传统高保真数值模拟在面对工业设计、主动流动控制及燃烧监测等需要海量反复求解的场景时计算开销极其昂贵，而神经算子能够在函数空间之间建立快速映射，实现毫秒级的物理场推理。然而，在实际工程落地中，模型在纯仿真数据上预训练后部署于真实实验测量系统时，往往面临显著的仿真到真实世界域漂移（Sim-to-Real Gap）。真实实验数据不可避免地夹杂传感器噪声、测量稀疏性以及仿真中未能完全建模的次级物理效应，导致直接迁移的精度急剧下滑。

直接利用少量真实测量数据对预训练模型进行微调（Fine-Tuning）是最直观的弥合手段，但这一过程伴随着严重的灾难性遗忘与物理表征破坏。深度神经网络在优化过程中天然存在拟合高频噪声的倾向，无约束的经验风险微调极易让网络过度迁就实验测量中的局部扰动，从而破坏预训练阶段所习得的全局相干大尺度物理结构（如卡门涡街、平均流剖面与主导对流模式）。现有知识保持技术（如 L2-SP、EWC 惩罚项或 LoRA 参数高效微调）大多诞生于计算机视觉与自然语言处理领域，旨在保护语义或离散分类特征；L2-SP 施加各向同性权重收缩会过度限制模型适应能力，而 EWC 依赖对角 Fisher 假设，完全丢失了参数空间中多维方向的交叉相关性。更重要的是，神经算子通过谱卷积、分支-主干分解及物理注意力机制直接刻画连续物理场，其亟需保护的是低频大尺度 PDE 守恒律与动力学骨架，而非抽象的高维语义特征。

本文的核心洞察在于：预训练神经算子所学的宏观物理知识高度集中于参数空间中极少数主导敏感方向上。为了在吸收真实数据信息的同时绝不破坏核心物理先验，我们无需引入敏感的正则化超参数，而应当从信息几何角度辨识出承载核心物理表征的参数子空间，并将微调梯度的更新方向严格限制在其正交补空间内。核心 idea：利用仿真数据经验 Fisher 信息矩阵（FIM）的 Gram 矩阵分解高效辨识刻画低频宏观物理的关键参数子空间，并在微调阶段将真实数据梯度严格投影到其正交零空间，实现零超参干扰、免于物理表征破坏的 Sim-to-Real 神经算子自适应。

方法详解¶

整体框架¶

PhysGuard 的完整工作流分为两个解耦阶段：第一阶段为单次离线进行的「物理关键子空间辨识」，第二阶段为在线迭代的「正交投影约束微调」。在离线阶段，算法固定仿真预训练权重，在小批量仿真数据上计算每层的逐样本损失梯度，利用小尺寸 Gram 矩阵的奇异值分解（SVD）克服百万级参数直接特征分解的计算瓶颈，并按累积 Fisher 信息阈值截断出物理关键基向量矩阵。在微调阶段，算法在真实数据反向传播后，逐层从原始梯度中精确减去其在物理子空间上的投影分量，确保更新步绝不篡改主导低频物理的大尺度流场表征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["仿真预训练模型与仿真样本"] --> B["Gram矩阵Fisher敏感方向辨识<br/>构建 K = G G^T 规避高维分解"]
    B --> C["自适应子空间截断<br/>基于信息能量比 ρ(k) ≥ τ 筛选主导基"]
    C --> D["正交梯度投影与复数映射<br/>消除物理敏感更新分量"]
    D --> E["保留核心物理结构的真实场景适配模型"]

关键设计¶

1. Gram矩阵Fisher敏感方向辨识：突破高维参数协方差分解的计算瓶颈

神经算子的参数量通常在数百万至数千万（如 FNO 达 50.4M），若直接构建并分解全参数维度的经验 Fisher 信息矩阵（FIM）$\bm{F} = \frac{1}{N} \bm{G}^\top \bm{G} \in \mathbb{R}^{d \times d}$，计算复杂度为 $\mathcal{O}(d^3)$，内存与算力消耗均不可承受。然而，由于计算 FIM 时所取的仿真样本数 $N$（本实验中仅需 10% 样本，如 $N \approx 200$）远小于参数维度 $d$（$N \ll d$），$\bm{F}$ 的代数秩上限必然为 $N$。

基于线性代数中非零奇异值对偶定理，本文将视角从 $d \times d$ 的协方差矩阵转换到 $N \times N$ 的核 Gram 矩阵 $\bm{K} = \bm{G} \bm{G}^\top$： $$\bm{K} = \bm{G} \bm{G}^\top \in \mathbb{R}^{N \times N}$$ 由于 $\bm{K}$ 为半正定对称矩阵，对其执行特征分解或 SVD 得到正交特征向量 $\bm{V} \in \mathbb{R}^{N \times N}$ 与非零特征值对角阵 $\bm{\Lambda}$。对于任意 $\lambda_j > 0$，其在真实参数空间中所对应的 Fisher 主特征向量可严格表示为 $\bm{u}_j = \bm{G}^\top \bm{v}_j$。该变换将计算复杂度从 $\mathcal{O}(d^3)$ 骤降至 $\mathcal{O}(N^3) + \mathcal{O}(N^2 d)$，计算加速比达到惊人的 $10^{12}\times$，使得在百万级参数模型上精确辨识连续函数敏感子空间成为可能。

2. 自适应子空间截断：动态捕获主导低频PDE物理表征

在获取排序的特征值序列 $\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_N \ge 0$ 之后，核心问题在于划定保护边界。并非所有非零方向都具有相同的物理意义，若保护维度过多，模型将失去适应真实环境数据的自由度；若保护过少，大尺度物理结构将面临退化。

为此，PhysGuard 引入能量归一化的累积 Fisher 信息比率 $\rho(k)$，并自适应确定各层需要保留的截断维度 $k_m$： $$\rho(k) = \frac{\sum_{j=1}^k \lambda_j}{\sum_{j=1}^N \lambda_j}, \quad k_m = \min \left\{ k \;\Big|\; \rho(k) \ge \tau \right\}$$ 在所有实验中将能量阈值统一定为 $\tau = 0.9$（即锁定 90% 的 Fisher 敏感能量）。截取前 $k_m$ 个特征向量拼装为 $\bm{V}_{k_m}^{(m)}$ 后，通过矩阵相乘将其还原至参数空间并执行列向量单位归一化： $$\bm{U}^{(m)} = \text{normalise}\left( {\bm{G}^{(m)}}^\top \bm{V}_{k_m}^{(m)} \right) \in \mathbb{R}^{d_m \times k_m}$$ 光谱探测实验（Spectral Probe）表明，这套机制选出的 $\bm{U}$ 矩阵列向量在频域上对应的低频能量占比 $f_{\text{low}} \ge 0.995$。换言之，该自适应截断准则以纯数据驱动方式精准锁定了主导宏观物理相干结构（如涡旋脱落频率、流场平均动量）的参数切空间，将绝大多数非敏感参数方向（通常占 88%~99%）完全释放给真实数据自由微调。

3. 正交梯度投影与复数映射：零超参干扰消除与频域张量兼容

在真实数据 $\mathcal{D}_{\text{real}}$ 上执行反向传播时，真实数据损失计算出的经验梯度 $\bm{g}$ 往往同时包含两类成分：弥合真实域测量残差的有益更新，以及因局部噪声引起的、破坏预训练低频结构的有害扰动。传统正则化通过向损失函数添加拉格朗日乘子（如 $\frac{\lambda}{2} \|\theta - \theta^*\|^2$），不仅引入难以调优的超参数 $\lambda$，且无法阻止梯度在特定物理子空间内的破坏性渗透。

PhysGuard 采用确定性正交投影几何变换： $$\bm{g}_{\text{proj}}^{(m)} = \bm{g}^{(m)} - \alpha \cdot \bm{U}^{(m)} \left( {\bm{U}^{(m)}}^\top \bm{g}^{(m)} \right)$$ 其中 $\alpha \in [0, 1]$ 表示保护强度（默认 $\alpha = 1.0$ 完全投影到零空间）。针对 FNO 等依赖频域复数张量（torch.complex64）的神经算子架构，复数权重的实部与虚部共同决定物理场的振幅与相位响应。直接在复数域做实特征分解会导致代数不自洽，PhysGuard 将每个复数权重的梯度解耦为实部与虚部拼接的增广实向量 $\bm{g}_{\text{real}} = [\text{Re}(\bm{g}_w), \text{Im}(\bm{g}_w)] \in \mathbb{R}^{2d}$，完全严格遵循 Wirtinger 微积分法则构建 Gram 矩阵与投影变换，最后无损重构出投影复数梯度 $\hat{\nabla}_W \mathcal{L} = \hat{\bm{g}}_{1:d} + i \hat{\bm{g}}_{d+1:2d}$，实现了全架构无缝兼容。

损失函数 / 训练策略¶

微调优化目标在形式上保持纯粹的真实数据经验损失，无需任何辅助正则项： $$\min_\theta \mathcal{L}_{\text{real}}(\theta) = \frac{1}{M'} \sum_{j=1}^{M'} \ell\left(f_\theta(\tilde{x}_j), \tilde{y}_j\right)$$ 物理先验的保持完全由梯度投影算子在反向传播之后、优化器步进之前强制施加： $$\theta \leftarrow \theta - \eta \cdot \text{Optim}\left(\bm{g}_{\text{proj}}\right)$$ 在离线子空间估计阶段，只需遍历 1 次仿真数据集抽取约 10% 样本（$N \le 200$），单张 GPU 耗时数十秒即可完成分解并固化 $\bm{U}$。在微调阶段，每次反向传播仅需增加一次极轻量的低维正交投影矩阵乘法（内积维度仅为 $k_m \le 200 \ll d$），训练时间开销增加小于 5%，且 $\bm{U}$ 在同一预训练模型迁移至多个下游实验环境时可反复复用。

实验关键数据¶

主实验¶

在真实物理系统基准 RealPDEBench 上，涵盖圆柱绕流（Cylinder Flow，大域漂移）、受控圆柱流（Controlled Cylinder，小域漂移）及湍流燃烧（Turbulent Combustion，中度漂移）三大实际物理场景，针对 4 种主流算子架构对比零样本预训练（Pretrained）、直接微调（DFT）、权重收缩微调（L2-SP）、对角 Fisher 保护（EWC）及 PhysGuard。

算子架构	方法	圆柱绕流 RMSE ↓	圆柱绕流 R² ↑	圆柱绕流 Low-f ↓	受控圆柱 R² ↑	受控圆柱 Low-f ↓	湍流燃烧 R² ↑	湍流燃烧 Low-f ↓
FNO (50.4M)	Pretrained	0.08060	0.6530	0.01829	0.8455	0.00646	0.2735	0.00811
	DFT	0.06487	0.7753	0.01651	0.9802	0.00106	0.6414	0.00419
	L2-SP	0.06556	0.7704	0.01739	0.9718	0.00126	0.5732	0.00494
	EWC	0.06316	0.7869	0.01596	0.9803	0.00108	0.6424	0.00417
	PhysGuard	0.06036	0.8054	0.01131	0.9802	0.00110	0.6458	0.00414
CNO (8.0M)	Pretrained	0.07239	0.7201	0.01379	0.9458	0.00181	-0.0049	0.01057
	DFT	0.04988	0.8671	0.01585	0.9844	0.00091	0.6008	0.00483
	L2-SP	0.04915	0.8710	0.01506	0.9826	0.00100	0.6018	0.00481
	EWC	0.04855	0.8741	0.01355	0.9844	0.00091	0.6060	0.00476
	PhysGuard	0.04635	0.8853	0.01148	0.9845	0.00088	0.6125	0.00462
DeepONet (3.5M)	Pretrained	0.10072	0.4581	0.02793	0.4903	0.01284	0.0999	0.00947
	DFT	0.09309	0.5371	0.02527	0.8207	0.00446	0.5799	0.00448
	L2-SP	0.09121	0.5556	0.02627	0.7936	0.00653	0.5653	0.00464
	EWC	0.09055	0.5621	0.02599	0.8205	0.00439	0.5837	0.00444
	PhysGuard	0.07435	0.7048	0.01957	0.8184	0.00439	0.5844	0.00442
Transolver (4.3M)	Pretrained	0.11147	0.3364	0.03362	0.8613	0.00703	-0.0898	0.01125
	DFT	0.11236	0.3257	0.03349	0.9284	0.00252	0.1181	0.00833
	L2-SP	0.11361	0.3107	0.03370	0.9268	0.00265	0.0773	0.00864
	EWC	0.11330	0.3144	0.03361	0.9284	0.00246	0.0845	0.00854
	PhysGuard	0.10695	0.3891	0.03097	0.9318	0.00235	0.1848	0.00758

消融实验与机制分析¶

下表汇报了光谱探测实验（Spectral Probe）中前导特征方向的低频能量集中度，以及各模型在圆柱绕流场景下的低频误差相对削减率和自适应保护参数子空间占比（$k/N$）。同时对比了 Fisher 谱近似平坦的多任务预训练大模型 DPOT-S（负例分析）。

算子架构 / 分析维度	敏感方向类型	低频能量比 $f_{\text{low}}$ ↑	相对预训练低频误差降低 ↓	保护子空间比率 $k/N$ (%)	机制结论与说明
FNO 谱探测	FIM Top-1 主向量	0.996	—	—	扰动仅作用于极低波数模式
	FIM Top-50 主向量	0.995	—	—	90% 能量全集中于前 1/3 波数
	随机高斯方向 (对照)	0.332	—	—	能量无序离散平铺全频段
圆柱绕流 FNO	PhysGuard 全模型	—	-31.4%	4.0%	仅锁定 4% 维度即保住宏观流场
圆柱绕流 CNO	PhysGuard 全模型	—	-27.4%	3.5%	纠正 DFT 出现的低频退化反弹
圆柱绕流 DeepONet	PhysGuard 全模型	—	-16.0%	12.0%	弥补基函数表达不足，R² 升 50%+
圆柱绕流 Transolver	PhysGuard 全模型	—	-21.0%	2.5%	彻底遏制注意力层过拟合退化
DPOT-S (41.3M, 负例)	Pretrained (基线)	0.01202 (Low-f)	—	—	多任务预训练导致 FIM 谱平坦
	DFT	0.01026 (Low-f)	R² = 0.8897	自由更新	全局参数均匀承担先验
	PhysGuard ($\tau=0.9$)	0.00935 (Low-f)	R² = 0.8721	>80% (过大)	保护空间挤压了真实适应自由度

关键发现¶

大漂移工况下优势显著扩增：在域漂移最为剧烈的圆柱绕流任务中，未经约束的直接微调（DFT）在 CNO 上反而导致低频误差从 0.01379 恶化至 0.01585，说明无约束微调确会破坏宏观物理。而 PhysGuard 将低频误差压低至 0.01148，相对 DFT 降低 27.6%；在 DeepONet 上将 $R^2$ 从预训练的 0.4581 暴增至 0.7048（DFT 仅能达到 0.5371）。
极高参数利用效率：各架构在自适应能量阈值 $\tau = 0.9$ 下，所选取的保护子空间维度占比 $k/N$ 中位数仅为 4.0%（介于 1.0% 至 12.0% 之间）。这意味着 PhysGuard 仅需约束极窄的信息几何通道，即可保住整体物理结构，将 96% 的参数自由度留给真实数据自适应。
对角 Fisher 假设彻底失效：经典 EWC 在所有神经算子上的表现高度贴近朴素 DFT，几乎无法拉开差距。这是因为神经算子的物理表征高度依赖不同权重间协同形成的基底（如傅里叶模态配对、张量积通道交互），忽略非对角协方差项使得 EWC 根本无法构建有效的正交保护屏障。

亮点与洞察¶

将连续物理守恒映射至参数空间的信息几何切空间：首次在神经算子领域利用光谱探测严格证明，模型在仿真数据上训练得到的 Fisher 信息矩阵主特征向量与求解物理场的低频相干大尺度结构（$f_{\text{low}} \ge 0.995$）高度对齐，为“保护物理即保护 Fisher 主子空间”提供了扎实的物理与数学证据。
对偶 Gram 矩阵使百万级算子几何分解成为现实：巧妙运用 $N \ll d$ 的代数特性，将 $d \times d$ 维不可计算的协方差特征分解转化为 $N \times N$ 维核矩阵 SVD，在单卡数十秒内以万亿倍加速比完成离线子空间抽取，工程优雅且极具通用性。
可复用的复数权重 Wirtinger 梯度投影范式：针对科学计算领域日益普及的频域复数网络（如 FNO），提供了基于实虚部拼接与逆重构的严格投影处理方案，可无缝平移至复数图神经网络、量子算子学习等相关分支。

局限与展望¶

依赖 Fisher 谱的低秩衰减假设：正如论文作者坦诚报告的负例（Appendix G），当预训练模型为多任务超大规模算子（如 DPOT-S）且骨干采用 Diffusion-Transformer 时，FIM 特征值谱变得平缓均匀，导致截取 90% 能量会过度霸占参数空间，挤压真实数据微调能力。
实验场景主要局限于流体动力学与燃烧：评测完全建立在当前唯一的真实实验配对基准 RealPDEBench 上，未来仍需检验固体力学非线性大形变、地球气候多尺度耦合以及不同稀疏传感器观测拓扑下的泛化能力。
子空间维度固定与跨任务动态演化：目前的微调过程保持固定的离线子空间基底 $\bm{U}$，未来可探索在连续流入新实验工况时在线动态增量更新物理流形的正交增量学习机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 Fisher 信息几何子空间投影引入神经算子 Sim-to-Real 迁移，理论洞察深刻。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 RealPDEBench 4 种代表性算子与 3 种真实物理场景，附带负例详尽剖析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导环环相扣，从数学证明到频域谱探测实证高度自洽。
价值: ⭐⭐⭐⭐⭐ 解决了科学机器学习预训练大模型落地工业真实测量时低频物理易失真的重大痛点。