SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models¶

会议: NeurIPS 2026
arXiv: 2605.17985
OpenReview: https://openreview.net/forum?id=R2w60GCpGv
论文: https://arxiv.org/abs/2605.17985
领域: 模型压缩
关键词: 物理大模型, 模型压缩, 奇异值分解, 索伯列夫空间, 贪心秩分配

一句话总结¶

针对物理大模型低秩压缩破坏高阶导数与物理守恒律的难题，本文提出首个物理感知 SVD 压缩框架 SAFE-SVD，通过在索伯列夫空间建模全局敏感度并结合贪心秩分配，在极端 0.2 参数保留率下仍能保持高保真物理结构。

研究背景与动机¶

随着 AI for Science 浪潮的兴起，物理大模型（Physics Foundation Models, PFMs）已成为跨流体模拟、天气预测以及多尺度动力学系统建模的通用基础范式。然而，随着模型参数规模和网络深度的急剧扩张，PFMs 的微调与多步自回归滚动推理带来了难以承受的高昂计算与显存开销，严重阻碍了在实时工程仿真与端侧系统中的实际部署。在此背景下，模型压缩技术在传统自然语言处理和大语言模型领域已展现出卓越的加速潜力，尤其是基于奇异值分解（SVD）的低秩近似方法，凭借其结构紧凑、即插即用且无需定制硬件加速库的优势，成为后训练压缩的热门方案。

然而，将现有的 SVD 压缩方法直接照搬至物理大模型面临着本质性的科学壁垒。与离散图像或文本不同，PFMs 学到的是定义在连续时空域上的函数映射算子，其不仅要求输出场数值具有零阶数值逼近精度，更要求严格遵从偏微分方程（PDE）所蕴含的物理守恒律、结构不变量及高阶导数光滑性。现有的 SVD 压缩算法（如局部输出重构、激活值白化或统一秩截断）通常将优化目标严格绑定在参数重建误差或基础任务损失上，完全忽视了压缩扰动在输出函数空间中对高阶偏导数的剧烈放大效应。更关键的是，深度网络中各层对物理结构保真度的贡献极不均衡，且层间误差扰动存在强耦合的级联传播机制；现有方法要么孤立处理单层重建，要么采用局部启发式策略，极易引发高频结构虚化、局部涡旋抹平，甚至导致长期滚动模拟的数值发散。

由于物理先验（如不可压缩流体的无散约束、压力梯度与涡度演化）高度依赖空间导数结构，压缩方案必须跨越参数空间直接对齐连续函数空间的物理保真度。本文的核心 idea 是：将网络输出映射置于索伯列夫空间中建模物理敏感度，利用高阶偏导数增强的 Fisher 信息矩阵显式解耦层级敏感权重与跨层扰动传播，并通过全局效益成本比贪心分配各层压缩秩，实现准确率与物理保真度协同的高比率低秩压缩。

方法详解¶

整体框架¶

SAFE-SVD 的整体处理流程建立在序贯逐层压缩与全局自适应秩分配的双重框架之上。针对拥有 $N$ 个线性层的物理大模型，方法首先利用校准集在索伯列夫函数空间内评估各层对于物理损失的高阶敏感度，计算经验 Fisher 信息矩阵的 Cholesky 分解因子；随后通过对无扰动激活协方差与敏感矩阵的联合代理奇异值进行效益成本评分，在全局参数预算下自适应贪心截断各层的保留秩；最后按拓扑顺序逐层求解包含本层重构误差与跨层级联累积误差的凸优化目标，获得低秩分解权重矩阵。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练物理大模型与物理校准集"] --> B["索伯列夫函数空间物理损失建模<br/>融合基础任务损失与高阶偏导数一致性约束"]
    B --> C["层级敏感度度量与 Fisher 矩阵分解<br/>计算激活梯度外积期望及其 Cholesky 因子 L"]
    C --> D["全局贪心秩分配<br/>依据代理矩阵奇异值效益成本比确定各层保留秩 k"]
    D --> E["序贯层级低秩逼近优化<br/>联合平衡单层洁净重构与跨层累积扰动传播"]
    E --> F["输出：压缩后物理保真度对齐的低秩模型"]

关键设计¶

1. 索伯列夫空间物理损失与 Fisher 全局敏感度度量：跨越参数空间的物理结构感知

传统 SVD 压缩方法仅在网络权重或单层局部输出端衡量均方误差，无法感知层级压缩扰动在输出函数空间中对物理规律的破坏。为了赋予压缩过程物理保真意识，本文将模型输出的评估提升至索伯列夫空间 $W^{p,q}$，在原始任务损失（如相对 $l_1$ 或 MSE）基础上叠加最高达 $p$ 阶的空间偏导数误差惩罚： $$\mathcal{L} = \mathcal{L}_{\text{base}} + \sum_{|\alpha|\le p}\lambda_\alpha \frac{1}{|\Omega_h|}\sum_{\mathbf{r}\in\Omega_h} \|D^\alpha \mathbf{u}(\mathbf{r}) - D^\alpha \hat{\mathbf{u}}(\mathbf{r})\|_q^q$$ 其中 $D^\alpha$ 为空间有限差分离散导数算子，$p$ 依据物理方程类别确定（例如不可压缩 Navier-Stokes 包含二阶耗散项取 $p=2$，声波与可压缩 Euler 方程取 $p=1$）。当某层中间激活 $\mathbf{Z}=\mathbf{W}\mathbf{X}$ 受到压缩扰动 $\Delta\mathbf{Z}$ 时，对全网物理总损失进行二阶泰勒展开，损失增量期望可近似为 $\frac{1}{2}\mathbb{E}[\Delta\mathbf{Z}^\top \mathbf{F}_{\mathbf{Z}} \Delta\mathbf{Z}]$。通过在校准集上估计经验 Fisher 信息矩阵 $\mathbf{F}_{\mathbf{Z}}=\mathbb{E}[\mathbf{g}\mathbf{g}^\top]$（其中 $\mathbf{g}=\nabla_{\mathbf{Z}}\mathcal{L}$），并求其 Cholesky 分解 $\mathbf{F}_{\mathbf{Z}}=\mathbf{L}^\top\mathbf{L}$，即可将复杂的物理敏感度直接折算为变换空间中的欧氏加权范数 $\|\mathbf{L}\Delta\mathbf{Z}\|_2^2$。针对低样本场景下协方差矩阵秩亏损问题，框架引入微小扰动或特征值分解（EVD）备选算子，确保敏感度矩阵严格正定。

2. 联合单层重构与跨层误差传播的序贯优化：化解深度级联漂移

在深度物理大模型中，浅层的微小压缩扰动会被后续非线性层非线性放大，导致输入到后续层的激活值偏离洁净分布。若仅优化当前层的局部输出匹配，会导致整网累积误差迅速雪崩；若纯粹针对扰动输入优化，又极易在小样本校准集上发生过拟合与数值不稳定。为此，SAFE-SVD 采用参数 $\alpha\in(0,1)$（默认设为 0.7）建立包含洁净输入 $\mathbf{X}$ 与前序层压缩导致的受扰输入 $\mathbf{X}'$ 的复合凸优化目标： $$\min_{\mathbf{W}'} (1-\alpha)\mathbb{E}\left[\|\mathbf{L}(\mathbf{W}\mathbf{X} - \mathbf{W}'\mathbf{X})\|_2^2\right] + \alpha\mathbb{E}\left[\|\mathbf{L}(\mathbf{W}\mathbf{X} - \mathbf{W}'\mathbf{X}')\|_2^2\right]$$ 利用迹算子性质展开后，该目标可精确重写为加权协方差下的迹极小化形式： $$\min_{\mathbf{W}'} -2\operatorname{Tr}\left(\mathbf{L}\mathbf{W}'\boldsymbol{\Sigma}_{\text{cov}}\mathbf{W}^\top\mathbf{L}^\top\right) + \operatorname{Tr}\left(\mathbf{L}\mathbf{W}'\boldsymbol{\Sigma}_{\text{c\_cov}}\mathbf{W}'^\top\mathbf{L}^\top\right)$$ 其中 $\boldsymbol{\Sigma}_{\text{cov}}=(1-\alpha)\boldsymbol{\Sigma}_{\mathbf{XX}} + \alpha\boldsymbol{\Sigma}_{\mathbf{X}'\mathbf{X}}$，$\boldsymbol{\Sigma}_{\text{c\_cov}}=(1-\alpha)\boldsymbol{\Sigma}_{\mathbf{XX}} + \alpha\boldsymbol{\Sigma}_{\mathbf{X}'\mathbf{X}'}$。进一步对对称正定矩阵进行 Cholesky 分解 $\boldsymbol{\Sigma}_{\text{c\_cov}}=\mathbf{R}\mathbf{R}^\top$，该非平庸的加权回归问题可等价变换为标准的 Frobenius 范数低秩近似任务： $$\min_{\mathbf{M}} \|\mathbf{M} - \mathbf{M}^*\|_F^2 \quad \text{s.t.} \quad \operatorname{rank}(\mathbf{M})=k$$ 其中中间变换矩阵 $\mathbf{M}=\mathbf{L}\mathbf{W}'\mathbf{R}$，靶标矩阵 $\mathbf{M}^*=\mathbf{L}\mathbf{W}\boldsymbol{\Sigma}_{\text{cov}}^\top\mathbf{R}^{-\top}$。根据 Eckart-Young-Mirsky 定理，通过截断奇异值分解 $\mathbf{M}=\text{SVD}_k(\mathbf{M}^*)$，即可解析得到最优重构权重 $\mathbf{W}'=\mathbf{L}^{-1}\mathbf{M}\mathbf{R}^{-1}$。

3. 基于效益成本比的全局自适应贪心秩分配：攻克非凸组合分配瓶颈

不同网络层对物理信息的承载能力高度异质，传统各层等比例截断的均匀秩配置极大地浪费了稀缺的参数预算。在全局参数保留率 $\eta\in(0,1]$ 与总体参数预算 $B=\eta\sum_{l=1}^N (d_{\text{out}}^{(l)}\times d_{\text{in}}^{(l)})$ 的约束下，层间秩分配本质上是高维离散组合爆炸问题。由于在压缩前无法预知扰动激活 $\mathbf{X}'$，SAFE-SVD 构造无扰动近似代理 $\mathbf{M}^*\approx \mathbf{L}_l\mathbf{W}_l\mathbf{R}_l^c$（其中 $\boldsymbol{\Sigma}_{\mathbf{XX},l}=\mathbf{R}_l^c\mathbf{R}_l^{c\top}$）。对于层 $l$ 的第 $i$ 个奇异分量，其对降低二阶物理损失增量的贡献与奇异值平方 $\sigma_{l,i}^2$ 成正比，而新增该奇异秩带来的参数成本固定为 $P^{(l)}=d_{\text{out}}^{(l)} + d_{\text{in}}^{(l)}$。因此，算法将候选奇异分量的单位效益得分定义为： $$v_{l,i} = \frac{\sigma_{l,i}^2}{P^{(l)}}$$ 算法将全网所有层的所有候选奇异向量汇入全局候选池按 $v_{l,i}$ 降序排列，贪心优先为效益最高的层递增分配秩 $k_l\leftarrow k_l+1$ 并扣除对应参数代价，直至总参数预算耗尽。对于包含多种物理流态的多任务大模型（如 VICON），框架进一步引入基于迹的能量平衡因子 $s_{l,c}^X$ 与 $s_{l,c}^F$，消除高数值量纲场景对奇异谱的病态主导，实现跨物理领域的鲁棒平衡分配。

损失函数 / 训练策略¶

SAFE-SVD 属于完全无需二次微调（Post-Training without Fine-Tuning）的高效后训练压缩流程。整个流程仅依赖前向传播从少量校准轨迹中累积激活值的一阶梯度与二阶统计量（如 Poseidon 采用 64 条物理轨迹共 7,680 至 13,440 个时空快照样本）。在提取 Fisher 矩阵与协方差矩阵后，全部运算均由矩阵 Cholesky 分解、正规化反解以及标准 SVD 奇异值截断解析完成，耗时远低于全网重训练或端到端可微搜索。

实验关键数据¶

主实验¶

论文在 Poseidon、VICON 与 MPP 三个代表性物理大模型及多类 PDE 动力学基准上进行了全方位评测，涵盖不可压缩 Navier-Stokes（NS-PwC、NS-BB）、可压缩 Euler（CE-RM）与高斯声波传播（Wave-Gauss）等物理工况。所有数值指标均严格汇报相对未压缩完整模型（Origin）的绝对劣化百分比（数值越低越好）。

模型与数据集	压缩比例 (保留参数)	评估指标	SAFE-SVD (本文)	SAES-SVD (最强基线)	ASVD / FWSVD / Dobi-SVD 范围
Poseidon (NS-PwC)	0.6 (60%)	Base Loss / Sobolev Loss	0.00% / 0.01%	2882% / 1763%	4496%~7468% / 2449%~3036%
Poseidon (NS-PwC)	0.4 (40%)	Base Loss / Sobolev Loss	0.26% / 0.08%	3062% / 1868%	5169%~8741% / 4364%~6051%
Poseidon (NS-PwC)	0.2 (20%)	Base Loss / Sobolev Loss	2.64% / 1.79%	3726% / 2429%	6725%~9529% / 6011%~10090%
Poseidon (NS-PwC)	0.2 (20%)	Div-Free / Vorticity 误差	0.52% / 1.35%	2199% / 2426%	3563%~4999% / 4131%~4440%
Poseidon (CE-RM)	0.2 (20%)	Base Loss / Sobolev Loss	0.10% / 1.01%	6.25% / 9.83%	40.57%~61.44% / 29.72%~97.34%
Poseidon (Wave-Gauss)	0.4 (40%)	Base Loss / Sobolev Loss	0.04% / 0.40%	249.3% / 4020%	475.4%~670.4% / 3542%~19627%
Poseidon (Wave-Gauss)	0.2 (20%)	Base Loss / Sobolev Loss	0.70% / 151.9%	366.9% / 5873%	525.0%~1122% / 11452%~20124%
VICON (NS-2D)	0.6 (60%)	Base Loss / Sobolev Loss	2.07% / 1.22%	49.63% / 7.06%	73.76%~10140% / 11.74%~528.7%
VICON (NS-2D)	0.2 (20%)	Base Loss / Sobolev Loss	291.1% / 23.19% (Ours* 239.7%/20.17%)	651.3% / 37.96%	2245%~15583% / 67.19%~535.6%

消融实验¶

在 Poseidon 模型的不可压缩流体基准（NS-BB）上，固定压缩后模型规模为 126.3M（保留约 20% 参数），针对秩选择机制（RS）、敏感度估计（SE）、索伯列夫阶数（SL Order）与平衡权重 $\alpha$ 进行深入消融：

配置说明	RS (秩选择)	SE (敏感度)	索伯列夫范数	导数阶数	权衡参数 $\alpha$	Base Loss 劣化	Sobolev 劣化	无散度约束误差	涡度误差
基线均分秩模型	$\times$	$\times$	-	-	-	2809%	5018%	2863%	1971%
仅引入贪心秩分配	$\checkmark$	$\times$	-	-	-	63.92%	361.9%	126.1%	60.23%
引入 SE (零阶 $l_2$)	$\checkmark$	$\checkmark$	$l_2$	0	0.5	36.69%	168.8%	49.50%	19.97%
引入 SE (二阶 $l_2$)	$\checkmark$	$\checkmark$	$l_2$	2	0.5	34.35%	152.2%	41.89%	17.33%
引入 SE (零阶 $l_1$)	$\checkmark$	$\checkmark$	$l_1$	0	0.5	19.72%	95.76%	23.84%	11.84%
引入 SE (一阶 $l_1$)	$\checkmark$	$\checkmark$	$l_1$	1	0.5	2.85%	7.23%	1.15%	1.17%
完整模型 (二阶 $l_1$)	$\checkmark$	$\checkmark$	$l_1$	2	0.5	1.22%	0.66%	0.26%	0.74%
调整参数 $\alpha=0.3$	$\checkmark$	$\checkmark$	$l_1$	2	0.3	1.32%	0.59%	0.24%	0.75%
优化平衡 $\alpha=0.7$	$\checkmark$	$\checkmark$	$l_1$	2	0.7	1.20%	0.83%	0.29%	0.77%

关键发现¶

高阶偏导数约束是物理结构保真的生命线：从零阶跃升至二阶索伯列夫导数约束时，Base Loss 劣化从 19.72% 骤降至 1.22%，无散度物理约束误差从 23.84% 大幅压低至 0.26%，直接跨越了工程可用性的阈值。
贪心效益成本比打破了不可压缩流体灾难性崩塌：传统方法采用均匀截断时误差爆炸超过 2000%，而基于 Fisher 敏感度的全局自适应贪心秩分配在同等体积下使基础损失相对增幅骤降至 63.92%，证明浅层与深层在物理信息传递中的极端非对称性必须依赖自适应分配。
物理流态的几何传播特性决定敏感极限：在涡旋演化与冲击波主导的局部强间断物理过程（NS-PwC 与 CE-RM）中，由于误差空间局部化，SAFE-SVD 在 0.2 压缩率下仅产生约 0.1%~2.6% 的轻微扰动；而在全局连续相干波动的 Wave-Gauss 系统中，微小位相误差在长程自回归滚动中极易累积为波速漂移，使 0.2 压缩率下的索伯列夫误差上升至 151.9%，但仍比基线方法低两个数量级以上。

亮点与洞察¶

将索伯列夫泛函空间引入模型剪枝与截断：突破了传统深度学习仅在欧氏离散空间计算参数重建误差的局限，利用泛函分析工具将时空高阶偏导数融入 Fisher 信息矩阵，提供了一种直接保护物理不变量的优雅数学路径。
闭式 Frobenius 范数代数等价转化：通过对带权重的跨层误差传播目标与洁净重构目标实施联合 Cholesky 因子分解，巧妙将复杂的二次迹极小化问题转化为满足 Eckart-Young-Mirsky 定理的解析 SVD 形式，避免了高代价的端到端迭代微调。
泛化至科学多任务基础模型的能量平衡机制：针对多物理场中压力、速度、密度等物理量量纲跨越数个数量级的现实难题，提出迹规整化能量平衡重加权策略（Ours*），为 AI for Science 领域大尺度异质预训练模型的后处理优化提供了普适范例。

局限与展望¶

物理导数阶数的先验绑定局限：方法高度依赖于特定偏微分方程家族的索伯列夫先验阶数匹配（例如必须事先知道系统是二阶流体还是一阶波动方程），尚无法自适应推断任意未知黑盒仿真系统的最佳正则化空间。
超高压缩率下的自回归相位积累问题：在极具挑战性的 0.2 压缩比率下，全局相干波动系统（如波动方程）仍会出现一定程度的相位偏移，未来需引入辛几何保结构或能量哈密顿守恒等更强硬约束。
科学计算硬件协同与量化融合：当前工作主要聚焦于结构化低秩 SVD 分解，未来有望将物理感知灵敏度进一步推广至 INT4/FP4 混合精度量化及剪枝架构中，实现多维度复合压缩。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将索伯列夫导数敏感度与 SVD 低秩近似相结合，开创了物理大模型物理感知模型压缩的新方向]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 个主流物理大模型、多类经典偏微分方程族、多级极端压缩比率与严密的物理度量]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严丝合缝，代数等价转化清晰，物理直觉与实验分析阐述深入透彻]
价值: ⭐⭐⭐⭐⭐ [切实解决了物理大模型落地部署高昂计算成本与长期滚动物理发散的卡脖子矛盾]

配置说明	RS (秩选择)	SE (敏感度)	索伯列夫范数	导数阶数	权衡参数 \(\alpha\)	Base Loss 劣化	Sobolev 劣化	无散度约束误差	涡度误差
基线均分秩模型	\(\times\)	\(\times\)	-	-	-	2809%	5018%	2863%	1971%
仅引入贪心秩分配	\(\checkmark\)	\(\times\)	-	-	-	63.92%	361.9%	126.1%	60.23%
引入 SE (零阶 \(l_2\))	\(\checkmark\)	\(\checkmark\)	\(l_2\)	0	0.5	36.69%	168.8%	49.50%	19.97%
引入 SE (二阶 \(l_2\))	\(\checkmark\)	\(\checkmark\)	\(l_2\)	2	0.5	34.35%	152.2%	41.89%	17.33%
引入 SE (零阶 \(l_1\))	\(\checkmark\)	\(\checkmark\)	\(l_1\)	0	0.5	19.72%	95.76%	23.84%	11.84%
引入 SE (一阶 \(l_1\))	\(\checkmark\)	\(\checkmark\)	\(l_1\)	1	0.5	2.85%	7.23%	1.15%	1.17%
完整模型 (二阶 \(l_1\))	\(\checkmark\)	\(\checkmark\)	\(l_1\)	2	0.5	1.22%	0.66%	0.26%	0.74%
调整参数 \(\alpha=0.3\)	\(\checkmark\)	\(\checkmark\)	\(l_1\)	2	0.3	1.32%	0.59%	0.24%	0.75%
优化平衡 \(\alpha=0.7\)	\(\checkmark\)	\(\checkmark\)	\(l_1\)	2	0.7	1.20%	0.83%	0.29%	0.77%