PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation¶

会议: NeurIPS2026
arXiv: 2609.26890
代码: https://github.com/Yuta-Tarumi/PRSmoother_Neurips2026
领域: 物理 / 科学计算
关键词: 数据同化、非高斯平滑、归一化流、物理模拟器、联合参数估计

一句话总结¶

PR-Smoother 在物理状态空间中学习非高斯初值后验与未来观测条件化的逐步校正，同时保留既定模拟器，用仅含观测窗口的变分目标联合估计状态、物理参数和传感器偏置，在非线性 Lorenz–96 与 16,384 维流体系统上验证了这一设计。

研究背景与动机¶

数据同化不是一般的时间序列预测：研究者已有物理方程及观测算子，要从局部、带噪测量反推不可见的物理状态，必要时还要校准方程参数。本文研究窗口内的平滑，即利用整个窗口的观测估计轨迹后验，而不只是使用截至当前时刻的信息做滤波。4D-Var 保留方程，却主要给出窗口内的最大后验估计；集合 Kalman 方法也保留物理模型，但其更新依赖局部高斯近似。若测量将正负状态映射到同一数值，或者在大幅值区域饱和，这些表示可能丢掉真正的多峰性。

灵活生成模型提供了另一条路，但学习替代动力学、隐空间转移或轨迹先验会改变科学问题：最终校准的不一定还是原来的物理方程。训练数据若只有观测窗口、没有真实状态标签，先用某组未知参数生成监督轨迹也有额外困难。作者因此同时要求物理空间非高斯后验、高维可扩展性、纯观测训练，以及可直接校准的既定模拟器。这不是宣称以前没有变分状态空间推断，而是寻找满足这组约束的具体构造。

切入点在于把“生成世界的方程”和“解释观测的后验”分开：物理模拟器继续承担生成模型的转移，神经网络只学习观测条件化的后验自由度。确定性系统的一条轨迹完全由初值决定，因此不必用大型生成网络重建整条轨迹；有过程噪声时，再围绕每次物理推进增加未来观测驱动的校正。核心 idea：让归一化流表示非高斯初值，让既定模拟器传递时间相关性，仅在后验中学习未来条件化校正，并用保留物理转移与观测似然的 ELBO 联合训练与校准。

方法详解¶

整体框架¶

输入包括观测窗口、可微的既定动力学与观测算子，以及初值先验。输出不是单条轨迹，而是可以采样、计算相应密度项的物理轨迹后验近似；未知物理参数与固定传感器偏置则作为跨窗口共享的点估计学习。训练和部署针对同一系统的重复窗口，不意味着一个模型可以直接适用于任意物理参数或观测布局。

“非高斯初值”先编码全窗口观测并通过条件归一化流抽取初值；“模拟器推进”把样本沿原物理方程推进。确定性版本到此就得到轨迹样本，有噪声版本则在每一步加入“未来条件化校正”。“纯观测联合学习”在训练时通过原观测算子评估这些轨迹，以物理模型与变分后验之间的差异构建目标；推断新窗口时不再逐窗口优化网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Y["观测窗口"] --> A["非高斯初值"]
    A --> B["模拟器推进"]
    B -->|有噪声版本| C["未来条件化校正"]
    Y -->|当前及未来观测| C
    C -->|下一时刻继续| B
    B -->|确定性版本| O["轨迹后验样本"]
    C --> O
    O -.->|仅训练：原观测似然| D["纯观测联合学习"]
    Y -.->|仅训练：观测监督| D
    D -.->|更新后验与共享参数| A

图中的校正循环是窗口内的顺序采样，不是部署时重新训练。训练还会更新物理参数、偏置与相应噪声尺度；原动力学和原观测算子始终在目标中，不被图里的后验网络取代。

关键设计¶

1. 非高斯初值：把复杂不确定性放在物理轨迹的入口

只用对角高斯初值时，一个符号不明的状态容易被压成单峰。PR-Smoother 先将全窗口观测编码成上下文，再将标准高斯样本通过条件 RealNVP 映射成初值。非线性可逆映射可以表示多个密度峰，同时由变量替换公式获得精确的初值对数密度，这正是 ELBO 中熵项及初值 KL 所需的量。选择归一化流不仅为了采样质量，也为了避免每个样本另解密度追踪 ODE。

这里的随机输入不是额外学习的隐动力学状态：映射输出直接是原模拟器使用的物理初值。低维 Lorenz–96 使用周期卷积编码，40 维版本增加沿空间维度的注意力；Kolmogorov 版本采用二维条件耦合流。编码器可随网格结构变化，但“观测条件化初值、显式密度、物理空间输出”这一接口保持一致。

2. 模拟器推进：让时间相关性来自原物理方程

确定性版本仅抽样初值，此后每一步都调用既定模拟器。这样同一初值决定整条轨迹，后验天然保留跨时间的相关性，不需要逐时刻独立生成状态。非线性推进后，后续状态边缘也可以非高斯；因此“部分条件项是高斯”不等于“整条轨迹后验是高斯”。

严格说，确定性轨迹分布是初值后验的推前测度，在完整轨迹空间中不必具有普通满维密度。论文先用相同的正噪声转移核构造生成模型与变分族，使两者的转移对数项抵消，再取噪声趋零的极限。这避免直接把 Dirac 转移当成普通高斯密度计算，剩下的目标是观测拟合与初值先验之间的约束。

3. 未来条件化校正：修正后验采样而不是学习替代动力学

有过程噪声时，单次初值抽样加确定性推进不足以解释每一步的随机偏离。作者利用状态空间模型的 Markov 性质：给定前一步状态，当前状态的平滑条件分布只需要当前及未来观测。前向变分分解与这个结构一致，其逐步条件项为：

\[ q_{\phi}(X_t\mid X_{t-1},Y_{t:T}) =\mathcal{N}\!\left(f_{\theta_{\mathrm{dyn}}}(X_{t-1})+m_t,\,S_t\right). \]

校正均值与一般构造中的协方差可以依赖前一步状态、未来观测和时间编码。反因果编码器将观测序列倒序交给带因果掩码的 Transformer，再翻回时间顺序，使当前上下文只包含当前及未来测量；校正头据此预测物理推进周围的偏移。虽然单步条件项是高斯，非高斯初值、非线性模拟器及状态相关校正共同形成的联合后验仍不必高斯。

关键边界是：这些校正只属于变分后验，生成转移仍以原模拟器为中心。逐步 KL 惩罚后验校正偏离指定过程噪声模型，防止网络无代价地用任意跳跃解释观测。取零均值校正、让变分协方差等于过程协方差，可以恢复无额外未来校正的嵌套构造；过程噪声进一步趋零才得到确定性版本。

主文与附录 I 的统一设置说明，实际有噪声实验采用跨时间共享的各向同性尺度，而不是任意满协方差。因此“线性高斯极限包含精确平滑器”的命题依赖流的表达能力及校正头可表达所需均值、协方差的理想假设，不能直接当作具体各向同性实现对所有线性高斯系统都精确的保证。

4. 纯观测联合学习：把状态推断和科学参数校准放进同一目标

模型抽取轨迹样本，经原观测算子产生预测测量，再与实际测量的似然比较。未知动力学参数进入原模拟器，传感器偏置进入原观测模型，二者在所有训练窗口之间共享；窗口内状态则通过摊销后验推断。它们不是同一条轨迹上的自由修补项：共享参数必须解释许多不同窗口，才能与逐窗口状态自由度区分。

证据下界（evidence lower bound，ELBO）是观测对数证据的下界。一般形式可写成以下目标，最大化它既提高观测解释能力，也限制后验偏离初值先验与物理过程模型：

\[ \mathcal{L} =\mathbb{E}_{q_{\phi}}\!\left[\sum_{t=1}^{T}\log p_{\theta_{\mathrm{obs}}}(Y_t\mid X_t)\right] -\mathrm{KL}\!\left(q_{\phi}(X_1\mid Y_{1:T})\,\|\,p(X_1)\right) -\sum_{t=2}^{T}\mathbb{E}_{q_{\phi}(X_{t-1}\mid Y_{1:T})}\!\left[ \mathrm{KL}\!\left(q_{\phi}(X_t\mid X_{t-1},Y_{t:T})\,\|\,p_{\theta_{\mathrm{dyn}}}(X_t\mid X_{t-1})\right)\right]. \]

这是主文式 (14) 的条件 KL 等价写法；确定性构造的对应转移项抵消后，使用式 (9) 的极限目标。高斯条件转移的 KL 可闭式计算，初值流的密度也可直接评估，因此训练不需要真实轨迹标签。测试 ELBO 按整个窗口求和，只能在相同窗口长度和相同观测模式内比较。

一个完整示例¶

考虑 40 维 Lorenz–96 的 50 步窗口，逐分量测量为 \(h(x)=\min(x^2,5)\)，观测噪声标准差为 1。一个较大的正状态和相应负状态会得到相同饱和值，单次测量无法告诉模型该选择哪个符号。

全窗口编码器先为初值流提供上下文，使不同抽样可以保留多个可行解释。每个初值样本都经过原 Lorenz–96 方程推进，而不是逐时刻独立选择符号；后续观测会对整段动力学是否一致施加约束。有过程噪声时，反因果上下文再帮助每一步选择校正，使随机偏离与未来测量一致，并承担相应 KL 代价。

因此多个时间点的信息不仅让估计更平滑，还排除了不能产生后续测量的轨迹。模型最终返回轨迹样本集合；若需要部署时的点估计，可从后验汇总，或将结果作为逐窗口 4D-Var 精修的起点。后者是论文提出的应用方向，不是已报告的组合实验。

损失函数 / 训练策略¶

训练用观测窗口小批量最大化 ELBO，Adam 优化网络及适用的共享生成参数。Lorenz–96 的前 1% 更新、Kolmogorov 的前 5% 更新用于学习率预热，之后指数下降，末值为最大值的 0.1 倍。40 维初值 Flow 用最大学习率 \(2\times10^{-4}\)，Noisyflow 用 \(4\times10^{-4}\)；Kolmogorov 各变分版本用 \(3\times10^{-4}\)。

4 维和 40 维主训练集各约 \(1.0\times10^7\) 窗口；Kolmogorov 数据量在汇总表中取整为 \(2.9\times10^6\)，数据缩放实验给出的全量为 \(2.88\times10^6\)。Kolmogorov 还采用 Fourier 基中的谱高斯初值先验，先验超参数默认与其他生成参数共同优化。

源文存在两处实现口径不一致：附录 I.2 的部分校正头描述写了对角、状态相关方差，但主文第 5.2 节、附录 F 与附录 I 的统一设置写的是共享各向同性尺度；I.2 末尾又称没有可训练模型参数，而附录 F 明确联合学习过程噪声尺度。此处按统一设置解释实验，同时保留冲突，不将其改写成已经核实的代码行为。

实验关键数据¶

主实验¶

除另行说明外，数值为五个独立随机种子的均值与标准差。4 维实验使用平方观测、噪声标准差 3，以 \(5\times10^6\) 粒子的 bootstrap 粒子滤波器作为评估参考，不用其轨迹监督训练。

能量距离（ED）比较跨分布样本的平均距离，并扣除各自分布内部的距离项；1-Wasserstein 距离 \(W_1\) 是将一个分布搬运为另一个分布所需的最小期望运输距离。两者越小，估计分布越接近粒子参考。缓存正文没有说明 ED 是否取平方根、距离归一化或 \(W_1\) 的数值求解细节，因此不补造精确实现公式，也不把这些数值解释为解析后验误差。

以下保留 Figure 2 中最能区分初值表达能力与轨迹耦合的结果：

方法	1 步 ED	1 步 \(W_1\)	10 步 ED	10 步 \(W_1\)
Flow	0.20 ± 0.04	0.90 ± 0.09	0.13 ± 0.04	0.22 ± 0.02
Gauss	1.38 ± 0.24	3.63 ± 0.67	0.19 ± 0.02	0.29 ± 0.01
MF	1.37 ± 0.24	3.62 ± 0.67	0.57 ± 0.05	0.68 ± 0.07
EnKF	0.70 ± 0.09	2.63 ± 0.31	1.42 ± 0.26	2.57 ± 0.58

高维 Kolmogorov 系统使用 \(128\times128\) 网格、10 步窗口、观测噪声标准差 3，同时估计全局 forcing、Reynolds number 与跨窗口固定的传感器偏置。下表选取主文 Table 1 的状态 RMSE；oracle 基线提前获得真实物理参数和偏置，不与联合估计方法拥有相同信息。

方法	Full	Half	Sparse	Realistic
Flow	0.28 ± 0.00	2.31 ± 0.09	1.92 ± 0.12	1.60 ± 0.02
Noisyflow	0.65 ± 0.01	2.16 ± 0.10	2.18 ± 0.11	1.84 ± 0.07
Gauss	0.32 ± 0.00	2.16 ± 0.10	4.95 ± 0.10	2.99 ± 0.13
IEnKS	4.04 ± 0.12	4.13 ± 0.18	4.10 ± 0.18	4.02 ± 0.19
4D-Var (oracle)	0.31 ± 0.00	2.42 ± 0.10	3.81 ± 0.14	3.06 ± 0.16

Realistic 模式下，Table 2 的 Flow 参数误差为 \(|\Delta F|=(2.3\pm1.6)\times10^{-3}\)、\(|\Delta\log Re|=0.31\pm0.01\)，偏置误差为 \(0.57\pm0.02\)。这里的 \(F\) 真值为 1.0，\(Re\) 真值为 1000，初始值分别为 0.1 与 100；并非已知正确参数后的单纯状态重建。

消融实验¶

40 维实验在初值 Flow/Gauss 与有无未来校正之间做组合比较，另列经典基线，状态 RMSE 越低越好。数据列依次为线性观测、确定性动力学下的非线性观测，以及非线性观测加每步标准差 0.1 的过程噪声；来源为 Figure 3。

配置	线性	非线性	非线性 + 过程噪声
Flow	0.516 ± 0.006	0.738 ± 0.011	0.909 ± 0.015
Noisyflow	0.287 ± 0.001	0.549 ± 0.084	0.498 ± 0.003
Gauss	0.597 ± 0.027	0.827 ± 0.009	1.020 ± 0.014
NoisyGauss	0.343 ± 0.002	0.797 ± 0.019	0.958 ± 0.006
MF	0.413 ± 0.001	3.170 ± 0.004	3.019 ± 0.030
4D-Var	0.142 ± 0.004	6.488 ± 0.202	3.516 ± 0.024
IEnKS	0.176 ± 0.004	5.675 ± 0.175	5.603 ± 0.177

这些变体的学习率、批量大小和训练轮数不同，不是严格只删除一个模块且计算量完全相同的消融。它们支持变分族表达能力的重要性，但不能把全部差值归为某个模块的独立因果贡献。

关键发现¶

4 维单步平方测量理论上最多产生 \(2^4\) 个符号组合；图中的展示边缘是双峰，不应把它误写成整个四维联合后验只有两个峰。增加到十步后，动力学帮助消除符号歧义，Flow 的 ED 从 0.20 降至 0.13。
线性 40 维情形由 4D-Var 和 IEnKS 领先，PR-Smoother 并非所有场景最优。非线性且有过程噪声时，Noisyflow 的 RMSE 为 0.498，低于 Flow 的 0.909 与 NoisyGauss 的 0.958。
附录 F、Table 5 中，Noisyflow 学得 \(\ln\sigma_Q=-2.29\pm0.04\)，接近真值 -2.30；NoisyGauss 为 \(-4.61\pm0.16\)。在无真实过程噪声的数据列，学得的非零尺度应理解为有效模型误差或正则尺度，不是发现了物理噪声。
Kolmogorov 的混合覆盖使密集区域提供参数辨识、稀疏区域提供全局覆盖；完全不可见的半区仍不能可靠恢复。Sparse 中 Flow 的状态 RMSE 为 1.92，却有 \(|\Delta\log Re|=2.47\pm0.02\)，说明状态可重建不代表参数可辨识。
高维确定性实验在近似匹配的训练时间预算下，Flow 优于 Noisyflow；作者将其解释为更大的有噪声搜索空间收敛较慢，而非校正机制普遍无效。

亮点与洞察¶

将物理方程同时放进生成目标与后验采样结构，比只在损失里添加物理惩罚更直接。模型不必重新学习跨时刻关系，因而能把学习容量集中在观测造成的不确定性上。
非高斯能力与时间耦合承担不同任务。Flow/Gauss 对比主要检验初值密度表达，MF 对比则揭示破坏轨迹耦合的后果，不能用“都是 Gaussian”将它们混为一谈。
摊销价值来自重复窗口，而非免除计算成本。附录 Table 12 中，训练后 Flow 单窗口时间为 40 维线性 0.37 秒、非线性 0.38 秒、Kolmogorov 混合覆盖 1.89 秒，但需要分别约 11–18 和 19–20 GPU 小时的离线训练。

局限与展望¶

需要可微模拟器与观测算子；已有伴随方法可能帮助接入传统求解器，但并未验证所有遗留模拟器都能高效训练。实验仍为合成物理基准，未覆盖实际业务天气系统。
共享物理参数与传感器偏置只做点估计，轨迹后验条件于这些估计，未包含完整参数不确定性。加入全局参数变分因子与先验是自然扩展。
过程噪声下的逐步条件项仍受高斯族限制，且实际实现使用简化协方差。两个可解极限中的表达性命题不是任意非线性、有噪声系统的精确性证明，也不是优化能找到正确解的保证。
同一系统上反复处理窗口适合摊销，参数分布或观测布局变化则可能需要适应训练。应补充分布外预测检验、后验覆盖率及校准测试，而不只看 RMSE。
Kolmogorov IEnKS 主结果用 16 个集合成员，附录检查了 16、32、48，并校准局部化半径；这有计算预算依据，但不能据此断言 PR-Smoother 优于一切大集合配置。运行时间比较也未计入离线训练，且高维对照是 oracle 版本。

评分¶

新颖性: 4/5 — 创新在既定模拟器约束下的结构化非高斯平滑，而不是首创变分状态空间推断。
实验充分度: 4/5 — 多峰、过程噪声和高维参数校准均有证据，但仍缺业务系统与完整不确定性校准。
写作质量: 4/5 — 问题边界与两个可解极限清楚，附录的噪声参数和协方差口径存在冲突。
价值: 4/5 — 适合有可微物理模型、反复同化窗口且观测非线性的科学计算任务。