Probabilistic Weather Forecasting with Deterministic Guidance-Based Diffusion Model

会议: ECCV 2024
arXiv: 2312.02819
代码: https://github.com/DongGeun-Yoon/DGDM
领域: 扩散模型 / 气象预测
关键词: 概率气象预报, 确定性引导, 扩散模型, 布朗桥, 截断扩散

一句话总结

本文提出DGDM(Deterministic Guidance Diffusion Model)，通过将确定性预测分支与基于布朗桥的概率扩散分支联合训练，利用确定性预测结果截断扩散反向过程来控制不确定性范围，同时实现精确和概率性的气象预报，并在全球和区域预报任务中达到SOTA。

研究背景与动机

领域现状：气象预报既需要确定性结果用于即时决策，也需要概率性结果用于评估不确定性。传统的数值天气预报(NWP)通过对初始条件加入微小扰动进行多次模拟来实现集成预报，但计算成本极高。近年来数据驱动方法如GraphCast、Pangu-Weather在确定性全球预报中已超越NWP，但它们本质上是确定性模型，无法进行概率预测。

现有痛点：确定性模型（如TAU、SimVP）预测精度高但无法捕捉天气的多种可能性，输出单一且模糊的预测——本质上是所有可能未来的"平均"。概率模型（如RaMViD、VDM）基于扩散过程能生成多样化的预测样本，但精度不足，且样本多样性过高导致难以选择哪个样本最接近真实。数据驱动气象预报面临确定性（高精度但无概率预测）和概率性（多样化但精度低）之间的trade-off。

核心矛盾：确定性模型无法表达亚网格尺度过程（如湍流、热带积云对流等小于模型分辨率的随机现象），而概率模型虽能表达不确定性但预测质量不可控，多样性太高反而成为负担。

本文目标 (1) 如何同时获得高精度和概率性的气象预报；(2) 如何控制概率预测的不确定性范围；(3) 如何利用确定性结果提升概率预测的质量。

切入角度：NWP的集成预报本质上是"从确定性起点出发，通过扰动产生概率性"。作者受此启发，将确定性预测作为扩散模型反向过程的中间起点，而非从纯噪声开始，从而在保持多样性的同时约束预测空间。

核心 idea：将确定性分支的预测结果作为扩散模型反向过程的中间起始点进行截断扩散，既保留了概率多样性又提高了预测精度并加速推理。

方法详解

整体框架

DGDM由两个分支组成：确定性分支(DB)和概率分支(PB)。训练阶段，DB采用非自回归的编码器-转换器-解码器结构预测未来天气，PB使用布朗桥扩散过程在初始天气条件和未来天气之间建模。两个分支端到端联合训练。推理阶段，DB的预测结果被用作PB反向过程的中间起始点，通过截断扩散来控制预测的不确定性范围。

关键设计

1. 确定性分支(Deterministic Branch, DB):

   • 功能：提供高精度的确定性气象预测，同时为概率分支提供引导信息
   • 核心思路：采用非自回归架构避免自回归预测中的误差累积。由编码器 \(e(\cdot)\)、转换器 \(st(\cdot)\)和解码器 \(d(\cdot)\) 组成，类似TAU的结构。给定输入 \(x\)（当前天气条件），损失函数为 \(L_{DB} = \|y - d(st(e(x)))\|^2\)。关键地，转换器的中间特征 \(z = st(e(x))\) 被提取出来供概率分支通过交叉注意力机制使用
   • 设计动机：非自回归结构在固定预报时间段上能获得更好的性能。同时DB不仅是独立预测器，还是PB的信息源——它提取的时空特征通过交叉注意力注入PB，使概率预测也能利用确定性模型捕捉的精确动态

2. 基于布朗桥的概率分支(Probabilistic Branch, PB):

   • 功能：生成多样化的概率预测，捕捉天气的不确定性
   • 核心思路：使用布朗桥扩散过程而非标准DDPM。布朗桥的前向过程以起点 \(x_0 = y\)（真实未来天气）和终点 \(x_T = x\)（当前天气条件的复制）为条件，中间状态分布为 \(q(x_t|x_0, x_T) = \mathcal{N}((1-m_t)x_0 + m_tx_T, \delta_t I)\)，其中 \(m_t = t/T\)。为了使3D-UNet能进行时空建模，将DB提取的特征 \(z\) 通过交叉注意力注入PB的各层。训练目标为 \(L_{PB} = \mathbb{E}\|m_t(x_T - x_0) + \delta_t\epsilon - \epsilon_\theta(x_t, t, z)\|^2\)。总损失为 \(L_{total} = L_{PB} + L_{DB}\)
   • 设计动机：布朗桥比标准DDPM更适合天气预报，因为它天然地约束了扩散过程的起终点——初始天气条件和未来天气之间的映射。交叉注意力注入DB特征使PB能利用确定性模型已经捕捉的精确动态信息

3. 顺序方差调度与截断扩散(Sequential Variance Schedule + Truncated Diffusion):

   • 功能：根据预报时效动态分配扩散步数来反映不确定性随时间增长的特性，并利用确定性结果加速和约束反向过程
   • 核心思路：顺序方差调度(SVS)：天气预报中，预报时效越长不确定性越大。SVS为每个预报时间步分配不同的扩散步数——近期预报分配较少步数（低不确定性），远期预报分配较多步数（高不确定性）。公式为 \(\text{SVS} = \{T - (\hat{L}-i) \cdot S : i=1,...,\hat{L}\}\)，其中 \(S\) 为步长。截断扩散：推理时，将DB的预测 \(\hat{y}\) 代入公式 \(\hat{x}_t = (1-m_t)\hat{y} + m_tx_T + \delta_t\epsilon\)，从中间状态 \(\hat{x}_t\) 而非终点 \(x_T\) 开始反向过程。这样既控制了多样性范围（\(\hat{y}\) 附近），又大幅减少了推理所需的扩散步数
   • 设计动机：SVS反映了气象预报的物理规律——近期天气更可预测。截断扩散巧妙地融合了确定性和概率性——以确定性结果为"锚点"，概率性只负责表达锚点周围的不确定性，而非从零开始搜索整个可能空间

损失函数 / 训练策略

联合训练：\(L_{total} = L_{PB} + L_{DB}\)。Adam优化器，DB学习率3e-4，PB学习率1e-4。前向1000步，反向200步但截断至100步。使用EMA（衰减0.995）稳定训练。训练轮数因数据而异：Moving MNIST 2000轮，PNW-Typhoon 200轮，WeatherBench 50轮。单卡A100训练。

实验关键数据

主实验（Moving MNIST）

模型	多样性	MAE↓	MSE↓	SSIM↑	FVD↓
TAU (确定性)	✗	51.46	15.68	0.966	28.17
RaMViD (概率)	✓	123.76	81.26	0.878	12.06
DGDM-Best	✗	47.31	19.14	0.966	7.43
DGDM-SB	✓	50.21	20.96	0.962	7.46

WeatherBench全球预报

模型	温度MSE↓	湿度MSE↓	风速MSE↓
TAU	1.162	31.831	1.5925
RaMViD	1.908	39.028	2.7639
DGDM-Best	1.025	28.572	1.5914

消融实验（Moving MNIST）

配置	MAE↓ (概率)	FVD↓ (概率)	说明
仅DB	58.13	18.50	只有确定性，无多样性
仅PB	123.20	8.80	有多样性但精度差
DB+PB (无布朗桥)	110.07	14.74	没有端点约束
DB+PB+布朗桥	52.04	10.06	布朗桥大幅提升精度
+复制最后帧(LF)	50.35	9.31	进一步改善
+SVS（完整模型）	50.22	8.28	SVS提升FVD并加速推理

关键发现

• DB和PB联合训练时，DB本身的性能也提升了——说明概率分支对确定性分支有正则化效果
• 截断扩散不仅控制多样性还提升精度：截断100步比不截断200步的MAE降低了11%
• 截断步数越少，STD越低（不确定性越可控），但MAE略升——可以根据需要调节精度-多样性的平衡
• SVS使短期预报的推理速度更快（所需步数更少），同时FVD指标也改善了
• DGDM在区域高分辨率预报(PNW-Typhoon)中优势更大，台风细节（风眼、云团形态）显著优于纯确定性和纯概率模型

亮点与洞察

• 确定性引导截断扩散是本文最巧妙的设计。它同时解决了三个问题：提高精度（以确定性结果为锚点）、控制多样性（截断限制了搜索空间）、加速推理（减少反向步数）。这一思路可以迁移到任何需要在精度和多样性间平衡的生成任务
• SVS顺序方差调度体现了对物理规律的尊重——不确定性随预报时效线性增长。这种将领域知识编码为模型结构的做法值得学习
• DB和PB联合训练时的互相增益是一个有趣的发现——概率分支的梯度信号对确定性分支有正则化效果

局限与展望

• DGDM本质上还是概率模型，选择哪个样本最接近真实仍是挑战——论文用"Best"选择策略回避了这个问题
• 目前仅验证了短期预报（10-12小时），中长期（3-10天）的效果未知
• 引入的PNW-Typhoon数据集仅覆盖东亚区域，泛化性有待验证
• 可以尝试用确定性分支预测不确定性本身（如预测方差），实现自适应截断
• 与最新的大规模气象基础模型（如GenCast, Aardvark Weather）的对比缺失

相关工作与启发

• vs TAU/SimVP: 纯确定性模型在MAE/SSIM上很强但FVD较差，反映了无法生成清晰细节的问题。DGDM通过概率分支获得了更好的纹理质量
• vs RaMViD/MCVD: 纯概率模型的多样性不可控，DGDM通过截断扩散有效约束了多样性范围
• vs GraphCast/Pangu-Weather: 这些大模型在全球预报上性能更强，但无法进行概率预测。DGDM的思路可以作为它们的概率扩展

评分

• 新颖性: ⭐⭐⭐⭐ 确定性引导截断扩散和SVS都是新颖设计
• 实验充分度: ⭐⭐⭐⭐⭐ 三个数据集(MMNIST/PNW/WeatherBench)全面验证，消融详尽
• 写作质量: ⭐⭐⭐⭐ 论文结构清晰，方法推导详尽
• 价值: ⭐⭐⭐⭐ 为确定性-概率气象预报融合提供了优雅的方案

相关论文

• [NeurIPS 2025] Graph-based Neural Space Weather Forecasting
• [NeurIPS 2025] Elucidated Rolling Diffusion Models for Probabilistic Forecasting of Complex Dynamics
• [NeurIPS 2025] OmniCast: A Masked Latent Diffusion Model for Weather Forecasting Across Time Scales
• [ICLR 2026] Conditionally Whitened Generative Models for Probabilistic Time Series Forecasting
• [ECCV 2024] SMooDi: Stylized Motion Diffusion Model