In-Context Learning to Predict Critical Transitions in Dynamical Systems¶

会议: NeurIPS 2026
arXiv: 2605.12308
领域: 时间序列
关键词: 动力系统、临界转变预警、上下文学习、先验数据拟合网络、分岔理论

一句话总结¶

提出了首个基于先验数据拟合网络（PFN）的动力系统临界转变预测模型 TipPFN，通过在大规模合成随机分岔动力学先验上预训练 Transformer，仅凭单次前向传播在上下文学习与零样本设定下实现对未见真实系统临界突变的提前高精度预警。

研究背景与动机¶

动力系统中的临界转变（Critical Transitions / Tipping Points）指控制参数或外部强迫越过阈值时系统状态发生的不可逆突然崩塌，广泛存在于气候系统（如大西洋经向翻转环流 AMOC 崩溃）、生态崩溃、电网大停电以及神经癫痫发作等高风险领域。传统预警信号（Early Warning Signals, EWS）主要依赖分岔诱导的临界减速（Critical Slowing Down, CSD）统计量，如一阶自相关（AR1）和方差的单调上升。然而，这类指标建立在近平衡态局部线性化、长时序列与平稳性等严苛假设上，面对速率诱导突变（r-tipping）或噪声诱导突变（n-tipping）等缺乏显著减速信号的场景极易失效，且在实际短时间、高噪声观测下虚警频发。

近年来基于深度学习的时间序列分类模型尝试从模拟数据中直接提取动力学特征，但现有方法通常针对特定分岔类型（如单一的鞍结分岔或速率诱导系统）进行端到端监督训练，缺乏跨系统与跨突变机制的外推泛化能力。面对真实世界中控制方程未知、高维耦合且带强相关噪声的时序，既有深度模型无法灵活整合跨情境的历史线索，难以应对观测维数与数据长度动态变化的现实挑战。

为了打破特定动力系统监督训练的泛化瓶颈，本文将临界转变预测重新审视为主观贝叶斯推断与分布外（OOD）检测任务，引入先验数据拟合网络（Prior-Data Fitted Networks, PFN）范式。核心 idea：将经典分岔动力系统嵌入随机高维非线性 SDE 交互图中构建千万级多样化合成物理先验，以连续的临界相对距离（RDTC）为统一推断目标，利用 Transformer 因果注意力在上下文学习下摊薄贝叶斯后验推断，实现对未见突变机制与复杂真实世界系统的零样本及少样本提前预警。

方法详解¶

整体框架¶

TipPFN 整体架构包含合成动力系统先验生成器（TipBox）、结构化表格化时序任务编码，以及因果 Transformer 预测骨干网络。模型在离线阶段由包含规范分岔驱动核（折叠/鞍结、Hopf、跨临界）与随机图耦合非线性辅助 SDE 的庞大物理先验驱动训练；在推理阶段，模型接收包含若干条历史参考轨迹（Context）与待测时间序列（Query），通过单次网络前向传递输出未来时刻对临界转变相对距离的后验分位数分布，并转化为即时监测（Nowcast）或前瞻预警（Forecast）风险得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["物理先验生成器 TipBox<br/>规范分岔内核 + 随机SDE交互图"] --> B["相对临界距离标准化<br/>RDTC: 连续统一标度"]
    B --> C["上下文-查询任务构建<br/>自适应扰动重采样与特征随机掩码"]
    C --> D["因果双向混合注意力 Transformer<br/>多轨迹情境全局交互 + 查询轨迹因果时序"]
    D --> E["分位数回归与辅助信号重建<br/>99分位数 Pinball 损失多任务联合优化"]
    E --> F["临界风险推断<br/>单步前向输出后验预警与即时临界距离"]

关键设计¶

1. 随机嵌入式动力学先验生成：构建物理完备且多样化的合成动力系统空间 以往深度学习方法受限于单一低维常微分方程，难以覆盖真实世界复杂多变量交互。为此，TipPFN 设计了结构化先验 $p(\psi) = p(M)p(\mathcal{G})p(\mathcal{Z}\mid M, \mathcal{G})$。首先从折叠（Fold）、Hopf 和跨临界（Transcritical）三类正则规范分岔形式中采样二维核心驱动系统 $M$，利用 AUTO-07P 程序自动化追踪平衡分支并确定精确分岔点；随后通过具有幂律度分布的有向二分图投影构建包含 14 个辅助变量的随机循环图 $\mathcal{G}$；最后在每个辅助节点上由随机两层 MLP 构筑非线性漂移与对角扩散的高维伊藤随机微分方程（SDE）： $$du_{i}(t) = \left[(1-\eta_i)f_i(r_i(t)) - \gamma_i u_i(t)\right]dt + \sigma_i dW_i(t)$$ 配合自回归耗散系数 $\gamma_i$ 约束内在稳定性，防止辅助系统自发产生混淆性分岔。这一设计使生成器能够模拟高达 16 维的耦合动力系统，让模型接触丰富的非线性随机动力学响应，而不是死记硬背特定微分方程的解析解。

2. 临界相对距离（RDTC）统一表征：将离散事件分类转为连续距离回归 动力系统突变发生的时间受噪声扰动与有限时间效应影响，直接预测二分类突变标签容易导致监督信号模糊且无法量化系统脆弱性。TipPFN 提出连续的相对临界距离（Relative Distance to Criticality, RDTC）$\Lambda(t)$ 作为统一监督基准。设归一化控制参数为 $\tilde{\lambda} \in [0, 1]$，其中 $\tilde{\lambda}=0$ 代表初始稳定态，$\tilde{\lambda}_{\mathrm{crit}}=1$ 代表底层确定性系统越过分岔的临界阈值： $$\Lambda(t) = 1 - \tilde{\lambda}(t)$$ 当 $\Lambda=1$ 时系统处于完全稳定平衡态，$0 < \Lambda < 1$ 处于亚临界渐近区域，而 $\Lambda \le 0$ 则越过临界点。为了在临界点附近赋予网络更高的分辨率与数值敏感度，模型在输入与监督端采用非线性变换 $\Lambda^* = \tanh(5\Lambda)$。无论系统尺度或变量量纲如何差异，RDTC 均提供了一个跨物理领域的无量纲临界接近度标度。

3. 上下文-查询任务表征与混合注意力掩码机制：杜绝信息泄露并赋能上下文学习 为同时支持少样本情境迁移与严格零样本评估，TipBox 从每个动力系统先验中抽取 $K=6$ 条不同强迫轨迹，随机指定 1 条为 Query 并选出 0 至 3 条作为 Context 轨迹，构成多情境序列。序列以行对应时间步、列对应特征的形式组织，并对所有观测特征施加自适应逆双曲正弦变换：$x \mapsto \mathrm{asinh}((x - \mathrm{median}(x)) / s)$，其中 $s = \max(0.01, 0.5 \cdot \mathrm{IQR}(x))$，消除极端振幅干扰。在 Transformer 注意力层中，TipPFN 设计了精确的混合可见性矩阵： $$\mathcal{A}(i) = \begin{cases} \{j : c_j = 1\} \cup \{i\}, & c_i = 1 \\ \{j : c_j = 1\} \cup \{j : e_j = e_i, t_j < t_i - 10^{-6}\} \cup \{i\}, & c_i = 0 \end{cases}$$ 即 Context 轨迹内的所有 token 互相全局双向可见；而 Query 轨迹内的 token 仅能单向可见自身过去与当前的步长（因果时序注意力）以及全部 Context。该掩码彻底杜绝了未来强迫与轨迹反向泄露，确保预警评估严格因果可行。

损失函数 / 训练策略¶

TipPFN 采用类似 TabPFN 的 8 层行列交叉 Transformer 结构（隐藏层维度 $d_{\mathrm{model}}=1280$，共 2.1 亿可学习参数），在 99 个离散分位数 $\alpha_j = j/100$ 上通过加权 Pinball 损失联合优化： $$\mathcal{L} = 1.0 \cdot \frac{1}{|\mathcal{M}_{\mathrm{rdtc}}|} \sum_{(r, a) \in \mathcal{M}_{\mathrm{rdtc}}} \ell(\hat{q}_{r,a}, y_{r,a}) + 0.2 \cdot \frac{1}{|\mathcal{M}_{\mathrm{sig}}|} \sum_{(r, a) \in \mathcal{M}_{\mathrm{sig}}} \ell(\hat{q}_{r,a}, y_{r,a})$$ 其中主目标是预测被完全掩码的 RDTC 分位数，辅助目标以 0.2 权重随机掩码并重建部分输入物理观测通道，迫使网络学习底层随机系统的非线性物理耦合表示。模型在 4 块 NVIDIA H200 GPU 上采用 Muon 优化器（针对 2D 权重矩阵，带 Nesterov 动量）与 AdamW 优化器（针对偏差与 1D 归一化层）混合训练 200,000 步，初始学习率 0.01 并在 2,000 步预热后执行余弦退火。

实验关键数据¶

主实验¶

评估基准覆盖从规范分岔（B-Fold、B-Hopf、B-Transcritical）、半真实降阶物理模型（捕食者-资源模型、流行病-疫苗模型 B-SEIRx、大西洋环流 B-AMOC 及速率诱导 R-tipping 系列）到真实生物与临床电生理信号（SWEC-iEEG 癫痫、Daphnia 绝灭、TAC 热声实验）等 14 种复杂动力系统。采用正向提前预警时间（$\Delta > 0$）下的平衡 AUROC 作为核心指标。

数据集	指标	TipPFN (0c 零样本)	TipPFN (1c 单情境)	TipPFN (2c 双情境)	TabPFN (2c)	EWS ($\tau_{\mathrm{var}}$)	Bury (CNN-LSTM)	Huang (R-CNN)
B-Fold (规范折叠)	AUROC	0.876	0.929	0.955	0.786	0.633	0.697	0.462
B-Hopf (规范Hopf)	AUROC	0.861	0.935	0.952	0.820	0.635	0.842	0.496
B-Trans. (规范跨临界)	AUROC	0.864	0.925	0.950	0.807	0.543	0.722	0.453
B-Harv. (生态捕捞模型)	AUROC	0.846	0.958	0.974	0.810	0.914	0.967	0.873
B-SEIRx (传染病免疫系统)	AUROC	0.582	0.822	0.905	0.685	0.498	0.468	0.507
B-AMOC (大西洋环流模型)	AUROC	0.853	0.898	0.940	0.825	0.925	0.948	0.509
R-Bautin (速率诱导Bautin)	AUROC	0.308	0.543	0.700	0.489	0.451	0.308	0.538
R-SN (速率诱导鞍结)	AUROC	0.644	0.802	0.892	0.569	0.440	0.354	0.273
R-AMOC (速率诱导AMOC)	AUROC	0.257	0.782	0.913	0.654	0.270	0.102	0.712
SWEC-iEEG (颅内癫痫发作)	AUROC	0.674	0.361	0.816	0.560	0.515	0.674	0.385
DaphniaExt (微宇宙绝灭观测)	AUROC	0.527	0.663	0.833	0.641	0.540	0.483	0.404
All Datasets (全系统平均)	AUROC	0.678	0.769	0.859	0.670	0.572	0.613	0.527

消融实验¶

下表汇总了在全基准测试集上对上下文情境数量（Context Size）、观测特征通道数（Feature Channels）及时间输入窗口长度（Window Size $W$）的消融对比（固定评估头为预测端 1-median）：

配置	平均 AUROC (全数据集)	说明
TipPFN (2 Context, 16 Features, $W=128$)	0.859	完整模型：利用双情境与高维特征取得全局最高判别率
TipPFN (1 Context, 16 Features, $W=128$)	0.769	削减为单参考轨迹，仍大幅领先通用 TabPFN (0.670)
TipPFN (0 Context, 16 Features, $W=128$)	0.678	纯零样本推断：在无参考轨迹下依然优于经典 EWS (0.572)
TipPFN (2 Context, 1 Feature, $W=128$)	0.742	仅输入单变量驱动序列，特征削减使高维耦合关系损失
TipPFN (2 Context, 16 Features, $W=32$)	0.781	极端超短观测窗口，性能小幅下滑但保持高灵敏度
TabPFN 2.6 (2 Context, 16 Features, $W=64$)	0.670	通用表格基线，未引入动力学结构因果注意力与 SDE 先验

关键发现¶

上下文学习带来强劲的分布外外推：虽然 TipPFN 训练仅基于 B 分岔先验，但在完全未见的 R-tipping（如 R-AMOC 从零样本 0.257 跃升至双情境 0.913）上表现出惊人的适应性，证明上下文轨迹为模型有效提供了系统特定的动力学流形与时间常数锚点。
高维特征整合优于单变量统计：经典 EWS 与现有 DL 基线大多受限于单维时序，而 TipPFN 随着观测通道从 1 维提升至 16 维，全基准 AUROC 平均提升 10% 以上，展现出利用交叉变量耦合信息解耦系统稳定性的能力。
突破超短窗口限制：传统方法需要 $W \ge 500$ 的长时记录计算滑动方差，而 TipPFN 在 $W \le 128$ 甚至极度匮乏的生物样本（Daphnia $W=16$）中便能迅速逼近 0.833 的高准确率。

亮点与洞察¶

将连续物理临界距离转化为贝叶斯先验拟合任务：创造性地抛弃了传统二分类打标签或脆弱的特征工程，定义跨动力系统的连续 RDTC，结合合成 SDE 高维先验将复杂后验积分摊薄为 Transformer 单次推理。
因果时序与全局情境解耦的注意力机制：在同一 Transformer 块内精妙混合时序因果掩码与情境双向注意力，在彻底避免信息穿越的前提下最大化提取多轨迹间的系统共性。
物理先验驱动可替代昂贵的真实标注：完全使用无标注合成微分方程预训练的神经网络，不仅在气候模型上有效，还能直接零样本应用在真实电网跳闸波动、植物缺氧呼吸及人脑癫痫预警上。

局限与展望¶

时序在线演进的动态适应能力受限：目前模型固定了预训练先验，面对超长非平稳连续观测流时无法在线更新权重；未来需探索低秩自适应（LoRA）或测试时训练（TTT）进行流式调整。
空间连续场与网格关联尚未建模：当前模型专注于离散多变量时间序列，未考虑偏微分方程（PDE）驱动的连续空间动力学，难以直接建模大尺度空间气候场的斑图崩溃。
复杂噪声类型的敏感性分析：先验数据目前主要由高斯与对角扩散噪声驱动，面对非高斯乘性噪声或强泊松跳跃过程时的鲁棒性仍需深入验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 Prior-Data Fitted Network 范式与连续临界距离结合，彻底重构动力系统临界转变预测范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 14 种跨领域模拟与真实物理、生物、工程系统，包含详尽的先验消融与零样本验证。
写作质量: ⭐⭐⭐⭐⭐ 概念阐述清晰，数学推导与实验对比严密，附录先验配置与计算开销极具透明度。
价值: ⭐⭐⭐⭐⭐ 为气候突变、突发癫痫、电网安全等重大现实领域的早期预警系统开发开辟了极具前景的通用基础模型路径。

配置	平均 AUROC (全数据集)	说明
TipPFN (2 Context, 16 Features, \(W=128\))	0.859	完整模型：利用双情境与高维特征取得全局最高判别率
TipPFN (1 Context, 16 Features, \(W=128\))	0.769	削减为单参考轨迹，仍大幅领先通用 TabPFN (0.670)
TipPFN (0 Context, 16 Features, \(W=128\))	0.678	纯零样本推断：在无参考轨迹下依然优于经典 EWS (0.572)
TipPFN (2 Context, 1 Feature, \(W=128\))	0.742	仅输入单变量驱动序列，特征削减使高维耦合关系损失
TipPFN (2 Context, 16 Features, \(W=32\))	0.781	极端超短观测窗口，性能小幅下滑但保持高灵敏度
TabPFN 2.6 (2 Context, 16 Features, \(W=64\))	0.670	通用表格基线，未引入动力学结构因果注意力与 SDE 先验