E4GEN: Event-level Explainable Extreme-Enhanced Time-series Generation¶
会议: NeurIPS 2026
arXiv: 2606.01634
论文: https://arxiv.org/abs/2606.01634
代码: https://github.com/E4GEN/Data
领域: 时间序列
关键词: 时间序列生成、极端事件建模、扩散模型、可解释控制、事件级语义表征
一句话总结¶
E4GEN 提出面向事件级极端增强的时间序列可解释扩散生成框架,通过 E-Activator 自适应决定控制激活步、E-Predictor 自驱动预测结构化语义(结合 DCT-NIS 解决标签缺失)、E-Control 门控残差注入骨干降噪网络,系统解决极端事件生成的“何时、控制什么、如何控制”问题。
研究背景与动机¶
生成逼真的时间序列数据在科学模拟、极端天气预警、电网负荷压力测试、异常检测和反事实推理等任务中具有基础支撑作用。近年来以 GAN、VAE、流模型、大语言模型以及扩散模型(如 Diffusion-TS)为代表的生成方法取得了突出的整体分布拟合效果。然而,现有主流时序生成范式往往过度迎合占据主导地位的常态背景(如低频趋势与平稳周期性),导致分布尾部的稀疏极端事件在去噪平均化过程中被严重衰减和平滑。极端事件通常对应着暴雨、寒潮、心脏异常搏动或突发交通拥堵等高价值物理现象,其保真度直接决定了生成数据在下游关键决策中的可用性。
为了强化极端模式,近期的探索主要聚焦于长尾生成与重尾生成(如 HeavyDiff、FIDE 等)。长尾方法从样本级视角识别稀有序列,却无法辨别样本内部哪些时间片段属于极端异常;重尾方法虽然引入 Student-t 噪声等机制增强了数值尺度的厚尾概率,但仍然停留在标量数值级视角,将极端点视为孤立的离散异常观测,忽视了极值点之间强烈的时间相依性。物理世界中的极端事件本质上是由底层连续物理动力学驱动的相干时序过程,具有确定的发生位置、持续时间、峰值能量和动态轮廓演化。现有方法在去噪过程中既缺乏对极端事件涌现时机的可解释性认知,也无法在不破坏全局趋势的前提下实现事件级精细可控生成。
本文切入角度在于解构扩散模型由粗到细(coarse-to-fine)的渐进生成动力学:趋势与周期等全局背景在前序步快速固化,而局部细节与极端结构在后序步逐步涌现。因此,极端事件生成不应与背景去噪全程盲目耦合,而应转化为在恰当时机显式提取时序上下文并定向引导的控制过程。核心 idea:将极端时序生成重塑为可解释的事件级去噪控制问题,系统解构“何时激活(E-Activator)、控制什么(E-Predictor + DCT-NIS)、如何注入(E-Control)”,以解耦的门控残差引导精准恢复相干极端结构。
方法详解¶
整体框架¶
E4GEN 以基于经典趋势-周期分解的 \(\mathbf{x}\)-预测扩散网络为骨干降噪器(Backbone Denoiser)。生成过程划分为两个阶段:在初始去噪阶段,骨干网络完全自主运行,从纯高斯噪声中提炼并稳固序列的全局长期趋势与主导频域周期成分;一旦达到由 E-Activator 判定的自适应控制激活步 \(t_{\mathrm{CA}}\),系统便触发极端控制生成阶段。在 \(t_{\mathrm{CA}}\) 处,E-Predictor 借助自驱动语义预测模块根据当前中间去噪状态推断出该序列潜在的事件级语义表征 \(\hat{E}_{\mathrm{CA}}\)(涵盖位置、强度与时序形态),并通过创新的数据条件训练与噪声初始化采样(DCT-NIS)机制化解无监督生成中的标签缺失鸿沟;随后,E-Control 将该语义表征编码并投影为分层对齐的控制特征,经门控残差机制注入骨干网络的中间隐层及输出端,在剩余去噪步中定向塑形极端事件。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["纯高斯噪声输入 x_n(t_T)"] --> B["骨干降噪网络自主去噪<br/>建立趋势与周期背景"]
B --> C["E-Activator:自适应激活步判定<br/>平衡骨干漂移 BD 与极值涌现 OES 选定 t_CA"]
C --> D["E-Predictor:自驱动语义预测<br/>从 x_n(t_CA) 预测事件级语义 E_CA {L, I, S}"]
D --> E["E-Control:极端控制网络<br/>语义编码 + 控制分支 + 门控残差注入"]
E --> F["门控残差注入骨干层<br/>持续引导去噪直到 t_0"]
F --> G["最终生成序列 x_n(t_0)<br/>兼顾全局保真与真实极端相干事件"]
关键设计¶
1. 事件级语义表征:从标量离散点到相干时序结构的参数化解构
传统方法将极端值退化为孤立标量或单一统计矩,无法表征物理事件的动力学生成机制。针对极值连续性与阈值微小波动的现实问题,本文基于阈值超越理论(Threshold-Exceedance),将极端事件定义为超出阈值 \(\theta\) 的最大连续时序区间,并设计短期容差机制 \(\mu_t\) 吸收由于传感器抖动或局部震荡引起的短暂回落,避免事件过度碎片化。在此基础上,每条时间序列内的所有极端事件被提炼为事件级语义集合 \(EES = \{\mathcal{L}, \mathcal{I}, \mathcal{S}\}\): - 位置语义 \(\mathcal{L} = \{n_{\mathrm{ev}}, \{(\tau_s^m, \tau_e^m)\}_{m=1}^{n_{\mathrm{ev}}}\}\):记录事件总数 \(n_{\mathrm{ev}}\) 以及每个事件的起止时间索引,约束极值的发生时机与持续跨度; - 强度语义 \(\mathcal{I} = \{(a_{\mathrm{peak}}^m, a_{\mathrm{prom}}^m, a_{\mathrm{eng}}^m)\}_{m=1}^{n_{\mathrm{ev}}}\):定义相对于局部非事件背景 \(b^m\) 的物理强度指标,其中峰值幅度 \(a_{\mathrm{peak}}^m = \max_{\tau \in [\tau_s^m, \tau_e^m]} |x[\tau]|\),相对背景的突起度 \(a_{\mathrm{prom}}^m = a_{\mathrm{peak}}^m - b^m\),以及累积偏离能量 \(a_{\mathrm{eng}}^m = \sum_{\tau=\tau_s^m}^{\tau_e^m} (x[\tau] - b^m)^2\); - 时序形态语义 \(\mathcal{S} = \{(p_{\mathrm{len}}^m, \mathbf{p}_\tau^m, \mathbf{p}_x^m)\}_{m=1}^{n_{\mathrm{ev}}}\):摒弃繁冗的全量点罗列,通过自适应提取事件边界端点、局部极值点与转折点等结构关键点,以稀疏坐标序列刻画极端事件的上升沿、下降沿与非对称轮廓。
2. E-Activator:解耦时空演化的自适应控制激活步决策
如果在扩散去噪起点(高噪声阶段)过早施加极端控制,强先验会强行扭曲低频趋势与基础季节性周期的收敛;而在去噪末期过晚介入,留存的扩散步数不足以修复高频畸变。针对这一矛盾,E-Activator 显式定义了两个量化指标:用于衡量低频背景平稳度的骨干漂移率(Backbone Drift, BD)与表征极端异常涌现程度的离群涌现分(Outlier Emergence Score, OES):
其中 \(bb_{t}\) 为去除序列均值并通过 rFFT 截取前 \(M\) 个非直流频段逆变换重建的低频骨干,\(\mathrm{BD}(t)\) 越小代表全局趋势与宏观周期越趋于稳定;\(\mathrm{OES}(t)\) 基于稳健中位数绝对偏差(MAD)评估去噪预测序列中超过稳健阈值 \(\kappa\) 的异常值活跃度。E-Activator 首先界定安全搜索窗口 \(\mathcal{R}_{\mathrm{CA}} = \{t \mid \mathrm{BD}(t) \leq \tau_{\mathrm{BD}} \text{ and } \mathrm{OES}(t) \leq \tau_{\mathrm{OES}}\}\),在此区间内既保证全局骨干不受干扰,又确保极端事件尚处于早期萌芽状态,进而通过轻量网格搜索锁定最优激活步 \(t_{\mathrm{CA}}\)。
3. E-Predictor 与 DCT-NIS:跨越无标签鸿沟的自驱动语义预测
极端事件并不是随机叠加的白噪声,而是与宏观时序演变紧密耦合的物理过程。因此,已固化的中间态 \(\hat{\mathbf{x}}_0^\theta(\mathbf{x}_n(t_{\mathrm{CA}}))\) 蕴含了触发极端事件的充分上下文线索。然而在纯噪声采样的无监督生成中,采样过程无法预知最终生成的干净样本 \(\mathbf{x}_n(t_0)\),因而缺乏监督标签来训练语义预测器 \(f_\phi\)。为此,本文提出了数据条件训练与噪声初始化采样(DCT-NIS)机制: - 数据条件训练(DCT):在训练阶段,从真实数据分布中抽取样本 \(\mathbf{x}_d(t_0) \sim p_{\mathrm{data}}\),前向扩散至稍早于 \(t_{\mathrm{CA}}\) 的对齐起点 \(t_{\mathrm{AS}}\),随后调用训练好的骨干网络逆向去噪数步至 \(t_{\mathrm{CA}}\),生成数据条件中间态 \(\mathbf{x}_d(t_{\mathrm{CA}})\)。由于该状态与真实样本 \(\mathbf{x}_d(t_0)\) 共享因果锚定,故可直接以真值事件语义 \(EES(\mathbf{x}_d(t_0))\) 作为监督标签对语义预测器 \(f_\phi\) 进行优化; - 噪声初始化采样(NIS):在测试生成阶段,自纯高斯噪声逆向去噪到达 \(t_{\mathrm{CA}}\),直接将训练好的 \(f_\phi\) 作用于 \(\mathbf{x}_n(t_{\mathrm{CA}})\),自驱动解译出专属该轨迹的控制语义 \(\hat{E}_{\mathrm{CA}}\)。
论文从理论上证明了在有界重建漂移与局部语义平稳性假设下,短跨度扩散去噪能够严格约束 \(\mathbf{x}_d(t_{\mathrm{CA}})\) 与真实数据间的语义偏离上界(Lemma 1 语义一致性);并在全变差距离意义下严格界定了训练态与采样态之间的边缘分布漂移(Lemma 2 边缘对齐定理):\(\mathrm{TV}(P_d^{\mathrm{CA}}, P_n^{\mathrm{CA}}) \leq \varepsilon_{\mathrm{dct}} + \varepsilon_{\mathrm{nis}}\)。预测网络 \(f_\phi\) 内部由多层 Transformer 编码器、用于生成事件置信度图与关键点置信度图的双分类头,以及预测连续幅值的辅助回归头构成,实现了多头分解解耦预测。
4. E-Control:门控残差注入的极值导向控制网络
获得预测语义 \(\hat{E}_{\mathrm{CA}}\) 后,如何无损注入骨干网络是保持常态分布与极端形态平衡的关键。E-Control 借鉴 ControlNet 范式并进行了针对性改造,由语义编码器、控制分支和控制门控三部分组成。语义编码器通过共享多层感知机将各事件的 \((\mathcal{L}^m, \mathcal{I}^m, \mathcal{S}^m)\) 映射为事件 token \(\mathbf{e}_m\),并经由集合注意力编码器(Set-Attention Encoder)聚合为置换不变的全局语义特征 \(\mathbf{C}_{\mathrm{sem}}(t_{\mathrm{CA}})\)。控制分支结构与骨干网络各注入层深度对齐,借助交叉注意力将时间步嵌入 \(\mathrm{TE}(t)\)、当前去噪隐状态与 \(\mathbf{C}_{\mathrm{sem}}(t)\) 深度融合。最后,控制门控模块通过自适应 Sigmoid 门控机制调制残差偏置:
门控残差 \(\Delta_\ell(t_{\mathrm{CA}})\) 被直接叠加到骨干网络的中间隐层表征 \(\hat{\mathbf{x}}_\ell(t_{\mathrm{CA}})\) 或最终输出 \(\hat{\mathbf{x}}_0(t_{\mathrm{CA}})\) 上。这种门控加法残差设计在无极端事件的平稳区域自然将增益衰减为零,最大程度避免了传统强注入导致的背景分布漂移与高频伪影。
损失函数 / 训练策略¶
E4GEN 采取两阶段解耦训练策略,确保各组件专注于不同尺度特征的建模: 1. 第一阶段:骨干降噪器预训练。冻结其他控制模块,骨干网络采用基于多项式基的趋势分解网络与基于频域 Top-\(K\) 掩码变换的季节性 Transformer,在加噪真实样本上最小化一步预测均方误差 \(\mathcal{L}_{\mathrm{backbone}} = \mathbb{E}_{t, \mathbf{x}_0, \epsilon} [\|\hat{\mathbf{x}}_0^\theta(\mathbf{x}_t) - \mathbf{x}_0\|^2]\)。训练完成后完全冻结骨干网络参数,锁定基础背景的生成能力。 2. 第二阶段:语义预测器与控制网络联合优化。语义预测器 \(f_\phi\) 在 DCT 生成的对齐状态下进行训练,通过二值交叉熵损失优化事件区域与关键点分类头,并通过 Huber 损失优化辅助时序回归头;极端控制网络中的控制分支与门控参数则在带语义监督的微调去噪目标下联合收敛。这种渐进解耦式优化完全避免了极端控制梯度对常态时序骨干表示的灾难性遗忘。
实验关键数据¶
主实验¶
评测涵盖 6 个基准数据集(气温 Wea-Temp、降水 Wea-Prec、心电 LTST-ECG、电力 HH-Power、交通 PEMS-SF 及受控合成数据集 Syn-Data),囊括 17 项评测指标,横跨 GAN(TimeGAN)、VAE(TimeVAE、koVAE)、Normalizing Flow(F-Flow)、扩散模型(DiffWave、Diffusion-TS)、LLM 生成模型(SDForger)以及极端感知基线(FIDE、HeavyDiff)。实验采用严格的 Train-on-Generated, Test-on-Real 协议评估下游任务效用。
下表列出代表性数据集 Wea-Temp 上的整体分布保真度与极端事件生成保真度(Wass. 为 Wasserstein 距离,ACD 为自相关差值,EM-W1 为事件均值 Wasserstein-1 距离,EC-Diff 为事件数量偏差绝对值,ED-W1 为持续时长偏差,EWass. 为事件时序形态分布距离;\(\infty\) 表示模型未能生成任何极端事件导致指标无法计算):
| 数据集 | 模型范式 | 方法 | Wass. ↓ | ACD ↓ | Context-FID ↓ | EM-W1 ↓ | EC-Diff ↓ | ED-W1 ↓ | EWass. ↓ | EPred ↓ | ERecon ↓ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Wea-Temp | GAN | TimeGAN | 1.1950 | 0.8405 | 5.1615 | 3.7958 | 5583 | 2.0428 | 10.961 | 0.3093 | 0.1461 |
| VAE | TimeVAE | 1.8238 | 1.0735 | 1.2312 | 1.3089 | 4864 | 1.6862 | 10.600 | 0.1629 | 0.0615 | |
| VAE | koVAE | 3.5138 | 1.8261 | 2.9273 | 1.8624 | 11425 | 2.3364 | \(\infty\) | \(\infty\) | \(\infty\) | |
| Flow | F-Flow | 21.002 | 10.519 | 32.013 | 1.8883 | 20822 | 14.176 | 22.109 | 0.6524 | 0.5295 | |
| Diffusion | DiffWave | 3.9978 | 2.0716 | 3.4627 | 1.7314 | 10654 | 2.2313 | \(\infty\) | \(\infty\) | \(\infty\) | |
| Diffusion | Diffusion-TS | 1.2845 | 0.6605 | 0.2271 | 0.4373 | 2587 | 0.4235 | 4.7470 | 0.1163 | 0.0593 | |
| LLM | SDForger | 1.5069 | 0.8370 | 1.5304 | 0.3644 | 3242 | 1.0477 | 9.1781 | 0.1282 | 0.0763 | |
| Extreme-Aware | FIDE | 22.225 | 11.290 | 24.775 | 5.1486 | 15767 | 5.8725 | 64.284 | 0.2452 | 0.6922 | |
| Extreme-Aware | HeavyDiff | 1.0998 | 0.5793 | 0.1986 | 0.4115 | 3115 | 0.6909 | 5.8522 | 0.1233 | 0.0579 | |
| Ours | E4GEN | 0.9346 | 0.4938 | 0.1584 | 0.3574 | 1090 | 0.2916 | 2.2081 | 0.1158 | 0.0522 |
消融实验¶
论文在受控的 Syn-Data 合成数据集上对 E4GEN 的三个核心模块进行了系统消融: 1. E4GEN \(\setminus\) Sem:移除结构化事件级语义(EES),改用原始极值点序列并在超长时执行均匀截断采样; 2. E4GEN \(\setminus\) Act:移除自适应激活步决策(E-Activator),在 500 步去噪全程持续激活极端控制; 3. E4GEN \(\setminus\) Pred:移除自驱动语义预测器(E-Predictor),在 \(t_{\mathrm{CA}}\) 处直接从训练集经验先验分布中随机采样语义标签进行注入。
消融结果如下表所示:
| 配置 | Wass. ↓ | MMD ↓ | Context-FID ↓ | EM-W1 ↓ | EC-Diff ↓ | ED-W1 ↓ | EWass. ↓ | EPred ↓ | ERecon ↓ | 说明 |
|---|---|---|---|---|---|---|---|---|---|---|
| Full E4GEN | 0.0144 | 0.0447 | 0.4501 | 0.0245 | 1232 | 1.5383 | 0.3451 | 0.3129 | 0.0871 | 完整模型:三模块联合最优 |
| \(\setminus\) Sem | 0.0264 | 0.1428 | 1.9462 | 0.1284 | 3348 | 2.3567 | 0.9147 | 0.4527 | 0.1038 | 无结构化语义:连续形态退化,FID剧烈恶化 |
| \(\setminus\) Act | 0.0418 | 0.2247 | 4.1265 | 0.2487 | 5126 | 3.2864 | 1.6842 | 0.6247 | 0.2148 | 全程施加控制:破坏宏观背景,各项指标全面暴跌 |
| \(\setminus\) Pred | 0.0241 | 0.1247 | 1.6428 | 0.1096 | 2976 | 2.4389 | 0.7248 | 0.3864 | 0.1147 | 随机经验采样:缺乏局部上下文匹配,泛化受挫 |
关键发现¶
- E-Activator 对背景生成的保护作用最为关键:在消融实验中,去掉 E-Activator 并在整个去噪轨迹始终开启极端控制(\(\setminus\) Act)导致了最为严重的性能坍塌,Context-FID 从 0.4501 恶化至 4.1265,事件数量误差激增超 3 倍。这证实了在去噪早期强行注入极值信号会不可逆地破坏趋势与周期骨干。
- 重尾方法无法代替事件级建模:对比 HeavyDiff,虽然其凭借 Student-t 噪声提升了尾部数值密度,但在事件形态(EWass. 5.8522 vs. 2.2081)和持续时间(ED-W1 0.6909 vs. 0.2916)上与真实数据仍有巨大断层,且存在明显的极值形态“马太效应”(主导形态被过度放大,稀有变种被吞噬)。
- 超参数敏感度受控:在激活区间 \(\mathcal{R}_{\mathrm{CA}}\) 内部,通过网格搜索固定选择激活步与随机扰动激活步(E4GENGrid 与 E4GENRand)均能保持稳健收益,表明只要避开早期结构生成期与晚期定型期,控制机制在平稳窗口内具备极佳的鲁棒性。
亮点与洞察¶
- 时空解耦生成的哲学统一:将扩散过程由粗到细的物理演化轨迹与控制理论中的两阶段激活相结合,巧妙避开了传统条件生成中“全局结构与局部突变互相争夺模型容量”的根本死结。
- DCT-NIS 的理论闭环:巧妙构筑数据前向扩散-短程回退链条,在无须真实样本标签的前提下创造了逼近测试态的数据条件分布,并通过严格的数学引理证明了语义一致性与边缘对齐上界,为无监督时序控制提供了可复用的范式。
- 事件语义的紧凑参数化:将连续极值区间抽象为 \((n_{\mathrm{ev}}, \text{spans}, \text{intensity}, \text{keypoints})\),以极低的信息冗余保留了完整的物理形态约束,避免了序列全量建模带来的组合爆炸。
局限与展望¶
- 阈值依赖与主观设定:极端事件的定义依赖于特定领域的阈值分位数设定(如前 5% 或前 10%),虽然具备工程灵活性,但极端语义提取的质量与领域先验阈值的敏感度较高,尚未实现完全自适应无参推断。
- 短序列跨度约束:主实验评测序列长度大多在 90 至 250 个时间步之间,面对包含复杂季节嵌套、跨越数千个时间步的超长序列时,Transformer 语义编码与对齐的计算开销将显著攀升。
- 模型复合度与多阶段开销:集成了骨干网络、语义预测器和控制分支,训练需要两阶段解耦进行,相较于纯轻量扩散基线增加了显存占用与推理延迟,未来可探索控制分支的知识蒸馏与轻量化架构。
相关工作与启发¶
- vs HeavyDiff (ICLR 2025):HeavyDiff 聚焦在数值级别的厚尾噪声扰动,试图通过改变扩散先验分布(Student-t 噪声)放大极值概率;E4GEN 指出厚尾噪声会导致极值聚集的马太效应,提出以事件为单元的语义引导,在保留相干形状的同时消除结构失真。
- vs FIDE (NeurIPS 2024):FIDE 依靠频域膨胀与 GEV 极值分布采样块极大值,但频域放大往往引发全时域的高频毛刺;E4GEN 通过时域门控残差注入,保证非事件区域平稳纯净。
- vs Diffusion-TS (ICLR 2024):Diffusion-TS 实现了可解释的经典趋势-季节性分解骨干,但在极端区域表现出平滑衰减;E4GEN 继承其分解思想作为骨干,通过外挂即插即用的 Extreme Control Network 彻底补齐了极端事件建模短板。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从事件级相干结构视角重新审视时序极值生成,并提出解耦的激活-预测-注入机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个跨领域数据集、17 个评价指标、9 种主流对比模型以及严谨的数学引理证明。
- 写作质量: ⭐⭐⭐⭐⭐ 问题定义直击痛点,逻辑链条严丝合缝,理论证明与实验证据高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 为金融高频波动、极端灾害气候与电网压力测试等安全关键领域的高保真数据合成提供了强有力的工具。