OATS: Online Data Augmentation for Time Series Foundation Models¶

会议: NeurIPS 2026
arXiv: 2601.19040
OpenReview: https://openreview.net/forum?id=HejOWQctCX
代码: https://github.com/microsoft/TimeCraft
领域: 时间序列
关键词: 时间序列基础模型、在线数据增强、数据归因、扩散生成模型、探索-利用机制

一句话总结¶

OATS 提出面向时间序列基础模型的在线数据增强范式，通过一阶泰勒展开的数据归因分数与信噪比联合构建时序影响分（TSIS），以高价值样本为条件驱动轻量条件扩散模型动态合成训练样本，并结合多臂老虎机探索-利用机制大幅缩减开销，在 6 个主流基准与 Encoder/Decoder 双架构上全面超越常规训练与静态增强基线。

研究背景与动机¶

时间序列基础模型（TSFMs）通过在跨领域、多来源的大规模时序数据集上进行预训练，展现出卓越的零样本泛化与跨域迁移能力。然而，现实中的真实时序数据常常伴随着严重的缺失值、异构采样率、领域分布不均以及数据冗余等问题，高质量预训练语料极为稀缺。为了提升预训练数据规模与多样性，合成数据增强已成为构建 TSFM 的标准实践，代表性方法包括人为设计正弦波与核函数库（如 Moment、KernelSynth）以及基于现有序列的扰动变换（如 Jittering、TSMixup）。

尽管这些启发式数据增强手段在特定任务中取得了经验性成功，但它们存在两大关键瓶颈。其一，时序数据质量难以通过先验规则精确量化，不同时序任务对形态模式的偏好各异，导致固定的启发式规则泛化性差；其二，动态数据优化研究表明，同一样本在模型训练不同阶段（初期、中期、收敛期）对损失下降的贡献是高度动态变化的，而现有的静态增强范式在训练前一次性生成并全局均匀混入数据，完全忽视了训练过程的反馈与动态需求。

为了克服静态启发式增强的盲目性，本文将数据归因（Data Attribution）理论引入时序模型训练，利用验证参考集上损失的一阶变化率严格量化样本对当前步优化的即时增益。核心 idea：将训练样本的一阶梯度归因与物理信噪比结合作为引导信号，驱动条件扩散模型在每个训练步动态合成高增益时序样本，并借助子集级探索-利用机制将在线计算开销降至最低。

方法详解¶

整体框架¶

OATS 针对大规模预训练数据与迭代训练过程，构建了闭环的在线数据增强流程。输入包含大规模分块训练集 \(\mathcal{D}_{tr} = \bigcup_{l=1}^L \mathcal{D}_l\)、仅有极少样本（如 32 个）且严格不参与参数更新的参考集 \(\mathcal{D}_{ref}\)，以及当前时刻的模型参数 \(w_t\)。每个训练步首先通过探索-利用策略判定是全局探索计算新分还是复用缓存分布采样；随后计算或继承时序影响分（TSIS），筛选出当前步高质量引导样本集 \(\mathcal{H}_t\)；紧接着将引导样本及其所属领域类别作为条件输入轻量级条件扩散模型 \(\mathcal{G}\)，合成一批高拟真、高价值的增强样本 \(\mathcal{S}_t\)；最后将真实引导样本与合成样本混合（\(\mathcal{H}_t \cup \mathcal{S}_t\)），执行梯度回传并更新模型至 \(w_{t+1}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>训练集分块与参考集"] --> B["阶段1：时序影响分评估<br/>一阶梯度归因与SNR预筛选"]
    B --> C["阶段2：探索-利用动态调度<br/>指数移动平均与伯努利决策"]
    C --> D["阶段3：高价值引导扩散生成<br/>时序原型注意力与领域类别注入"]
    D --> E["模型参数更新<br/>引导样本与合成数据混合优化"]

关键设计¶

1. 时序影响分（TSIS）：结合一阶泰勒展开与信噪比过滤的动态数据归因

针对时序数据质量难以定量评价的痛点，OATS 基于数据归因理论，将训练样本对参考集损失 \(\ell(\mathcal{D}_{ref}, w_t)\) 的即时下降贡献显式推导为梯度内积。根据一阶泰勒展开，在学习率 \(\eta_t\) 极小的前提下，单步参数更新 \(w_{t+1} = w_t - \eta_t \nabla_w \ell(z_i, w_t)\) 带来的参考损失改变量近似为：

\[\ell(\mathcal{D}_{ref}, w_t) - \ell(\mathcal{D}_{ref}, w_{t+1}) \simeq \eta_t \nabla_w \ell(z_i, w_t)^\top \nabla_w \ell(\mathcal{D}_{ref}, w_t)\]

为了避免实际高频噪声样本单纯因局部梯度幅值过大而被误判为高价值数据，OATS 结合时序领域先验引入信噪比（SNR）刚性惩罚项，构成完整的 TSIS 评分函数：

\[\mathcal{F}_{\mathcal{D}_{ref}}(z_i, w_t) = g_{(ref);t} \cdot g_{z_i;t} - \mathbf{I}_{{\rm SNR}(z_i) < k} \cdot \infty\]

其中 \(g_{(ref);t}\) 为参考集平均梯度，\(g_{z_i;t}\) 为训练样本单点梯度，\(k\) 为信噪比门槛阈值（默认设定为 3dB）。在每个探索步，Mini-Batch 中 TSIS 得分排名前 \(\lfloor b/2 \rfloor\) 的样本被选定为引导子集 \(\mathcal{H}_t\)。

2. 探索-利用动态调度机制：平衡计算开销与训练动态追踪

由于对全量数据集逐点实时计算影响分的复杂度过高，OATS 借鉴多臂老虎机（Multi-Armed Bandit）思想构建探索-利用机制。该机制假定同一领域子集 \(\mathcal{D}_l\) 内的样本具有时序局部性与归因相似性。对每个子集维护一个动态影响分缓存 \(\Phi_{\mathcal{D}_l}\)，并在探索步中利用指数移动平均（EMA）进行平滑更新：

\[\Phi_{\mathcal{D}_l} \leftarrow (1 - \beta)\Phi_{\mathcal{D}_l} + \beta \frac{1}{|\mathcal{D}_l \cap \mathcal{B}_t|} \sum_{z_i \in \mathcal{D}_l \cap \mathcal{B}_t} \mathcal{F}_{\mathcal{D}_{ref}}(z_i, w_t)\]

系统以超参数 \(\epsilon \in [0, 1]\) 控制 \(\epsilon\)-greedy 决策：以 \(\epsilon\) 概率执行探索步（Explore），从全局均匀采样 Mini-Batch 并严格计算梯度内积以更新缓存；以 \(1-\epsilon\) 概率执行利用步（Exploit），跳过昂贵的逐样本梯度内积计算，直接根据各子集最新的质量权重按概率抽取样本：

\[\pi_o = \mathcal{U}(\mathcal{D}_l) \quad \text{with probability} \quad \frac{|\mathcal{D}_l| \cdot \max(0, \Phi_{\mathcal{D}_l})}{\sum_k |\mathcal{D}_k| \cdot \max(0, \Phi_{\mathcal{D}_k})}\]

利用步的计算开销与普通无增强训练完全持平，结合 Ghost Inner Product 技巧将反向传播合并为单次运算，大幅压低了在线数据归因的摊销时间。

3. 高价值引导扩散生成：融合原型语义与类别条件的受限采样

如果单纯将筛选出的优质样本 \(\mathcal{H}_t\) 重复喂给模型进行过采样，极易引发严重过拟合与多样性崩溃。为此，OATS 引入仅在 5% 训练集预先训练好的轻量级时序扩散生成器 \(\mathcal{G}\)，建模条件生成分布 \(p(\hat{z} \mid \mathcal{H}_t)\)。扩散逆过程在每一步去噪预测中显式融合两重引导：

\[p(z^{(t-1)} \mid z^{(t)}, \mathcal{D}_{\rm high}) = \mathcal{N}\left(z^{(t-1)} \;\middle|\; \mu(z^{(t)}, t, m_i, c_i), \sigma_t^2 \mathbf{I}\right)\]

在噪声预测网络 U-Net 的中间层中，引导样本提取的连续时序原型特征权重 \(m_i\) 与可学习原型矩阵 \(P\) 进行交叉注意力交互，捕获高阶语义形态；同时将离散子集类别嵌入 \(\mathbf{e}_{c_i}\) 拼接入前馈网络（FFN）：

\[h^{(u)} = {\rm FF}\left({\rm Softmax}\left(\frac{Q K^\top}{\sqrt{d}} + m_i\right) V \parallel \mathbf{e}_{c_i}\right)\]

结合 DDIM 20 步快速采样，该生成器能够受控地合成与当前训练步梯度需求高度一致且形态多样的新时序曲线，彻底突破静态扰动只能在原曲线上加噪的表达局限。

损失函数 / 训练策略¶

条件扩散生成器采用轻量级 U-Net（4 个上下采样块，8 头注意力，头维度 64），采用 L1 损失与 0.5 的 Dropout 概率进行分类器自由引导（CFG）训练。主 TSFM 包含 Encoder-only（基于 Moirai 结构改造，10M 参数量，带 Patch 嵌入与旋转位置编码 RoPE）和 Decoder-only 两种架构。TSFM 预训练采用 AdamW 优化器，批大小为 32，最大学习率 \(10^{-3}\)，前 10,000 步线性预热，随后 20,000 步余弦衰减。在每一步模型更新中，输入数据为 \(\lfloor b/2 \rfloor\) 个引导样本与 \(\lfloor b/2 \rfloor\) 个扩散合成样本混合构成的批次，直接通过负对数似然（NLL）损失更新主干参数。

实验关键数据¶

主实验¶

实验在大规模预训练数据集 LOTSA-100M（领域均衡过滤版）上训练，并在经典长时序预测基准 LSF（ETTm1, ETTm2, ETTh1, ETTh2, Weather, Electricity）上评估负对数似然（NLL）与归一化绝对百分比误差（MAPE）。基线涵盖常规无增强训练（Regular）、时序线性加权混合（TSMixup）以及随机噪声抖动（Jitter）。在所有数据集与架构上，OATS（\(\epsilon=1.0\)）均取得最优预测性能。

数据集	预测长度	评估指标	OATS (本文)	TSMixup	Jitter	Regular (无增强)	相对 Regular 表现
ETTm1 (Encoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	1.627 ± 0.042 0.672 ± 0.043	1.725 ± 0.031 0.759 ± 0.038	1.715 ± 0.047 0.691 ± 0.044	1.870 ± 0.019 0.844 ± 0.056	NLL -13.0% MAPE -20.4%
ETTm1 (Encoder)	Overall	NLL \(\downarrow\) MAPE \(\downarrow\)	1.614 ± 0.020 0.623 ± 0.024	1.715 ± 0.018 0.700 ± 0.019	1.731 ± 0.025 0.650 ± 0.019	1.854 ± 0.016 0.783 ± 0.037	NLL -12.9% MAPE -20.4%
ETTm2 (Encoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	1.872 ± 0.014 0.208 ± 0.005	2.083 ± 0.016 0.271 ± 0.006	2.068 ± 0.020 0.256 ± 0.007	2.118 ± 0.028 0.267 ± 0.009	NLL -11.6% MAPE -22.1%
ETTh2 (Encoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	1.857 ± 0.063 0.267 ± 0.007	2.123 ± 0.029 0.294 ± 0.011	2.127 ± 0.022 0.296 ± 0.013	2.084 ± 0.047 0.282 ± 0.015	NLL -10.9% MAPE -5.3%
Weather (Encoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	3.193 ± 0.043 1.778 ± 0.127	3.413 ± 0.041 2.016 ± 0.040	3.460 ± 0.043 2.619 ± 0.280	3.486 ± 0.051 2.331 ± 0.285	NLL -8.4% MAPE -23.7%
Electricity (Encoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	5.967 ± 0.021 0.515 ± 0.071	5.983 ± 0.010 0.553 ± 0.034	6.050 ± 0.015 0.659 ± 0.062	6.266 ± 0.019 0.750 ± 0.033	NLL -4.8% MAPE -31.3%
ETTm1 (Decoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	1.654 ± 0.018 0.659 ± 0.027	1.691 ± 0.013 0.664 ± 0.027	1.767 ± 0.041 0.675 ± 0.031	1.737 ± 0.034 0.677 ± 0.022	NLL -4.8% MAPE -2.7%
ETTm2 (Decoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	1.726 ± 0.039 0.202 ± 0.003	1.789 ± 0.014 0.206 ± 0.002	1.857 ± 0.044 0.222 ± 0.007	1.841 ± 0.009 0.217 ± 0.001	NLL -6.2% MAPE -6.9%
Electricity (Decoder)	192	NLL \(\downarrow\) MAPE \(\downarrow\)	6.041 ± 0.017 0.528 ± 0.030	6.074 ± 0.033 0.563 ± 0.010	6.090 ± 0.022 0.627 ± 0.028	6.049 ± 0.026 0.588 ± 0.020	NLL -0.1% MAPE -10.2%

消融实验¶

为了拆解各个核心组件的实际增益，作者在 ETTm2、Electricity 和 Weather 数据集上对比了完整 OATS、仅保留样本筛选而去掉扩散合成的退化版本（Sel only，直接重复训练优质样本），以及离线无条件扩散合成（DD）和不同数据划分粒度。

配置方案	数据集 (Pred=192)	NLL \(\downarrow\)	MAPE \(\downarrow\)	关键机制说明
OATS (完整模型)	ETTm2	1.872	0.208	TSIS 引导 + 条件扩散在线生成
OATS (Sel only, 仅筛选)	ETTm2	2.106	0.274	仅过采样高分样本，缺乏生成泛化，易过拟合
离线生成 (DD 基线)	ETTm1 (Pred=96)	1.764	0.703	无条件静态扩散生成，忽视训练步动态反馈
OATS (完整模型)	Electricity	5.967	0.515	完整流水线在复杂周期数据上的表现
OATS (Sel only, 仅筛选)	Electricity	6.147	0.632	性能下降明显，缺乏新模式补充
OATS (完整模型)	Weather	3.193	1.778	多变量连续物理场预测
OATS (Sel only, 仅筛选)	Weather	3.464	2.661	掉点极其显著，证明生成模块对于高噪多变量至关重要
粗粒度合并分区 (Combine Two)	ETTh1	1.860	0.740	弱化了子集语义局部性，导致利用步采样失真
随机划分分区 (Random)	ETTh1	1.969	0.723	完全丧失领域局部性，EMA 无法准确追踪质量漂移

关键发现¶

生成扩充是打破过拟合的核心支柱：消融实验清晰证明，单纯依靠 TSIS 挑选高价值样本并进行简单过采样（Sel only），在所有数据集和时序长度上均明显劣于 OATS，甚至在 Weather 数据集上接近普通训练。这表明高价值样本虽然指示了正确优化方向，但反复复用会导致样本多样性塌陷，必须依赖条件扩散模型在其流形周围探索新变体。
\(\epsilon\) 并非越大越好，利用步兼具降本与提效：在探索-利用超参数测试中，最佳综合效果并非出现在全量计算的 \(\epsilon=1.0\)，而是在 \(\epsilon=0.5 \sim 0.7\) 区间。这表明历史累计缓存的子集质量分布能够有效平滑瞬时梯度噪声，利用步依靠局部性概率采样不仅降低了约 30%~50% 的额外计算开销（A40 单步耗时从 1.32s 降至 0.95s~1.09s），还提升了整体优化的鲁棒性。
子集质量贡献与数据体积严重脱节：子集贡献度案例分析揭示，预训练集中占据 60% 篇幅的混合大桶（Others）对模型测试集损失的下降贡献率不足 10%；相反，样本量极小但特征鲜明的领域（如 Solar Power）却贡献了超额的优化梯度，验证了传统静态等权重训练的低效性。

亮点与洞察¶

首次将动态数据归因引入 TSFM 预训练增强：突破了时序领域长期依赖频域拼接、混合扰动等静态启发式手段的现状，用一阶泰勒近似构建了严格面向下游目标损失的在线数据质量度量指标。
基于时序局部性的探索-利用工程闭环：借助指数移动平均缓存各子集的影响分，将每步必算的全局归因转化为多臂老虎机式的概率采样，在保证模型快速收敛的同时大幅降低了在线计算开销。
“诊断-生成”解耦范式具备广泛迁移潜力：利用极小规模参考集作为“探针”，指导轻量生成模型定向合成高价值数据，该范式可无缝拓展至图学习、工业异常检测与强化学习状态重放等领域。

局限与展望¶

参考数据集构建依赖先验：TSIS 评估高度依赖预先准备的参考集 \(\mathcal{D}_{ref}\)。尽管实验表明仅需 32 个样本即可运作良好，但在多任务、多分辨率极端异构场景下，参考集样本的代表性直接决定了引导信号的方向。
扩散生成带来的额外推理延时：尽管引入了 DDIM 20 步加速，单批次扩散合成仍带来约 0.35s 的固定耗时。对于超大规模工业级集群训练，仍需探索单步蒸馏（如 Consistency Models）或更轻量的自回归时序生成器。
未充分探索频域与趋势约束：当前生成模型主要在时域空间施加条件注意力，对特定高阶长周期（如年/季度季节性）缺乏显式的物理守恒或频域频带硬性约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将数据归因驱动的在线动态增强理论落地于时序基础模型，范式创新突出]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Encoder/Decoder 双主流架构、6 个时序经典基准、细致的消融及算力等价对比]
写作质量: ⭐⭐⭐⭐⭐ [公式推导严谨，模块结构清晰，图文呼应紧密]
价值: ⭐⭐⭐⭐⭐ [为时序大模型高质量预训练语料合成与高效训练提供了兼具理论与实用的新范例]