Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models¶
论文基本信息¶
- 论文标题:Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models
- 作者:Kun Feng, Shaocheng Lan, Yuchen Fang, Wenchao He, Sihan Lu, Shuqi Gu, Xingyu Lu, Lintao Ma, Kan Ren
- 机构:上海科技大学(ShanghaiTech University)、蚂蚁集团(Ant Group)
- 发表出处:NeurIPS 2026 (arXiv: 2509.25826)
- 项目主页:https://foundation-model-research.github.io/Kairos
研究背景与动机¶
时间序列预测是电力负荷调度、交通流控制、气象预报与金融建模等实际系统的核心基础任务。受大语言模型通用表征能力的启发,时间序列基础模型(Time Series Foundation Models, TSFMs)近年来成为领域内的前沿热点,旨在通过跨领域海量预训练实现强大的零样本与少样本泛化。
然而,现有时间序列基础模型在处理真实世界序列时面临根本性的参数效率瓶颈。时间序列天然具备强烈的时序异质性(Temporal Heterogeneity):在不同数据集之间乃至同一序列的不同时间片段内,信号复杂度和统计信息密度存在显著剧烈波动。主流 TSFM 普遍采用非自适应的刚性处理范式,严重制约了模型容量的有效利用。这一缺陷集中体现于两个核心层面:
- 表征学习层面的静态分块受限:NLP 中的大语言模型广泛采用 Byte-Pair Encoding 等子词分词技术,自适应压缩不同长度的信息语义单元;相反,现有 TSFM 绝大多数采用逐点(Point-wise)或固定步长(Fixed-size Patching)的静态切块。这种切块将 token 划分与固定时间间隔绑定,而非与信息密度匹配,导致模型在平稳平滑低信息区间浪费大量计算,而在高频震荡区域缺乏足够分辨率,最终逼迫模型单纯依赖堆叠巨大参数去机械死记特定模式;
- 时序依赖建模层面的统一步长错配:主流模型沿用 NLP 中的标准 RoPE 或正弦绝对位置编码,在全序列上强行施加均一的物理时间衰减尺度,完全忽略了跨领域(如小时级用电数据对比天级零售销售)不同的周期、趋势与季节性,无法感知动态 patch 所蕴含的真实物理跨度畸变。
为破除上述困局,必须将时序异质性自适应机制与模型骨干容量进行解耦,使轻量模型无需盲目扩增参数即可精准捕获复杂时序模式。核心 idea:解耦时序异质性与模型容量,提出轻量自适应基础模型 Kairos,利用带零计算空专家(Null Experts)的自适应动态分块(Mixture-of-Size Encoder)根据局部信息密度分配计算粒度,结合融合实例频谱特征与物理时间校准的动态旋转位置编码(DRoPE),以及抑制自回归误差累积的 Multi-Patch 并行解码器,以仅 10M~53M 参数实现高精度零样本泛化。
方法详解¶
整体框架¶
Kairos 的总体网络架构由三部分紧密衔接而成:前置自适应的 Mixture-of-Size Encoder、中间具备时序异质性感知能力的 Heterogeneity-Aware Transformer,以及后置支持并行预测的 Multi-Patch Decoder。
系统首先将长度为 \(T\) 的历史时序序列 \(X \in \mathbb{R}^T\) 划分为若干固定长度为 \(P\) 的粗分段(Coarse Segments)\(X = [x_1, \ldots, x_N]\),其中分段数量 \(N = \lceil T/P \rceil\)。随后,Mixture-of-Size 编码器在分段内部动态路由最佳粒度并投影融合为统一序列 \(H\);接着,Heterogeneity-Aware Transformer 通过动态旋转位置编码(DRoPE)对 token 施加实例频谱调制和物理跨度校准;最后,Multi-Patch 解码器通过可学习预测 token 并行生成未来多个 patch,有效规避传统单步自回归的误差滚雪球问题。
graph TD
classDef default fill:#f9f9f9,stroke:#333,stroke-width:1px;
X[输入历史序列 X] --> Seg[粗分段划分 Coarse Segmentation: 长度 P]
Seg --> Router[Top-K 粒度路由器: 含 Z 个无计算空专家]
Router --> G1[激活粒度专家 1: Patch P1]
Router --> G2[激活粒度专家 2: Patch P2]
Router --> Gz[空专家 Null Experts: 动态剪枝跳过]
G1 & G2 --> Expand[嵌套分块扩展: 对齐至最小粒度 P_min]
Expand --> Fuse[门控加权融合: 融合表征序列 H]
Fuse --> Trans[Heterogeneity-Aware Transformer]
FFT[实例低频 FFT 幅度谱] --> DRoPE[动态旋转位置编码 DRoPE]
Calib[累积物理时长时间校准] --> DRoPE
DRoPE --> Trans
Trans --> Dec[Multi-Patch 并行解码器]
Q[可学习预测 Queries Q_forecast] --> Dec
Dec --> Pred[并行输出多 patch 未来预测 Y_hat]
关键设计¶
1. 融合零计算空专家的动态多粒度编码(Mixture-of-Size Encoder)
为了在不增加模型宽度和深度的前提下实现局部细粒度时序抽象,Kairos 将分词粒度与局部信息密度绑定。设预定义 \(G\) 个候选粒度级别,对应嵌套分块大小 \(\{P_1, \ldots, P_G\}\)(例如 \(\{32, 64, 128, 256\}\),后一项整除前一项),以及对应的二层 MLP 投影网络 \(\pi_i\)。
- 带空专家的稀疏 Top-\(K\) 路由:为每个粗分段 \(x \in \mathbb{R}^P\) 引入 \(G\) 个粒度专家和 \(Z \in \{1, \ldots, K-1\}\) 个零计算空专家(Null Experts)。路由分数通过亲和度打分向量 \(s_i = w_i^\top x\) 并加入辅助无损负载均衡偏置 \(b_i\) 进行偏置校正 Softmax: $\(\tilde{s}_i = \frac{\exp(s_i + b_i)}{\sum_{j=1}^{G+Z} \exp(s_j + b_j)}\)$ 随后选取 Top-\(K\) 专家并与有效实体专家求交集 \(\mathcal{I}_{\text{valid}} = \operatorname{argtop-K}_{i \in [G+Z]} \tilde{s}_i \cap \{1, \ldots, G\}\)。空专家的存在使得模型在信号平稳时动态将 Top-\(K\) 配额让渡给空操作,从而自适应缩减实际激活的专家数量。
- 嵌套粒度分块与无偏对齐扩展(Mixture-of-Size Fusion):每个激活的粒度专家将分段重采样为 \(M_i = \lceil P / P_i \rceil\) 个 patch,投影生成特征 \(E_i = [e_{i,1}, \ldots, e_{i,M_i}] \in \mathbb{R}^{M_i \times D_h}\)。由于不同 patch 大小产生不等的 token 序列长度,直接拼接会引起表征偏置。Kairos 利用 patch 大小的整除嵌套特性,将所有激活专家的表征向当前段内最精细粒度 \(P_{\min} = \min \{P_i \mid i \in \mathcal{I}_{\text{valid}}\}\) 统一对其扩展: $\(\tilde{E}_i = \text{Expand}(E_i) \in \mathbb{R}^{M \times D_h}, \quad M = \lceil P / P_{\min} \rceil\)$ 进而通过门控归一化权重加权融合: $\(\bar{E} = \sum_{i \in \mathcal{I}_{\text{valid}}} c_i \tilde{E}_i, \quad c_i = \frac{\tilde{s}_i}{\sum_{j \in \mathcal{I}_{\text{valid}}} \tilde{s}_j}\)$ 所有分段拼接得到全序列 token 序列 \(H = \text{Concat}(\bar{E}_1, \ldots, \bar{E}_N) \in \mathbb{R}^{\tilde{T} \times D_h}\)。
2. 实例级与粒度感知动态旋转位置编码(DRoPE)
标准 RoPE 采用预先设定的全局固定频率 \(\theta_d = b^{-2d/D_{\text{rot}}}\),对所有样本一刀切,无法感知不同序列特有的周期模式;更严重的是,在动态多尺寸分块后,离散 token 索引 \(t\) 不再等同于流逝的物理时间。Kairos 设计了双重动态调控的 DRoPE:
- 实例级频谱频率调制:利用快速傅里叶变换(FFT)提取输入序列前 \(\omega\) 个低频分量的振幅谱 \(X_{\text{fft}}\)。通过轻量 MLP 在对数空间对 RoPE 基础频率进行仿射变换: $\(\log \theta_{\text{inst}, d} = \gamma_d \cdot \log \theta_d + \beta_d, \quad \text{其中 } \gamma, \beta = \text{MLP}(X_{\text{fft}})\)$ 该操作使注意力机制的旋转角度根据各样本的主导周期与季节性动态伸缩。
- 物理跨度自适应位置校准:由于混合粒度下每个 token 代表的真实时间跨度不一,定义校准位置 \(\tilde{t}\) 为前面各 token 所代表物理时间跨度相对于全局最小分块 \(P_{\text{g\_min}}\) 的累积占比: $\(\tilde{t} = \sum_{k=1}^{t-1} \frac{\bar{P}_k}{P_{\text{g\_min}}}\)$ 统一的 DRoPE 最终旋转公式为: $\(f_{\text{DRoPE}}(z, t) = (z_{2d} + i z_{2d+1}) e^{i \cdot \tilde{t} \cdot \theta_{\text{inst}, d}}\)$ 确保了不同长度分块在物理时序坐标轴上的严格对齐。
3. 多 Patch 并行解码器(Multi-Patch Decoder)
传统自回归预测以单个 patch 为步长循环解码,误差在长步长下指数级级联累积;而非自回归模型则受制于固定预测长度,缺乏推理灵活性。
Kairos 设计了包含 \(J\) 个可学习查询向量的 Multi-Patch 解码器 \(Q_{\text{forecast}} = [q_1, \ldots, q_J]^\top \in \mathbb{R}^{J \times D_h}\)。通过与 Transformer 编码表征 \(H^{\text{en}}\) 进行交叉注意力交互,解码器同时产出 \(J\) 个隐状态 \(h^{\text{de}} \in \mathbb{R}^{J \times D_h}\)。每个隐状态通过共享的残差 FFN 映射为长度为 \(H_s = 64\) 的物理预测输出: $\(\hat{Y}_{(j-1)H_s + 1 : j H_s} = \text{ResidualFFN}(h_j^{\text{de}}), \quad j \in [1, J]\)$ 通过并行吐出 \(J=2\) 个 patch(单轮直接预测 128 个时间步),大幅减少了长视距预测中的循环步数,既压制了级联误差,又兼备变长预测的自由拼接能力。
损失函数 / 训练策略¶
时间加权分位数回归损失(Time-Weighted Quantile Loss)
为兼顾点预测精度与概率不确定性估计,并平稳支撑变长自回归拓展,Kairos 采用随预测时步对数衰减的分位数损失函数,强化对早期预测步的监督约束:
其中,\(L_\alpha(y, q) = (\alpha - \mathbf{1}_{\{y < q\}})(y - q)\) 为标准 Pinball 损失,共采样 \(Q=9\) 个分位数 \(\alpha \in \{0.1, 0.2, \ldots, 0.9\}\),中位数预测作为点预测输出。时序权重函数采用平滑对数衰减设计: $\(w(t) = \frac{1}{H}(\ln(H) - \ln(t'))\)$ 其中 \(t'\) 将离散时步映射到连续区间 \([1+\epsilon_1, H-\epsilon_2]\)(实现中 \(\epsilon_1=10^{-5}, \epsilon_2=10^{-3}\)),避免末端权重退化为零。
PreSTS 预训练语料库与分层采样策略
团队构建了规模超 3000 亿时间点的 PreSTS(Predictability-Stratified Time Series)语料库。为防范不可预测噪声数据损伤模型泛化能力,PreSTS 依据序列可预测性指标(Predictability Score)将真实世界数据集划分为 5 个层级(Tiers),并在训练时为高可预测层级分配更高采样概率(采样比例达 45%~55%)。全部 GIFT-Eval 与 TSLib 基准测试集及验证集被严格物理剔除,保证绝对零样本评估。
模型提供 Mini(10M)、Small(23M)和 Base(53M)三种规格,采用 AdamW 优化器,主干网络学习率 1e-3,DRoPE 模块学习率 1e-5,Base 模型在 4 张 NVIDIA A100 GPU 上仅耗时 15 小时即完成 30 万步训练。
实验与评估¶
核心实验结果¶
在包含 97 个任务的大型时间序列基准 GIFT-Eval 上,Kairos 与包括统计方法、全样本深度学习模型(PatchTST、DLinear)以及主流基础模型(Chronos、TimesFM、Moirai、Toto、Sundial 等)进行了零样本预测对比。评估指标采用以 Seasonal Naïve 为基准归一化的 MASE(点预测精度,越低越好)和 CRPS(概率预测精度,越低越好)。
| 模型类别 | 模型名称 | 参数量 (#Params) | 归一化 MASE ↓ | 归一化 CRPS ↓ |
|---|---|---|---|---|
| Statistical | Seasonal Naïve | - | 1.000 | 1.000 |
| DL (Full-Shot) | DLinear | - | 1.061 | 0.846 |
| DL (Full-Shot) | PatchTST | 5M | 0.849 | 0.587 |
| TSFMs (Zero-Shot) | Chronos-Large | 709M | 0.870 | 0.574 |
| TSFMs (Zero-Shot) | ChronosBolt-Base | 205M | 0.808 | 0.574 |
| TSFMs (Zero-Shot) | TimesFM-2.0 | 500M | 0.758 | 0.550 |
| TSFMs (Zero-Shot) | Moirai-Large | 311M | 0.875 | 0.599 |
| TSFMs (Zero-Shot) | VisionTS | 112M | 0.863 | 0.755 |
| TSFMs (Zero-Shot) | Toto-Base | 151M | 0.750 | 0.517 |
| TSFMs (Zero-Shot) | Sundial-Base | 128M | 0.750 | 0.559 |
| Ours | Kairos-Small | 23M | 0.748 | 0.554 |
| Ours | Kairos-Base | 53M | 0.738 | 0.548 |
实验表明,参数量仅 23M 的 Kairos-Small 即在 MASE 上击败了 151M 的 Toto-Base 和 128M 的 Sundial-Base;而 53M 的 Kairos-Base 取得了全部对比模型中最佳的 MASE(0.738)与第二优的 CRPS(0.548)。在推断速度上,Kairos-Base 单 batch 耗时仅 0.061s,比 Toto(13.7s)快两个数量级以上。
消融实验¶
针对编码器、位置编码与解码器三大关键模块,作者在 GIFT-Eval 全部分组(按短期、中期、长期视距及总体均值)开展了细致消融实验。
| 模块类别 | 变体结构配置 | 短期视距 (Short) | 中期视距 (Medium) | 长期视距 (Long) | 综合均值 (AVG) ↓ |
|---|---|---|---|---|---|
| 编码器设计消融 | 固定分块大小(Fixed Patch Size = 32) | 0.724 | 0.802 | 0.820 | 0.761 |
| Mixture-of-Size(移除空专家 Null Experts) | 0.720 | 0.770 | 0.800 | 0.748 | |
| 位置编码消融 | 标准 RoPE(固定标量频率 \(\theta\)) | 0.729 | 0.807 | 0.835 | 0.767 |
| 仅保留实例级频谱频率调制 | 0.719 | 0.767 | 0.797 | 0.746 | |
| 仅保留物理跨度位置校准 | 0.727 | 0.796 | 0.807 | 0.758 | |
| 解码器策略消融 | 单 Patch 自回归解码(Single-Patch AR) | 0.705 | 0.794 | 0.848 | 0.753 |
| 完整模型 | Kairos (Full Model) | 0.709 | 0.761 | 0.794 | 0.738 |
消融数据清晰表明: 1. 缺少空专家的动态分块会导致 MASE 恶化至 0.748,退化为固定分块更进一步劣化至 0.761,证明基于信息密度的自适应与动态跳过是高效利用表征容量的基石; 2. 缺少 DRoPE 频率调制与时间校准使性能跌至 0.767; 3. 单步自回归在短期视距(0.705)虽稍具优势,但在长期预测上因误差严重累积劣化至 0.848,而 Multi-Patch 解码在长期视距下压制至 0.794,展示了显著的长时稳定性。
局限性与思考¶
- 跨通道依赖未显式建模:Kairos 目前遵循通道独立(Channel-Independent)假设处理多变量时间序列,未显式设计跨变量交互注意力模块。尽管通道独立在跨领域泛化中展现出强大的鲁棒性,但在变量间高度耦合的物理系统中仍存在潜在建模上限;
- 下游任务覆盖范围:当前实验重点评估了零样本点预测与概率预测,并在 UCR 分类数据集上验证了冻结表征的迁移能力,但尚未在缺失值填补(Imputation)与异常检测(Anomaly Detection)等生成/判别任务中完成大规模统一基准评测;
- 极端概率分布拟合:Kairos-Base 依靠 53M 参数取得了顶尖的 MASE,但其归一化 CRPS(0.548)与 Toto 等重度参数化模型(0.517)相比仍有少许差距,在参数精简架构下进一步增强极端长尾分位数建模是后续重要课题。