Breaking Silos: Adaptive Model Fusion Unlocks Better Time Series Forecasting¶

会议: ICML 2025
arXiv: 2505.18442
代码: https://github.com/ZhiningLiu1998/TimeFuse
领域: 时间序列
关键词: 时间序列预测, 模型融合, 元学习, 集成方法, 自适应权重

一句话总结¶

提出 TimeFuse——一个样本级自适应模型融合框架，通过元特征描述输入时间序列特征并训练可学习融合器预测最优模型组合权重，在多个预测基准上对 SOTA 模型实现近乎普遍的改进（95.1% 样本优于最佳单模型）。

领域现状：时间序列预测模型不断进步（Transformer、Mamba、MLP 等），在 benchmark 数据集上你追我赶。

现有痛点：细粒度样本级分析揭示了一个被忽视的事实——没有单一模型在所有样本上一致最优；即使排名最高的模型也只在约 23.2% 的测试样本上排名第一；每个模型都有独特的擅长领域。

核心矛盾：单模型范式浪费了不同模型的互补优势。

本文目标：如何自适应地利用不同模型在不同样本上的独特优势？

切入角度：用元特征描述每个输入时间序列的特性，训练融合器预测最优模型组合权重。

核心 idea：从"选最好的单模型"转向"为每个样本找最优的模型组合"。

多维元特征提取:
- 功能：为每个输入时间序列计算全面的特征描述
- 核心思路：三类特征——统计特征（偏度、峰度）、时序特征（平稳性、变化率）、频谱特征（主频、谱熵）
- 设计动机：这些特征捕捉了不同模型擅长的时间序列类型——如 TimeMixer 擅长高频谱复杂度，非平稳 Transformer 擅长低平稳性
可学习融合器:
- 功能：从元特征预测 k 个模型的组合权重 \(w_1, \dots, w_k\)
- 核心思路：MLP 网络，输入元特征，输出 softmax 归一化的权重
- 设计动机：端到端学习使融合器能自动发现元特征与模型优势间的关联
跨数据集联合训练:
- 功能：融合器在多个数据集的样本上联合训练
- 核心思路：元特征是数据集无关的描述，因此融合器可泛化到未见过的数据集
- 设计动机：增加训练多样性提升零样本泛化能力

数据集	最佳单模型 MSE	TimeFuse MSE	改善样本比例
ETTh1	0.376	0.358	89.2%
Weather	0.151	0.142	92.4%
Traffic	0.360	0.344	95.1%