TS-ICL: A Flexible Time-Indexed Foundation Model for Time Series via In-Context Learning¶

会议: NeurIPS 2026
arXiv: 2606.05878
代码: https://github.com/EDF-Lab/ts-icl
领域: 时间序列
关键词: 时间序列基础模型、上下文学习、时间索引回归、结构因果模型、缺失值插补

一句话总结¶

TS-ICL 将时间序列预测与插补统一表述为基于任意时间戳的上下文回归问题，通过结构因果模型合成多元先验并结合编码器-回归器架构，实现了高效的零样本插补与协变量感知预测。

研究背景与动机¶

时间序列基础模型（TSFM）正在引发时间序列分析领域的范式转变，基于大规模预训练的通用零样本模型正在逐步取代传统针对特定领域单独训练的专用模型。然而，现有主流时序基础模型（如 Chronos、TiRex、TimesFM 等）几乎完全依赖规则采样的 Patch 化表示，将建模重心严格限定在标准预测任务上。在工业生产、环境监测与能源系统中，现实采集的时序数据普遍存在异步采样、传感器丢包、大段缺失甚至动态协变量不完全对齐等非理想条件，传统 Patch 化架构难以灵活处理非网格化输入，且无法原生执行缺失值插补。

另一条技术路线源于表格基础模型（如 TabPFN、TabICLv2）向时序领域的迁移。这类方法天然支持协变量输入并将序列观测视作上下文学习（In-Context Learning, ICL）回归样本，因而同时具备预测与插补能力；但它们缺乏针对时间连续性与动态演化的内生归纳偏置，高度依赖人工提取的时域或频域特征，且推理开销通常比专用时序模型高出一到两个数量级，限制了在工业大规模流式场景中的落地可行性。

面对预测与插补割裂、协变量处理僵硬以及推理效率低下的核心矛盾，亟需一种既具备连续时间索引灵活性、又能原生感知外生变量并在单次前向传播中完成多任务推断的基础模型。核心 idea：将时间序列建模统一重构为基于连续时间索引的上下文回归问题，通过时间编码器压缩任意采样观测、通道混合器融合外生变量，并借助结构因果模型（SCM）生成的合成依赖先验训练因果自注意力回归器，在单一架构下实现稳健高效的零样本预测与插补。

方法详解¶

整体框架¶

TS-ICL 将观测序列与待推断目标统一视为时间戳对齐的输入输出对。整个推断流程由四个级联模块组成：首先，时间序列编码器独立压缩目标序列与外生协变量；其次，通道混合器引入跨通道注意力，将多路外生信息自适应融合至主时序的紧凑隐空间；接着，时间上下文查询模块将任意查询时间戳映射并与全局隐表征交互，提取连续时间感知特征；最后，上下文学习回归器在上下文训练集上执行因果自注意力，输出目标时间戳处的高精度分位数分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["非规则/不完整时序与协变量输入<br/>(x, t)"] --> B["时间序列编码器<br/>Perceiver 瓶颈压缩"]
    B --> C["通道混合器<br/>跨通道注意力交互"]
    C --> D["时间上下文查询模块<br/>多频带连续时间映射"]
    D --> E["上下文学习回归器<br/>因果自注意力分位数回归"]
    E --> F["概率分位数预测输出<br/>(99 分位数分布)"]

关键设计¶

1. 时间序列编码器：基于 Perceiver 架构的任意长度与非规则观测压缩 针对输入时序长度可变、采样非均匀且缺失值普遍存在的痛点，编码器采用通道独立（channel-independent）的设计范式。对于主序列和每一路外生协变量，模块首先利用以 2 为底对数尺度的多频傅里叶特征将连续时间戳投影至潜在空间，生成几何网格表征。随后，一组固定的可学习隐式 Token 通过交叉注意力查询时间几何特征并聚合观测数值投影，最后经过多层自注意力细化，将任意长度的离散或非均匀输入固定压缩为紧凑的潜在张量 \(Z^{\mathrm{val}} \in \mathbb{R}^{C \times M \times d}\)。这种设计彻底摆脱了固定网格 Patch 的约束，使模型原生免疫丢包与非规则采样。

2. 通道混合器与时间查询模块：动态协变量融合与连续时间解码 针对多变量依赖结构复杂且外生序列与主序列采样频率不一致的问题，通道混合器以目标序列的隐式 Token 作为 Query，对所有协变量通道的隐式表征执行跨通道交叉注意力，在压缩通道维度的同时选择性提取对预测任务最具信息量的外生动态，再经由全局自注意力建模 Token 间依赖，生成统一的全局任务表征 \(Z^{\mathrm{final}} \in \mathbb{R}^{M \times d}\)。紧接着，时间上下文查询模块利用多尺度正弦频率编码嵌入任意待推断的连续时间戳坐标 \(t\)，并通过交叉注意力查询 \(Z^{\mathrm{final}}\)，生成兼具局部时间特异性与全局序列动态的联合特征向量 \(H(t)\)，为下游回归器建立连续时间域的推断接口。

3. 上下文学习回归器：基于因果自注意力的概率分位数推断 为将预测与插补统一为标准的上下文学习范式，回归器将已观测的历史或未缺失样本构造为上下文集合，而将待推断的未来时刻或缺失位置视作查询样本。在输入构造阶段，所有观测值及对应时刻的外生协变量经由可学习 Query 进行交叉注意力融合，并与时间特征 \(H(t)\) 相加送入多层因果 Transformer。在因果注意力的约束下，目标查询 Token 能够动态检索与其语义与时序最相关的上下文表征，进而通过线性回归头同时输出 99 个均匀分布的分位数预测，全方位刻画预测不确定性。

4. 结构因果数据先验：基于有向无环图的合成多元依赖生成 现有基础模型在面对现实协变量时常因虚假相关性导致泛化崩溃。TS-ICL 构建了一套基于结构因果模型（SCM）的合成数据生成管线：首先随机生成有向无环图（DAG），从包含真实与合成时序的数据库中抽取根节点，其余非根节点则从涵盖线性变换、MLP、因果 RNN、一维卷积、多项式及离散化算子的 SCM 算子库中采样生成。随后，在图结构中抽取一部分节点作为可见通道，指定其中一个节点为推断目标，其余作为协变量。该机制使模型在预训练阶段广泛接触到直接因果、反向因果、共同混杂因子以及完全独立的噪声变量，大幅强化了模型在零样本场景下甄别有效外生信号的能力。

损失函数 / 训练策略¶

TS-ICL 采用平滑 Pinball 损失（Smoothed Pinball Loss）训练分位数回归头，保证端到端优化的光滑性与数值稳定性：

\[ \mathcal{L} = \sum_{t_j \in \mathcal{T}^{\mathrm{tgt}}} \sum_{k=1}^{99} \left[ \alpha_k e_{j,k} + \beta \log\left(1 + \exp(-e_{j,k}/\beta)\right) \right] \]

其中 \(e_{j,k} = x(t_j) - \hat{q}_{\alpha_k}(t_j)\) 为预测误差，\(\alpha_k \in (0, 1)\) 为分位数水平，平滑参数设为 \(\beta = 0.01\)。训练梯度仅在目标时间戳 \(\mathcal{T}^{\mathrm{tgt}}\) 上回传，上下文集合仅作为条件不参与损失计算。优化器针对 2D 权重矩阵采用 Muon 优化器，针对 1D 参数（偏置与缩放）采用 AdamW，最大学习率设为 \(4 \times 10^{-4}\) 并配合余弦退火。

实验关键数据¶

主实验¶

在零样本缺失值插补标准基准 fm-impute-bench（涵盖 132 个单变量任务与 24 个已知协变量任务）上，TS-ICL 显著超越了此前的最强表格基础模型与专用监督模型，同时推理速度提升高达 50 倍。

任务设定与基准	评估指标	TS-ICL (本文)	TabICLv2-TS	TabPFNv2.5-TS	SAITS (专用监督)	相对领先/提升
单变量插补 (132 任务)	NMAE (↓)	0.243	0.294	0.296	0.386	相对 TabICLv2-TS 降低 17.3%
单变量插补 (132 任务)	CRPS (↓)	0.255	0.301	0.303	0.503	相对 TabICLv2-TS 降低 15.3%
协变量插补 (24 任务)	NMAE (↓)	0.077	0.141	0.121	-	相对 TabPFNv2.5-TS 降低 36.4%
协变量插补 (24 任务)	CRPS (↓)	0.074	0.134	0.115	-	相对 TabPFNv2.5-TS 降低 35.7%
单变量插补中位推理耗时	秒 / 窗口	0.0065	0.307	0.280	0.0133	比 TabICLv2-TS 快 47.2 倍

在标准时序预测基准 fev-bench（100 个任务）中，TS-ICL 展现出逼近专用预测模型（Chronos-2、TiRex）的高水平零样本预测表现，并且在历史回看窗口存在数据缺失的极端恶劣条件下展现出卓越的鲁棒性：

历史缺失率设定 (fev-bench)	Chronos-2 (MASE)	TS-ICL (MASE)	相对性能差距与稳健性
0% 缺失 (标准完整回看)	1.62 (0%)	1.70 (0%)	TS-ICL 紧追主流 SOTA Patch 模型
30% 随机历史缺失	2.16 (-33%)	1.77 (-4%)	TS-ICL 仅轻微退化 4%，大幅反超 Chronos-2
50% 随机历史缺失	2.44 (-50%)	1.89 (-11%)	TS-ICL 误差显著低于 Chronos-2
70% 随机历史缺失	2.54 (-56%)	2.16 (-27%)	TS-ICL 保持高可用性
90% 极端历史缺失	3.97 (-144%)	3.63 (-113%)	相比 Patch 模型具备明显连续时间插值韧性

消融实验¶

在 fm-impute-mini 44 个插补任务子集以及协变量配置上进行的架构与策略消融，验证了编码器与回归器的协同增益以及不同协变量混合策略的有效性。

实验组别 / 架构配置	关键模块说明	CRPS (↓)	实验结论与机制分析
完整模型 (Full TS-ICL)	编码器 \(\mathcal{E}\) + 回归器 \(\mathcal{R}\) (Large 27M)	0.194	编码器提取紧凑全局表征，回归器执行自适应匹配
仅回归器 (Regressor-Only)	移除 \(\mathcal{E}\) 与 \(\mathcal{M}\)，直接以纯傅里叶特征作为输入	0.204	证明缺少全局隐式表征会损伤多尺度模式捕捉能力
仅编码器 (Encoder-Only)	移除 \(\mathcal{R}\)，上下文向量 \(H(t)\) 直接接入 5 层 MLP 输出	0.297	性能大幅崩溃，表明 ICL 因果注意机制是预测落地的关键
早期协变量混合 (Early Mixing)	仅在 \(\mathcal{E} + \mathcal{M}\) 进行协变量交互，回归器不接入协变量	0.123	缺乏点级细粒度对齐导致协变量增益不充分
晚期协变量混合 (Late Mixing)	编码器保持单变量，仅在 \(\mathcal{R}\) 输入构造时接入协变量	0.085	回归器局部位点上的交叉注意力能充分捕捉外生因果
双重协变量混合 (Dual Mixing)	全局表征与局部回归两阶段均接入协变量交互	0.085	在保留完整全局表征的同时兼顾局部点级对齐能力

关键发现¶

编码器与上下文回归器的强互补性：消融表明单纯依赖 MLP 映射的 Encoder-Only 方案误差剧增（CRPS 由 0.194 恶化至 0.297），证明基于 Transformer 的因果上下文匹配是时序关系推断的核心；而缺乏编码器提取全局动态的纯 ICL 方案同样产生退化，确认了两者级联架构的必要性。
对非理想观测的鲁棒韧性：在 fev-bench 历史缺失实验中，当历史窗口存在 50% 缺失时，Patch 化模型 Chronos-2 的误差激增 50%，而 TS-ICL 仅轻微退化 11%，这充分体现了时间连续索引对现实非均匀/断流场景的降维打击优势。
推理速度与精度兼得：TS-ICL 相比传统表格模型 TabPFNv2.5-TS 与 TabICLv2-TS 提速近 50 倍，且在单变量与多变量插补基准上均刷新 SOTA。

亮点与洞察¶

时间索引回归统一时序双子任务：将预测和插补归纳为统一的时间戳对齐回归问题，彻底打破了传统时序模型“预测与插补各自为战”的割裂局面。
基于 DAG 与 SCM 的结构因果数据先验：借鉴因果推理思想构建包含非线性、延迟、混合扰动的合成协变量依赖网络，有效解决了外生变量虚假相关与协变量过拟合的顽疾。
优雅的非对齐协变量接口：利用注意力机制处理集合的无序特性，实现了主序列与协变量在不同时间戳、不同采样密度下的天然兼容，无需前置对齐或均值插补预处理。

局限与展望¶

逐点回归的计算开销：由于模型采用逐点（pointwise）上下文回归机制，虽然相比表格模型提速 50 倍，但相较高度优化的 Patch 化预测模型（如 Chronos-2），在纯预测任务中的推理速度仍慢约 4 倍，未来需引入 KV Cache 复用或长序列线性注意力加速。
模型参数规模限制：当前开源版本参数量为 27M，受限于预训练计算预算，未来可进一步扩展至更大参数规模与更多样化的连续物理动态先验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将时间索引连续表示与基于 SCM 先验的上下文学习因果回归深度结合，架构设计优雅且高度统一。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 132 个单变量插补任务、24 个协变量插补任务、100 个预测任务以及极端缺失压力测试，对比基线全面。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严密，问题公式化明确，附录提供了详尽的参数规范与完整的先验生成算法。
价值: ⭐⭐⭐⭐⭐ 为工业界复杂传感器缺失数据与多源异构协变量时序建模提供了可直接落地的通用基础模型底座。