TiRex-2: Generalizing TiRex to Multivariate Data and Streaming¶

会议: NeurIPS 2026
arXiv: 2607.01204
OpenReview: https://openreview.net/forum?id=YgN3LimhOJ
领域: 时间序列
关键词: 多变量时间序列预测、协变量建模、流式推理、xLSTM、因果性掩码

一句话总结¶

TiRex-2 扩展了基于 xLSTM 的循环时序基座模型，提出双向时间混合与非对称分组注意力变量混合机制，在严格防止未来目标信息泄露的前提下双向整合未来已知协变量，并以常数级单步开销实现超长上下文流式预测。

研究背景与动机¶

时间序列预测在云计算运维、宏观经济、地球科学、医疗监测以及工业设备维护等众多高风险决策场景中至关重要。近年来，时间序列基座模型（TSFM）迅速兴起，推动预测范式从单个序列的孤立建模转向大规模跨域零样本泛化。然而，现有 TSFM 在单变量扩展性与多变量关联建模之间存在明显的断层：一方面，强大的单变量基座模型（如 TiRex、Reverso、FlowState）在面对多变量输入时普遍依赖通道独立性（Channel Independence）假设，完全忽略了跨变量间的动态交互；另一方面，以 Chronos-2、Moirai 和 GTT 为代表的多变量基座模型绝大多数建立在 Transformer 架构之上，推理计算开销随序列上下文长度呈平方增长，且每当产生新的观测值时都必须重新处理全部历史数据，这与现实中需要低延迟、连续增量更新的在线流式预测场景根本不相契合。

多变量时序场景的另一项核心矛盾在于异构协变量的双向利用与目标变量因果性保护之间的冲突。实际预测任务中通常包含三类变量：历史目标变量、仅在历史窗口可观测的过去协变量（如传感器历史值），以及贯穿预测视界的未来已知协变量（如日历特征、排期事件或促销计划）。未来已知协变量天然蕴含前向与后向的双向全局信息，若仅以单向因果模式处理会严重丧失预测增益；但若在时序和变量维度使用标准的对称双向注意力，未来协变量的表示将会反向渗透进历史目标表示，引发极其隐蔽的“双块信息泄露”（Two-Block Leakage），导致自回归预测失真。此外，高质量真实多变量时序数据集严重匮乏，缺乏多样化的变量间因果与统计依赖结构，制约了基座模型学习通用跨变量关联。

面对这一系列痛点，本文提出在循环模型架构下实现多变量与流式预测的统一解法。核心 idea：以交替的 mLSTM/sLSTM 循环网络为骨干构建因果时间混合器，配合非对称分组注意力变量混合器阻断协变量向目标的逆向信息流，从而在单次前向传递中既能双向挖掘未来已知协变量、又在目标变量上严格维持因果不变性，赋予模型常数开销流式预测与理论防泄露保证。

方法详解¶

整体框架¶

TiRex-2 接收 $V_{\text{tgt}}$ 个目标序列 $\mathbf{X}_{\text{tgt}}^{1:T}$、$V_{\text{pcov}}$ 个历史协变量 $\mathbf{X}_{\text{pcov}}^{1:T}$ 以及 $V_{\text{fcov}}$ 个跨越整个预测视界 $T+F$ 的未来已知协变量 $\mathbf{X}_{\text{fcov}}^{1:T+F}$。首先通过二值敏感的反双曲正弦缩放器进行实例归一化与尾部压缩，切分为非重叠 Patch 并通过双层残差 MLP 映射为维度为 $D$ 的 Token 张量 $\mathbf{H}^{[0]} \in \mathbb{R}^{V \times L \times D}$。模型主体由 $N=12$ 个交替堆叠的时间混合块（Time Mixer）与变量混合块（Variate Mixer）构成，最终由输出投影头在每个 Patch 输出 $K=99$ 个密集分位数预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多变量输入与未来协变量<br/>目标变量 + 历史协变量 + 未来已知协变量"] --> B["输入层：二值自适应缩放与分块嵌入<br/>arcsinh 尾部压缩 + 稀疏二值旁路 + Patch MLP"]
    B --> C["时间混合器：因果 xLSTM 与双向协变量融合<br/>目标/历史单向循环 + 未来已知协变量双向权重绑定"]
    C --> D["变量混合器：非对称分组多头自注意力<br/>块对角分组 + 阻断协变量到目标的注意力流"]
    D --> E["多层堆叠交替演化<br/>N=12 层交替混合，维持各层目标因果不变性"]
    E --> F["输出层：分位数投影与有界逆变换<br/>两层残差 MLP 预测 99 分位数 + sinh 裁剪还原"]

关键设计¶

1. 非对称分组注意力变量混合器：斩断跨层未来信息泄露链 在多变量基座模型中，未来已知协变量需要感知全时间轴的上下文（例如未来的节假日安排对当期和未来都产生系统性影响），但绝不能允许未来目标变量的信息逆流回早期的目标预测。若采用常规对称变量注意力，在第 $n$ 块中未来协变量会读取当期目标信息；随后在第 $n+1$ 块的时间混合器中，未来协变量的逆向遍历会将该信息运送到更早的时间步 $l' < l$；接着第 $n+1$ 块的变量注意力又让早期目标 Token 读取该协变量，从而构建了致命的“未来目标 $\to$ 协变量 $\to$ 逆向时间运送 $\to$ 早期目标”的双块泄露通道。为此，TiRex-2 在变量维度构建块对角分组注意力，并在组内强加非对称掩码矩阵： $$M_{ij} = \begin{cases} 0, & \text{若 } g(i)=g(j) \text{ 且 } \neg(i \in \text{cov} \wedge j \in \text{tgt}) \\ -\infty, & \text{其他} \end{cases}$$ 其中 $\text{cov} = \text{pcov} \cup \text{fcov}$。该掩码允许目标查询（Target Query）读取自身与协变量的键（Key），协变量查询只能读取协变量键，严禁协变量查询读取目标键（$\text{cov} \to \text{tgt}$ 被完全屏蔽）。数学归纳法证明表明，协变量 Token 在所有网络深度上恒不包含任何目标变量信息，彻底打破了逆向传输链路，使得模型能够在单次前向传播中同时实现“未来已知协变量双向时序感知”与“目标序列严格因果”。

2. 双向时间混合器与循环流式推理：实现常数计算开销增量更新 主流 Transformer 时序基座在流式在线预测时，即使使用 KV-Cache，每接收一个新 Patch 也需要付出随历史序列长度 $L$ 线性增长的注意力检索代价 $O(L)$；若重走全序列则高达 $O(L^2)$。TiRex-2 采用扩展长短期记忆网络 xLSTM（交替使用 mLSTM 矩阵内存单元与 sLSTM 标量内存单元）构建时间混合器。对目标与历史协变量执行严格单向前向计算： $$\mathbf{u}_{s}^{l\rightarrow} = \text{xLSTM}_{\theta}(\mathbf{z}_{s}^{1:l}), \quad s \in \{\text{tgt}, \text{pcov}\}$$ 而对未来已知协变量额外执行同权重绑定的反向扫描，并通过线性层拼接融合： $$\mathbf{u}_{\text{fcov}}^{l\leftarrow} = \text{xLSTM}_{\theta}(\mathbf{z}_{\text{fcov}}^{L:l}), \quad \tilde{\mathbf{u}}_{\text{fcov}}^{l} = \mathbf{W} [\mathbf{u}_{\text{fcov}}^{l\rightarrow}, \mathbf{u}_{\text{fcov}}^{l\leftarrow}]$$ 得益于 xLSTM 的状态递推性质，在流式场景中，当产生新的观测 Patch 时，目标与历史协变量仅需直接更新固定维度的隐藏状态矩阵，单步耗时为 $O(1)$ 常数时间，与已经历的历史长度无关。在纯单变量输入模式下，模型更可自适应跳过变量混合器，无缝蜕化为轻量的高吞吐单变量架构。

3. 二值敏感的尾部压缩缩放器：消除重尾扰动与二值稀疏退化 现实多变量系统常面临量纲悬殊、重尾极端值以及稀疏二值指标（如离散事件、故障报警）共存的问题。朴素的 Z-score 标准化若作用于罕见正类的二值变量（其正类概率 $\bar{p} \to 0$），标准化后的离散间距将以 $1/\sqrt{\bar{p}}$ 的速度无界发散，使模型表示被上下文窗口内的稀疏度而非信号真实语义所主导。TiRex-2 提出了二值自适应的门控仿射变换与反双曲正弦复合缩放： $$\tilde{x}_t = (1-b) \operatorname{arcsinh}\left(\frac{x_t - \mu}{\sigma}\right) + b x_t$$ 其中指示变量 $b = \mathbf{1}[\forall t \in \mathcal{V}: x_t \in \{0, 1\}]$。当检测到二值变量时直接令 $b=1$，自动将参数置为 $\mu=0, \sigma=1$，绕过仿射变换并保留标准的 $\{0, 1\}$ 编码；而对连续变量，$\operatorname{arcsinh}$ 在原点附近保持线性响应，在极端重尾处呈对数级压缩，防止离群点梯度主导损失。在反向还原时，模型通过数据类型安全边界自适应计算截断阈值 $c$，将输入 $\sinh$ 的参数限制在 $[-c, c]$ 内，杜绝了数值溢出与病态爆炸。

4. 程序化合成多变量耦合管道：从单变量池在线合成异构交互 高质量真实多变量时序样本极其匮乏且领域偏置严重，而海量单变量时序数据相对充裕。为了迫使模型真正学会利用变量间依赖，TiRex-2 提出了无需真实多变量标签的在线耦合生成算法。在训练过程中，系统从单变量池（包含 Chronos 真实序列、合成高斯过程序列及 dysts 混沌动力学样本）中随机采样 $V \sim \mathcal{U}\{1, \dots, 12\}$ 条独立序列，首先进行振幅趋势扰动、分位数截断与脉冲注入，随后从 6 种生成机制中均匀采样施加耦合： - 恒等与单变量直通：$x_{j,t} = z_{j,t}$，保留纯单变量建模基线能力； - 点状函数耦合：$x_{j,t} = f_j(z_{0,t}) + \varepsilon_{j,t}$，模拟传感器冗余映射； - 线性混合：$\mathbf{x}(t) = \mathbf{A}\mathbf{z}(t)$，覆盖不同奇异值谱的潜因子模型； - 协整系统：$\mathbf{x}(t) = \boldsymbol{\Lambda}\boldsymbol{\tau}(t) + \boldsymbol{\xi}(t)$，生成具有共享非平稳随机游走趋势的长期均衡过程； - 线性结构因果模型（SCM）：基于有向无环图注入时滞因果边 $x_{j,t} = \sum_{i \in \text{pa}(j)} \alpha_{ij} z_{i, t-\tau_{ij}} + \varepsilon_{j,t}$； - 非线性乘性门控 SCM：$x_{j,t} = h(z_{k, t-\tau_k}) \sum_{i \in \text{pa}(j)} g_{ij}(z_{i, t-\tau_{ij}})$，模拟由开关状态调控的动力学系统。最后配合布朗桥平滑时序变形、连续 Patch 随机 NaN 遮掩以及随机未来已知视界裁剪，极大提升了模型对异步采集与局部缺失的鲁棒性。

损失函数 / 训练策略¶

TiRex-2 采用全视界密集监督策略，在全部已观测时间步上最小化 $K=99$ 个等距分位数（$\tau_k = k/100$）的 Pinball 损失，并引入软样本影响截断以抑制病态离群样本对梯度的过度冲击： $$\mathcal{L} = \frac{1}{|\mathcal{Q}| |\mathcal{T}_{\text{obs}}|} \sum_{t \in \mathcal{T}_{\text{obs}}} \sum_{q \in \mathcal{Q}} \left[ q (x_t - \hat{x}_t^q)_+ + (1-q) (\hat{x}_t^q - x_t)_+ \right]$$ 模型在 22 台 NVIDIA H100 GPU 上采用 bf16 混合精度完成 700,000 步预训练（有效批大小 64，OneCycle 调度，峰值学习率 $1.2 \times 10^{-3}$），随后在上下文长度 $L_{\text{ctx}}=8,192$、预测视界 $L_{\text{pred}}=512$ 下进行 100,000 步长上下文后训练。

实验关键数据¶

主实验¶

评估在零样本时序评测基准 fev-bench（重点检验对历史与未来已知协变量的利用能力）和 GIFT-Eval（检验跨领域跨采样频率泛化）上展开。为确保绝对无数据泄漏，论文针对两个基准分别训练了严格剔除重叠数据集的模型权重。

模型	架构类型	激活参数量 (M)	fev-bench MASE (↓)	fev-bench SQL (↓)	GIFT-Eval MASE (↓)	GIFT-Eval CRPS (↓)
TiRex-2 (本文)	xLSTM 循环混合	53.84 (均值)	1.527	0.865	0.781	0.542
Chronos-2	Transformer 混合	~120	1.648	0.932	0.812	0.568
TimesFM-2.5	Transformer 补丁	~230	1.815	1.041	0.825	0.579
Moirai-2.0	Transformer 任意变量	~50	1.762	0.988	0.840	0.591
TiRex (基线)	sLSTM 纯单变量	38.4	1.839	1.052	0.838	0.585
Toto-1.0	仅过去协变量 Transformer	~100	1.902	1.095	0.867	0.612

在 fev-bench 的两两胜率比较中，TiRex-2 对比 Chronos-2 取得了显著占优的胜率与技能评分（Skill Score），同时由于单变量样本可跳过变量混合器，TiRex-2 的实际激活参数量仅为 Chronos-2 的约 $45\%$。

消融实验¶

消融实验在包含真实多变量与协变量任务的 fev-bench 及未来已知协变量子集上进行，多随机种子独立运行评测各模块贡献。

配置	全体 fev-bench MASE (↓)	变化量 $\Delta$	未来已知协变量子集 MASE (↓)	变化量 $\Delta$	说明
TiRex-2 完整模型	1.527 ± 0.006	基线	0.990 ± 0.007	基线	完整双向时间 + 非对称分组变量混合
移除分组注意力 (No group attention)	1.747 ± 0.056	+0.220	1.268 ± 0.048	+0.278	破坏非对称因果掩码，引发跨步信息泄露
移除二值敏感缩放 (No binary scaler)	1.541 ± 0.007	+0.014	0.991 ± 0.004	+0.001	稀疏二值指标受无界方差退化影响
仅单向时间混合 (Forward only)	1.549 ± 0.006	+0.022	1.067 ± 0.007	+0.077	未来已知协变量丧失反向全局时序上下文
纯 sLSTM 主干 (sLSTM only)	1.535 ± 0.008	+0.008	0.992 ± 0.004	+0.002	缺失 mLSTM 矩阵内存的长程联想容量
移除长上下文后训练 (8k $\to$ 2k)	1.529 ± 0.004	+0.002	0.993 ± 0.005	+0.003	短上下文限制在超长序列下的有效回看
剥离未来已知协变量 (No fcov)	1.560 ± 0.006	+0.033	1.104 ± 0.009	+0.114	退化为仅含历史协变量的多变量预测

关键发现¶

非对称掩码是系统性能的基石：消融中去掉分组因果掩码导致总体 MASE 恶化 0.220，在未来协变量子集上恶化幅度更达到 0.278，证实了防范信息反向泄露对保障真实测试场景泛化能力的决定性作用。
流式预测外推能力极其惊人：在合成自回归系统的流式评测中，TiRex-2 连续处理了长达 32,000,000 个时间步（相比 8,192 训练窗口外推了 4000 倍），预测误差 MASE 保持平稳，未出现任何内存饱和或数值漂移。
强鲁棒的时滞容忍度：在时滞协变量偏移应激测试中，当引入人工滞后 $\Delta$ 时，TiRex-2 提取有效前瞻信号的滞后范围显著宽于 Chronos-2，表现出更强的因果对齐能力。

亮点与洞察¶

优雅解决了双向表征与严格因果的架构矛盾：在同一个网络中，巧妙利用变量维度的单向非对称掩码阻断了信息逆流通道，使得时序维度的未来协变量能够完全自由地进行双向特征聚合，设计简洁且数学证明完备。
重新确立了循环神经网络在时序基座模型中的竞争优势：打破了 Transformer 在多变量时序领域的垄断，证明了基于 xLSTM 的线性与常数开销不仅在吞吐量上碾压自注意力，更能自然实现原生流式部署。
合成因果耦合机制具备高度通用性：设计的 6 种程序化因果耦合与观测退化噪声生成方案，可直接作为通用数据增强器迁移至任意多变量时序模型的自监督预训练。

局限与展望¶

未来已知协变量动态变更时的计算开销：由于未来已知协变量采用双向编码，若在线流式过程中未来的排期或干预计划发生实时动态修改，必须对其整条序列重新计算前向与后向隐藏状态，无法享受增量常数更新（但实际业务中可通过将其平移进因果历史窗口来缓解）。
流式步长受限于 Patch 粒度：当前流式输入以 Patch（32 个时间步）为单位吞吐，无法在单时间步级别实现逐点更新。
缺少动态变量剪枝机制：目前变量注意力在所有协变量间计算，未来可引入上下文驱动的稀疏性判定，自动修剪无相关性的冗余变量以进一步节省算力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在时序基座模型中通过非对称掩码完美统一了未来协变量双向利用与目标严格因果性，流式架构极具突破性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 fev-bench、GIFT-Eval 两大权威零样本基准、严苛的无泄漏独立预训练、长达 32M 步流式验证及详实消融。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨（引理与命题证明详实），问题抽象清晰，实验设计极具针对性。
价值: ⭐⭐⭐⭐⭐ 为大规模工业时序监测与实时流式预测系统提供了兼具超高性能与常数部署开销的实用基座模型。