TStruct: Learning Shared Temporal Structures for Long-term Time-Series Forecasting¶

会议: NeurIPS 2026
arXiv: 2610.17864
代码: https://github.com/yangzeli/TStruct/
领域: 时间序列
关键词: 长期时间序列预测、时序依赖建模、共享时序结构、参数高效自适应、谱集中性

一句话总结¶

针对真实时间序列低信噪比与分布偏移导致的偶然交互过拟合难题，TStruct 通过显式参数化一组全局共享的时序依赖结构基元，并利用样本动态特征与变量静态先验进行自适应软分配加权，在保持高计算效率的同时于 7 大主流基准上全面超越现有 Transformer 与线性基线。

研究背景与动机¶

长期时间序列预测（Long-term Time Series Forecasting, LTSF）在电力调度、交通流控制、气象预警和金融风控等实际业务中扮演着核心角色。该任务的核心难点不仅在于拟合历史观测窗口内的变化规律，更在于学习出在未来未知时间分布偏移下依然稳定有效的时序依赖结构。然而，现实世界中的时间序列数据普遍存在信噪比极低（low-SNR）、非平稳性显著以及时间分布剧烈漂移的特点。基于深度学习的模型在有限且带噪的历史窗口中极易捕捉到偶然的、局部的虚假时序交互，导致模型在测试分布上的泛化能力急剧衰减。

为解决这一难题，近年主流方法分化为两类极端路线：一类是以 PatchTST、PhaseFormer 为代表的 Transformer 架构，依赖全自由度的注意力机制逐样本动态估计时间步对之间的相关性，表达能力虽强但极易在低信噪比数据中过拟合局部噪声；另一类是以 DLinear、SparseTSF 为代表的线性/MLP 架构，采用全局固定的前向时序投影，虽然计算极其高效且抗噪性好，却因结构僵化而无法适应样本与变量之间的异质依赖。最近涌现的 CycleNet、TimeEmb 等显式先验方法虽尝试参数化全局周期模式，但其建模对象局限于输入序列本身的取值周期，尚未探索更高维度的“时序依赖关系结构”本身是否存在可复用的稳定先验。

本文从 Patch 级时序关系矩阵的经验谱分析切入，通过对多个主流数据集在不同时间窗口和不同变量间构建相对位置 Gram 矩阵进行奇异值分解（SVD），首次从统计物理与矩阵分析角度证实：真实时间序列在样本间和变量间普遍存在显著的谱集中性（spectral concentration），其主导时序结构在打乱 Patch 相对位置或替换为高斯随机序列后集中度骤降。这表明不同时刻、不同通道虽然表面波动迥异，但在相对时序位置的相互依赖拓扑上共享着高度一致的基础结构。核心 idea：将时序依赖建模的目标从无约束的样本自注意力或僵硬的固定变换，转变为在共享时序结构空间内的自适应组合约束——直接显式参数化一组可学习的全局共享时序依赖矩阵，并结合动态样本特征与静态变量先验生成归一化凸组合权重，从而在共享结构的强正则化下灵活捕获样本与变量特异性的时序交互。

方法详解¶

整体框架¶

TStruct 的整体架构由三个核心阶段组成：输入预处理与 Patch 嵌入、时序结构编码器（Temporal Structure Encoder, TSEncoder / TSM）以及参数高效通道自适应预测头（Parameter-efficient Channel Adaptation Head, PCAHead）。首先，输入序列经过可逆实例归一化（RevIN）消除均值与方差层面的分布偏移，随后沿时间轴切分为非重叠的局部 Patch，并通过线性投影嵌入到隐空间。接着，TSEncoder 并不像自注意力机制那样直接通过样本点积自由计算交互矩阵，而是通过一组全局共享的时序结构基元矩阵，借助样本动态表征与通道静态先验融合成的路由权重，凸组合生成样本与通道专属的时序聚合权重。最后，PCAHead 结合全局共享的主投影和通道特异性的低秩残差微调，将编码后的 Patch 表征高效映射至预测步长，并通过 RevIN 逆变换恢复原始量纲。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["输入序列 (B, C, L)<br/>RevIN 实例标准化"] --> PE["Patch 嵌入<br/>无重叠切片与线性映射 (B, C, N, D)"]

    subgraph TSM["时序结构混合模块 (TSM / TSEncoder)"]
        direction TB
        Base["全局共享时序结构基元<br/>K 个正交初始化的结构矩阵 B_k"]
        Router["动静融合的时序结构自适应路由<br/>动态均值查询 + 静态通道先验 -> Softmax 权重"]
        Mix["凸组合与行归一化聚合<br/>加权混合矩阵 A = Softmax(∑ α_k B_k)"]
        FFN["特征投影与残差 FFN<br/>Z = A(E W_proj) + MLP"]
        Base --> Mix
        Router --> Mix
        Mix --> FFN
    end

    PE --> TSM

    subgraph PCA["参数高效通道自适应预测头 (PCAHead)"]
        direction TB
        BaseHead["共享全局基准投影<br/>W_base: N*D -> H"]
        AdaptHead["低秩通道自适应残差分支<br/>共享低秩基库 U_k, V_k + 通道特异权重组合"]
        SumHead["残差融合预测<br/>Y = Y_base + Z W_down W_up"]
        BaseHead --> SumHead
        AdaptHead --> SumHead
    end

    TSM --> PCA
    PCA --> Out["预测输出 (B, C, H)<br/>RevIN 反归一化恢复"]

关键设计¶

1. 全局共享时序结构基元：打破无约束注意力的偶然过拟合陷阱
现有注意力模型在应对低信噪比时序时，由于允许任意样本自由计算点积交互，极易把训练集特异的随机扰动误认作稳定的时序依赖关系。针对这一缺陷，本文在编码器中显式引入一组可学习的全局时序结构基元矩阵集合 $\mathcal{B} = \{\mathbf{B}_k\}_{k=1}^K$，其中每一个基元 $\mathbf{B}_k \in \mathbb{R}^{N \times N}$（$N$ 为 Patch 数量）直接参数化一个相对 Patch 拓扑位置上的依赖打分模式。所有基元在整个训练过程中全局共享并联合优化，从机制上排除了任意非规律性点积注意力的自由发散。在实现上，所有基元矩阵向量化后采用正交初始化，并具有单位 Frobenius 范数，这不仅确保了初始状态下各个基元指向互不冗余的时序关联方向，还严格控制了进入行 Softmax 归一化前的打分尺度。

2. 动静融合的时序结构自适应路由：在共享几何空间内实现细粒度时序聚合
不同变量（如气象数据中的温度与风速）具有本质迥异的演变周期与平稳性，而同一变量在不同时间窗口下也会遭遇非平稳的相位与趋势演变。如果仅用单一静态结构，模型将退化为僵化的线性模型。为此，TStruct 提出了由动态样本信息与静态变量先验双驱动的自适应路由机制。具体地，模型为每个变量维护一个可学习的静态通道偏好向量 $\mathbf{Q}_{\mathrm{static}}^{(c)} \in \mathbb{R}^K$；同时，将当前样本在各个通道上的 Patch 表征进行时间维度均值池化后送入轻量级 MLP 路由器，产生动态偏好矩阵 $\mathbf{Q}_{\mathrm{dynamic}}^{(b,c)} \in \mathbb{R}^K$。二者相加后经由 Softmax 归一化为非负且和为 1 的凸组合权重： $$ \boldsymbol{\alpha}{b,c} = \operatorname{Softmax}\left(\mathbf{Q}^K $$ 各样本-变量对通过该分配权重合成专属性打分矩阵 }}^{(c)} + \mathbf{Q}_{\mathrm{dynamic}}^{(b,c)}\right) \in \mathbb{R$\mathbf{S}_{b,c} = \sum_{k=1}^K \alpha_{b,c,k} \mathbf{B}_k$，随后施加逐行归一化 $\mathbf{A}_{b,c} = \operatorname{Softmax}_{\mathrm{row}}(\mathbf{S}_{b,c})$。该设计使信息聚合权重始终受限于共享基元构成的凸包几何空间之内，既确保了聚合权重具备概率平均解释性（无符号任意放大），又赋予了模型针对输入上下文调整时序依赖的自适应自由度。

3. 参数高效通道自适应预测头：兼顾变量异质性与线性复杂度的残差映射
在多变量预测场景下，不同变量的未来走势形态差异显著。若采用全局共享的单一预测头，难以充分拟合多通道异质性；若为每个通道分配独立的预测头，参数量将随变量数 $C$ 线性膨胀至 $\mathcal{O}(C \cdot N D \cdot H)$，在交通、电力等拥有数百维变量的数据集上极易显存溢出与过拟合。PCAHead 提出基于低秩残差分解的自适应机制：首先通过全局共享基准矩阵 $\mathbf{W}_{\mathrm{base}} \in \mathbb{R}^{(ND) \times H}$ 捕获主导预测映射；随后引入共享的低秩投影矩阵库 $\mathbf{U}_k \in \mathbb{R}^{(ND) \times r}$ 与 $\mathbf{V}_k \in \mathbb{R}^{r \times H}$（其中秩 $r \ll ND$），利用变量专属的 Softmax 权重系数 $\boldsymbol{\alpha}_c$ 动态合成通道特异性下投影与上投影矩阵： $$ \hat{\mathbf{Y}}^{(c)} = \mathbf{Z}^{(c)} \mathbf{W}{\mathrm{base}} + \mathbf{Z}^{(c)} \left(\sum}^K \alpha_{c,k} \mathbf{Uk\right) \left(\sum_k\right) $$ 上投影矩阵库初始化为全零，使得网络在训练初期完全依托稳定的共享全局基准头，随后平滑且自适应地学习变量特异性修正量，将参数复杂度显著降至 }^K \alpha_{c,k} \mathbf{V$\mathcal{O}(ND \cdot H + K r (ND + H) + C K)$。

损失函数 / 训练策略¶

为强化模型在时域数值保真度与频域周期谱分布上的双重一致性，TStruct 采用时频混合联合优化目标： $$ \mathcal{L} = \mathcal{L}{\mathrm{Huber}} + \lambda $$ 其中，}} \mathcal{L}_{\mathrm{FFT}$\mathcal{L}_{\mathrm{Huber}}$ 设定阈值 $\delta = 0.1$，在误差微小时呈二次惩罚、在极大异常值出现时呈线性惩罚，显著提升了对非平稳脉冲噪声的鲁棒性；频域损失 $\mathcal{L}_{\mathrm{FFT}} = \frac{1}{|\Omega|} \|\operatorname{rFFT}(\hat{\mathbf{Y}}, \mathrm{dim}=1) - \operatorname{rFFT}(\mathbf{Y}, \mathrm{dim}=1)\|_1$ 对时间轴上的实值快速傅里叶变换幅度施加 L1 惩罚，约束预测输出的频谱能量分布。权重 $\lambda_{\mathrm{FFT}}$ 在 $\{0.0, 0.1, 0.2, 0.3\}$ 范围内调优。优化器采用 Adam，学习率范围在 0.001 至 0.015，配合最大 25 轮与 10 轮早停的余弦退火学习策略。

实验关键数据¶

主实验¶

在涵盖能源、交通、气象三大领域的 7 个标准长期预测基准（输入长度统一定为 $L=720$，评估跨度 $H \in \{96, 192, 336, 720\}$）上，TStruct 与 8 个强基线模型进行了系统评测。如下表所示（汇报全预测步长平均指标），TStruct 在全部 7 个数据集的 MSE 指标上均斩获第一，在 6 个数据集的 MAE 指标上排名第一，总计在 14 项对比中取得 13 项最优：

数据集	指标	TStruct (本文)	DUET (次优基线)	PatchTST (Transformer)	DLinear (线性基线)	相对提升 (vs DUET)
ETTh1	MSE / MAE	0.390 / 0.415	0.398 / 0.419	0.417 / 0.431	0.425 / 0.439	-2.01% / -0.95%
ETTh2	MSE / MAE	0.331 / 0.381	0.334 / 0.383	0.351 / 0.395	0.470 / 0.468	-0.90% / -0.52%
ETTm1	MSE / MAE	0.337 / 0.367	0.338 / 0.369	0.349 / 0.381	0.356 / 0.378	-0.30% / -0.54%
ETTm2	MSE / MAE	0.243 / 0.304	0.248 / 0.307	0.256 / 0.314	0.259 / 0.324	-2.02% / -0.98%
Weather	MSE / MAE	0.213 / 0.249	0.218 / 0.252	0.224 / 0.262	0.242 / 0.293	-2.29% / -1.19%
Electricity	MSE / MAE	0.151 / 0.244	0.157 / 0.248	0.162 / 0.254	0.167 / 0.264	-3.82% / -1.61%
Traffic	MSE / MAE	0.381 / 0.252	0.393 / 0.256	0.396 / 0.266	0.418 / 0.287	-3.05% / -1.56%

(注：Traffic 数据集上 PhaseFormer 取得 MAE 0.250，本文 0.252 位列第二，但 MSE 达到 0.381 大幅领先 PhaseFormer 的 0.387)

消融实验¶

为验证时序结构混合模块与自适应投影头的实际效能，论文设计了三组严格对照消融：① 将 TSM 替换为标准多头自注意力（MHA）；② 将 TSM 替换为全局共享线性时序混叠层（Linear）；③ 将 PCAHead 替换为共享线性预测头。所有变体保持完全相同的训练目标和参数规模：

配置	核心改动说明	ETTh1 (MSE/MAE)	ETTm1 (MSE/MAE)	Weather (MSE/MAE)	Electricity (MSE/MAE)
TStruct (完整模型)	TSM 共享结构 + 动静路由 + PCAHead	0.390 / 0.416	0.337 / 0.367	0.213 / 0.249	0.151 / 0.244
① TSM $\rightarrow$ MHA	换成无约束的多头自注意力机制	0.425 / 0.444	0.376 / 0.391	0.229 / 0.265	0.162 / 0.254
② TSM $\rightarrow$ Linear	换成固定共享线性时序混叠	0.403 / 0.424	0.347 / 0.372	0.218 / 0.254	0.153 / 0.246
③ PCAHead $\rightarrow$ Linear	预测头换成通道无差别的共享线性层	0.394 / 0.417	0.341 / 0.368	0.215 / 0.251	0.152 / 0.245

关键发现¶

无约束注意力严重受挫：将 TSM 替换为 MHA（变体①）在所有数据集中均出现剧烈性能衰退（如 ETTh1 上 MSE 由 0.390 恶化至 0.425，跌幅近 9%），确凿证实了在真实世界低信噪比与分布偏移场景下，自由注意力计算所捕获的多为样本特异的偶然虚假关联。
共享结构与自适应路由缺一不可：替换为固定线性混叠（变体②）在平稳且变量极多的大规模数据集（Electricity/Traffic）上表现相对接近完整模型，但在高度非平稳的 ETT 和 Weather 上显著劣于 TStruct。这印证了论文的核心洞见：在强结构性数据集中共享基底贡献巨大，而在非平稳场景下，动静融合的自适应软分配提供了至关重要的通道与样本调整自由度。
长历史扩展鲁棒性：当历史回看窗口从 $L=48$ 持续延伸至 $720$ 时，以周期先验为主的基准（如 CycleNet、TimeEmb）在中长区间由于历史噪声注入性能趋于饱和甚至衰退，而 TStruct 随着历史视界的增加 MSE 单调稳定下降，证明 Patch 级别的共享依赖结构比单纯输入层周期先验更具上下文扩展性。
数据与分布鲁棒性：在仅使用最早 20%~40% 时间戳数据（强时间分布偏移）及在输入注入连续高斯噪声的应力测试中，TStruct 的误差恶化幅度显著低于 MHA，展现出先验拓扑约束带来的强大抗噪与泛化韧性。

亮点与洞察¶

从输入周期先验到时序依赖拓扑先验的范式跨越：过去方法（如 CycleNet、TimeEmb）多着眼于输入变量本身的时钟/周期性参数化，而 TStruct 首次将显式参数化的对象推向“时序关系拓扑（Temporal Dependency Structure）”，通过实证谱集中性回答了“时间依赖关系是否可被跨样本/变量复用”的基本理论问题。
软分配凸组合的优雅正则约束：通过凸组合与行 Softmax 将信息聚合矩阵严格限制在由正交基元构成的凸包空间内，既保持了模型感知样本与通道差异的灵活性，又在数学上杜绝了无界放大和虚假关联。
低秩通道残差头的设计巧思：PCAHead 采用“共享主干 + 全零初始化的低秩残差微调”机制，使得多变量预测头在训练初期能无缝继承全局共性预测能力，随后以极低的额外参数量渐进解耦各个通道的异质响应。

局限与展望¶

跨变量通道间依赖的解耦假定：TStruct 的编码器主要聚焦于单变量时间维度的 Patch 依赖建模，尽管 PCAHead 提供了变量感知的自适应映射，但未直接建模多变量之间的动态物理因果与交叉空间相关性，在超密集电网或传感网络中可能丢失高阶拓扑信息。
固定 Patch 长度与单尺度划分：当前模型采用固定单尺度的 Patch 切分方案，对于同时兼具短时高频突发脉冲与长程超大周期的复杂时序混合信号，多尺度时序结构分解将是值得探索的重要演进方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从谱集中性实证切入证明时序依赖结构的通用复用性，跳出传统输入周期先验与无约束注意力的非此即彼局限。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个主流基准、8 种先进基线、3 组消融实验，并辅以时间分布偏移、样本效率、噪声注入、回看长度及谱分析可视化，论证链条极为坚实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐释层层递进，数学形式化推导清晰严谨，分析图表设计精良。
价值: ⭐⭐⭐⭐⭐ 为轻量高效且具备强泛化能力的长期时间序列预测提供了极具启发性的架构设计基准。