Progressive Memory Transformer: Memory-Aware Attention for Time-Series¶
会议: NeurIPS 2026
arXiv: 2609.31351
代码: https://github.com/dsb-ifi/pmt
领域: 时间序列
关键词: 时间序列、渐进式记忆、多尺度自监督学习、对比学习、时序预测
一句话总结¶
本文提出 Progressive Memory Transformer(PMT),通过随滑动窗口水平推进并在层间垂直融合的可写窗口记忆槽显式暴露中尺度模式表示,并配合 token 级连续性、记忆级模式一致性与序列级全局对比三尺度独立自监督目标,在七个低标签分类基准(1% 标签超越此前 5% 基线)与长时间跨度预测中显著优于现有自监督方案。
研究背景与动机¶
时间序列信号天然在多重时间尺度上展现出丰富的层次结构:短邻域内的精细数值波动、跨时间窗口重复出现的局部模式或模态(motif),以及统摄整段序列的全局语义属性。相应地,下游任务对表征颗粒度的诉求也大相径庭,例如细粒度的时间步预测依赖局部细节,局部模式识别与异常检测关注中尺度特征,而整段序列分类则依赖全局摘要。然而,现有的时间序列自监督学习(SSL)方法普遍采用全局实例级对比学习或受限的局部时序邻域监督,将大部分表征学习压力施加于最终的全局读出状态上。
这种全局驱动的学习范式忽略了时间序列天然的结构层次,导致极具信息量且蕴含关键物理/行为动态的中尺度特征被粗暴压缩甚至丢失。传统架构往往通过最大池化或跨时间步平均池化来强制聚合隐状态,将中间特征降格为瞬态计算变量;即使是循环神经网络隐状态或分段缓存机制(如 Transformer-XL),也仅仅将跨窗口上下文作为内部优化通道,并未向外暴露专门针对中尺度监督的表示接口。而近期出现的持久化外部记忆 Transformer(如 Titans)大多采用与具体滑动窗口完全解耦的全局记忆池,无法对齐到具有明确物理跨度的局部时序窗口。
针对中尺度表征缺乏独立建模与直接监督的结构性缺陷,本文提出构建显式的三尺度层次化自监督框架。要让多尺度目标发挥作用,模型骨干网络必须在每一尺度上对外暴露对等的表征接口。核心 idea:提出渐进式记忆 Transformer(PMT),在标准 Transformer 基础上引入随时间滑动窗口水平更新、随网络层深垂直传递的可写窗口记忆槽,将中尺度时序模式提升为一等公民表征,并分别施加局部高斯对比、中尺度记忆槽对比与全局实例对比三重独立监督。
方法详解¶
整体框架¶
PMT 的整体处理流程涵盖输入 Patch 卷积切分、渐进式记忆注意力(PMA)堆叠计算、注意力重叠聚合与全局读出编码四个阶段: 1. 多通道波形 Patch 编码:对于长度为 \(L\)、通道数为 \(C\) 的输入时间序列 \(x \in \mathbb{R}^{L \times C}\),首先通过一维卷积层(kernel 与 stride 均为 \(k\))切分为 \(K\) 个 Patch token,每个 token 维度为 \(D\); 2. 渐进式记忆注意力(PMA)块展开:将 \(K\) 个 token 展开为窗口长度为 \(W\)、步长为 \(S\) 的重叠滑动窗口序列(重叠度 \(O = \lceil W/S \rceil\))。在每个 PMA 块中,网络接收前一窗口传来的水平记忆槽与前一块传来的垂直记忆与 token,经自适应门控混合后通过非对称自注意力完成局部 token 提炼与记忆槽就地更新; 3. 自注意力重叠聚合(Attentive Overlap Aggregator):由于窗口重叠使得每个全局时序位置在单块内被重复计算 \(O\) 次,利用单 Query 的交叉注意力池化机制将重叠状态合并,维持网络层间序列长度恒定; 4. 全局邻域编码与多尺度独立监督:将 PMA 提炼的 token 序列接入带邻域掩码的浅层 Transformer 编码器(局部 token 仅能与局部邻域交互),并引入全局 \([CLS]\) token 汇总全序列信息;随后分别在 token 层施加分层高斯对比损失(HGCL)、在末层记忆槽施加 PMA 对比损失(PCL)、在 \([CLS]\) token 施加实例对比损失(ICL)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入多通道时序信号<br/>1D 卷积分块切分为 K 个 Patch Tokens"] --> B["渐进式记忆注意力 (PMA)<br/>水平水平传递记忆 + 垂直层间聚合"]
B --> C["注意力重叠聚合机制<br/>合并 O 倍重叠窗口并恢复恒定序列长度"]
C --> D["双路全局特征提炼<br/>邻域掩码 Token 编码 + 全局 CLS 摘要"]
D --> E["三尺度独立对比监督<br/>Token级 HGCL + 中尺度 PCL + 序列级 ICL"]
关键设计¶
1. 渐进式记忆注意力:水平传递与垂直重置的双轴记忆机制
针对传统 Transformer 在处理长滑动窗口时计算爆炸或切断历史依赖的矛盾,PMA 为每个窗口配备 \(n_m\) 个可写记忆槽。在网络深度块 \(b\) 和时序窗口 \(w\) 处,PMA 联合接收来自同层前一窗口的水平记忆 \(M_{w-1,b}\)、来自前一层同窗口的垂直记忆 \(\bar{M}_{w,b-1}\) 以及前一层提炼的 token \(\bar{W}_{w,b-1}\)。为防止时序分布漂移和旧记忆过度滞留,网络设计了两个自适应门控:记忆门控 \(G_M\) 将继承的旧记忆与可学习的重置记忆状态 \(M_r\) 软性混合,类似 LSTM 的重置门;token 门控 \(G_W\) 则将当前层输入与未经深层处理的原始 patch 表征 \(W_{w,0}\) 混合,牢固保留底层精细波形细节。随后,将经过门控调制的向量拼接送入单层 Multi-Head Attention: $\([M_{w,b}, W_{w,b}^{\text{out}}] = \mathrm{SelfAttn}\left(\left[M_{w-1,b} \,\|\, \bar{M}_{w,b-1} \,\|\, \bar{W}_{w,b-1}\right]\right)\)$ 在注意力掩码设计上,记忆槽 Query 保持全局可见,可同时读写自身与所有 token;而时序 token Query 仅能看到其因果历史和水平记忆 \(M_{w-1,b}\),被严格禁止向未来的垂直记忆 \(\bar{M}_{w,b-1}\) 泄漏信息。记忆在时序方向上每步扩展一个步长 \(S\),在深度方向上每层增加 \(W-S\) 的名义感受野,使得较深层可以紧凑地整合全序列上下文而无需二次扫过全部历史原始点。
2. 注意力重叠聚合机制:无失真合并重叠滑动窗口表征
当滑动窗口步长小于窗口长度(\(S < W\))时,相邻窗口在边界区域产生 \(O = \lceil W/S \rceil\) 倍的物理覆盖。若不加处理直接堆叠多层网络,序列长度将随深度指数膨胀。为了在保持恒定序列长度的同时无损提炼多视角的重叠特征,PMT 在每个 PMA 块末尾引入了轻量级自注意力重叠聚合器(Attentive Overlap Aggregator)。对于全局时序位置 \(t\) 处来自 \(O_t\) 个重叠窗口的表征 \(\{W_t^{(r)}\}_{r=1}^{O_t}\),聚合器使用由一维深度卷积和双层 MLP 生成的单 Query 向量 \(q_h\) 与各重叠投影计算注意力权重 \(\alpha_{h,r}\): $\(A_t = \gamma \, \mathrm{LN}\left(O^{-1/2} \mathrm{Concat}_{h=1}^{H} \sum_{r=1}^{O_t} \alpha_{h,r} V_{h,r}\right), \quad \alpha_{h,r} = \mathrm{softmax}_r \left(\frac{\langle q_h, K_{h,r} \rangle}{\sqrt{d_h}} + b_{h,r}\right)\)$ 聚合得到的特征与原始重叠块的掩码均值跳跃连接 \(S_t = \frac{1}{O_t} \sum_{r=1}^{O_t} W_t^{(r)}\) 经由可学习的 SkipGate 混合。该聚合器在流式模式下仅占据 1%~3% 的单窗口计算时间,在向量化训练时耗时占比小于 1%,以几乎可忽略的开销解决了多层窗口化 Transformer 的状态拼接膨胀难题。
3. 三尺度独立对比学习:从微观连续性到中尺度模式的联合监督
为了使模型在三个粒度上都产生富有判别力的特征表示,PMT 构造弱增强(通道 Z-score 缩放与低方差高斯噪声,保留精细形态)与强增强(时间扭曲与幅度扭曲,破坏局部自相关但保留粗粒度语义)两路随机视图,施加三级互补的目标: - 微观 Token 级连续性(HGCL):在展开 token 空间内,利用时序窗口几何距离直接构建高斯核软正样本权重 \(q_{k,j}^t = \exp\left(-\frac{(k-j)^2}{2\sigma_p^2}\right)\),避免了传统 DTW 对齐所需的超高计算量,强制同一序列局部连续的时序点互相亲和,而跨样本 token 为负样本; - 中尺度局部模式一致性(PCL):直接以最终 PMA 块输出的 \(L_2\) 归一化记忆槽 \(m\) 作为对比向量(无需额外投影头)。将视图 1 中某窗口的第 \(k\) 个记忆槽与视图 2 中相同窗口相同槽位对齐为正样本对,以 batch 内其他样本的所有记忆槽为负样本,驱动每个记忆槽专职抽象出该时域窗口内最具辨识度的物理 pattern; - 宏观全局实例对齐(ICL):对经过邻域掩码编码器汇总的全局 \([CLS]\) token 施加标准的双层 MLP 投影与 InfoNCE 实例判别损失。
损失函数 / 训练策略¶
模型的总体训练损失为三个尺度目标的加权和: $\(\mathcal{L}_{\text{total}} = \lambda_{\text{ICL}} \mathcal{L}_{\text{ICL}} + \lambda_{\text{HGCL}} \mathcal{L}_{\text{HGCL}} + \lambda_{\text{PCL}} \mathcal{L}_{\text{PCL}}\)$ 其中各损失的具体定义如下: 1. 中尺度 PCL 损失:对样本记忆槽计算对称式 InfoNCE(负样本集合 \(\mathcal{N}_a\) 排除同源序列,每 anchor 采样 512 个负样本): $\(\mathcal{L}_{\text{PCL}} = -\mathbb{E}_{m_a} \log \frac{\exp(\langle m_a, m_p \rangle / \tau)}{\exp(\langle m_a, m_p \rangle / \tau) + \sum_{m_n \in \mathcal{N}_a} \exp(\langle m_a, m_n \rangle / \tau)}\)$ 2. 微观 HGCL 损失:结合窗口内 token 级平滑损失 \(\overline{\mathcal{L}_t}\) 与序列内窗口级一致性损失 \(\overline{\mathcal{L}_w}\),通过高斯软加权桶形式(Bucket-form InfoNCE)优化: $\(\mathcal{L}_{\text{HGCL}} = \alpha \overline{\mathcal{L}_t} + \beta \overline{\mathcal{L}_w}\)$ 3. 全局 ICL 损失:对经投影头 \(g(\cdot)\) 映射的 \([CLS]\) token 计算跨视图对称实例对比损失: $\(\mathcal{L}_{\text{ICL}} = -\frac{1}{\mathcal{B}} \sum_{i=1}^{\mathcal{B}} \log \frac{\exp(\langle g(c_i^1), g(c_i^2) \rangle / \tau)}{\sum_{(i', v) \neq (i, 1)} \exp(\langle g(c_i^1), g(c_{i'}^v) \rangle / \tau)}\)$ 模型采用 AdamW 优化器与余弦退火学习率调度,峰值学习率为 \(1\times 10^{-4}\),最小学习率为 \(1\times 10^{-6}\),包含 5% 预热期;默认 batch size 设为 256。消融实验表明,在多数据集上设置均等权重 \(\lambda_{\text{ICL}}=\lambda_{\text{HGCL}}=\lambda_{\text{PCL}}=1\) 即可达到距离最优调优方案 2% 以内的优异性能,具备极高开箱即用性。
实验关键数据¶
主实验¶
在 7 个标准 UCR/UEA/UCI 分类数据集上,遵循无监督预训练后冻结骨干、仅在 1% 和 5% 标注子集上训练线性 SVM 探针的标准评测协议。主实验对比了 PMT 与当前最强的时间序列 SSL 基线:
| 数据集 | 标注比例 | PMT (Top-1 / mF1) | TS2Vec + SoftCLT | TS-TCC + SoftCLT | 相对提升 (Top-1) |
|---|---|---|---|---|---|
| HAR | 1% labels | 92.9 / 93.2 | 91.0 / 91.0 | 82.9 / 82.8 | +1.9% |
| Epilepsy | 1% labels | 96.6 / 94.7 | 96.3 / 94.1 | 95.6 / 95.6 | +0.3% |
| Wafer | 1% labels | 98.7 / 96.5 | 95.3 / 88.1 | 96.5 / 96.5 | +2.2% |
| FordA | 1% labels | 88.2 / 88.2 | 87.1 / 87.1 | 81.5 / 81.2 | +1.1% |
| FordB | 1% labels | 76.3 / 76.2 | 67.9 / 67.9 | 74.8 / 74.8 | +1.5% |
| POC | 1% labels | 68.2 / 65.7 | 63.6 / 62.8 | 65.4 / 64.6 | +2.8% |
| ElectricDevices | 1% labels | 64.1 / 58.1 | 62.0 / 53.0 | 64.6 / 63.2 | -0.5% |
| 7 数据集均值 | 1% labels | 83.6 / 81.8 | 80.5 / 77.7 | 80.2 / 79.8 | +3.1% |
| HAR | 5% labels | 95.5 / 95.9 | 92.1 / 92.1 | 92.6 / 92.6 | +2.9% |
| Wafer | 5% labels | 99.0 / 97.2 | 98.8 / 96.8 | 98.2 / 98.2 | +0.2% |
| POC | 5% labels | 72.7 / 70.6 | 70.9 / 69.7 | 69.4 / 66.3 | +1.8% |
| 7 数据集均值 | 5% labels | 85.2 / 83.6 | 84.5 / 82.7 | 85.9 / 84.2 | 处于前列 |
在跨度预测实验(ETTh1 与 Electricity,预测视界 \(H \in \{24, 48, 168, 336, 720\}\))中,PMT 在全部 4 个(数据集,单/多变量)均值指标上取得比 SoftCLT 更低的 MSE,且在长视界(\(H \ge 168\))展现出压倒性优势(如 Electricity 多变量 720 步 MSE 从 0.517 降至 0.421)。
消融实验¶
1. 损失函数组件消融(FordA、HAR、POC 与 Wafer 四数据集在 1% 与 5% 标注下平均):
| 配置 | Top-1 准确率 (%) | Macro-F1 (%) | 说明 |
|---|---|---|---|
| 全损失配置 (\(\lambda_{\text{all}} = 1\)) | 87.49 | 86.06 | 完整三尺度自监督方案 |
| w/o ICL (\(\lambda_{\text{ICL}}=0\)) | 83.33 | 81.23 | 移除全局实例对比,Top-1 掉点 4.16% |
| w/o HGCL (\(\lambda_{\text{HGCL}}=0\)) | 84.69 | 82.37 | 移除微观 token 连续性,Top-1 掉点 2.80% |
| w/o PCL (\(\lambda_{\text{PCL}}=0\)) | 87.33 | 86.01 | 移除中尺度记忆对比,分类探针略降 0.16% |
| 仅 ICL (单损失) | 81.37 | 79.59 | 相比全模型掉点 6.12% |
| 仅 HGCL (单损失) | 82.51 | 79.17 | 相比全模型掉点 4.98% |
| 仅 PCL (单损失) | 81.58 | 79.25 | 相比全模型掉点 5.91% |
2. 状态保持与跨窗口传播能力:FordA 扰动线索保留(Cue Retention)探针评估
为了彻底排除“分类任务仅凭局部浅层特征即可走捷径”的干扰,作者在输入序列深处注入汉宁窗调制的局域脉冲扰动(Hann-tapered burst),测试在冻结模型最终输出端(EOS)能否仅凭单一向量检测到早期的局部线索:
| 模型架构与记忆类型 | EOS AUC | EOS Top-1 准确率 | EOS Macro-F1 | 机制说明 |
|---|---|---|---|---|
| PMT (完整模型) | 0.994 | 0.921 | 0.920 | 可写窗口记忆槽 + PCL 显式对比监督 |
| PMT (\(\lambda_{\text{PCL}}=0\)) | 0.983 | 0.831 | 0.824 | 具备可写记忆槽结构但无中尺度损失引导 |
| xLSTM (循环隐状态) | 0.956 | 0.820 | 0.817 | 隐状态仅作为黑盒计算流,缺乏中尺度监督 |
| Transformer-XL (分段缓存) | 0.933 | 0.795 | 0.790 | 缓存状态为只读,上下文单向拼接 |
| TS2Vec (+SoftCLT) | 0.649 | 0.638 | 0.604 | 层次化池化操作破坏了中尺度线索保持 |
关键发现¶
- 中尺度记忆槽有效抵御信息湮灭:线索保留实验清晰证明,TS2Vec 等基于池化的架构会迅速遗忘跨窗口的微弱时序扰动(AUC 仅 0.649),而 PMT 即使在无显式 PCL 监督下其可写记忆槽结构也能保留极高的线索排序信息(AUC 0.983);引入 PCL 监督后,更是大幅修正了特征空间决策边界校准度,Top-1 和 mF1 分别显著提升 +9.0% 与 +9.6%。
- 三尺度目标互补性显著:单纯依赖任何单一维度的对比损失均会导致表征性能大幅落后(单目标与全模型差距达 5%~6%);全局 ICL 主导整序列分类可分性,HGCL 提供局部波形抗噪平滑,PCL 赋予时序局部 pattern 跨视角的鲁棒辨识度。
- 长时预测得益于记忆传递:在短期预测(24~48步)中局部 token 已提供足够信息,而当视界拉长至 168~720 步时,PMT 的渐进式记忆显露出巨大的精度优势,说明跨窗口累积的历史记忆能够提供更可靠的趋势支撑。
亮点与洞察¶
- 将中间状态从“黑盒参数”转变为“对齐接口”:以往自监督工作将网络中间层仅视作算力传递的黑盒,PMT 首次在时序 Transformer 中为每个时间窗口开辟轻量、可写且显式对齐的记忆槽,直接作为中尺度 representation 的独立输出接口。
- 免对齐计算的窗口高斯软对比(HGCL):摆脱了 SoftCLT 等方法对动态时间规整(DTW)极度繁重的算力依赖,巧妙借助滑动窗口步长与尺度的先验几何直接推导高斯带宽,在轻量运算下实现了连续时间近邻的正样本软性加权。
- 可复用的跨块无膨胀重叠聚合器:设计单 Query 跨头注意力机制合并多重叠窗口,使层间序列长度始终恒定,成功将滑动窗口注意力堆叠扩展至任意深度,同时流式开销极小(1%~3%)。
局限与展望¶
- 对分块步长较为敏感:输入端依旧依赖固定步长的一维卷积切块;实验发现步长从 10% 扩大至 100%(非重叠)时在 FordA 上准确率断崖式下跌 25%,说明对于短寿命瞬态事件模型高度依赖密集的重叠切词,未来需探索自适应/可学习的时序 Tokenizer。
- 依赖大批量负样本挖掘:由于底层依赖 InfoNCE 范式(尤其是全局 ICL),模型对 Batch Size(默认 256)具有较强依赖,在极小样本量(如只有数十条轨迹的微型数据集)或资源严苛的设备上难以直接有效训练,尚未探索动量队列或负样本解耦机制。
相关工作与启发¶
- vs TS2Vec / SoftCLT: TS2Vec 通过自底向上逐层 Max-Pooling 构造多尺度表示,但池化过程不可逆地抹杀了局部的相干细节;SoftCLT 引入 DTW 距离耗时严重。PMT 保持 token 序列完整性的同时依靠可写记忆显式捕获中尺度模式,既保护了细节又无需全局耗时对齐。
- vs Transformer-XL / xLSTM: Transformer-XL 的跨段缓存为纯只读形式,深层无法逆向改写;xLSTM 的循环状态是封闭的瞬态优化通路。PMT 的记忆槽是窗口可写的独立表征,且可直接接入对比损失进行端到端监督。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出窗口可写记忆槽结构与三尺度独立对比学习范式,突破了传统时间序列单尺度全局对比的局限。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个分类基准、严苛的 Hann 脉冲线索保留探针、双数据集长时间跨度预测以及深入的模块与超参消融。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅,方法推导与算法伪代码完备,图表质量上乘且逻辑严密。
- 价值: ⭐⭐⭐⭐⭐ 为时间序列基础模型在局部模式与长程依赖表征解耦方面提供了极具实用价值的全新架构范式。