跳转至

Mask the Redundancy: Evolving Masking Representation Learning for Multivariate Time-Series Clustering

会议: AAAI2026
arXiv: 2511.17008
代码: yueliangy/EMTC
领域: 时间序列
关键词: multivariate time-series clustering, masking, representation learning, contrastive learning

一句话总结

提出 EMTC 框架，通过 Importance-aware Variate-wise Masking (IVM) 动态屏蔽冗余时间戳，结合 Multi-Endogenous Views (MEV) 多视图生成与 cluster-guided contrastive learning，在 15 个 MTS 聚类基准上平均 F1 提升 4.85%。

研究背景与动机

领域现状

领域现状：多变量时间序列 (MTS) 聚类需要发现数据的内在分组模式，但 MTS 中存在大量冗余（如稳态运行记录、零输出时段），削弱了对关键时间戳的关注。

现有方法的问题：

解决思路

解决思路：Autoencoder 方法**（DeTSEC、RDDC）：重建目标倾向于保留冗余信息

现有痛点

现有痛点：Contrastive learning 方法**（TimesURL、FCACC）：效果依赖数据增强策略的设计，若与聚类分布不匹配则会放大冗余

核心矛盾

核心矛盾：Attention 机制**：软加权保留了完整输入结构，且可能被高激活但无信息的模式误导

补充说明

补充说明：Static masking**（Ti-MAE、TS-MVP）：固定掩码策略无法随学习过程动态适应聚类任务

核心洞察：masking 策略应与聚类目标协同演化，动态排除聚类无关的冗余时间戳。

方法详解

IVM: Importance-aware Variate-wise Masking

  1. 单变量视图生成：对每个 variate \(d\) 独立生成 embedding \(Z^{(d)} = f_{\theta}^{(d)}(X)\)
  2. Content-aware 重要性评估：通过 attention 机制计算每个时间戳的重要性分数 \(S_i^{(d)}\)
  3. 冗余时间戳掩码：阈值 \(\epsilon\) 过滤低重要性时间戳，生成二值掩码 \(M_i^{(d)}(t)\)，对原始输入做 element-wise 乘法得到 masked input \(\widetilde{X}\)
  4. 掩码每个 epoch 随学习动态更新（"evolving masking"）

MEV: Multi-Endogenous Views

对 masked input 通过 \(V\) 个不同 encoder 生成多个内生视图 \(F^{(v)}\)，提供互补视角并防止 IVM 的 crisp masking 导致过拟合。

双路径学习

  • CRL (Consistency and Reconstruction Learning)：
    • Intra-view reconstruction：每个视图重建原始 MTS，保留语义结构
    • Inter-view reconstruction：跨视图一致性约束，增强鲁棒性
  • CMC (Clustering-guided MEV Contrastive Learning)：
    • 融合所有视图表示后做 \(k\)-means 聚类
    • 用聚类标签构造正负样本对进行对比学习
    • 聚类标签每 epoch 动态更新，将聚类目标融入表示学习

总损失

\[\mathcal{L}_{total} = \mathcal{L}_{contra} + \alpha \mathcal{L}_{intra} + \beta \mathcal{L}_{inter}\]

实验关键数据

设置

  • 15 个 UEA 基准数据集，样本量 15–293，序列长度 30–17984，维度 3–1345
  • 8 个 SOTA 对比方法：FEI (AAAI'25)、FCACC、TimesURL (AAAI'24)、UNITS (NeurIPS'24)、USLA (TPAMI'23)、Ti-MAE、MHCCL (AAAI'23)、T-GMRF (TKDE'23)
  • 指标：ACC、F1、NMI、ARI

主要结果

  • EMTC 在 15 个数据集上 F1 平均提升 4.85%（vs 最强基线）
  • 在 DuckDuckGeese 上 F1 达 0.4917（第二名 0.3980），提升显著
  • Cricket 数据集 F1 达 0.6317，大幅领先第二名 0.5136
  • 在 FingerMovements 等难数据集上也取得最优

消融实验

  • 去除 IVM → 性能显著下降，验证动态掩码的必要性
  • 去除 CMC → 聚类效果退化，验证 cluster-guided contrastive 的有效性
  • 去除 MEV → 单视图表现更差，验证多视图互补作用

亮点与洞察

  • Evolving masking 理念新颖：掩码与聚类目标协同演化，而非静态预处理，是 MTS 聚类中首次探索 learnable redundancy masking
  • IVM-MEV 互补设计：MEV 缓解 crisp masking 的信息损失，IVM 抑制 MEV 放大的冗余，形成良性循环
  • 将聚类目标融入表示学习：通过动态聚类标签引导对比学习，打通了表示学习与下游聚类目标的连接

局限与展望

  • 阈值 \(\epsilon\) 为固定超参数，自适应阈值可能进一步提升性能
  • 实验仅基于 UEA 标准数据集，未在大规模工业场景验证
  • 聚类数 \(g\) 需要预先指定，未探讨自动确定聚类数的策略
  • MEV 融合方式为简单平均，加权或注意力融合可能更优

评分

  • 新颖性: ⭐⭐⭐⭐ — evolving masking 与 cluster-guided contrastive 的结合是 MTS 聚类领域的新探索
  • 实验充分度: ⭐⭐⭐⭐ — 15 数据集、8 对比方法、多组消融，覆盖全面
  • 写作质量: ⭐⭐⭐⭐ — 结构清晰，图示直观，公式表达规范
  • 价值: ⭐⭐⭐⭐ — 为 MTS 冗余抑制提供了有效的动态方案

相关论文