STEP: Learning STructured Embeddings for Progressive Time Series¶

会议: NeurIPS 2026
arXiv: 2605.31061
OpenReview: https://openreview.net/forum?id=8oUdUwcYqg
代码: https://github.com/LucasStill/STEP
领域: 时间序列
关键词: 渐进时间序列、自监督表示学习、几何潜空间罗盘、剩余使用寿命预测、正交原型锚定

一句话总结¶

STEP 提出通过正交原型锚定与余弦三元组损失构建结构化低维潜空间流形，从其极坐标导出无需代理标签的“潜空间罗盘”（角度追踪退化进程、半径识别运行工况），使简单线性回归即可媲美或超越复杂黑盒深度模型的预测性能。

研究背景与动机¶

在航空发动机、医疗监护、机器人自主作业等关键安全系统中，传感器数据普遍呈现为“渐进时间序列”（progressive time series）。这类序列由底层不可逆、不可逆行的状态转移驱动——系统从健康或初始状态单向演化至损毁、退化或任务达成终态。在工业预测与健康管理（PHM）中，核心任务是评估设备健康状态（SOH）与剩余使用寿命（RUL）。然而，在实际运行中，真实的演化状态是不可直观测量的潜在变量，传感器采集到的高维观测常因噪声产生剧烈波动甚至伪周期震荡，且真实场景往往极度匮乏密集的状态标签或准确的失效时间标记。

现有方案长期受制于可解释性与泛化性能的割裂。传统的手工健康指标（HIs）或自组织映射（SOM）虽具直观几何物理意义，但在多运行工况与多失效模式交织的复杂环境下泛化能力孱弱；现代深度学习方案（如基于 CNN-LSTM 或多尺度 CNN 的回归模型）虽然刷高了标量 RUL 预测精度，但本质上是不可信的“黑盒”，其内部潜表征混乱不可解，既无法满足安全关键领域的适航认证要求，又严重依赖高度抽象且含噪的 RUL 代理标签，无法挖掘工况切换、早期故障隐患等深层物理机制。此外，通用时序对比学习范式（如 SoftCLT）缺乏对单向演化时间拓扑的先验约束，学出的潜空间依然各向同性、全局无序。

针对上述瓶颈，本文主张“让潜空间的几何构型本身成为解释”（the geometry is itself the interpretation）。核心 idea：通过固定的正交原型基底将时序首尾状态锚定在坐标轴上，并利用时序邻近三元组余弦对比损失诱导流形单向弯曲，将不可逆演化解耦为极坐标下的“潜空间罗盘”——用旋转角 $\theta$ 无监督度量连续健康衰退进程，用极径 $r$ 离散解耦外部运行工况与失效模式。

方法详解¶

整体框架¶

STEP 的整体架构遵循轻量级、逐点映射且下游解耦的自监督学习设计。对于包含 $U$ 条轨迹的数据集，每条轨迹内的观测点 $x_t$ 首先通过基于 Transformer 的编码器映射至低维潜空间 $z_t \in \mathbb{R}^d$（实验证明 $d=2$ 或 $4$ 即可展现极致的结构化表现）。整个潜空间受三大几何约束共同塑造： 1. 对比流形构建：采用时序邻近采样构建三元组（Anchor, Positive, Negative），通过余弦相似度三元组损失驱动潜向量沿状态单调流形排列； 2. 正交原型几何锚定：将时序起点与终点边界样本分别软拉向固定的标准正交基 $z_{\text{init}} = \mathbf{e}_1$ 与 $z_{\text{end}} = \mathbf{e}_2$，消除流形随机旋转并建立跨数据集一致的参考坐标系； 3. 轻量重构防坍缩：通过极简浅层 MLP 解码器重构原始输入，防止强对比驱动下的特征坍缩，同时避免大容量解码器绕过潜表征。

推断阶段，直接计算潜向量的极坐标即可得到无监督“潜空间罗盘” $(\theta_t, r_t)$，无需任何微调或代理标签即可作为即插即用的可解释健康特征输送给下游线性模型或外推预测器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入时序观测 x_t"] --> B["Transformer 编码器 f_enc"]
    B --> C["低维潜表征 z_t (d=2~32)"]
    C --> D["时序余弦三元组对比<br/>局部时序近邻拉近 / 远距负例推远"]
    C --> E["正交原型几何锚定<br/>首段靠近 e_1 / 尾段靠近 e_2"]
    C --> F["极简 MLP 解码器重构<br/>MSE 防维度坍缩正则化"]
    C --> G["潜空间罗盘映射<br/>极坐标变换导出 (θ_t, r_t)"]
    G --> H["旋转角 θ_t: 连续状态衰退进度 (SOH)"]
    G --> I["极径 r_t: 离散工况 / 失效模式聚类"]
    H --> J["下游任务: 线性 RUL 回归 / 自回归外推"]
    I --> J

关键设计¶

1. 时序余弦三元组对比：单向演化流形的无监督诱导

针对无法直接获取连续状态标签 $s_t$ 的痛点，STEP 利用观测序列在宏观上的不可逆单调演化假设，采用时间局部邻近作为状态相似性的无监督代理。对于锚点 $x_a$，从同一运行单元中采样正例 $x_p$（时间间隔 $0 < |t_p - t_a| \leq \delta_t$）；负例 $x_n$ 则从同一单元较远时段（$|t_n - t_a| \geq \delta_t$）或完全不同的设备单元中抽取。不同于常规欧氏三元组距离，本文采用余弦相似度构建对比项： $$\mathcal{L}_{\text{trip}} = \frac{1}{N}\sum_{i=1}^{N}\max\bigl(0,\ \cos(z_a, z_n) - \cos(z_a, z_p) + m\bigr)$$ 由于 $\cos(z_a, z_p) = \cos(\theta_{ap})$，该损失本质上约束了角度距离 $\theta_{ap} < \theta_{an}$，迫使编码器将时序状态沿着超球面夹角柔性排布，自然铺展成一条反映内在退化进程的弯曲流形。

2. 正交原型几何锚定：消除空间不确定性与建立物理坐标系

纯对比学习仅能恢复局部的拓扑连通性，学出的潜空间在不同随机种子或训练轮次下存在任意的全局旋转、镜像和缩放不确定性，导致隐变量无法跨域比对与安全认证。为此，STEP 将潜空间的初态与终态直接锚定到标准正交基底 $z_{\text{init}} = \mathbf{e}_1 = [1, 0, \dots, 0]^\top$ 和 $z_{\text{end}} = \mathbf{e}_2 = [0, 1, \dots, 0]^\top$。提取各轨迹初始 $k$ 步集合 $X_{\text{init}}$ 与最后 $k$ 步集合 $X_{\text{end}}$，施加软拉引损失： $$\mathcal{L}_{\text{proto}} = \mathbb{E}_{x \in X_{\text{init}}}\bigl[\|f_{\text{enc}}(x) - z_{\text{init}}\|^2\bigr] + \mathbb{E}_{x \in X_{\text{end}}}\bigl[\|f_{\text{enc}}(x) - z_{\text{end}}\|^2\bigr]$$ 软期望约束保留了边界松弛度，既允许不同个体因出厂健康差异在 $\mathbf{e}_1$ 邻域形成自然离散簇，又将正交平面之间的自由维度完全留给径向方向。在具有复杂工况的多模式数据集（如 C-MAPSS FD002）中，这一机制促使模型利用极径 $r$ 径向展开，自发形成互不重叠的同心圆环，实现工况的无监督完全解耦。

3. 极坐标潜空间罗盘：公式化指标与真实物理状态解耦

为了从几何构型中直接提取可解释决策依据，STEP 建立了无需网络推理的解析坐标变换，定义单位归一化后的潜空间罗盘： $$\theta_t = \arctan 2(z_t \cdot z_{\text{end}},\ z_t \cdot z_{\text{init}}), \qquad r_t = \|z_t\|$$ 角度 $\theta_t$ 严格量化从初始流形向吸收终态行进的弧度进程，充当平滑单调的健康退化指标（SOH）；半径 $r_t$ 则表征当前工况激活状态。通过严格的偏相关分析与双样本 Kolmogorov-Smirnov 检验证明，$\theta_t$ 绝非机械拟合物理流逝时间 $t/T$，在相同运行时间分桶内两者的 Spearman 秩相关仅为 $\rho=0.04$。这有力证实了潜罗盘捕捉的是真实的不可逆物理演化进程，而非训练采样的时钟泄漏。

损失函数 / 训练策略¶

STEP 的整体训练目标由重构正则、对比损失与原型锚定三者线性组合而成： $$\mathcal{L}_{\text{total}} = \lambda_1 \mathcal{L}_{\text{recon}} + \lambda_2 \mathcal{L}_{\text{trip}} + \lambda_3 \mathcal{L}_{\text{proto}}$$ 其中重构项 $\mathcal{L}_{\text{recon}} = \frac{1}{N}\sum_{i=1}^N \|x_i - f_{\text{dec}}(f_{\text{enc}}(x_i))\|_2^2$ 采用 3 层极简 MLP（$\mathbb{R}^{\text{latent\_dim}} \to \mathbb{R}^{64} \to \mathbb{R}^{128} \to \mathbb{R}^{\text{input\_dim}}$）。基准默认超参数设定为：滑动窗口 $w=10$、批大小 256、学习率 $5\times 10^{-4}$、三元组裕度 $m=1.0$、权重比例 $\lambda_1=1.0, \lambda_2=0.7, \lambda_3=0.3$。当扩展至高维潜空间（$\text{dim}(z) \geq 4$）时，采用 $\beta$-退火策略（$\beta$-scheduling），将 $\lambda_2$ 与 $\lambda_3$ 从较小初始值逐步线性爬升，有效遏制了多维球面拓扑下的局部极小坍缩，确保高维流形严格保形。

实验关键数据¶

主实验¶

在基准工业涡扇发动机数据集 NASA C-MAPSS（涵盖 FD001~FD004 四个工况与失效模式组合子集）上评估 RUL 预测均方根误差（RMSE，越低越好）。Tr. 表示下游接入标准 Transformer 回归头，LR. 表示仅接入简单的普通线性回归层（Linear Regression）。

| 数据集 | 运行工况数 | 失效模式数 | SOTA 黑盒基准 (I-GLIDE) | Tr.SoftCLT ($z=4$) | Tr.STEP (Ours, $z=4$) | LR.STEP (Ours 极简线性, $z=4$) | 性能表现 / 提升 | |---|---|---|---|---|---|---| | FD001 (单工况/单故障) | 1 | 1 | 9.47 | 11.56 | 11.26 | 12.87 | 保持高精度竞争水平 | | FD002 (6工况/单故障) | 6 | 1 | 16.18 | 17.72 | 12.34 | 12.94 | 超越 SOTA 3.84 点，线性回归碾压 Transformer | | FD003 (单工况/2故障) | 1 | 2 | 8.29 | 13.36 | 13.35 | 14.49 | 稳健捕获多失效模式 | | FD004 (6工况/2故障) | 6 | 2 | 12.30 | 19.75 | 12.10 | 20.40 | 创下最复杂异质子集新 SOTA (12.10) |

注：纯自编码器基准 Tr.AE 在多工况子集 FD002 和 FD004 上发生严重表征崩溃，RMSE 分别劣化至 35.21 与 36.53；而通用时序对比 SOTA 模型 SoftCLT 在 FD002/FD004 上也仅录得 17.72 与 19.75。

消融实验¶

1. 原型锚定损失有效性消融 ($\lambda_3 = 0, k=0$)

配置	FD002 RMSE	FD003 RMSE	FD004 RMSE	说明与机制分析
完整模型 (Full STEP)	12.34	13.35	12.10	包含 $z_{\text{init}}, z_{\text{end}}$ 几何正交基底对齐
去除原型锚定 ($k=0$)	14.88	11.59	19.01 (+57.1%)	失去统一语义锚点，跨工况异质子集 FD004 精度雪崩

2. 极坐标罗盘特征消融（下游模型预测对比，以 $z=2$ 为例）

下游模型	输入特征组合	FD001 RMSE	FD002 RMSE	FD003 RMSE	FD004 RMSE	关键结论
Transformer	原始向量 $z$	11.67	13.03	11.48	17.11	基础隐表征具备强判别力
Transformer	极角 $\theta$ + 原始 $z$	10.65	13.19	13.19	17.53	角度引导大幅提升 FD001 表现
Transformer	进度分 $PS$ + 极角 $\theta$ + 极径 $r$	13.36	12.87	12.07	16.93	极坐标特征组合实现全面鲁棒
Linear Regression	极坐标及衍生指标全集	15.30	14.38	17.96	19.48	纯线性模型即超越众多历史深度架构

关键发现¶

极简线性模型的反超证实了表征的几何可解释性：在工况最复杂的 FD002 数据集上，直接在极坐标罗盘特征上拟合的普通线性回归（LR.STEP，RMSE 12.94）不仅大幅超越了基于 Transformer 的黑盒自编码器（Tr.AE: 35.21）和先进对比模型（Tr.SoftCLT: 17.72），甚至优于多数复杂的深度神经网络（如 VAE+RNN 的 24.12、MS-DCNN 的 19.35）。这提供了强有力的定量证据：退化物理状态已经被显式、解耦地映射到了线性空间中。
异质工况下的原型强需求：在单工况同质环境（FD003）中，去掉原型锚定对模型影响甚微甚至略有松绑（13.35 $\to$ 11.59）；但在面对 6 种运行工况与 2 种失效模式交织的复杂异质场景（FD004）时，缺少原型锚定会导致 RMSE 剧增 57%（12.10 $\to$ 19.01），证明正交基底为复杂多源流形提供了关键的对齐支点。
无监督多模式完美聚类：尽管训练阶段所有单元共享同一个终态原型 $z_{\text{end}}$，但在具有两种独立故障模式的 FD003 与 FD004 上，对终态潜嵌入直接执行无监督 K-means ($k=2$)，错误分类率达到惊人的 0%（Misplaced = 0%），轮廓系数高达 0.75~0.97，证实不同失效机理在流形终点处自动正交分离。

亮点与洞察¶

“以几何为解释”的极简罗盘设计：避开了复杂后验解释器或基于梯度的显著图，通过强制正交锚定与三元组单向拓扑拉伸，使极角 $\theta$ 与极径 $r$ 自然获得物理实在性（SOH 与工况），优雅地兼顾了可证明的单调性与高保真度。
高维扩展性与抗噪韧性：借助 $\beta$-退火策略，潜空间维度从 $d=2$ 线性拓展至 $d=32$ 时，几何拓扑依然完整不退化，角度与真实 RUL 的 Spearman 秩相关系数持续维持在 0.93~0.96 的极高水平；在传感器噪声放大 2.5 倍的极端严苛条件下，性能依然平缓衰退（FD002 RMSE 仅从 14.23 上升至 15.12）。
通用流形跨领域泛化：STEP 不仅在工业 PHM（C-MAPSS）上大放异彩，在机器人轨迹完成（LeRobot、GROOT 任务阶段识别，将抓取、移动、放置无监督分相）以及小鼠大脑神经元 56 维单轨迹动态相变分析（入侵者行为识别与自回归时序外推 $R^2$ 优于现有模型）中均表现出优秀的通用状态刻画能力。

局限与展望¶

单向演化假设的不可逆约束：方法强假设系统状态是不可逆行、渐进退化的（non-regressive），无法原生处理存在周期性维护、零件更换或中间状态反复跳转的可逆物理系统；
长时程自回归预测漂移：在跨时间步的长时间自回归多步外推中，由于未引入连续随机微分方程约束，预测误差会产生阶梯式累积漂移；
未来改进方向：探索引入干预建模以覆盖具备可逆维护操作的复合退化过程，结合神经常微分方程/潜随机微分方程（Latent SDEs）约束外推轨迹以消除长时程漂移，并在自发解耦的簇流形上自适应学习多层级中间阶段原型。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [巧妙地将极坐标几何嵌入与时序单向演化过程结合，摆脱代理标签并实现物理指标自发解耦]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖工业涡扇退化、机械臂轨迹操控与小鼠脑神经信号三大截然不同的物理领域，消融深入，解耦验证严谨]
写作质量: ⭐⭐⭐⭐⭐ [数学表达严密，几何直觉清晰直观，图表设计极其精美专业]
价值: ⭐⭐⭐⭐⭐ [为安全关键型系统状态监控与可解释性时间序列表示学习树立了极具启发性的通用几何范式]

下游模型	输入特征组合	FD001 RMSE	FD002 RMSE	FD003 RMSE	FD004 RMSE	关键结论
Transformer	原始向量 \(z\)	11.67	13.03	11.48	17.11	基础隐表征具备强判别力
Transformer	极角 \(\theta\) + 原始 \(z\)	10.65	13.19	13.19	17.53	角度引导大幅提升 FD001 表现
Transformer	进度分 \(PS\) + 极角 \(\theta\) + 极径 \(r\)	13.36	12.87	12.07	16.93	极坐标特征组合实现全面鲁棒
Linear Regression	极坐标及衍生指标全集	15.30	14.38	17.96	19.48	纯线性模型即超越众多历史深度架构