Existence Precedes Value: Joint Modeling of Observational Existence and Evolving Values in Irregular Time Series¶

会议: NeurIPS 2026
arXiv: 2606.13571
代码: https://github.com/ant-intl/Timeflies
领域: 时间序列
关键词: 不规则时间序列、观测存在性、联合预测、双流架构、OVJE

一句话总结¶

本文针对现有不规则时序预测依赖“未来有效观测时间戳预先已知”这一先验假设的缺陷，提出了 Timeflies 统一双流框架，将时序预测重新形式化为未来观测存在性与状态数值演化的联合推断问题，并构建了 Shadow 基准与 OVJE 综合评价指标。

研究背景与动机¶

现实工业与自然系统中的时间序列数据，因传感器休眠、网络传输延迟、非均匀采样及事件驱动采集等机制，往往表现出高度的非完整性与不规则性。传统的时序预测范式通常经历了两代演进：第一代采用“先插补后预测”（impute-then-forecast）的刚性网格化处理，将数据强行对齐至固定网格，视缺失值为必须消除的缺陷；第二代则引入神经常微分方程（Neural ODEs）与连续时间图神经网络（CT-GNN），将时间作为连续变量处理，显著提升了对历史不规则轨迹的拟合能力。

然而，现有第二代连续时间模型在推理阶段普遍隐藏着一个致命的“神谕先验假设”（oracle assumption）：模型假定未来所有有效观测点发生的时间戳已被预先知晓，算法仅需在这些既定时间戳上查询并输出预测值。在真实的动态系统（如跨境电商交易、设备故障监控、医疗体征采集）中，人们往往事先根本无法得知未来某一时刻是否真的会产生有效观测。若仅预测数值大小，而无法判断未来该时刻是否有数据落地以供验证或决策，模型的实用价值将大打折扣。更为关键的是，历史缺失模式并非随机噪声，它蕴含着传感器周期、业务潮汐、负载驱动稀疏等深层系统运行节律，具有极强的先验信息。

为了打破对未来时间戳已知的依赖，本文提出“存在先于数值”（Existence Precedes Value）的联合建模哲学，将未来观测的存在性本身作为与数值演化平行的预测目标。核心 idea：将不规则时序预测重构为观测存在性与演化状态数值的双流联合预测任务，利用历史观测缺失节律与可靠性度量主动引导数值流的注意力交互，并提出综合考量存在概率与数值精度的 OVJE 评估指标。

方法详解¶

整体框架¶

Timeflies 将不规则时间序列预测形式化为双流协同处理与联合输出流程。给定历史数值序列 \(X \in \mathbb{R}^L\)、二值缺失掩码 \(M \in \{0, 1\}^L\)（\(M_t=1\) 表示观测存在，\(M_t=0\) 表示缺失）以及对数尺度的缺失间隔序列 \(I \in \mathbb{R}^L\)（\(I_t = \log(1 + \delta_t)\)，\(\delta_t\) 为距上一次缺失事件的时间距离），模型的目标是联合输出未来预测范围内的数值预测 \(\hat{Y} \in \mathbb{R}^H\) 与观测存在概率 \(\hat{p}_{\mathrm{obs}} \in [0, 1]^H\)。

整体架构由三级核心模块串联而成：首先，可靠性感知 Patch 嵌入模块（Reliability-Aware Patch Embedding）利用仅基于有效观测项的统计量对输入执行掩码感知归一化，通过门控机制融合掩码与缺失间隔，并计算 Patch 级可靠性分数以衰减噪声 Patch；其次，观测引导的数值注意力模块（Observation-Guided Value Attention）分别在数值流与观测流计算自注意力，并利用观测流的相关性矩阵与可靠性权重显式调制数值流注意力图；最后，双预测头（Dual Prediction Head）将两流高维表征映射至预测视界，通过分类头产生未来观测存在性概率，并将该概率作为软门控残差调制最终的未来数值预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入序列 (X, M, I)<br/>数值 / 掩码 / 缺失间隔"] --> PE["可靠性感知 Patch 嵌入<br/>掩码感知归一化 + 可靠性分数 ρ 门控"]
    PE -->|分流处理| VS["数值流表征 X_val"]
    PE -->|分流处理| OS["观测流表征 X_obs"]
    VS --> OA["观测引导的数值注意力<br/>Aval + Arel ⊙ Softmax(Aobs) 混合调制"]
    OS --> OA
    OA --> DH["双预测头与软门控交互<br/>线性 Flatten 映射至预测跨度 H"]
    DH -->|观测分类| OutO["未来观测存在概率 p_obs"]
    DH -->|门控残差注入| OutV["未来演化状态数值预测 Y_hat"]

关键设计¶

1. 可靠性感知 Patch 嵌入：掩码感知归一化与稀疏噪声衰减

传统归一化方法若直接对零填充序列计算全局均值与方差，会导致统计量严重受偏置污染。该设计首先引入掩码感知归一化（Mask-Aware Normalization），仅提取历史序列中 \(M_t=1\) 的有效观测点计算均值与标准差，避免无观测填充项对分布尺度的失真干扰。随后将数值、掩码与时间间隔序列切分为非重叠 Patch 并映射为嵌入向量 \(\hat{X}, \hat{M}, \hat{I} \in \mathbb{R}^{N \times D}\)。为了合理融合缺失指示符与连续间隔信息，观测流采用门控线性单元进行动态调制：

\[ h_{\text{obs}} = \text{Linear}([\hat{M}; \hat{I}]), \quad \hat{X}_{\text{obs}} = h_{\text{obs}} + \sigma(h_{\text{obs}}) \odot \hat{I} \]

针对极端稀疏 Patch 内部有效观测极少、容易向数值表征注入高方差噪声的痛点，模型显式计算 Patch 级确定性可靠性评分 \(\rho \in \mathbb{R}^{N \times 1}\)：

\[ \rho = \text{Linear}([\text{Mean}(\hat{M}); \text{Mean}(\hat{I})]) \]

该分数综合了 Patch 内部的观测比例与平均缺失间隔。随后将可靠性分数作为缩放系数注入数值嵌入：\(\hat{X}_{\text{val}} = \hat{X} + \text{Linear}(\rho \odot \hat{X}_{\text{obs}})\)。如此一来，有效信息充沛的 Patch 获得更强的观测结构引导，而高度缺失的噪声 Patch 则被自适应衰减。

2. 观测引导的数值注意力：高阶依赖的结构先验调制

双流独立建模无法建立观测节律对数值趋势的深层指导。该设计构建了三组并行注意力图：数值自注意力图 \(A_{\text{val}} = \frac{Q_{\text{val}} K_{\text{val}}^\top}{\sqrt{D}}\) 捕捉时序数值演化的语义关联；观测注意力图 \(A_{\text{obs}} = \frac{Q_{\text{obs}} K_{\text{obs}}^\top}{\sqrt{D}}\) 捕捉系统采样节律的结构关联；可靠性亲和度矩阵 \(A_{\text{rel}} = \sqrt{\rho \cdot \rho^\top}\) 则量化任意两 Patch 间信息可信度的交互强度。

三者通过显式残差与逐元素门控融合成统一注意力矩阵：

\[ A = \text{Softmax}(A_{\text{val}}) + A_{\text{rel}} \odot \text{Softmax}(A_{\text{obs}}) \]

该机制使数值流的主干依赖结构保持主导地位，同时以可解释的方式将历史观测的存在性节奏注入注意力路径中；在两个 Patch 皆高度可靠时增强观测先验转移，在涉及稀疏 Patch 时则自动抑制不确定性扩散。最终数值流表征由 \(Z_{\text{val}} = A \cdot V_{\text{val}} + \hat{X}_{\text{val}}\) 完成更新。

3. 双预测头与软门控交互：存在性反哺数值演化

特征提取完成后，线性展平头（Flatten Head）分别将双流隐层张量映射至未来时间维度 \(H\)，得到展平表征 \(\hat{Z}_{\text{val}}, \hat{Z}_{\text{obs}} \in \mathbb{R}^H\)。模型首先联合双流特征生成观测存在性的 logits \(\hat{O} = \text{Linear}([\hat{Z}_{\text{val}}; \hat{Z}_{\text{obs}}])\)，并通过 Sigmoid 映射为未来有效观测的概率分布 \(\hat{p}_{\mathrm{obs}} = \sigma(\hat{O})\)。

在输出最终数值预测时，模型并未简单输出纯数值流结果，而是将未来观测概率作为软门控（Soft Gate），将观测流特征以残差形式注入未来数值：

\[ \hat{Y} = \hat{Z}_{\text{val}} + \hat{p}_{\mathrm{obs}} \odot \hat{Z}_{\text{obs}} \]

该机制完美契合“存在先于数值”的哲学理念：对于高概率发生有效观测的未来时刻，观测流所携带的系统活跃先验得以充分释放以修正数值预测；而在极大概率发生休眠或缺失的时刻，观测流的扰动被自动截断，避免无效外推。

损失函数 / 训练策略¶

Timeflies 采用多任务联合优化目标，兼顾未来有效数值的回归精度与观测存在性的分类判别。由于未来缺失位置在真实场景中无从获取真实数值标签，数值回归损失仅在实际发生观测的位置（\(O_t = 1\)）计算均方误差（MSE）；观测存在性损失则在全时程时间步上计算 Focal BCE Loss，以克服极端缺失或极端饱和场景下的正负样本严重失衡：

\[ \mathcal{L} = \mathcal{L}_{\text{val}} + \eta \cdot \mathcal{L}_{\text{obs}} = \frac{1}{\sum_{t} O_t} \sum_{t: O_t=1} (\hat{Y}_t - Y_t)^2 + \eta \cdot \text{FocalBCE}(\hat{p}_{\mathrm{obs}}, O) \]

其中平衡权重 \(\eta\) 默认设为 1.0。优化器采用 Adam，学习率通过网格搜索在 \(\{10^{-3}, 10^{-4}, 5\times 10^{-5}\}\) 中确定，训练上限为 20 个 epoch，并施加 patience=3 的早停策略。

实验关键数据¶

主实验¶

本文构建了覆盖 31 个数据集、跨越 4 种缺失比例（High: >40%, Medium: 10%-40%, Low: 0-10%, No: 0%）的大规模 Shadow 基准。评估指标除了传统的均方误差（MSE）、平均绝对误差（MAE）和受试者工作特征曲线下面积（AUC，仅在存在正负双类时有定义）外，引入了创新的观测-数值联合熵（Observation-Value Joint Entropy, OVJE）。OVJE 严格分解为全时步伯努利负对数似然与观测时步的对称相对误差（sMAPE）贡献，指标越低表示综合性能越好。下表摘录了全基准在不同缺失区间的两阶段算术平均综合表现（完整模型评测）：

方法	High Missing (MSE / MAE / AUC / OVJE)	Medium Missing (MSE / MAE / AUC / OVJE)	Low Missing (MSE / MAE / AUC / OVJE)	No Missing (MSE / MAE / OVJE)
FEDformer	1.666 / 0.429 / 0.614 / 1.307	0.648 / 0.395 / 0.558 / 1.277	1.490 / 0.438 / 0.525 / 1.136	0.420 / 0.314 / 0.862
PatchTST	1.687 / 0.350 / 0.719 / 0.872	0.634 / 0.360 / 0.614 / 1.215	1.439 / 0.380 / 0.541 / 0.924	0.340 / 0.255 / 0.708
Crossformer	1.852 / 0.369 / 0.654 / 0.944	0.655 / 0.380 / 0.553 / 1.243	1.458 / 0.400 / 0.497 / 0.990	0.436 / 0.287 / 0.780
iTransformer	1.590 / 0.354 / 0.680 / 0.846	0.638 / 0.367 / 0.566 / 1.263	1.452 / 0.387 / 0.524 / 1.017	0.324 / 0.251 / 0.730
DLinear	1.714 / 0.383 / 0.638 / 1.069	0.611 / 0.367 / 0.528 / 1.328	1.433 / 0.387 / 0.507 / 1.245	0.371 / 0.286 / 1.020
OLinear	1.622 / 0.328 / 0.740 / 0.762	0.608 / 0.352 / 0.623 / 1.475	1.438 / 0.376 / 0.525 / 0.958	0.317 / 0.247 / 0.695
FACT	1.644 / 0.334 / 0.730 / 0.823	0.617 / 0.352 / 0.581 / 1.176	1.461 / 0.383 / 0.551 / 0.927	0.307 / 0.240 / 0.639
Timeflies (本文)	1.546 / 0.303 / 0.805 / 0.611	0.555 / 0.285 / 0.704 / 0.914	1.362 / 0.349 / 0.588 / 0.762	0.296 / 0.229 / 0.477

在独立纯数值回归任务（去除观测分类头与门控，仅利用历史缺失上下文推断未来数值）中，Timeflies 同样大幅领先基线。例如在 Medium 缺失区间下，Timeflies 纯数值模型的 MAE 达到 0.276（MSE 为 0.557），相较最强线性模型 OLinear（MAE 0.333）相对误差降低了 17.1%。

消融实验¶

为了拆解各个核心设计对联合预测与特征表示的具体增益，作者在 Shadow 基准的三个有缺失区间上进行了系统性消融。下表展示了具体消融指标：

变体配置	High Missing (MSE / MAE / AUC / OVJE)	Medium Missing (MSE / MAE / AUC / OVJE)	Low Missing (MSE / MAE / AUC / OVJE)	说明
w/o 缺失间隔 (Missing Interval)	1.580 / 0.321 / 0.744 / 0.733	0.586 / 0.289 / 0.663 / 0.977	1.522 / 0.372 / 0.544 / 0.836	缺失时间连续动态感知，AUC显著下降
w/o 焦点损失 (Focal Loss)	1.509 / 0.322 / 0.760 / 0.691	0.584 / 0.291 / 0.686 / 1.042	1.522 / 0.375 / 0.557 / 0.777	分类头极度不平衡下分类判别力受损
w/o 掩码感知归一化 (Mask-Aware Norm)	1.549 / 0.367 / 0.745 / 0.731	0.617 / 0.333 / 0.684 / 0.945	1.517 / 0.379 / 0.549 / 0.801	MAE退化最严重，零值统计偏置破坏全局分布
w/o 观测条件注意力 (Obs-Conditioned Attn)	1.538 / 0.326 / 0.732 / 0.724	0.585 / 0.287 / 0.673 / 0.943	1.518 / 0.374 / 0.530 / 0.799	失去结构先验引导，无法自适应路由高价值信息
w/o Patch 可靠性 (Patch Reliability)	1.500 / 0.321 / 0.751 / 0.708	0.583 / 0.286 / 0.683 / 0.958	1.522 / 0.377 / 0.553 / 0.801	稀疏噪声 Patch 污染特征空间，OVJE全面变差
w/o 残差融合门控 (Residual Fusion)	1.491 / 0.318 / 0.751 / 0.697	0.585 / 0.285 / 0.672 / 0.967	1.526 / 0.372 / 0.542 / 0.808	阻断了未来存在性概率对数值回归的反哺
Timeflies (完整模型)	1.546 / 0.303 / 0.805 / 0.611	0.555 / 0.285 / 0.704 / 0.914	1.362 / 0.349 / 0.588 / 0.762	综合表现最佳，各项指标均衡领先

关键发现¶

掩码感知归一化是数值稳定的定海神针：去掉掩码感知归一化在 High 与 Medium 缺失区间引起最显著的 MAE 上涨（High 区间 MAE 从 0.303 劣化至 0.367，Medium 区间从 0.285 劣化至 0.333）。这证明在处理不规则序列时，使用被零填充污染的统计量计算均值方差是极其致命的缺陷。
缺失先验为注意力机制提供关键引导：去掉观测条件注意力或 Patch 可靠性，观测分类的 AUC 在 High 区间分别从 0.805 下降到 0.732 与 0.751。注意力热力图可视化证明，可靠性门控有效抑制了稀疏无效 Patch 的注意力激活，使模型能够专注于连续观测密集的有效上下文。
存在性辅助学习存在机制依赖性：受控实验表明，在人工生成的 IID 随机缺失数据上，由于观测存在性本身是无结构的纯白噪声（观测 AUC 仅约 0.50），观测监督无法提供超出输入有效性判别以外的信息；而在真实商业系统（如电商流量）或具有周期性休眠规律（BLOCK-50）的场景中，观测的存在性与系统状态高度相关，此时联合建模能带来显著的端到端收益。

亮点与洞察¶

哲学命题转化的范式革新：将存在主义哲学中的“存在先于本质”精准迁移为时序建模的“存在先于数值”，敏锐指出了第二代连续时间模型在推理阶段默认未来时间戳已知的致命隐式假设。
优雅对称的软门控双流耦合：模型没有生硬地将掩码简单作为特征通道拼接，而是建立对等的数值流与观测流，通过 Patch 可靠性系数、结构注意力调制与预测期软门控残差完成了从嵌入、交互到输出的三级闭环。
样本对齐的 OVJE 统一评估准则：将连续时序回归误差（通过指数变换映射为有界质量项）与离散观测二值交叉熵有机融合为样本对齐的联合熵，解决了分类 AUC 与回归 MAE 各自孤立且受置信度盲区影响的评测难题。

局限与展望¶

观测机制依赖性与负迁移风险：正如论文严谨指出，联合建模带来的数值增益严格取决于观测产生机制。若系统缺失属于完全随机缺失（MCAR）且与底层物理状态相互独立，辅助观测流无法提供有益先验，在突变分布偏移（如训练 10% 缺失、测试 50% 缺失）下甚至可能逊于精简的单流基线。
单变量通道与复杂多变量时空耦合的拓展：当前模型重点针对单序列内的时序不规则动态进行双流交互，对于成百上千个传感器之间相互交织的跨通道缺失依赖与空域动态尚未展开充分建模。
动态非对齐时间戳的微观连续建模：目前 Patch 划分仍依赖离散窗口分桶；未来可进一步探索将双流联合推断与连续时间点过程（Point Processes）深度融合，实现任意连续时间分辨率下的事件驱动采样预测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 敏锐发现并打破了不规则时序长期存在的未来时间戳预知假设，提出存在先于数值的联合建模新范式。
实验充分度: ⭐⭐⭐⭐⭐ 收集构建了包含 31 个真实工业与公开数据集的 Shadow 基准，涵盖极端缺失与分布漂移，受控消融实验分析透彻。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，数学形式化清晰严密，对自身方法的边界与理论局限性展现出高度诚实客观的学术态度。
价值: ⭐⭐⭐⭐⭐ 为智能运维、物联网传感器网络与工业风控等高缺失场景下的可靠预测提供了具备强落地价值的全新参考路径。