Existence Precedes Value: Joint Modeling of Observational Existence and Evolving States in Time Series Forecasting¶

会议: NeurIPS 2026
arXiv: 2606.13571
OpenReview: https://openreview.net/forum?id=uIvgvH7DE2
代码: https://github.com/ant-intl/Timeflies
领域: 时间序列
关键词: 时间序列预测, 不规则时间序列, 联合预测, 观测存在性, 状态演化

一句话总结¶

针对传统不规则时间序列预测预先假定未来观测时间戳已知的严重缺陷，本文提出 Timeflies 双轨交互框架，将预测任务重塑为未来观测存在性推断与状态数值回归的联合建模，并在包含 31 个数据集的真实缺失基准 Shadow 上显著超越现有 SOTA。

研究背景与动机¶

在物联网传感、金融交易、云资源监控及工业生产等真实时间序列系统中，数据生成往往受到传感器休眠、网络传输延迟、设备离线及事件驱动型选择性采样的严重干扰，导致观测记录呈现极度不完整和不规则的特征。现有时序预测方法主要经历了两个发展范式：第一代方法采取“先插补后预测”（impute-then-forecast）的网格化策略，强行将非均匀序列填充规整到固定时空网格上，破坏了真实采样的动力学物理特性；第二代以 Neural ODE 和连续时间图神经网络（CT-GNN）为代表的方法，通过在隐空间建立连续时间动力系统，显著提升了对历史非均匀时序的拟合能力。

然而，第二代方法在推理阶段普遍隐藏着一个致命且脱离实际的“先验预知假设”（perfect foresight / oracle assumption）——它们默认未来有效观测发生的时间戳是预先已知的，评估也仅仅在这些预置时间戳上进行。在现实业务决策中，未来某一时刻究竟“是否会产生有效观测”本身就是一个充满不确定性的核心问题。更为关键的是，物理系统的历史缺失轨迹绝非单纯的白噪声，而是深刻蕴含着系统周期、负载驱动稀疏性或状态触发采样等内在行为规律。如果只预测数值而无法判定该数值是否真实存在测量验证，不仅会误导下游决策，也浪费了缺失模式中蕴含的结构先验。

针对观测存在性与状态演化长期被割裂割裂建模的核心矛盾，本文提出“存在先于数值”（Existence Precedes Value）的联合预测范式。核心 idea：将时间序列预测解构为观测流与数值流的双轨协同任务，利用历史缺失掩码与缺失时间间隔自适应调制数值注意力，端到端联合预测未来每个时间步的观测概率与状态期望数值。

方法详解¶

整体框架¶

Timeflies 采用对称的双轨交互架构，将输入三元组 $(X, M, I)$（历史数值序列、缺失指示掩码以及对数尺度缺失时间间隔序列）分别解耦为两条协同演化的信息流：数值流（Value Stream）负责建模底层物理状态的连续时序演化，观测流（Observation Stream）负责捕捉缺失行为的动力学节奏。两流经过嵌入层的可靠性感知识别、时序注意力层的跨轨先验注入，最终在双预测头中由未来观测概率对状态演化进行软门控校准，实现端到端的联合输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入序列三元组<br/>历史数值 X, 缺失掩码 M, 缺失间隔 I"] --> PE["1. 可靠性感知 Patch 嵌入<br/>掩码归一化 + 门控融合 + 可靠性评分 ρ"]
    PE --> ATT["2. 观测引导的数值注意力<br/>双流自注意力 + 可靠性调制矩阵 Arel 注入"]
    ATT --> HEAD["3. 双分支联合预测头<br/>展平映射 + 观测对数概率 O^ + 观测软门控数值 Y^"]
    HEAD --> Out["联合输出: 未来观测概率 p^obs 与状态数值 Y^"]

关键设计¶

1. 可靠性感知 Patch 嵌入：滤除高稀疏噪声补丁并自适应注入观测模式 直接对包含 NaN 或补零的非规则时序做标准化会严重扭曲统计分布，而在极度稀疏的时间片段（Patch）中盲目融入缺失特征更会向数值表征中注入大量噪声。为此，该模块首先采用仅基于实际观测有效项的掩码感知归一化（Mask-Aware Normalization），防止零填充值拉偏全局均值与方差。随后，将长时序划分为非重叠 Patch 并映射为嵌入向量。针对观测流，模型通过门控融合机制动态整合补丁掩码 $\hat{M}$ 与缺失间隔 $\hat{I}$： $$h_{\text{obs}} = \text{Linear}([\hat{M}; \hat{I}]), \quad \hat{X}_{\text{obs}} = h_{\text{obs}} + \sigma(h_{\text{obs}}) \odot \hat{I}$$ 为了度量每个补丁所含证据的真实可信度，网络依据补丁内的平均观测率与缺失间隔计算确定性可靠性评分 $\rho = \text{Linear}([\text{Mean}(\hat{M}); \text{Mean}(\hat{I})]) \in \mathbb{R}^{N \times 1}$。最终将观测信息经可靠性加权后注入数值补丁：$\hat{X}_{\text{val}} = \hat{X} + \text{Linear}(\rho \odot \hat{X}_{\text{obs}})$，既保留了数值核心语义，又使高可靠区域优先吸收观测节奏先验，抑制稀疏噪声区的干扰。

2. 观测引导的数值注意力：利用历史观测规律自适应重塑状态依赖关系 传统的注意力机制在应对非均匀采样数据时，容易在缺乏有效观测的时间步之间建立虚假相关性。Timeflies 构建跨轨条件注意力机制，使观测规律显式引导数值流的深层时序依赖建模。在对数值流 $\hat{X}_{\text{val}}$ 和观测流 $\hat{X}_{\text{obs}}$ 分别执行 Patch 级自注意力后，模型分别提取出反映数值语义关联的注意力图 $A_{\text{val}}$、反映观测行为结构的注意力图 $A_{\text{obs}}$，以及基于成对可靠性外积构成的调制矩阵 $A_{\text{rel}} = \sqrt{\rho \cdot \rho^\top}$。三者融合形成观测感知的注意力矩阵： $$A = \text{Softmax}(A_{\text{val}}) + A_{\text{rel}} \odot \text{Softmax}(A_{\text{obs}})$$ 通过该设计，数值序列的固有相关性保持为主干结构，而历史观测规律作为结构先验注入其中；在两端补丁可靠性均较高的区间，观测模式对数值注意力的引导强度被放大，反之在低可信区域被自适应压制，从根本上阻断了噪声补丁的特征污染。

3. 双分支联合预测头：观测存在性引导的数值软门控校准 基于“存在先于数值”的哲学，未来的状态测量值是否具有物理现实性，取决于系统未来是否存在数据采集。预测头将双流的高层时序表征 $Z_{\text{val}}$ 与 $Z_{\text{obs}}$ 经线性展平层映射到预测步长 $H$ 后，首先联合两流特征预测未来的观测对数发生比（Logits）与观测概率： $$\hat{O} = \text{Linear}([\hat{Z}_{\text{val}}; \hat{Z}_{\text{obs}}]), \quad \hat{p}_{\mathrm{obs}} = \sigma(\hat{O})$$ 由于底层状态的突变常常是触发事件采样的直接诱因，因此预测观测概率必须同时借助数值动力学信息。随后，模型将预测出的未来观测概率 $\hat{p}_{\mathrm{obs}}$ 作为软门控权重反哺至最终的数值输出： $$\hat{Y} = \hat{Z}_{\text{val}} + \hat{p}_{\mathrm{obs}} \odot \hat{Z}_{\text{obs}}$$ 这一软门控机制确保了在大概率发生观测的时间步，数值预测能充分融合观测流演化特征；而在几乎不可能存在采样的未来时段，则平滑衰减观测流特征，防止模型在虚无状态下强行拟合产生过拟合失真。

损失函数 / 训练策略¶

模型采用端到端多任务联合优化目标，由仅在真实观测时间步评估的数值回归损失 $\mathcal{L}_{\text{val}}$ 与在全时段评估的存在性分类损失 $\mathcal{L}_{\text{obs}}$ 共同构成： $$\mathcal{L} = \mathcal{L}_{\text{val}} + \eta \cdot \mathcal{L}_{\text{obs}}$$ 其中数值损失 $\mathcal{L}_{\text{val}} = \text{MSE}(\hat{Y}, Y)$ 仅在未来有效观测点 $O_t=1$ 上计算；观测损失 $\mathcal{L}_{\text{obs}} = \text{FocalBCE}(\hat{p}_{\mathrm{obs}}, O)$ 采用焦距二元交叉熵损失，专门解决高稀疏场景下观测点与缺失点之间的样本极端不均衡问题；超参数 $\eta$ 控制两项任务的平衡（推荐在 $[1.0, 3.0]$ 区间）。

为了在统一的概率视角下综合评测预测质量，本文定义了观测-数值联合熵（OVJE）指标： $$\mathrm{OVJE} = \underbrace{-\frac{1}{T}\sum_{t=1}^{T}\left[o_{t}\log\hat{p}_{t}+(1-o_{t})\log(1-\hat{p}_{t})\right]}_{\text{伯努利负对数似然 (NLL)}} + \underbrace{\frac{1}{T}\sum_{t:o_{t}=1}e_{t}}_{\text{观测位置的对称相对误差 (sMAPE) 贡献}}$$ 其中 $e_t = \frac{2|y_t - \hat{y}_t|}{|y_t| + |\hat{y}_t| + \epsilon}$。OVJE 将存在性置信度与数值精度在全时间步完全对齐分解，越低代表综合预测能力越强。

实验关键数据¶

主实验¶

针对真实不规则时序评估匮乏的现状，本文构建了包含 15 个 GIFT-Eval 公开数据集与 16 个真实工业电商交易数据集的 Shadow 基准（涵盖 4 种缺失程度：高缺失 >40%、中缺失 10%~40%、低缺失 0%~10%、无缺失 0%）。下表展示了各模型在四种缺失机制下的综合对比（取各预测步长均值后再按领域求算术平均）：

缺失程度	指标	Timeflies (本文)	FACT (前最优)	OLinear	PatchTST	iTransformer	相对提升
高缺失 (High)	MSE ↓ MAE ↓ AUC ↑ OVJE ↓	1.546 0.303 0.805 0.611	1.644 0.334 0.730 0.823	1.622 0.328 0.740 0.762	1.687 0.350 0.719 0.872	1.590 0.354 0.680 0.846	MSE -6.0% MAE -9.3% AUC +10.3% OVJE -25.8%
中缺失 (Medium)	MSE ↓ MAE ↓ AUC ↑ OVJE ↓	0.555 0.285 0.704 0.914	0.617 0.352 0.581 1.176	0.608 0.352 0.623 1.475	0.634 0.360 0.614 1.215	0.638 0.367 0.566 1.263	MSE -10.0% MAE -19.0% AUC +21.2% OVJE -22.3%
低缺失 (Low)	MSE ↓ MAE ↓ AUC ↑ OVJE ↓	1.362 0.349 0.588 0.762	1.461 0.383 0.551 0.927	1.438 0.376 0.525 0.958	1.439 0.380 0.541 0.924	1.452 0.387 0.524 1.017	MSE -6.8% MAE -8.9% AUC +6.7% OVJE -17.8%
无缺失 (None)	MSE ↓ MAE ↓ OVJE ↓	0.296 0.229 0.477	0.307 0.240 0.639	0.317 0.247 0.695	0.340 0.255 0.708	0.324 0.251 0.730	MSE -3.6% MAE -4.6% OVJE -25.4%

消融实验¶

在 Shadow 基准三种缺失场景下的模块剥离测试（采用相同两阶段算术平均）深入揭示了各机制的作用：

变体模型	高缺失 OVJE ↓	高缺失 AUC ↑	高缺失 MAE ↓	中缺失 OVJE ↓	中缺失 MAE ↓	低缺失 OVJE ↓	说明
Timeflies (完整模型)	0.611	0.805	0.303	0.914	0.285	0.762	双轨交互完整设计
w/o 掩码感知归一化	0.731	0.745	0.367	0.945	0.333	0.801	去除后高缺失下 MAE 恶化最剧烈（+21.1%）
w/o 缺失时间间隔 $I$	0.733	0.744	0.321	0.977	0.289	0.836	丧失对不规则采样时间尺度的捕捉，OVJE 大幅退化
w/o 观测条件注意力	0.724	0.732	0.326	0.943	0.287	0.799	无法利用历史观测先验指导数值依赖建模
w/o 补丁可靠性评分 $\rho$	0.708	0.751	0.321	0.958	0.286	0.801	无法区分高信息量与高稀疏噪声补丁
w/o 焦距损失 (Focal)	0.691	0.760	0.322	1.042	0.291	0.777	观测存在性预测类别失衡，AUC 显著下降
w/o 预测头残差门控融合	0.697	0.751	0.318	0.967	0.285	0.808	缺失最终观测概率对演化特征的自适应校准

关键发现¶

联合度量 OVJE 全面领先：在所有缺失分段上，Timeflies 的 OVJE 综合评分平均领先次优模型 22.5%，表明在存在性与数值联合预测的整体置信度上取得了压倒性优势。
缺失信息对纯数值回归同样至关重要：在剥离观测预测头的纯数值回归对比中（Tab. 3），Timeflies 的 MAE 依旧比 OLinear 降低了 17.1%（中缺失），充分证明历史缺失特征绝非必须被清洗的噪声，而是刻画系统演化动力学的关键结构上下文。
增益机制的依赖性：受控实验表明，只有当缺失机制与底层物理状态紧密关联（如非随机结构性缺失）时，存在性建模才能显著反哺数值回归；在纯 IID 随机缺失下，观测流仅提供有效输入筛选作用，不会凭空带来超出骨干网络能力的额外数值收益。

亮点与洞察¶

重构任务范式：首次破除了时序预测中未来有效观测时间戳未卜先知的“先验预知神话”，将预测目标合理扩展为未来“测不测得到”与“数值是多少”的联合预测，对实际传感调度具有极高的工业落地价值。
可靠性调制的跨轨注意力机制：设计了成对补丁可靠性外积矩阵 $A_{\text{rel}}$，优雅地将缺失观测结构先验作为软约束注入数值注意力图，有效防止了高稀疏空洞补丁的注意力污染。
提出统一评测指标 OVJE：给出了兼顾二元存在性似然与连续状态相对误差的联合信息熵指标，并严格推导了其可解耦性，为未来不规则时序联合预测提供了严密的评估准则。

局限与展望¶

单调随机缺失失效：作者在附录受控实验中坦承，当缺失属于纯粹随机的均匀 IID 过程时，观测模式与系统状态不存在统计相关性，此时观测流无法带来数值精度的额外提升。
多变量跨通道相关性未建模：模型目前主要在时间维度对 Patch 进行双流建模，尚未深度刻画不同传感器通道之间复杂的动态错位观测相关性。
未来方向：可进一步将双流架构拓展为多变量空-时图注意力网络，并结合主动感知决策，探索基于未来观测概率的动态传感器唤醒与采样规划。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [破除了推理期未来时间戳已知的非现实假设，提出存在先于数值的联合预测范式]
实验充分度: ⭐⭐⭐⭐⭐ [自建 31 个数据集、涵盖 149 种组合的 Shadow 工业级基准，多维度消融及理论推导极其扎实]
写作质量: ⭐⭐⭐⭐⭐ [立意深刻，从哲学思辨到数学公式与实验设计一气呵成，结构高度自洽]
价值: ⭐⭐⭐⭐⭐ [对物联网感知、电商交易监控、自适应采样调度等真实工业部署场景具有直接启发与实用价值]