Discretizing Continuous Time Series for Imputation with Masked Diffusion Training¶

会议: NeurIPS 2026
arXiv: 2608.19119
OpenReview: https://openreview.net/forum?id=pKTszDf7fn
论文: https://arxiv.org/abs/2608.19119
领域: 时间序列
关键词: 时间序列插补, 掩码扩散模型, 随机离散化, 序数感知软标签, 期望解码

一句话总结¶

针对时间序列插补中缺失与观测表征混叠及连续扩散间接预测噪声的缺陷，MDTIM 引入随机离散化与序数感知软标签，将掩码扩散训练范式拓展至连续时序并实现期望无偏重构。

研究背景与动机¶

时间序列插补是支撑下游时序预测、分类及异常检测的基础环节，但在实际传感器故障、传输丢失或非均匀采样的场景下，观测数据往往面临大比例、连续块状的缺失模式。现有基于深度学习的插补方案主要存在两项底层结构性失配：其一是在特征表征层面上，判别式 Transformer 架构（如 SAITS、ImputeFormer）或连续扩散模型（如 CSDI）通常使用零值或均值对缺失位置进行填充；尽管自注意力掩码可以在计算时屏蔽缺失坐标，但占位符与有效观测值仍被映射在同一连续潜在流形中，容易在表征空间内诱发虚假相关性。其二是在学习目标层面上，以 CSDI 为代表的连续高斯扩散模型本质上是在学习预测向数据添加的连续高斯噪声，这种噪声去噪机制对于“从部分观测直接还原真实原始信号”的目标而言显得过于间接，且训练目标与掩码缺失比率脱钩。

掩码扩散模型（Masked Diffusion Models, MDM / MDLM）在自然语言处理领域展现了天然契合插补特性的结构优势：吸收态的 [MASK] 标记在离散词表中与所有有效观测 token 保持完全正交，从根源上实现了缺失态与观测态的硬隔离；同时其变分下界目标直接指导模型预测原始真实 token。然而，直接将离散掩码扩散迁移至多变量时间序列面临严重的模态鸿沟——时间序列具有连续数值、强序数相关性和微观动态变化的本质，朴素的硬分箱量化（Hard Quantization）会直接割裂相邻数值之间的序数拓扑，并造成网格分辨率以下的微观信息不可逆丢失。

面对连续时序信号与离散掩码扩散之间的核心矛盾，本文的切入角度是在保留离散吸收态掩码正交表征的同时，建立连续信号与离散概率分布之间的双向拓扑映射。核心 idea：通过向归一化网格坐标注入均匀随机噪声构建期望无偏的随机离散化机制，并辅以截断高斯序数感知软标签与期望解码器，将离散掩码扩散模型的生成范式无缝映射至连续时序的高精度插补。

方法详解¶

整体框架¶

MDTIM 的整体架构遵循“随机离散化编码 → 分解时空掩码扩散骨干网络 → 连续期望解码与频域正则化”的闭环设计。输入时序首先在实例自适应归一化后被映射至离散词表，并根据扩散步长对缺失坐标实施 [MASK] 吸收态替换；多变量骨干网络采用时空交替因式分解的 Transformer 结构提取动态时序与通道间依赖；最终在预测头通过对离散 token 的概率加权期望还原连续信号，并联合频域一致性损失进行全局优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多变量时序 x<br/>含部分缺失掩码"] --> B["随机离散化机制<br/>注入均匀噪声保持期望无偏"]
    B --> C["通道专属离散嵌入<br/>正交 MASK 吸收态 token"]
    C --> D["时空交替因式分解 DiT<br/>RoPE 编码 + 连续扩散步注入"]
    D --> E["双域训练目标<br/>序数感知软标签 CE + 频域一致性损失"]
    E --> F["连续期望重构解码<br/>多样本概率加权期望还原连续值"]

关键设计¶

1. 随机离散化与通道专属正交嵌入：在离散分箱中保留微观期望与通道语义 针对连续时序硬量化直接截断分箱内数值信息的问题，MDTIM 设计了随机离散化机制（Stochastic Discretization）。在对输入时间窗口仅利用有效观测值进行实例自适应标准化后，将归一化数值映射至大小为 $K$ 的分箱坐标网格，并在取整前引入均匀随机扰动 $\epsilon \sim \mathcal{U}(-0.5, 0.5)$： $$c_{t,c} = \frac{\tilde{x}_{t,c} - v_{\min}}{v_{\max} - v_{\min}} \cdot (K - 1) + 1, \quad z_{t,c} = \lfloor c_{t,c} + \epsilon \rceil$$ 该机制保证了离散 token 索引在统计期望上严格等于连续连续坐标 $\mathbb{E}[z_{t,c}] \approx c_{t,c}$，例如坐标值 3.6 将以 60% 概率分入 token 4、40% 概率分入 token 3，使模型即使使用粗粒度词表亦能感知网格之下的微观动态。随后，每个通道独立分配专属嵌入矩阵 $\mathbf{E}_c$，彻底隔离不同变量的语义空间，并将缺失状态表示为全局正交的 [MASK] token（索引 0）。

2. 序数感知软标签扩散目标：将分类交叉熵平滑松弛为序数拓扑正则 传统掩码扩散采用标准 One-hot 目标计算交叉熵，将 token 间差异均等化，完全忽视了 $k$ 与 $k+1$ 在物理时序中高度邻近、而与 $k+10$ 悬殊的序数拓扑。MDTIM 引入截断高斯核构建序数感知软标签（Ordinal-Aware Soft Labeling）： $$s_i = \begin{cases} \frac{1}{Z} \exp\left(-\frac{(i - y)^2}{\sigma^2}\right) & \text{if } |i - y| \le w \\ 0 & \text{otherwise} \end{cases}$$ 其中截断窗口 $w$（默认设为 2）与平滑系数 $\sigma$ 约束概率质量仅向最近邻桶扩散，并强制置 [MASK] 状态概率 $s_0 = 0$。论文证明将该软标签分解为真实 One-hot $\mathbf{e}_y$ 与邻域分布 $\mathbf{u}$ 的凸组合 $\mathbf{s} = (1-\epsilon)\mathbf{e}_y + \epsilon \mathbf{u}$ 后，每 token 的优化损失精确等价于标准掩码扩散变分下界与邻域 KL 散度的加权和： $$-\langle \mathbf{s}, \log \mathbf{p}_\theta \rangle = (1 - \epsilon)\mathcal{L}_{\mathrm{NELBO}} + \epsilon D_{\mathrm{KL}}(\mathbf{u} \parallel \mathbf{p}_\theta) + \text{const}$$ 该目标显式惩罚在序数邻域外分配概率预测，驱使模型建立连续平滑的后验分布。

3. 频域一致性正则化与连续期望解码：兼顾宏观周期与微观高精度连续重构 由于离散逐 token 优化侧重于局部数值精度的收敛，容易忽略长期时序的全局周期与频域特征，MDTIM 引入频域一致性损失（Spectral Consistency Regularization）。在训练迭代中，模型通过快速期望计算获得时域伪连续重构序列 $\hat{\mathbf{x}}_t$，并利用快速傅里叶变换 $\mathcal{F}(\cdot)$ 最小化与原始信号在全频段上的 $L_1$ 距离： $$\mathcal{L}_{\mathrm{FFT}} = \mathbb{E}_t \left[ \| \mathcal{F}(\hat{\mathbf{x}}_t) - \mathcal{F}(\mathbf{x}_0) \|_1 \right]$$ 在推理与逆向采样阶段，为消除随机离散化引入的样本方差，模型进行 $M$ 次前向预测（如 $M=10$）取平均概率分布 $\bar{p}_{t,c}^{(k)}$，并采用概率加权中心值求和得到精确连续重构值： $$\hat{x}_{t,c} = \sum_{k=1}^K \bar{p}_{t,c}^{(k)} \cdot v_k$$ 随后反归一化还原真实物理尺度。这彻底规避了传统连续扩散多步郎之万采样的巨大方差与长时间迭代，实现了高效、高精度的端到端连续插补。

损失函数 / 训练策略¶

MDTIM 采用连续时间对数线性噪声调度 $\sigma(t) = -\log(1 - (1-\epsilon)t)$，并结合重要性采样权重 $w(t) = \frac{d\sigma/dt}{e^{\sigma(t)}-1}$ 对时间连续步进行加权，对轻度噪声区域（$t \approx 0$）赋予更大权重以强化微观边缘细节的拟合。整体损失函数由序数掩码扩散项与频域一致性项组合而成： $$\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{diff}} + \lambda \mathcal{L}_{\mathrm{FFT}}$$ 超参数设置中，词表大小设定为 $K=40$，输出预测头扩展至 $K_{out}=1.5K$ 以防范未见区域的分布偏移；骨干 DiT 层数 $L=5$，隐藏维度 $D=256$，注意力头数为 16，频域损失权重 $\lambda=1.0$。

实验关键数据¶

主实验¶

在标准时序插补基准（序列长度 $L=48$）上，针对 Uniform（独立均匀随机丢弃）与 Geometric（连续块状传感器故障）两种机制，在 30% 与 70% 缺失率下的平均绝对误差（MAE）对比如下：

数据集	缺失模式	缺失比例	MDTIM (本文)	CSDI (生成式)	SAITS (判别式)	ImputeFormer	性能提升 vs CSDI
Energy	Uniform	30%	0.044	0.094	0.177	0.066	-53.2%
Energy	Uniform	70%	0.085	0.139	0.212	0.219	-38.8%
Energy	Geometric	30%	0.053	0.110	0.204	0.113	-51.8%
Energy	Geometric	70%	0.082	0.136	0.208	0.194	-39.7%
ETTh	Uniform	30%	0.127	0.160	0.140	0.146	-20.6%
ETTh	Uniform	70%	0.211	0.244	0.210	0.245	-13.5%
ETTh	Geometric	30%	0.146	0.177	0.152	0.165	-17.5%
ETTh	Geometric	70%	0.205	0.240	0.206	0.235	-14.6%
Weather	Uniform	30%	0.032	0.039	0.045	0.049	-17.9%
Weather	Uniform	70%	0.044	0.049	0.049	0.171	-10.2%
Sine	Uniform	30%	0.002	0.003	0.026	0.006	-33.3%
Sine	Geometric	70%	0.003	0.004	0.025	0.037	-25.0%

消融实验¶

针对 Expectation-based Unmasking（连续期望解码）与 Ordinal-Aware Soft Labeling（序数感知软标签）两项核心创新的消融实验（均匀缺失场景，MAE 均值）：

配置	期望解码	软标签监督	ETTh (30%)	ETTh (70%)	Energy (30%)	Energy (70%)	Sine (30%)	说明
基线（Argmax + 硬标签）	✗	✗	0.134	0.229	0.053	0.101	0.0071	严重受限于网格分箱量化离散截断误差
仅加入软标签	✗	✓	0.131	0.222	0.056	0.115	0.0069	优化了序数拓扑但解码端仍有取整误差
仅加入期望解码	✓	✗	0.129	0.212	0.044	0.085	0.0026	期望消除量化误差，性能出现大幅跃升
MDTIM 完整模型	✓	✓	0.127	0.211	0.044	0.085	0.0022	软标签在强周期与序数数据上进一步带来显著增益

此外，在词表容量 $K$ 的敏感性测试中，$K=20$ 时分辨率不足导致 ETTh 30% MAE 上升至 0.138；$K=60$ 时过大分类空间增加优化难度导致 MAE 升至 0.129；$K=40$ 在近似精度与优化复杂度之间达到最佳折中（0.127）。

关键发现¶

期望解码彻底释放离散表示潜力：消融显示从 Argmax 转向期望解码使 Sine 数据集上的 MAE 骤降超过 60%（0.0071 → 0.0026），彻底打破了离散量化低于网格分辨率的“不可恢复”壁垒。
软标签监督对于结构化序数特征增益显著：在周期规律明显的 Sine 和具有清晰物理趋势的 ETTh 数据集上，序数软标签提供了强有力的拓扑约束；而在较为随机杂乱的 Energy 数据集上，软标签主要保证分布校准度，期望解码承担了主要的误差消除贡献。
长序列与极端缺失下的高鲁棒性：在 $L=192$ 扩展步长测试中，MDTIM（MAE 0.123）显著超越 BRITS（0.192）和 SAITS（0.145），没有出现判别式 Transformer 在长程序列中的注意力分散退化；在块状缺失的 Geometric 模式下性能下降远小于依赖局部平滑插值的基线模型。
极高的计算效率与参数性价比：在 Energy 测试集全量推理中，Small 版本 MDTIM（0.65M 参数）仅耗时 4.05 秒即可达到 0.046 MAE，而连续扩散基线 CSDI（4.49M）需要多步去噪耗时 894.76 秒且 MAE 仅为 0.074；MDTIM 在大幅提升精度的同时推理速度提升达 220 倍。

亮点与洞察¶

随机扰动保持统计无偏：在分箱取整前引入 $\mathcal{U}(-0.5, 0.5)$ 噪声是一个极简且极其优美的数学设计，使得单一样本的离散硬标签在重复采样期望下严格逼近连续真值，赋予了离散模型连续的亚网格表达能力。
软标签目标等价于变分下界松弛：论文从数学上严格推导了截断高斯软标签交叉熵等于 NELBO 与邻域 KL 散度的加权和，使“引入序数先验”这一工程直觉获得了严谨的信息论与变分推断支撑。
正交吸收态消除了缺失表征偏置：将缺失状态映射为完全正交的 [MASK] 编码，规避了传统方法在同一连续向量空间内填充 0 带来的虚假空间相关性污染。
跨领域迁移价值：该“连续信号随机离散化 + 序数感知软标签 + 期望无偏解码”的框架极具普适性，可直接迁移至音频生成、连续物理轨迹插补、脑电/心电生理信号插补等需要将离散语言/扩散大模型应用于高精度连续数值建模的场景。

局限与展望¶

作者承认的局限：分箱词表大小 $K$ 当前为全局固定超参数，面对不同动态范围或高低方差差异巨大的时序通道时缺乏自适应调整能力；频域一致性损失假设数据具有稳定的宏观周期，在诸如 PhysioNet 等高度不规则采样的临床稀疏数据上必须强制关闭。
潜在改进方向：可进一步探索通道自适应的数据驱动动态分箱（如可学习非均匀量化码本）；针对非平稳或不规则时序，可引入基于连续小波变换或自适应图滤波器的局部时频正则化替代刚性的全局 FFT 约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性解决连续时序与离散掩码扩散之间的模态失配，提出了无偏随机离散化与序数软标签理论框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准、2 种缺失机制、长程扩展、概率校准度 CRPS、ICU 真实稀疏场景、下游预测任务及细致消融。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从动机分析到数学证明严丝合缝，逻辑递进极其流畅。
价值: ⭐⭐⭐⭐⭐ 为离散生成模型（如 Masked Generative Models）处理连续物理世界信号提供了极具范式意义的通用解法。