SDFlow: Similarity-Driven Flow Matching for Time Series Generation¶

会议: NeurIPS 2026
arXiv: 2605.05736
OpenReview: https://openreview.net/forum?id=kVQQScjr8o
代码: https://github.com/William-Liwei/SDFlow
领域: 时间序列
关键词: 时间序列生成, 流匹配 (Flow Matching), 矢量量化 (VQ-VAE), 非自回归生成, 曝光偏差

一句话总结¶

针对自回归离散时间序列生成中曝光偏差导致的误差级联累积与高维隐空间传输难题，SDFlow 在冻结的 VQ-VAE 空间中提出非自回归流匹配框架，通过端到端低秩流形分解构建锚点先验，并结合分类后验交叉熵实现连续传输下的离散监督，在长序列生成中取得 SOTA 质量与 3–10 倍推理加速。

研究背景与动机¶

时间序列生成在量化金融预测、医疗生理监测以及智慧能源调度等关键领域具有广泛应用。在主流生成范式中，基于矢量量化变分自编码器（VQ-VAE）与自回归（Autoregressive, AR）Transformer 建模的范式（如 SDformer）取得了极具竞争力的生成保真度。该范式通过余弦相似度驱动的码本离散化，将连续多变量时序压缩至紧凑的离散标记序列中，去除了冗余噪声并具备很强的表征重构能力。

然而，现有自回归标记建模在推进至长时程生成时面临三大本质瓶颈。首先是曝光偏差（Exposure Bias）：AR 模型在训练阶段依赖真实前序标记（Teacher Forcing），但在自回归推理阶段只能依赖模型自身的自生成标记，导致单步微小预测偏差在长序列时步中级联放大，生成质量随序列长度增加急剧崩塌。其次是潜在空间的维度灾难：当转向非自回归流匹配（Flow Matching）以实现全局并行传输时，时间序列展开后的环境隐空间维度 $D = L \times d_c$ 通常高达数千，而实际数据的内在流形往往是极低秩的；传统的各向同性高斯初始化不仅带来显著的范数失配（$\sqrt{D} \gg \sqrt{L}$），而且使得流匹配在极其稀疏的高维空间中求解最优传输路径变得难以收敛。最后是离散监督与连续传输的几何断层：VQ 隐空间具备离散码本索引与连续嵌入向量的双重属性，若仅使用连续 MSE 回归，会破坏分类结构并引发模式塌陷；若仅采用离散状态转移，则会丢失连续向量空间的平滑几何性质。

面对上述三重矛盾，直接在原始空间或使用标准高斯先验的连续流匹配均难以奏效。核心 idea：在冻结的 VQ-VAE 隐空间上构建端到端低秩流形分解与拓扑保持的锚点先验，将高维长程传输转化为局部流形插值，并通过引入码本分类后验的变分流匹配实现“连续传输引导、离散交叉熵监督”的非自回归高效时间序列生成。

方法详解¶

整体框架¶

SDFlow 采用清晰的两阶段解耦生成流程：阶段 1 预训练并完全冻结一个基于余弦相似度驱动的 VQ-VAE 分词器，将连续多变量时序映射为离散码本序列；阶段 2 在固定的 VQ 隐空间中执行基于流形锚点初始化的分类流匹配（Categorical Flow Matching）。在推理时，模型无需任何自回归逐步解码，而是从低秩锚点先验采样连续坐标并投影为初始隐状态，随后通过 Diffusion Transformer (DiT) 预测码本概率分布并计算期望嵌入速度场，仅需极少步数的数值 ODE 积分即可并行生成完整序列的所有标记，最后由冻结的解码器还原为原始时序。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入时间序列 X ∈ R^(ℓ×d)"] --> B["相似度驱动 VQ-VAE 编码与量化<br/>冻结连续-离散表征空间"]
    B --> C["端到端低秩流形分解<br/>学习基底 V 与锚点坐标 U"]
    C --> D["拓扑保持锚点先验采样<br/>核平滑局部连续插值生成 z0"]
    D --> E["基于分类后验的流匹配<br/>DiT 预测码本分布与诱导速度场"]
    E --> F["并行 ODE 数值积分求解<br/>Euler 步长与余弦时间调度"]
    F --> G["码本最近邻量化与冻结解码<br/>输出生成时间序列 X_hat"]

关键设计¶

1. 相似度驱动 VQ-VAE 编码与量化：构建鲁棒紧凑的离散隐表征

针对传统 VQ-VAE 在多变量时间序列中因欧氏距离聚集导致的码本塌陷和仅有少数大范数向量被激活的问题，阶段 1 采用一维卷积残差编码器 $\mathcal{E}$ 将时序 $\mathbf{X}_{1:\ell} \in \mathbb{R}^{\ell \times d}$ 压缩为长度为 $L = \ell / s$（下采样率 $s$）、通道为 $d_c$ 的隐特征序列 $\mathbf{H}_{1:L}$。量化过程显式对隐特征与码本向量 $\mathcal{C} = \{\mathbf{c}_k\}_{k=0}^{K-1} \subset \mathbb{R}^{d_c}$ 做单位范数归一化，基于余弦相似度选取最佳匹配码本索引： $$y_i = Q(\mathbf{h}_i) := \arg\max_{k=0,\ldots,K-1} \frac{\mathbf{h}_i}{\|\mathbf{h}_i\|} \cdot \frac{\mathbf{c}_k}{\|\mathbf{c}_k\|}$$ 通过余弦相似度与指数移动平均（EMA）更新策略以及非活跃码本重置机制，码本利用率大幅提升，同时使得所有离散嵌入向量分布在单位超球面上。阶段 1 训练完成后权重被完全冻结，为后续流匹配提供了极其稳定、无冗余噪声的离散-连续双重几何空间。

2. 端到端低秩流形分解：打破高维环境空间的维度灾难

当隐空间展平维度 $D = L \times d_c > 3000$ 时，高斯先验采样点模长集中在 $\sqrt{D}$，而归一化后的数据点模长仅为 $\sqrt{L}$，范数相差 $\sqrt{d_c} \approx 22$ 倍。为解决该几何失配与高维稀疏性，SDFlow 提出低秩因子分解架构 $\mathbf{Z} \approx \mathbf{U}\mathbf{V}^\top$，其中 $\mathbf{V} \in \mathbb{R}^{D \times r}$ 构成全局正交流形基底，$r \ll D$（实验中 $r \in [256, 1024]$），而 $\mathbf{U} \in \mathbb{R}^{M \times r}$ 为 Stage-2 隐流形上的可学习支持锚点坐标集合。这一分解并非依靠离线静态 SVD，而是直接与流匹配目标端到端联合反向传播优化。为了使低维坐标分布规整且利于密度建模，引入均值与方差正则化： $$\mathcal{L}_{\text{reg}} = \lambda_{\mu} \|\bar{\mathbf{u}}\|^2 + \lambda_{\sigma} (|\text{std}(\mathbf{U}) - 1|)$$ 理论证明（定理 4.1），从标准各向同性高斯出发的流匹配，期望传输距离平方为 $\mathbb{E}[\|\mathbf{z} - \mathbf{z}_0\|^2] = D + C = \Theta(D)$，随着维度 $D$ 线性发散；而基于该低秩流形锚点初始化时，传输距离严格受控于流形逼近误差与局部采样带宽：$\mathbb{E}[\|\mathbf{z} - \mathbf{z}_0\|^2] \le \sigma_{\max}^2(\mathbf{V})h^2 + \epsilon^2 = \mathcal{O}(h^2 + \epsilon^2)$，彻底摆脱了环境维度的束缚。

3. 拓扑保持锚点先验采样：基于核平滑的局部连续初始化

为了在低秩流形上采样全新的生成起点，避免退化为仅记住离散训练样本的查表生成器，SDFlow 在正规化坐标 $\mathbf{U}$ 上构建基于高斯核平滑的锚点先验： $$p_{\text{anchor}}(\mathbf{u}) = \frac{1}{N} \sum_{i=1}^N \mathcal{K}_h(\mathbf{u} - \mathbf{u}_i)$$ 其中带宽 $h$ 并非随意设定的噪声方差，而是依据坐标流形局部拓扑自适应标定的几何参数：$h = \alpha \bar{d}_{\text{NN}}(\mathbf{U})$，其中 $\bar{d}_{\text{NN}}$ 为锚点集间的平均最近邻欧氏距离。统计学分析表明，低秩空间中的核密度估计拥有极快的收敛速率 $\mathcal{O}(N^{-4/(r+4)})$，远优于高维原始空间的 $\mathcal{O}(N^{-4/(D+4)})$。在采样时，首先从均匀分布选择锚点中心，施加协方差为 $h^2 \mathbf{I}_r$ 的局部摄动生成新坐标 $\mathbf{u}_{\text{new}}$，再通过基底映射与 $\ell_2$ 归一化得到流起点 $\mathbf{z}_0 = \text{normalize}_{\ell_2}(\mathbf{u}_{\text{new}}\mathbf{V}^\top)$。该设计将全局长程传输降维收敛为局部流形插值，锚点仅负责提供生成支架，具体的时序动力学与外推多样性由后续流网络完成。

4. 基于分类后验的流匹配：离散监督与连续速度场的协同统一

为兼顾 VQ-VAE 固有的离散码本分类特性与流传输的连续性，模型使用 Diffusion Transformer (DiT) 预测每个时间步 $t$ 下每个时序位置在 $K$ 个码本上的分类后验分布：$q_\theta(c \mid \mathbf{z}_t) = \text{Cat}(c \mid \pi_\theta^t(\mathbf{z}_t))$，其中分类对数概率通过带温度系数 $\tau$ 的 Softmax 归一化。该分类分布自然诱导出连续嵌入空间中的期望终点嵌入 $\mu_\theta(\mathbf{z}_t) = \sum_{k=1}^K \pi_\theta^k(\mathbf{z}_t) \mathbf{c}_k$ 以及对应的连续速度场： $$v_\theta(\mathbf{z}_t, t) = \frac{\mu_\theta(\mathbf{z}_t) - \mathbf{z}_t}{1 - t}$$ 训练损失直接采用预测后验与目标真实离散码本索引 $c^*$ 之间的交叉熵损失：$\mathcal{L}_{\text{CE}} = -\mathbb{E}_{t, \mathbf{z}_t} [\sum_{i=1}^L \log \pi_\theta^{c_i^*}(\mathbf{z}_t)]$。命题 4.2 严格证明，优化时间加权交叉熵不仅是分类替代目标，它通过 Pinsker 不等式构成了对真实连续速度场均方误差（MSE）的严格上界控制： $$\mathbb{E}_{t, \mathbf{z}_t}\big[\|v_\theta(\mathbf{z}_t, t) - v^*(\mathbf{z}_t, t)\|_2^2\big] \le 2 R^2 \cdot \big(\mathcal{L}_{\text{wCE}}(\theta) - \mathcal{L}_{\text{wCE}}^*\big)$$ 这一设计赋予模型显式的离散标记决策能力与不确定性软分配能力，在推理时可通过调节温度 $\tau$ 灵活权衡样本保真度与多样性。

损失函数 / 训练策略¶

SDFlow 阶段 2 的联合训练损失函数为： $$\mathcal{L} = \mathcal{L}_{\text{CE}} + \lambda_{\mu} \mathcal{L}_{\mu} + \lambda_{\sigma} \mathcal{L}_{\sigma} + 10 \mathcal{L}_{\text{str}}$$ 其中 $\mathcal{L}_{\mu}$ 与 $\mathcal{L}_{\sigma}$ 为坐标正则化项，超参数设为 $\lambda_\mu = 0.1, \lambda_\sigma = 10.0$；$\mathcal{L}_{\text{str}}$ 为批次内成对归一化距离对齐项，用于保持高维与低维几何的一致性；训练中同时引入概率为 0.5 的流形混叠（Manifold Mixup）。时间步采样采用非线性余弦调度 $t = 1 - \cos(\pi u^2 / 2)$（$u \sim \text{Uniform}(0, 1)$），避开 $t \to 1$ 处的速度场奇点。优化器采用两组独立学习率：DiT 权重 $\theta$ 的学习率为 $\eta_\theta = 10^{-4}$，而低秩矩阵 $\mathbf{U}, \mathbf{V}$ 的学习率为 $\eta_{UV} = 10^{-3}$。

实验关键数据¶

主实验¶

论文在 Sines、Stocks、ETTh、Energy 四大基准数据集上进行了短序列（$L=24$）与长序列（$L=64, 128, 256$）的无条件时序生成评估，评测指标包括判别得分（Discriminative Score, DS ↓，通过训练事后双层 LSTM 分类器区分真假样本，越接近 0 越优）、预测得分（Predictive Score, PS ↓，合成数据训练、真实数据预测评估下一个时间步误差）以及 Context-FID（C-FID ↓，基于预训练 TS2Vec 提取上下文表征的分布距离）。所有实验汇报 5 次独立随机种子的均值与标准差。

短序列主实验（$L=24$）：

数据集	指标	SDFlow (本文)	SDformer-ar (自回归基线)	FlowTS (流匹配基线)	Diffusion-TS (扩散基线)	TimeGAN (GAN基线)
Sines	DS ↓	0.006 ± .006	0.006 ± .004	0.005 ± .005	0.006 ± .007	0.011 ± .008
Sines	PS ↓	0.092 ± .000	0.093 ± .000	0.092 ± .000	0.093 ± .000	0.093 ± .019
Sines	C-FID ↓	0.0004 ± .000	0.001 ± .000	0.002 ± .000	0.006 ± .000	0.101 ± .014
Stocks	DS ↓	0.003 ± .003	0.010 ± .006	0.019 ± .013	0.067 ± .015	0.102 ± .021
Stocks	PS ↓	0.036 ± .000	0.037 ± .000	0.036 ± .000	0.036 ± .000	0.038 ± .001
Stocks	C-FID ↓	0.001 ± .000	0.002 ± .000	0.015 ± .003	0.147 ± .025	0.103 ± .013
ETTh	DS ↓	0.002 ± .003	0.003 ± .001	0.011 ± .015	0.061 ± .009	0.114 ± .055
ETTh	PS ↓	0.118 ± .001	0.118 ± .002	0.118 ± .005	0.119 ± .002	0.124 ± .001
ETTh	C-FID ↓	0.001 ± .000	0.008 ± .001	0.024 ± .001	0.116 ± .010	0.300 ± .013
Energy	DS ↓	0.006 ± .002	0.006 ± .004	0.053 ± .010	0.122 ± .003	0.236 ± .012
Energy	PS ↓	0.249 ± .000	0.249 ± .000	0.250 ± .000	0.250 ± .000	0.273 ± .004
Energy	C-FID ↓	0.001 ± .000	0.003 ± .000	0.031 ± .004	0.089 ± .024	0.767 ± .103

挑战性长序列主实验（$L=64, 128, 256$）：

数据集	序列长度	指标	SDFlow (本文)	TimeMAR-L (大模型)	SDformer-ar	Diffusion-TS	TimeGAN
ETTh	$L=64$	DS / C-FID ↓	0.003 / 0.001	0.005 / 0.002	0.018 / 0.018	0.106 / 0.631	0.227 / 1.130
ETTh	$L=128$	DS / C-FID ↓	0.007 / 0.001	0.008 / 0.002	0.013 / 0.024	0.144 / 0.787	0.188 / 1.553
ETTh	$L=256$	DS / C-FID ↓	0.005 / 0.001	0.006 / 0.002	0.008 / 0.021	0.060 / 0.423	0.442 / 5.872
Energy	$L=64$	DS / C-FID ↓	0.004 / 0.002	0.006 / 0.002	0.010 / 0.031	0.078 / 0.135	0.498 / 1.230
Energy	$L=128$	DS / C-FID ↓	0.005 / 0.002	0.005 / 0.003	0.013 / 0.036	0.143 / 0.087	0.499 / 2.535
Energy	$L=256$	DS / C-FID ↓	0.007 / 0.002	0.009 / 0.008	0.017 / 0.041	0.290 / 0.126	0.499 / 5.032

消融实验¶

在 Energy 数据集（$L=24$）上对各核心组件、先验结构、秩及数值求解步长进行系统性消融分析：

模块设计 / 变体设置	关键指标 (DS ↓)	关键指标 (C-FID ↓)	说明与机理分析
原始数据空间直接流匹配	0.453	3.210	脱离 VQ 离散隐空间，连续原始空间传输极易崩溃
VQ 隐空间 + 标准各向同性高斯先验	0.218	1.840	存在严重的范数失配与维度灾难，传输路径漫长
VQ 隐空间 + 锚点先验 (无低秩分解)	0.173	1.220	缺失全局低秩基底，高维环境空间中的局部平滑失效
低秩分解 + MLP 拟合先验	0.213	1.560	额外引入复杂的非凸神经参数化反而加剧优化困难
低秩分解 + 简单流形插值先验	0.047	0.410	尊重流形几何初见成效，但缺乏自适应拓扑连接平滑
静态 SVD 分解 ($r=42, h=0.06$)	0.094	0.017	静态矩阵分解无法动态适配流匹配损失景观
纯 KDE 无流积分基线 (KDE-only)	0.462	3.105	证实核平滑仅提供初始化支架，生成完全依靠后续流网络
SDFlow 完整模型 ($r=256, h=0.06, S=20$)	0.006	0.001	三大支柱协同，达到最优判别与分布相似度
求解步长 $S=10$	0.018	0.008	步长偏小存在离散化截断误差
求解步长 $S=50$	0.006	0.001	性能与 $S=20$ 相当，但计算开销增加 2.5 倍

关键发现¶

长序列抗衰减能力显著：在 $L=256$ 的极端长序列下，自回归模型 SDformer-ar 的 C-FID 在 ETTh 上退化至 0.021、在 Energy 上退化至 0.041；而非自回归的 SDFlow 分别稳定在 0.001 与 0.002，实现高达 95.1%–95.2% 的相对误差消除，验证了消除曝光偏差对长程时序生成的决定性价值。
参数效率反超大模型：参数量 $\ge 40\text{M}$ 的自回归大模型 TimeMAR-L 在各序列长度上的表现全面落后于轻量级的 SDFlow（仅需 1–3 层 DiT，参数量 4.8M），展示了合理的低秩几何流架构在时序生成中的高效率。
极端泛化验证排除记忆复制：通过留出法（Held-out Latent-Flow）实验，仅用 10% 的隐锚点训练阶段 2，在未见的 90% 数据上仍能取得 DS 0.009 和 C-FID 0.002 的极高泛化水准；原始时序空间的最近邻距离审计显示，生成样本与训练集的距离分布与真实留出集完全吻合，复制率低于 1.2%。
毫秒级极速并行推理：生成 1024 个样本仅耗时 0.04–0.05 秒，相比自回归 SDformer-ar 提速 3.0–10.0 倍，相比基于扩散的 Diffusion-TS 提速高达 200–800 倍。

亮点与洞察¶

将长程全局传输降维转化为局部流形插值：通过严格的数学推导（定理 4.1），将高维空间中与环境维度 $D$ 线性相关的运输代价 $\Theta(D)$，成功通过低秩正交基和核平滑转化为与环境维度无关的量 $\mathcal{O}(h^2 + \epsilon^2)$，为高维隐空间生成提供了清晰的几何指引。
利用 Pinsker 不等式桥接离散交叉熵与连续速度场 MSE：提出通过分类后验诱导期望嵌入速度场，不仅完美契合了 VQ 码本的硬离散本质，且数学上严谨证明了交叉熵损失即为速度场均方误差的有效上界（命题 4.2），彻底避免了连续回归中常见的特征模糊。
自适应几何校准核带宽：将核平滑先验的平滑参数与正则化后坐标的最近邻间距 $d_{\text{NN}}$ 建立显式关联，不仅摆脱了额外的神经网络先验拟合负担，更保证了连续插值时的拓扑保真。

局限与展望¶

分词器的数据集依赖性：当前阶段 1 的 VQ-VAE 采用特定数据集独立训练，码本未跨领域泛化；未来需要研发通用的时间序列分词大模型与统一跨域码本，以支持多域跨任务统一生成。
正交基假设的实践放宽：理论证明中假设投影基底 $\mathbf{V}$ 严格半正交，尽管实验表明端到端无约束优化已能取得极佳的低秩聚集效果，但引入可微分的 Stiefel 流形约束或正交正则化项可能在理论完备性与极端复杂分布拟合上带来额外收益。
条件引导机制拓展：当前方法主要验证了无条件生成及拼接式预测，未来可结合无分类器引导（Classifier-Free Guidance）将文本描述、控制指令或多模态信号灵活融入流匹配网络中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (巧妙将低秩流形锚点、核平滑先验与离散分类流匹配融合于时序生成任务)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖多基准短长序列、理论推导、严格留出审计及最近邻无复制防抄袭检验)
写作质量: ⭐⭐⭐⭐⭐ (数学建模严密，理论命题与算法流程完备且逻辑递进清晰)
价值: ⭐⭐⭐⭐⭐ (彻底攻克离散时序生成中的曝光偏差顽疾，兼具极高保真度与工业级极速并行推理性能)

数据集	序列长度	指标	SDFlow (本文)	TimeMAR-L (大模型)	SDformer-ar	Diffusion-TS	TimeGAN
ETTh	\(L=64\)	DS / C-FID ↓	0.003 / 0.001	0.005 / 0.002	0.018 / 0.018	0.106 / 0.631	0.227 / 1.130
ETTh	\(L=128\)	DS / C-FID ↓	0.007 / 0.001	0.008 / 0.002	0.013 / 0.024	0.144 / 0.787	0.188 / 1.553
ETTh	\(L=256\)	DS / C-FID ↓	0.005 / 0.001	0.006 / 0.002	0.008 / 0.021	0.060 / 0.423	0.442 / 5.872
Energy	\(L=64\)	DS / C-FID ↓	0.004 / 0.002	0.006 / 0.002	0.010 / 0.031	0.078 / 0.135	0.498 / 1.230
Energy	\(L=128\)	DS / C-FID ↓	0.005 / 0.002	0.005 / 0.003	0.013 / 0.036	0.143 / 0.087	0.499 / 2.535
Energy	\(L=256\)	DS / C-FID ↓	0.007 / 0.002	0.009 / 0.008	0.017 / 0.041	0.290 / 0.126	0.499 / 5.032