TimeTok: Granularity-Controllable Time-Series Generation via Hierarchical Tokenization¶
会议: NeurIPS 2026
arXiv: 2605.01418
领域: 时间序列
关键词: 时间序列生成, 粒度可控生成, 分层分词器, 流匹配, 自回归模型
一句话总结¶
TimeTok 提出了一个统一的粒度可控时间序列生成框架(GC-TSG),通过将时序映射为语义由粗到细的分层离散 Token,结合流匹配解码与块自回归 Transformer,实现了从粗粒度草图到任意目标精度的可控细化与高质量生成。
研究背景与动机¶
时间序列数据在现实物理世界中天然具备多尺度特性,横跨缓慢变化的宏观趋势到剧烈波动的微观瞬态动态。然而在实际落地场景中,高频高精度时序数据的采集与存储受制于传感器成本、带宽功耗及隐私限制,导致可用数据往往存在严重的粒度不匹配。以医疗健康与金融量化为例,医院级心电图(ECG)采样频率可达 1000 Hz,而消费级智能手环采集频率常低于 60 Hz;金融订单薄在毫秒级微观结构与月度投资组合再平衡之间呈现跨尺度的异构分析需求。
现有的时间序列生成模型(如 TimeGAN、TimeVQVAE、Diffusion-TS 以及 ImagenTime 等)普遍遵循标准生成范式,即假定训练数据处于单一固定粒度,且仅能从头合成该固定粒度的样本。这类方法无法在生成过程中显式暴露时间粒度这一控制维度,更缺乏原生的条件细化接口来回答关键的现实需求:给定一段低保真观察序列或用户手绘的宏观趋势草图,模型能否生成符合该宏观轮廓且微观动态统计真实的精细时序?或者在无条件设定下,能否按需直接生成指定时间分辨率的样本?若直接在连续原始时序空间对逐级细化轨迹建模,不仅需要维护冗长的历史条件,还会导致计算开销剧增与训练崩塌。
为了突破这一瓶颈,本文将时间粒度从预处理的被动超参数转变为生成的显式控制变量,系统性地形式化了粒度可控时间序列生成任务(GC-TSG)。本文的切入角度是将多尺度时序表征与离散 Token 的前缀长度对齐,让 Token 的解码预算天然充当粒度的物理标尺。核心 idea:构建前缀语义严格由粗到细的分层离散 Token 表征,借助条件流匹配解码器绑定 Token 数量与时序平滑粒度,并在 Token 空间通过块级自回归 Transformer 逐级预测更精细的时序残差,在单一模型中无缝统一从无条件生成到跨粒度草图细化的完整光谱。
方法详解¶
整体框架¶
TimeTok 的核心在于构建一个时序粒度与 Token 长度语义对齐的离散隐空间,并在该空间中实现跨粒度自回归细化。整个框架由三大部分协同组成:首先是通过信息缩减算子(如高斯核平滑)构建的多尺度监督,引导分词器的编码器、有限标量量化(FSQ)以及条件流匹配解码器建立粗到细的分层 Token 结构;其次是在冻结的 Token 空间中训练基于 VAR 架构的块级自回归 Transformer,负责以粗粒度 Token 块为条件预测下一个精细粒度块;最后是推断阶段的自适应粒度检测与按需细化解码流程,支持从无条件([BOS])或任意未知粒度的粗糙输入生成目标分辨率的时序。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入时序 x 或用户粗糙草图<br/>(无条件则为 [BOS])"] --> B["语义有序的分层分词器<br/>分块投影+Register Tokens+FSQ+流匹配解码"]
B --> C["粒度可控推断与自动度量<br/>复杂度-简化权衡计算 L2 相对落差确定源粒度 i"]
C --> D["粒度块自回归建模<br/>VAR Transformer 以粗前缀逐级预测下一粒度 Token 块"]
D --> E["流匹配解码输出<br/>目标粒度 j 的连续时序 x^(j)"]
关键设计¶
1. 语义有序的分层分词器:将时序粒度映射为可变长离散 Token 前缀
传统时序离散表征学习(如 TOTEM 或 TimeVQVAE)提取的 Token 集合通常是无序的,Token 数量在推断时固定,无法将局部前缀与宏观时间语义绑定。为了让 Token 序列具有明确的粗到细语义演进,TimeTok 设计了基于 Register Tokens 和条件流匹配(Flow Matching)的分层分词机制。
对于长度为 \(T\) 的输入时序 \(\mathbf{x}\),模型先将其切分为 \(W\) 个不重叠 patch 并投影为 patch embeddings \(\mathbf{E} \in \mathbb{R}^{W \times h}\),同时在序列末尾拼接 \(M\) 个可学习的 Register Tokens \(\mathbf{R} \in \mathbb{R}^{M \times h}\)。经 Transformer 编码器交互后,提取与 Register Tokens 对应的输出隐向量,并通过有限标量量化(Finite Scalar Quantization, FSQ)进行离散化。FSQ 采用配置为 \([4,4,4,4,4,4]\) 的量化网格,将每个 Register Token 映射为一个 6 维离散码,诱导出 \(4^6=4096\) 的有效词表大小,得到量化后的 Token 序列 \(\mathbf{Q} = [\mathbf{q}_1, \dots, \mathbf{q}_M]\)。
为了将 Token 顺序与时序粒度严格对齐,作者设定最大粒度级别为 \(L=8\),每个粒度级别 \(\ell \in \{1,\dots,L\}\) 对应分配 \(n_\ell = 2^{\ell-1}\) 个 Token,最高级别使用全部 \(n_L = 2^7 = 128 = M\) 个 Token。解码器采用条件流匹配架构,以高斯平滑算子 \(\mathcal{R}_\ell(\mathbf{x}) = g_{\sigma(\ell)} * \mathbf{x}\) 作为粒度 \(\ell\) 的连续目标分布 \(\mathbf{x}^{(\ell)}\),平滑核带宽为 \(\sigma(\ell) = \sigma_{\max} \cdot \frac{L-\ell}{L-1}\)。在训练时,流匹配速度预测网络 \(\mathbf{v}_\theta\) 仅以截断的前 \(n_\ell\) 个 Token \(\mathbf{Q}_{1:n_\ell}\) 为条件,拟合将标准高斯噪声 \(\boldsymbol{\epsilon}\) 传输到 \(\mathbf{x}^{(\ell)}\) 的瞬时速度场: $\(\mathcal{L}_{\mathrm{CTF}}(\theta)=\mathbb{E}_{\mathbf{x},\,\boldsymbol{\epsilon},\,\tau,\,\ell}\Big[\,\big\|\mathbf{v}_{\theta}(\mathbf{x}_{\tau}^{(\ell)}\!\mid\!\mathbf{Q}_{1:n_{\ell}},\tau)-(\mathbf{x}^{(\ell)}-\boldsymbol{\epsilon})\big\|_{2}^{2}\,\Big]\)$ 式中时间步 \(\tau \sim \mathcal{U}[0,1]\),插值轨迹为 \(\mathbf{x}_\tau^{(\ell)} = (1-\tau)\boldsymbol{\epsilon} + \tau \mathbf{x}^{(\ell)}\)。这种强制截断条件迫使排在前面的少量 Token 必须承载低频宏观骨架,而靠后的 Token 则专职补偿高频残差细节。
2. 粒度块自回归建模:在离散 Token 空间高效学习由粗到精的细化轨迹
如果在原始连续时序空间直接实现链式粒度分解 \(\log p_\theta(\mathbf{x}) = \sum_{\ell=1}^L \log p_\theta(\mathbf{x}^{(\ell)} \mid \mathbf{x}^{(<\ell)})\),模型必须以多轮连续全长历史轨迹为条件,不仅训练极其发散脆弱,推断时也无法凭空获取中间粗糙轨迹。TimeTok 将该多级条件生成任务完整迁移到离散 Token 空间中,利用 VAR(Visual Autoregressive)风格的 Transformer 实现块级自回归转移。
在分词器训练完成并冻结后,全局联合对数似然按粒度块精确因式分解为: $\(\log p_\phi(\mathbf{Q}_{1:n_L}) = \sum_{\ell=1}^{L} \log p_\phi(\mathbf{Q}_{n_{\ell-1}+1:n_\ell} \mid \mathbf{Q}_{1:n_{\ell-1}})\)$ 不同于传统的逐 Token 预测,VAR Transformer 每次并行生成属于粒度级别 \(\ell\) 的整组 Token 块 \(\mathbf{Q}_{n_{\ell-1}+1:n_\ell}\)(长度为 \(2^{\ell-1} - 2^{\ell-2} = 2^{\ell-2}\),当 \(\ell=1\) 时为首个 Token),输入前缀为所有之前层级的更粗 Token \(\mathbf{Q}_{1:n_{\ell-1}}\)。整个模型通过标准交叉熵损失进行训练: $\(\mathcal{L}(\phi) = -\mathbb{E}_{\mathbf{Q}}\left[\sum_{\ell=1}^L \log p_\phi(\mathbf{Q}_{n_{\ell-1}+1:n_\ell} \mid \mathbf{Q}_{1:n_{\ell-1}})\right]\)$ 通过在紧凑的 \(M=128\) 个离散 Token 空间中定义条件转移,TimeTok 彻底摆脱了连续长序列自回归误差累积与高计算开销的宿疾,成功学习到了多分辨率时序动力学之间的跃迁先验。
3. 粒度可控推断与自动度量:支持任意粗粒度草图到目标精度的可控细化
在实际使用时,用户输入的条件序列往往没有先验的粒度标签(例如一段采样频率未知的手环心率数据或任意绘制的折线图)。TimeTok 建立了一套自动粒度推断与按需条件生成的闭环流程。
针对输入序列 \(\mathbf{x}_{\mathrm{in}}\),模型首先通过编码器将其映射为完整的离散 Token \(\mathbf{Q}\),随后分别使用前 \(n_\ell\)(\(\ell \in \{1,\dots,8\}\))个 Token 经流匹配解码器重构出 8 个不同级别的时序,并计算输入序列与各级重构样本之间的 \(L_2\) 距离。作者提出基于偏差-方差权衡的“最大相对改善”准则,选择重构误差下降斜率最陡峭的层级作为推断出的源粒度 \(i\)。随后截取前缀 \(\mathbf{Q}_{1:n_i}\) 作为起始条件输入 VAR Transformer,自回归逐级采样后续 Token 块至目标级别 \(j\)(\(j > i\)): $\(\hat{\mathbf{Q}}_{n_{\ell-1}+1:n_\ell} \sim p_\phi(\cdot \mid \mathbf{Q}_{1:n_i}, \hat{\mathbf{Q}}_{n_i+1:n_{\ell-1}}), \quad \ell = i+1, \dots, j\)$ 最终将拼接完成的序列 \(\mathbf{Q}_{1:n_i} \oplus \hat{\mathbf{Q}}_{n_i+1:n_j}\) 输入条件流匹配解码器,一步积分生成目标粒度时序 \(\hat{\mathbf{x}}^{(j)}\)。对于完全无条件的生成,仅需将前缀设为特殊 [BOS] Token 即可按需生成任意层级 \(j\);若 \(j=L\),则自然回退到标准时序生成。
损失函数 / 训练策略¶
TimeTok 采用解耦的两阶段训练流水线: - 阶段一(分词器预训练):联合优化 Transformer 编码器、FSQ 量化模块和条件流匹配解码器。在每个 batch 中,对输入样本 \(\mathbf{x}\) 随机均匀采样粒度层级 \(\ell \in \{1,\dots,L\}\),通过高斯核算子生成对应平滑目标 \(\mathbf{x}^{(\ell)}\),并以截断的前 \(n_\ell\) 个离散 Token 为条件优化流匹配损失 \(\mathcal{L}_{\mathrm{CTF}}(\theta)\)。优化器采用 AdamW,学习率为 \(1\times 10^{-4}\),配合余弦退火调度。 - 阶段二(VAR Transformer 训练):冻结第一阶段的分词器,离线提取全量训练集的离散 Token \(\mathbf{Q} \in \mathbb{R}^{M \times 6}\)。利用多层因果掩码 Transformer,以粒度块为单位计算分类交叉熵损失 \(\mathcal{L}(\phi)\)。在类别条件生成任务中,通过 AdaLN(自适应层归一化)注入类别向量。
实验关键数据¶
主实验¶
在标准无条件生成设置下,评估指标包含衡量合成数据保真度分布距离的 FID,以及在“合成训练-真实测试”(TSTR)协议下的下游分类准确率/F1 或预测均方误差(MSE)。
| 数据集 | 任务类型 | 指标 | TimeTok(本文) | ImagenTime (Prev. SOTA) | TOTEM | DiffusionTS | TimeVQVAE | TimeGAN |
|---|---|---|---|---|---|---|---|---|
| ECG5000 | 分类 (Len=140) | FID ↓ | 0.004±0.001 | 0.020±0.010 | 0.022±0.006 | 0.041±0.009 | 0.033±0.011 | 0.034±0.002 |
| ECG5000 | 分类 (Len=140) | ACC ↑ | 0.948±0.006 | 0.940±0.007 | 0.923±0.004 | 0.896±0.015 | 0.925±0.004 | 0.815±0.042 |
| ECG5000 | 分类 (Len=140) | F1 ↑ | 0.564±0.047 | 0.477±0.104 | 0.379±0.001 | 0.552±0.028 | 0.380±0.001 | 0.348±0.018 |
| ItalyPowerDemand | 分类 (Len=24) | FID ↓ | 0.007±0.001 | 0.043±0.006 | 0.016±0.004 | 0.023±0.005 | 0.060±0.011 | 0.026±0.008 |
| ItalyPowerDemand | 分类 (Len=24) | ACC ↑ | 0.982±0.000 | 0.978±0.002 | 0.979±0.007 | 0.979±0.003 | 0.979±0.003 | 0.958±0.003 |
| Nasdaq | 预测 (Len=244) | FID ↓ | 0.091±0.017 | 0.142±0.032 | 0.164±0.008 | 0.208±0.015 | 0.136±0.015 | 0.316±0.050 |
| Nasdaq | 预测 (Len=244) | MSE ↓ | 0.045±0.001 | 0.046±0.000 | 0.046±0.001 | 0.056±0.001 | 0.048±0.001 | 0.061±0.001 |
| ETTh1 | 预测 (Len=144) | FID ↓ | 0.070±0.006 | 0.074±0.007 | 0.102±0.015 | 0.083±0.011 | 0.107±0.009 | 1.068±0.243 |
| ETTh1 | 预测 (Len=144) | MSE ↓ | 0.103±0.000 | 0.099±0.000 | 0.102±0.001 | 0.101±0.001 | 0.102±0.001 | 0.104±0.001 |
在粒度可控生成(GC-TSG)的条件细化任务中,评估从粗输入 \(i\) 生成精细序列 \(j\) 的多样性与准确性(\(\text{CRPS}_{\text{sum}}\))以及粗粒度重构一致性(C-Cons,越低越好):
| 数据集 | 跨粒度评测 | 指标 | TimeTok(本文) | TimeGAN | TimeVQVAE | TOTEM | DiffusionTS | RNN (PF) |
|---|---|---|---|---|---|---|---|---|
| ECG5000 | All-Pairs Avg (\(i \to j\)) | \(\text{CRPS}_{\text{sum}}\) ↓ | 1.587±0.867 | 1.737±0.737 | 3.693±0.858 | 2.639±1.286 | 2.672±1.551 | 3.797±1.067 |
| ECG5000 | All-Pairs Avg (\(i \to j\)) | C-Cons (RMSE) ↓ | 0.010±0.006 | 0.011±0.005 | 0.044±0.013 | 0.035±0.019 | 0.031±0.019 | 0.034±0.011 |
| Nasdaq | All-Pairs Avg (\(i \to j\)) | \(\text{CRPS}_{\text{sum}}\) ↓ | 15.87±12.48 | 39.11±22.14 | 35.32±34.30 | 35.97±22.54 | 101.5±63.26 | 48.20±22.14 |
| Nasdaq | All-Pairs Avg (\(i \to j\)) | C-Cons (RMSE) ↓ | 0.096±0.090 | 0.196±0.105 | 0.282±0.258 | 0.294±0.247 | 0.771±0.538 | 0.370±0.215 |
消融实验¶
表 A:Token 隐空间分层建模 vs 原始时序空间自回归(AR Transformer)
| 配置 / 对比项 | ECG5000 C2F (\(1\to 8\)) \(\text{CRPS}_{\text{sum}}\) ↓ | ECG5000 C-Cons ↓ | Nasdaq C2F (\(1\to 8\)) \(\text{CRPS}_{\text{sum}}\) ↓ | Nasdaq C-Cons ↓ | ECG5000 L8 无条件 FID ↓ |
|---|---|---|---|---|---|
| 原始时序空间 AR Transformer | 4.827±1.768 | 0.027±0.014 | 32.57±25.82 | 0.160±0.136 | 3.938±0.921 |
| TimeTok(离散 Token 空间) | 3.042±0.900 | 0.011±0.007 | 17.72±12.63 | 0.089±0.085 | 0.006±0.001 |
表 B:跨信息缩减算子鲁棒性消融(在不同 \(\mathcal{R}_\ell\) 测试集上的 GC-TSG \(\text{CRPS}_{\text{sum}}\) 平均值)
| 缩减算子类型 | TimeTok (ECG5000) | TimeGAN (ECG5000) | TimeVQVAE (ECG5000) | TimeTok (Nasdaq) | TimeGAN (Nasdaq) | TimeVQVAE (Nasdaq) |
|---|---|---|---|---|---|---|
| 小波变换 (Wavelet) | 2.354±0.916 | 3.084±1.111 | 6.475±0.952 | 17.29±13.05 | 39.80±22.00 | 35.68±34.24 |
| 移动平均 (Moving Avg) | 2.080±0.905 | 2.702±1.199 | 3.884±0.852 | 17.13±12.91 | 39.66±21.99 | 35.75±34.99 |
| 均匀降采样 (Downsample) | 2.126±0.915 | 2.686±1.126 | 3.496±0.998 | 16.50±12.55 | 39.51±22.15 | 34.63±34.14 |
| 高斯平滑 (Gaussian, 训练源) | 1.587±0.867 | 1.737±0.737 | 3.693±0.858 | 15.87±12.48 | 39.11±22.14 | 35.32±34.30 |
关键发现¶
- 离散 Token 隐空间的结构性优势:消融实验清晰证明,直接在原始连续时序上拼接 8 级序列并用 AR Transformer 自回归建模时,不仅条件细化误差显著上升,无条件生成的 FID 更是恶化了两个数量级(从 0.006 骤降至 3.938),证明了离散多尺度 Token 空间对于平抑误差累积和稳定分布学习的关键作用。
- 指数分配的极高压缩效率:消融研究发现,将 Token 数量按 \(2^{\ell-1}\) 指数分配(首级仅用 1 个 Token,总计 128 个)与均匀分配(每级 16 个)相比,在每一层级的训练与验证重构损失上轨迹几乎完全重合,证明时序的宏观骨架只需极小的信息容量即可充分表达。
- 非特定算子的泛化稳健性:尽管 TimeTok 训练期间仅以高斯核平滑作为信息缩减算子,但在面对小波降采样、滑动平均及跨步下采样等完全未见的粗化数据时,仍然显著优于现有基线,展现出强大的输入鲁棒性。
- 跨粒度弥合现实下游鸿沟:在利用手环低分辨率心电(经降采样)输入医院高精度分类器时,分类准确率从基准的 0.959 暴跌至 0.314;而经 TimeTok 细化生成后,分类准确率强劲回升至 0.918,验证了其在解决现实硬件采样差异上的重大实用价值。
亮点与洞察¶
- 将 Token 预算物理实例化为生成粒度:不同于图像领域将多尺度 Token 仅作为中间生成脚手架的做法,TimeTok 巧妙利用条件流匹配将解码预算赋予了明确的时间平滑物理语义,实现了真正的“按需指定粒度输出”。
- 单模型统摄全生成光谱:通过优雅的层级因式分解,无条件生成(从 [BOS] 开始)、标准最高分辨率生成、指定粗分辨率生成以及任意粗粒度草图的细化合成被统一至单一网络参数下,无需为每对粒度转换训练独立模型。
- 扩展至基础分词器的泛化潜力:结合去趋势波动分析(DFA)标度指数对时序波动度进行绝对量化与自动分级,TimeTok 在大规模异构数据集 UTSD 上展现了跨领域的预训练表征迁移能力,为时序大模型的通用分词器设计提供了全新范式。
局限与展望¶
- 算子形式假设与局部边界伪影:当前显式粒度构建主要依赖高斯平滑等对称平滑算子,在面对存在非平稳突变、尖峰脉冲或重尾噪声的极端金融数据时,粗粒度抽象可能抹除具有因果先验的关键断点。
- 扩展至高维多变量时序的通道协同:目前实验主要验证单变量及独立通道时序,在数十至数百个传感器强耦合的多变量时序系统中,各变量间的时间粒度与动态时滞差异将显著增加分词与块自回归的建模复杂度。
- 推断速度优化空间:由于采用了两阶段流程(VAR 逐块采样 + 流匹配 ODE 积分求解),虽然比连续时序扩散模型更快,但相比一次性前传的单步 GAN 仍存在微秒级高频量化交易部署的延迟劣势。
相关工作与启发¶
- vs TimeGAN / Diffusion-TS / ImagenTime: 传统时序生成方法只能针对单一固定的数据采样频率采样,无法直接输入低分辨率序列并受控生成高分辨率动态;TimeTok 通过分层离散 Token 首次将时间粒度定义为用户交互式的生成控制变量。
- vs TOTEM / WaveToken / TimeVQVAE: 现有离散时序表征学习的 Token 顺序缺乏层级语义,序列长度在推断期不可调节;TimeTok 强制前缀具有单调细化的粒度语义,使 Token 截断长度与物理时序平滑度严格一一映射。
- vs 计算机视觉中的 VAR / FlexTok: VAR 和 FlexTok 探索了图像生成中的尺度与 Token 预算控制,但其中间层级主要用于辅助最高分辨率的图像生成;TimeTok 则明确将中间各级粒度视为具备独立物理与业务含义的真实时序观测,并赋予模型在任意跨粒度输入输出对之间条件推演的能力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出粒度可控时间序列生成范式(GC-TSG),并以分层离散 Token 与流匹配实现了优雅统一。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖标准生成、多级无条件生成、条件细化、跨算子泛化、下游分类弥合及基础分词器迁移等完备实验。
- 写作质量: ⭐⭐⭐⭐⭐ 数学建模严密,问题提出与现实痛点紧密结合,动机与机制阐述非常清晰。
- 价值: ⭐⭐⭐⭐⭐ 对高低频传感器数据对齐、时序基础大模型 Tokenizer 设计以及手绘草图生成等实际应用均具重要参考意义。