Rethinking Time Series Tokenization from a Frequency Perspective¶

会议: NeurIPS 2026
arXiv: 2610.28997
代码: https://anonymous.4open.science/r/TimeFT-75E3/
领域: 其他
关键词: 时间序列分词, 频域分析, 奈奎斯特采样, 频谱混叠, 频谱泄漏

一句话总结¶

针对主流时序模型中 Patch 与 Phase 分词引起的频谱泄漏与混叠失真，本文从频域边界条件推导了无失真分词准则，提出无参数、即插即用的 TimeFT 分词器，在长程预测、分类与异常检测任务上取得显著提升。

研究背景与动机¶

以 PatchTST、PatchMLP 以及 PhaseFormer 为代表的时序分词（Tokenization）方法，已成为现代时间序列分析与基础模型不可或缺的基石。这些方法通常将原始的一维连续时序信号划分为重叠或不重叠的时间片段（Patch Tokens），或者在时域上按步长做下采样提取多相位子序列（Phase Tokens），随后映射到高维嵌入空间供 Transformer 或 MLP 骨干网络建模。然而，学术界长期以来主要从时域直觉设计分词范式，对于分词操作在频域中引入的畸变与信息损失却鲜有系统且严密的理论审视。

深入分析表明，现有的两大类分词操作在频域都会引起灾难性的频谱失真。具体而言，Patch 分词在时域等价于截断矩形窗加权，其在频域引入的狄利克雷核（Dirichlet kernel）具有衰减缓慢的旁瓣，会引发严重的频谱泄漏（Spectral Leakage），导致弱信号被掩盖且分辨率受限于窗长，窗外信息被完全丢弃；而 Phase 分词在时域等价于多相下采样，若原始信号频带超出下采样后的新奈奎斯特界限，高频能量将不可逆地折叠进低频区，引发混叠（Spectral Aliasing），使得趋势、周期性和季节性等关键物理模式完全失真。

这种失真的核心矛盾在于：时序模型需要紧凑的 token 序列来控制计算复杂度，但直接在时域切分或下采样必然破坏信号原本的频域连续性与完备性，导致模型在失真的表征上拟合出虚假模式。本文的切入角度是回到连续信号采样定理，推导时序分词满足可逆与无信息损失的数学边界条件。核心 idea：将频域拆分为满足奈奎斯特无混叠判据的子频带，通过频谱平移将高频成分搬移至基带后做稠密奈奎斯特采样，构建出无参数、近乎无失真且可完美逆重构的通用时序分词器 TimeFT。

方法详解¶

整体框架¶

TimeFT 的整体流程输入为多变量时序张量 $\mathbf{X} \in \mathbb{R}^{V \times N}$，输出为无混叠的时序 token $\mathbf{Z}_{\text{TimeFT}} \in \mathbb{R}^{V \times S \times (K \cdot L)}$。整体管线采用通道独立（Channel-Independent）方式避免多变量频域串扰，分为三个核心阶段：（1）频域分解：通过实数快速傅里叶变换（RFFT）将时域信号投影至正频带，并根据无混叠边界带宽切分为 $K$ 个连续子频块；（2）频谱平移：将各个高频子频块直接平移对齐至基带，使其最高频率落入低频安全区；（3）保真 token 提取：对每个平移后的频块执行逆变换（IRFFT）恢复至时域，并按理论步长执行全偏移的多相位稠密奈奎斯特采样，最终重排为供骨干网络直接处理的 token 矩阵。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["输入时序数据<br/>X ∈ R^(V × N)"] --> S1["频域分解<br/>RFFT 变换 + 边界块划分"]
    S1 --> S2["频谱平移<br/>高频子带搬移至基带"]
    S2 --> S3["保真 Token 提取<br/>IRFFT 变换 + 稠密奈奎斯特采样"]
    S3 --> OUT["无失真 Token 输出<br/>Z ∈ R^(V × S × (K·L))"]

关键设计¶

1. 频域分解：基于无混叠边界条件的子带划分 时域下采样步长为 $S$ 时，根据奈奎斯特-香农采样定理，下采样信号若要完全避免频谱混叠，原始信号的归一化最高截止频率必须严格满足 $\omega_{\max} \leq \pi / S$。换算到离散长度为 $N$ 的时序频谱索引，单个子频块的允许最大无混叠带宽上界为： $$B_N = \left\lfloor \frac{N}{2S} \right\rfloor$$ 针对长度为 $N$ 的实数输入序列，TimeFT 首先沿时间轴应用实数快速傅里叶变换（RFFT）提取 $N_f = \lfloor N/2 \rfloor + 1$ 个非负频点 $\mathbf{X}_{\text{freq}} \in \mathbb{C}^{V \times N_f}$。为了无损保留全局的多频带能量分布，算法将正频带划分为 $K = \lceil N_f / B_N \rceil$ 个连续子块，每个块大小恰好为 $B_N$（末尾不足处补零）。这种划分使得每个子块所涵盖的频率跨度天然满足后续无混叠采样的带宽约束，从根本上杜绝了任意频段在下采样时的不可逆混叠。

2. 频谱平移：将高频子带对齐至基带零频 划分后的子频块若直接进行下采样，处于高频位置的频块（如第 $k$ 块频带位于 $[k B_N, (k+1) B_N - 1]$）仍然会发生严重的高频向低频折叠。为此，必须将所有非零子频带搬移至基带低频区间 $[0, B_N - 1]$。理论上，频移操作需要乘以连续复指数因子 $e^{-j 2\pi (k B_N) b / N}$ 进行相位补偿。然而作者从理论上证明，当模型保留完整 $N$ 点网格执行逆变换并做多相采样时，该线性相位因子可被后续采样步骤隐式吸收。因此，频谱平移可大幅简化为直接张量重塑与尾部补零： $$\mathbf{X}_{\text{shift}} = \text{ZeroPad}_{B_N \to N_f}\left(\text{Reshape}\left(\mathbf{X}_{\text{freq}}, (V, K, B_N)\right)\right) \in \mathbb{C}^{V \times K \times N_f}$$ 该操作仅在每个频块的零频直流（DC）分量处舍弃由于 RFFT 实数对称性带来的微小虚部，其余所有正频系数的幅值与频带能量均被百分之百严格保留，计算开销仅为极简的张量重排。

3. 保真 Token 提取：基带时域重构与全相奈奎斯特采样 在平移到基带后，各子块频谱的能量被严格限制在 $[0, B_N - 1]$ 内，对应连续角频率满足 $|\omega| < 2\pi B_N / N \leq \pi / S$。对每个频块独立应用逆实数傅里叶变换（IRFFT），将其变换回时域： $$\mathbf{X}_{\text{time}} = \mathcal{F}_{\mathbb{R}}^{-1}\left(\mathbf{X}_{\text{shift}}\right) \in \mathbb{R}^{V \times K \times N}$$ 由于此时时域信号 $\mathbf{x}_{\text{time}}^{(k)}$ 已满足截止频率严格小于 $\pi/S$ 的严格带限条件，对其按步长 $S$ 抽样属于理想的奈奎斯特无失真采样。为了完整提取时域的所有离散观测值而不丢弃任何样本，TimeFT 采用全偏移多相位稠密抽样算子 $\mathcal{D}_S$：对每个起始偏移 $\lambda \in \{0, 1, \dots, S-1\}$ 与索引 $\ell \in \{0, 1, \dots, L-1\}$（其中 $L = \lceil N/S \rceil$），按 $[\mathcal{D}_S(\mathbf{x})]_{\lambda, \ell} = \mathbf{x}[\lambda + \ell \cdot S]$ 抽取得到尺寸为 $S \times L$ 的矩阵。最终将频块维度 $K$ 展平入特征维，生成形状为 $(V, S, K \cdot L)$ 的 token 矩阵 $\mathbf{Z}_{\text{TimeFT}}$。此过程完全可逆，能通过 sinc 频域零插值与频块逆平移近乎完美重建原始输入。

损失函数 / 训练策略¶

TimeFT 本身是一种完全确定性、无参数（Parameter-Free）的纯数据分词与特征变换算法，内部不包含任何可学习网络权重，因此无需独立的预训练步骤或额外的自监督/正则化损失函数。在接入下游模型时，下游主干网络（如 PatchTST、PhaseFormer、PatchMLP）沿用原有的下游端到端训练策略（预测任务通常采用均方误差损失 $\mathcal{L}_{\text{MSE}} = \frac{1}{H} \sum_{t=1}^H (y_t - \hat{y}_t)^2$）。其全流程计算复杂度仅为 $\mathcal{O}(VN \log N + VKN \log N + VKN)$，主流数据批次上耗时仅占每轮训练总时间的 0.28% 至 1.38%，在相同输入下支持离线预存或直接作为轻量算子嵌入数据管道。

实验关键数据¶

主实验¶

论文在长程时序预测任务中评测了包含 ETTm1、ETTm2、ETTh1、ETTh2、Weather、Electricity、Traffic 在内的 7 个权威基准数据集，固定输入长度为 320，综合评测跨越 4 个未来预测跨度 $H \in \{96, 192, 336, 720\}$ 的平均 MSE 与 MAE。TimeFT（以 PatchTST 为主干）全面领先既有时序分词基准。

数据集	指标	TimeFT (Ours)	EntroPE (2026)	TimeMosaic (2026)	PatchTST (2023)	相比 PatchTST 提升
ETTm1	MSE / MAE	0.348 / 0.373	0.369 / 0.383	0.360 / 0.377	0.372 / 0.399	-6.5% / -6.5%
ETTm2	MSE / MAE	0.255 / 0.307	0.264 / 0.320	0.256 / 0.310	0.278 / 0.332	-8.3% / -7.5%
ETTh1	MSE / MAE	0.417 / 0.423	0.424 / 0.433	0.412 / 0.423	0.503 / 0.485	-17.1% / -12.8%
ETTh2	MSE / MAE	0.358 / 0.390	0.374 / 0.401	0.363 / 0.393	0.398 / 0.427	-10.1% / -8.7%
Weather	MSE / MAE	0.232 / 0.261	0.237 / 0.264	0.228 / 0.256	0.236 / 0.271	-1.7% / -3.7%
Electricity	MSE / MAE	0.165 / 0.258	0.177 / 0.271	0.170 / 0.263	0.173 / 0.272	-4.6% / -5.1%
Traffic	MSE / MAE	0.420 / 0.290	0.444 / 0.300	0.434 / 0.287	0.428 / 0.297	-1.9% / -2.4%

在分类任务（10 个 UEA 多变量基准）上，TimeFT 取得 72.29% 平均准确率（优于 EntroPE 71.33% 和 PatchTST 71.14%）；在异常检测（5 个工业/传感器基准）上，TimeFT 取得 86.12% 平均 F1 分数（优于 EntroPE 85.38% 和 TimesNet 85.24%）。

消融实验¶

论文在长程预测任务（预测视界 $H=96$，输入长度 320）上，针对三个核心阶段进行了逐一剥离消融分析： - w/o Stage 1（频域分解）：不拆分子块直接平移，导致单一宽带在后续步骤中人为引入大面积频带折叠混叠。 - w/o Stage 2（频谱平移）：保留划分但不对齐基带，高频块在下采样中依然全盘产生混叠失真。 - w/o Stage 3（保真提取）：不进行 IRFFT 与稠密抽样，直接将各频块傅里叶复系数输入模型。

配置	ETTm1 (MSE/MAE)	ETTh1 (MSE/MAE)	Electricity (MSE/MAE)	说明
Full TimeFT	0.290 / 0.339	0.376 / 0.392	0.139 / 0.234	完整模型：无失真频域分词
w/o Stage 1	0.328 / 0.364	0.412 / 0.421	0.151 / 0.255	缺失子带分解，引发高频混叠（MSE 恶化 +8.6%~13.1%）
w/o Stage 2	0.314 / 0.352	0.398 / 0.415	0.146 / 0.249	缺失频带搬移，高频子带直接混叠（MSE 恶化 +5.0%~8.3%）
w/o Stage 3	0.375 / 0.412	0.482 / 0.485	0.178 / 0.294	缺失时域保真提取，直接使用频域系数（MSE 剧烈恶化 +28.1%~29.3%）

关键发现¶

各个处理阶段均不可或缺：消融数据显示，Stage 3（时域奈奎斯特提取）被移除后性能衰退最为严重，说明直接将频域变换结果作为 token 会严重丢失局部时域连续性特征；而缺少 Stage 1 或 Stage 2 引起的混叠失真同样导致稳定的性能回退。
近乎无损的逆重构能力：在时域逆重构误差评测中，相较于 Patch 分词（平均截断 MAE 达 0.75+）与 Phase 分词（高频混叠 MAE 达 0.60+），TimeFT 逆重构 MAE 仅为 0.079~0.144，在多个数据集上削减了超过 80% 的信息重构失真（如 Electricity 下降 85.1%、Traffic 下降 80.8%）。
即插即用泛化增益显著：将 TimeFT 作为分词前处理插件替换原有 PatchTST 和 PhaseFormer 的自带分词模块时，PatchTST 在 7 大预测基准上取得最高达 10.5% 的 MSE 相对优化（ETTm2 96 步），PhaseFormer 取得最高达 7.5% 的提升。

亮点与洞察¶

严格数学物理视角的范式纠偏：不同于过去仅凭借直觉或工程启发式探索 patch 尺度与重叠率，本文首次从信号处理与傅里叶变换的数学根基，严密揭示了 Patch 分词的“狄利克雷旁瓣泄漏/分辨率极限”与 Phase 分词的“多相混叠”。
极具工程美感的极简设计：利用频带划分结合向基带平移的几何性质，不仅完美绕开了高频在下采样中的混叠，还巧妙证明了时域网格下无需显式计算复杂的复指数相位因数，直接利用张量 Reshape 与 ZeroPad 即可近乎无损实现频移。
极小算力开销下的普遍赋能：TimeFT 不引入可学习参数，核心操作均为高效并行的 FFT/IRFFT，其额外执行时间不足单轮训练耗时的 1.4%，极易无缝迁移集成至其他时间序列架构与时序大模型中。

局限与展望¶

未在大规模时序基础模型（TSFM）上完成预训练验证：作者坦承因计算资源限制，实验仅在传统深度时序模型（PatchTST、PhaseFormer）上验证了监督学习与微调效果，未在千亿 token 级的大规模时序预训练模型（如 Chronos-2、TimeFM、Moirai）中验证预训练-微调全流程收益。
本质依赖分词架构假设：该方法专为 Token-based 现代时序架构设计，对于直接作用于原始非切片连续序列的模型（如经典 RNN、纯时域点级 MLP）无法直接挂载生效。
未来方向：探索与多尺度自适应频率划分结合的动态 TimeFT，以及将其作为预训练前置分词器注入开源开源时序基础模型进行海量数据预训练。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从频域理论严格揭示主流时序分词的根本缺陷并给出无混叠边界解法。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖预测、分类、异常检测三大任务、即插即用验证、消融实验以及直接重构保真度检验。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严密扎实，附录完整，动机清晰连贯。
价值: ⭐⭐⭐⭐⭐ 作为通用、即插即用且无参数的基础分词模块，具备广泛落地与工业界复用价值。