Paloma: Phase-Conditioned Residual Modulation for Time Series Forecasting¶
会议: NeurIPS 2026
arXiv: 2610.25392
OpenReview: https://openreview.net/forum?id=GJqifj1exB
代码: https://github.com/TSTS13/Paloma
领域: 时间序列
关键词: 时间序列预测, 周期性建模, 残差调制, 相位旋转, 振幅缩放
一句话总结¶
针对显式周期建模后残差常被简单视作无结构噪声的局限，本文提出 Paloma 框架，通过相位旋转与振幅缩放模块分别建模特征空间中的相位条件方向与幅度偏差，并可作为即插即用技术全面提升现有预测骨干。
研究背景与动机¶
周期性是真实世界时间序列中最显著且富含信息量的时序模式之一。近年来以 CycleNet 等为代表的工作探索了显式周期性建模范式（如残差周期预测 RCF），通过可学习原型学习周期分量并将序列拆解为周期项和残差项。这类方法通常直接将周期剔除后的残差交给简单的线性层或浅层 MLP 预测，其背后暗含着一个基础假设：一旦周期均值被剥离，剩余的残差序列主要由无结构的随机噪声构成。
然而，通过对真实电力与天气等数据集的深入可视化分析，这一无结构假设并不成立。即使在周期拟合极佳、均值残差接近于零的场景下，残差的一阶均值和二阶统计量（如标准差）依然呈现出强烈的周期相位依赖性——在特定相位（如波峰区域）附近残差方差显著放大。理论分析同样表明，在 MSE 损失下即便原型矩阵学到了最优相位条件均值，残差仍严格保留了原本基于相位的条件协方差结构。
从经典信号处理中相位与振幅调制的思想出发，残差实质上是带有方向与尺度异质性的相位条件信号。核心 idea：将周期剥离后的残差视为相位条件信号，通过相位旋转模块捕获特征子空间中的相位依赖几何方向偏转，结合振幅缩放模块建模随相位变化的方差幅度缩放，实现残差偏离的精细化相位-振幅联合调制。
方法详解¶
整体框架¶
Paloma 采用通道独立（Channel-Independent）的高效线性骨干架构。整体流程包含可逆实例归一化、周期相位索引构建、周期原型减除、残差的相位-振幅双路调制与特征融合预测。
给定输入序列，模型首先进行实例归一化以缓解分布漂移，并基于先验周期长度将时序步骤映射为周期相位索引。随后通过索引从可学习原型矩阵中检索相位对齐的原型序列，将其从输入中减去得到残差。残差分别送入相位旋转模块（PR）与振幅缩放模块（AS）中，分别完成基于相位的特征旋转与仿射调制。两路输出在隐空间中求和融合、经非线性变换后与原始输入的残差直连嵌入相加，最后映射到预测长度并通过逆实例归一化输出预测序列。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入序列 X"] --> Norm["可逆实例归一化 RevIN"]
Norm --> PhaseGen["相位索引构建<br/>i_l = [(t_0 mod W) + l] mod W"]
PhaseGen --> Lookup["原型与控制矩阵索引检索<br/>Q~ (原型), P~ (相位), A~ (振幅)"]
Norm --> ResidualSplit["残差提取<br/>R = X - Q~"]
Lookup --> ResidualSplit
ResidualSplit --> PR["相位旋转模块<br/>Gram-Schmidt 正交化 + 三角相位旋转"]
Lookup -->|P~ 控制旋转角| PR
ResidualSplit --> AS["振幅缩放模块<br/>相位条件仿射变换 (尺度 S + 偏置 B)"]
Lookup -->|A~ 生成仿射参数| AS
PR --> Fuse["双路调制特征融合<br/>H' = GELU(Linear(Z_phase + Z_amp))"]
AS --> Fuse
Norm --> Shortcut["输入直连投影<br/>X_e = Embedding(X)"]
Fuse --> Add["残差直连相加<br/>H' + X_e"]
Shortcut --> Add
Add --> Head["线性时序投影输出"]
Head --> RevNorm["逆实例归一化"]
RevNorm --> Out["最终预测序列 Y^"]关键设计¶
1. 基于正交基的相位旋转模块：捕获特征空间的相位几何方向变化
针对条件协方差矩阵特征向量所对应的空间主方向偏转，相位旋转模块旨在以旋转变换捕获残差随相位的几何指向差异。直接用神经网络输出角度可能导致基底退化或共线，因此模块首先通过两组线性投影将残差沿时间维度映射到两个潜在特征表示 \(\mathbf{H}_{\cos}, \mathbf{H}_{\sin} \in \mathbb{R}^{D \times N}\)，并通过 Gram-Schmidt 正交化构造正交基底： $$ \mathbf{H}{\sin}^{\perp} = \mathbf{H}} - \frac{\langle \mathbf{H{\sin}, \mathbf{H}} \rangle}{|\mathbf{H{\cos}|^{2}} \mathbf{H} $$ 随后利用可学习相位控制矩阵 \(\mathbf{P} \in \mathbb{R}^{W \times N}\) 生成受控旋转角 \(\boldsymbol{\Theta} = \pi \cdot \tanh(\operatorname{Linear}(\tilde{\mathbf{P}}))\)，并在正交子空间上施加三角旋转计算旋转特征 \(\mathbf{Z} = \cos(\boldsymbol{\Theta}) \odot \mathbf{H}_{\cos} + \sin(\boldsymbol{\Theta}) \odot \mathbf{H}_{\sin}^{\perp}\)。最终结合残差短路后经层归一化得到 \(\mathbf{Z}_{\text{phase}} = \operatorname{LayerNorm}(\operatorname{Linear}(\mathbf{Z}) + \operatorname{Linear}(\mathbf{R}))\)，稳定保留残差在各相位下的几何演化轨迹。
2. 基于仿射变换的振幅缩放模块：自适应建模相位依赖的方差幅度异质性
相位旋转主要解决方向变换，而残差条件协方差特征值所对应的波动强度与方差大小在不同相位同样具有显著异质性。振幅缩放模块引入可学习振幅控制矩阵 \(\mathbf{A} \in \mathbb{R}^{W \times N}\)，为每个相位参数化自适应缩放向量与偏置。模块先将残差映射为基础隐表示 \(\mathbf{R}_e = \operatorname{Embedding}(\mathbf{R})\)，并由相位对齐矩阵 \(\tilde{\mathbf{A}}\) 计算缩放门控 \(\mathbf{S} = \operatorname{Sigmoid}(\operatorname{Linear}(\tilde{\mathbf{A}}))\) 与平移偏置 \(\mathbf{B} = \operatorname{Linear}(\tilde{\mathbf{A}})\)： $$ \mathbf{Z}_{\text{amp}} = \operatorname{Linear}(\mathbf{S} \odot \mathbf{R}_e + \mathbf{B}) $$ 通过相位相干的仿射变换，模型能精准调节波峰或波谷处剧烈或平缓的方差起伏，与相位旋转模块形成互补的正交解耦。
3. 通用插件封装（Paloma Technique）：无缝调制任意骨干网络的输入表征
除了作为独立的轻量化线性预测器，作者进一步将相位旋转与振幅缩放解耦抽象为通用插件技术。该技术不依赖于显式剥离残差的特定结构，可直接接入 Transformer（如 iTransformer、PatchTST）、线性（如 DLinear）或频域（如 FilterNet）等已有预测架构的输入端，使缺乏相位意识的经典模型以极其低廉的额外计算成本获得捕获相位条件非平稳动态的能力。
损失函数 / 训练策略¶
模型采用基于 Adam 优化器的端到端监督训练，结合先前工作常用的加权损失函数进行优化。整体计算复杂度为 \(\mathcal{O}(N(TD + D^2 + D\tau))\)，其中 \(N\) 为通道数、\(T\) 为输入回看长度、\(\tau\) 为预测步长、\(D\) 为隐藏维度，在通道数和输入长度上均严格保持线性复杂度，在大规模多变量场景中极具计算与显存优势。
实验关键数据¶
主实验¶
在统一回看窗口 \(T=96\)、跨 4 个预测长度的平均评测下，Paloma 在电力、天气、交通、能源与 PEMS 等 12 个公开基准数据集上均展现出领先性能。
| 数据集 | 指标 | Paloma (本文) | GTR (ICLR'26) | CycleNet (NeurIPS'24) | PatchTST (ICLR'23) | DLinear (AAAI'23) |
|---|---|---|---|---|---|---|
| ETTm1 | MSE / MAE | 0.363 / 0.372 | 0.367 / 0.389 | 0.379 / 0.396 | 0.387 / 0.400 | 0.403 / 0.407 |
| ETTm2 | MSE / MAE | 0.267 / 0.308 | 0.268 / 0.315 | 0.266 / 0.314 | 0.281 / 0.326 | 0.350 / 0.401 |
| ETTh1 | MSE / MAE | 0.421 / 0.416 | 0.439 / 0.434 | 0.457 / 0.441 | 0.469 / 0.455 | 0.456 / 0.452 |
| ETTh2 | MSE / MAE | 0.361 / 0.386 | 0.372 / 0.400 | 0.388 / 0.409 | 0.387 / 0.407 | 0.559 / 0.515 |
| Electricity | MSE / MAE | 0.166 / 0.251 | 0.166 / 0.260 | 0.168 / 0.259 | 0.205 / 0.290 | 0.212 / 0.300 |
| Traffic | MSE / MAE | 0.461 / 0.260 | 0.470 / 0.280 | 0.472 / 0.301 | 0.481 / 0.300 | 0.625 / 0.383 |
| Weather | MSE / MAE | 0.231 / 0.262 | 0.239 / 0.268 | 0.243 / 0.271 | 0.259 / 0.273 | 0.265 / 0.317 |
| Solar-Energy | MSE / MAE | 0.197 / 0.234 | 0.194 / 0.245 | 0.210 / 0.261 | 0.270 / 0.307 | 0.330 / 0.401 |
| PEMS03 | MSE / MAE | 0.094 / 0.194 | 0.087 / 0.189 | 0.118 / 0.226 | 0.180 / 0.291 | 0.278 / 0.375 |
| PEMS04 | MSE / MAE | 0.085 / 0.182 | 0.087 / 0.189 | 0.119 / 0.232 | 0.195 / 0.307 | 0.295 / 0.388 |
| PEMS07 | MSE / MAE | 0.078 / 0.164 | 0.076 / 0.169 | 0.113 / 0.214 | 0.211 / 0.303 | 0.329 / 0.396 |
| PEMS08 | MSE / MAE | 0.111 / 0.194 | 0.142 / 0.222 | 0.150 / 0.246 | 0.280 / 0.321 | 0.379 / 0.416 |
消融实验¶
消融实验针对相位旋转模块（PR）与振幅缩放模块（AS）在 6 个代表性数据集上进行平均表现评估。
| 配置 | ETTm1 (MSE/MAE) | ETTh1 (MSE/MAE) | Electricity (MSE/MAE) | Weather (MSE/MAE) | Traffic (MSE/MAE) | Solar (MSE/MAE) | 说明 |
|---|---|---|---|---|---|---|---|
| Paloma (Full) | 0.363 / 0.372 | 0.421 / 0.416 | 0.166 / 0.251 | 0.231 / 0.262 | 0.461 / 0.260 | 0.197 / 0.234 | 完整模型 |
| w/o PR | 0.368 / 0.374 | 0.427 / 0.420 | 0.170 / 0.258 | 0.238 / 0.270 | 0.471 / 0.267 | 0.206 / 0.247 | 缺少特征方向调制 |
| w/o AS | 0.369 / 0.374 | 0.430 / 0.424 | 0.170 / 0.259 | 0.238 / 0.270 | 0.468 / 0.269 | 0.201 / 0.243 | 缺少方差幅度调制 |
| w/o PR, AS | 0.376 / 0.380 | 0.428 / 0.425 | 0.174 / 0.262 | 0.243 / 0.280 | 0.474 / 0.283 | 0.209 / 0.248 | 纯残差基线大幅退化 |
关键发现¶
- 双模块互补性显著：单独移除 PR 或 AS 均会导致误差明显上升，两者皆移除时退化进一步加剧，验证了二阶残差结构中方向偏转与幅度变化并存且需协同建模。
- 即插即用泛化增益突出：将 Paloma 技术作为外挂插件集成至 DLinear 时，PEMS03 上的 MSE 平均提升高达 62.57%，在 iTransformer 和 PatchTST 上亦取得 20% 以上提升，证明其解决的是各类架构普遍忽略的相位信息丢失共性问题。
- 效率优势突出：在 Weather 数据集上（\(T=96, \tau=720\)），Paloma 参数量仅 260K、MACs 仅 5.08M、显存占用 1424MB，单 epoch 仅需 12.9s，兼顾了优于 Transformer 的精度和媲美轻量级线性模型的极低开销。
亮点与洞察¶
- 严谨的理论与反事实论证：通过构造高斯、高斯混合、拉普拉斯、泊松以及粉红噪声的合成对照序列，证明单纯独立随机噪声无法重现真实世界残差的相位依赖异质性，并以数学命题确立了二阶协方差结构在周期剥离后的保真性。
- 经典信号处理启发下的几何正交建模：巧妙地将 Gram-Schmidt 正交化与三角变换结合，将相位角度控制转化为特征空间中的稳健旋转操作，避免特征退化并保证了几何可解释性。
- 表征流形的高可解释性：t-SNE 可视化证明 \(\mathbf{Z}_{\text{phase}}\) 能自发展现连续且符合周期循环的螺旋状或 U 型几何轨迹，而 \(\mathbf{Z}_{\text{amp}}\) 则捕捉到了样本群体的异构幅度分布。
局限与展望¶
- 依赖先验周期长度的准确性：模型强依赖于准确设定的周期窗口参数 \(W\)；对周期错位较为敏感（但作者指出这种敏感性亦可逆向作为探测未知周期长度的诊断信号）。
- 缺乏显式跨通道相关性建模：采用通道独立架构使得模型在通道间关联高度复杂的长序列交通场景（如 Traffic 数据集）中略逊于以通道为词元的 iTransformer。
- 对非周期序列的泛化有待扩展：当前架构以准周期假设为核心，面对纯非平稳无明显周期规律的时间序列时，相位机制的适用性仍需进一步泛化探索。
相关工作与启发¶
- vs CycleNet: CycleNet 提出了残差周期预测概念，但简单假设残差为无结构噪声并用浅层 MLP 拟合；本文证明残差仍保留相位条件高阶统计量，并通过相位旋转与幅度缩放进行了精细化建模。
- vs FilterNet / FreqCycle / FreTS: 频域方法多通过频域滤波或隐式谱重构实现频谱调整；本文则是在时域和潜在特征空间中显式解耦相位角度与振幅仿射。
- vs PhaseFormer: PhaseFormer 将相位信息直接用于 patch 词元替换；本文将相位转化为控制变量对残差及特征进行相位条件调制，适配性与轻量化程度更高。
评分¶
- 新颖性: ⭐⭐⭐⭐ [从经典信号调制切入残差二阶相位依赖建模，正交旋转设计巧妙]
- 实验充分度: ⭐⭐⭐⭐⭐ [12个数据集跨多长度对比，合成噪声反事实实验与外挂插件评测极其扎实]
- 写作质量: ⭐⭐⭐⭐⭐ [动机链条环环相扣，理论命题完备且图表排布极为直观]
- 价值: ⭐⭐⭐⭐ [兼具高精度与轻量级计算优势，即插即用技术对工业时序预测有广泛落地潜力]