Spectral Transformer Neural Processes¶

会议: NeurIPS 2026
arXiv: 2605.09498
OpenReview: https://openreview.net/forum?id=GNyLIJGdwZ
论文: https://arxiv.org/abs/2605.09498
领域: 其他
关键词: 神经过程, 谱变换器, 周期性建模, 谱混合核, 元学习

一句话总结¶

本文提出谱变换器神经过程（STNP），通过谱聚合器从上下文观测中动态推断连续谱混合模型并采样任务自适应谱特征，为变换器神经过程注入隐式谱混合核归纳偏置，显著提升周期性与拟周期性数据的外推与预测能力。

研究背景与动机¶

神经过程（Neural Processes, NPs）将上下文数据集映射为条件随机过程，能够以极高的数据效率完成小样本函数推断并给出可靠的预测不确定性，在时间序列预测、空间插值和图像修复等领域应用广泛。然而，现实世界的物理与自然信号往往蕴含着深层的平移等变性、严苛的周期性以及由于振幅、相位漂移引起的拟周期性（quasi-periodicity）。当面对强周期或拟周期结构时，现有的神经过程模型预测性能往往急剧下滑，甚至在分布外（OOD）区域退化为平庸的均值预测。

现有改进大多局限于平移等变性，例如 ConvCNP 引入离散网格卷积，TETNP 在注意力计算中显式编码相对坐标偏移 \(\Delta x\)。然而，单纯的平移等变并不足以捕获周期复现模式。其核心瓶颈在于表征空间的几何结构：在标准变换器神经过程（TNP）中，目标到上下文的注意力机制本质上是在隐空间中进行核回归，而模型前级采用的浅层 ReLU-MLP 嵌入映射属于连续分段线性函数，在结构上完全缺失周期性先验。这导致在欧氏空间中距离遥远但在周期相位上紧密对齐的观测点，难以在注意力隐空间中建立有效关联。虽然傅里叶分析网络（FAN）或固定随机傅里叶特征（RFF）引入了正弦函数，但其频率基底在训练后即被固定，无法在元学习场景下自适应推断不同任务剧烈变化的基频、带宽与相位。

解决该问题的关键切入点在于利用 Bochner 定理——平稳正定核与非负谱测度一一对应，表明从上下文点集中提取频域能量分布是识别未知随机过程特性的数学捷径。核心 idea：通过谱聚合器从非规则上下文观测中估计经验离散谱，利用一维卷积网络进行局部谱几何感知与连续高斯混合压缩，并重参数化采样任务自适应谱特征拼接入时域嵌入，以隐式谱混合核先验引导注意力机制直接关联欧氏远距但相位对齐的观测点。

方法详解¶

整体框架¶

谱变换器神经过程（STNP）保留了标准 TNP 的掩码自注意力架构，核心创新在于构造了一个与输入上下文动态耦合的谱嵌入分支（Spectral Branch）。该分支包含四个核心阶段：经验离散谱估计、卷积潜变量谱分解、概率谱压缩与高斯混合建模、以及重参数化采样与特征拼接。其整体处理流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["非规则上下文集合 D_C<br/>输入坐标与中心化响应值"] --> B["经验离散谱估计<br/>固定频网正交基底投影得到离散能量"]
    B --> C["卷积潜变量谱分解<br/>1D CNN感知谱峰几何并输出软归属概率"]
    C --> D["概率谱压缩与混合建模<br/>加权矩匹配推断连续高斯混合参数"]
    D --> E["重参数化特征采样与时频拼接<br/>采样任务自适应频率并与MLP嵌入合并"]
    E --> F["TNP 掩码自注意力主干网络<br/>多头自注意力计算目标与上下文关联"]
    F --> G["高斯输出预测头<br/>输出查询位置均值与对角协方差"]

关键设计¶

1. 经验离散谱估计：非规则上下文点的频域正交投影

标准快速傅里叶变换（FFT）强依赖于规则均匀网格，而在元学习与神经过程设定中，上下文点集在输入空间往往是稀疏且非规则随机分布的。为了从不规则观测中提取初始频域信号，模型设定了一个包含 \(K\) 个预设网格频率的固定基底序列 \(\{\tilde{\bm{\omega}}_k\}_{k=1}^K \subset \mathbb{R}^{d_p}\)。在输入标量响应时，首先减去上下文响应均值完成零均值中心化 \(y_i^{(s)} = y_i - \bar{y}\)，随后将中心化响应投影到每个网格频率的正弦与余弦正交基底上：

\[a_k = \frac{1}{M}\sum_{i=1}^M y_i^{(s)}\cos(\tilde{\bm{\omega}}_k^\top \mathbf{x}_i^{\mathcal{P}}), \qquad b_k = \frac{1}{M}\sum_{i=1}^M y_i^{(s)}\sin(\tilde{\bm{\omega}}_k^\top \mathbf{x}_i^{\mathcal{P}}), \qquad E_k = a_k^2 + b_k^2 + \varepsilon\]

其中 \(\varepsilon > 0\) 为数值稳定常数。通过将能量归一化为概率分布 \(p_k = E_k / \sum_{j=1}^K E_j\)，上下文集合被转化为频率网格上的经验离散测度 \(\hat{\nu}_{\mathcal{D}_C} = \sum_{k=1}^K p_k \delta_{\tilde{\bm{\omega}}_k}\)。该投影步骤摆脱了均匀采样的束缚，能够在任意点集分布下稳健捕捉上下文的主导频段分布。

2. 卷积潜变量谱分解：利用局部谱几何连续划分混合成分

直接使用离散经验分布作为输入特征存在明显缺陷：它维度极高（\(K\) 维）、能量呈尖锐的离散脉冲状，且频率分辨率受限于网格划分步长，对上下文微小扰动极其敏感。为了将经验谱转化为连续紧凑的谱混合表征，STNP 引入潜变量 \(Z \in \{1, \dots, Q\}\)，指示每个离散频率所属的谱成分。模型为每个网格频率构造一个特征向量：

\[\mathbf{S}_k = \left[\log E_k, \; \frac{a_k}{\sqrt{E_k}}, \; \frac{b_k}{\sqrt{E_k}}, \; \frac{\tilde{\bm{\omega}}_k}{\omega_{\max}}\right] \in \mathbb{R}^{3+d_p}\]

该特征同时编码了频域能量对数、归一化复数相位方向以及规范化频率坐标。随后，序列 \(\{\mathbf{S}_k\}_{k=1}^K\) 被送入沿频率轴滑动的一维轻量级卷积网络 \(h_\phi\)。相较于独立处理各频率的逐点全连接层，一维卷积引入了强烈的归纳偏置：它利用局部谱峰形状、谱线宽度及相邻频率的连续性来预测分类对数似然 \(\ell_{qk}\)，并通过 Softmax 产生软归属责任度（responsibilities）\(r_{qk} = \mathbb{P}_\phi(Z=q \mid \Omega_{\mathcal{D}_C} = \tilde{\bm{\omega}}_k)\)。

3. 概率谱压缩与混合建模：加权矩匹配推断连续高斯谱参数

在获得各离散频率对 \(Q\) 个成分的归属度后，系统通过全概率公式将离散高维能量压缩为低维参数化连续高斯混合模型。第 \(q\) 个成分的先验权重由边缘概率给出：\(w_q = \sum_{k=1}^K r_{qk} p_k\)。进而，每个谱成分的中心频率向量 \(\bm{\mu}_q\) 与频域协方差矩阵 \(\mathbf{\Sigma}_q\) 通过后验条件期望与方差的加权矩匹配显式计算：

\[\bm{\mu}_q = \frac{\sum_{k=1}^K r_{qk} p_k \tilde{\bm{\omega}}_k}{w_q}, \qquad \mathbf{\Sigma}_q = \frac{\sum_{k=1}^K r_{qk} p_k (\tilde{\bm{\omega}}_k - \bm{\mu}_q)(\tilde{\bm{\omega}}_k - \bm{\mu}_q)^\top}{w_q}\]

在各向同性假设下，协方差矩阵可进一步简化为标量方差 \(\sigma_q^2 = \frac{1}{d_p}\mathrm{tr}(\mathbf{\Sigma}_q)\)。若启用相位估计，模型通过复数系数的加权环形均值（circular mean）解析计算各成分相位偏移 \(\phi_q\)。至此，高维离散经验谱被高度浓缩为一组可微连续的高斯混合谱参数 \(\theta_{\mathcal{D}_C} = \{(w_q, \bm{\mu}_q, \mathbf{\Sigma}_q, \phi_q)\}_{q=1}^Q\)。

4. 重参数化特征采样与时频拼接：隐式诱导任务自适应谱混合核

为了将推断出的谱先验无缝注入注意力机制，STNP 利用重参数化技巧从每个高斯成分中可微地抽取 \(D_0\) 个频率向量 \(\bm{\omega}_{q,d} = \bm{\mu}_q + \mathbf{L}_q \bm{\epsilon}_{q,d}\)（其中 \(\mathbf{L}_q\mathbf{L}_q^\top = \mathbf{\Sigma}_q, \bm{\epsilon}_{q,d} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\)）。针对任意输入坐标 \(\mathbf{x}\)，构造加权谱随机特征映射：

\[\phi_S(\mathbf{x}) = \bigoplus_{q=1}^Q \bigoplus_{d=1}^{D_0} \sqrt{\frac{w_q}{D_0}} \begin{bmatrix} \cos(\bm{\omega}_{q,d}^\top \mathbf{x}^{\mathcal{P}} - \phi_q) \\ \sin(\bm{\omega}_{q,d}^\top \mathbf{x}^{\mathcal{P}} - \phi_q) \end{bmatrix} \in \mathbb{R}^{2QD_0}\]

随后将 \(\phi_S(\mathbf{x})\) 与非谱时域 MLP 嵌入 \(\phi_{\text{MLP}}(\mathbf{x}, \mathbf{y})\) 拼接，线性投影至模型隐藏层维度 \(d_{\text{model}}\)。在理论性质上，作者严格证明了该谱特征在平移变换下具有正交旋转等变性 \(\phi_S(\mathbf{x}+\bm{\Delta}) = \rho_{\bm{\Delta}} \phi_S(\mathbf{x})\)，其诱导的内积具有平移不变性；在频率采样期望下，该内积精确等于高斯过程中的谱混合核（Spectral Mixture Kernel, SM kernel）：

\[k_{\theta_{\mathcal{D}_C}}(\bm{\tau}) = \mathbb{E}[\phi_S(\mathbf{x})^\top \phi_S(\mathbf{x}') \mid \theta_{\mathcal{D}_C}] = \sum_{q=1}^Q w_q \exp\left(-\frac{1}{2}\bm{\tau}^\top \mathbf{\Sigma}_q \bm{\tau}\right) \cos(\bm{\mu}_q^\top \bm{\tau})\]

这使得下游 TNP 的 Query-Key 点积注意力能够在隐空间中自动复现多频率平稳及拟周期协方差几何，无需显式修改注意力计算内核。

损失函数 / 训练策略¶

STNP 采用标准端到端情景式（episodic）元学习目标进行优化。对于概率推断任务（合成回归、图像补全、交通流缺失插补），以最小化目标点负对数似然（NLL）为训练目标：

\[\mathcal{L}_{\text{TNP}}(\theta) = -\mathbb{E}_{\mathcal{D}} \left[ \sum_{i=M+1}^N \log \mathcal{N}\left(\mathbf{y}_i; \bm{\mu}_i, \mathrm{diag}(\bm{\sigma}_i^2)\right) \right]\]

对于长时时间序列块预测基准（如 Electricity, Weather 等），模型采用均方误差（\(L^2\) 损失）进行确定性点预测训练。由于谱参数矩匹配、重参数化采样以及多头自注意力全程可微，梯度可直接穿透谱特征反向传播至卷积责任网络 \(h_\phi\)，实现无缝联合端到端优化。

实验关键数据¶

主实验¶

论文在合成一维回归（涵盖 RBF、Matérn、锯齿波 Sawtooth 以及周期核 Periodic）、真实图像补全（DTD 纹理数据集）、多维时间序列预测（6 大公开基准数据集以及英国 Chichester 港气象数据）和交通流插补（California Traffic Flow）上全面评估了 STNP。

表 1：合成 1D 回归任务目标点对数似然对比（5 次随机种子均值与标准差）

任务	NP	CNP	ANP	BNP	ConvCNP	SConvCNP	TNP	TETNP	本文 (STNP)	优势体现
RBF	0.27±0.01	0.26±0.02	0.81±0.00	0.38±0.02	1.31±0.01	1.37±0.01	1.39±0.00	1.39±0.01	1.41±0.01	平稳核微幅占优
Matérn	0.11±0.02	0.09±0.01	0.64±0.00	0.21±0.03	0.97±0.03	1.02±0.02	1.03±0.00	1.04±0.01	1.04±0.01	保持非光滑稳健性
Sawtooth (锯齿波)	-0.16±0.01	-0.16±0.01	1.04±0.01	-0.12±0.02	1.94±0.01	2.50±0.02	-0.16±0.01	2.70±0.03	2.92±0.01	大幅领先基线
Periodic (周期核)	-0.36±0.03	-1.10±0.01	-0.19±0.01	-0.25±0.02	-0.01±0.05	0.44±0.02	-0.35±0.01	0.20±0.02	1.12±0.02	相比TETNP提升 +0.92

在强周期回归任务中，原始 TNP 遭遇严重欠拟合（-0.35），平移等变模型 TETNP 仅达 0.20，而 STNP 达到 1.12，展现出强大的频域外推精度。

表 2：真实长时时间序列预测基准表现（输入窗口 L 与预测跨度 T；指标为 MAE / MSE）

数据集	指标	ANP	ConvCNP	SConvCNP	TNP	TETNP	Autoformer	Informer	本文 (STNP)	相对 TNP 降错幅度
Electricity	MAE / MSE	0.364 / 0.286	0.360 / 0.287	0.364 / 0.284	0.830 / 1.012	0.367 / 0.283	0.317 / 0.201	0.368 / 0.274	0.281 / 0.179	MAE -66.1% / MSE -82.3%
ETTh1	MAE / MSE	0.820 / 1.182	0.837 / 1.139	0.827 / 1.105	1.106 / 0.800	0.639 / 0.723	0.459 / 0.449	0.713 / 0.865	0.487 / 0.539	MAE -56.0% / MSE -32.6%
Exchange Rate	MAE / MSE	0.840 / 0.991	0.835 / 1.083	0.846 / 1.048	1.443 / 3.036	0.783 / 0.898	0.323 / 0.197	0.752 / 0.847	0.208 / 0.087	MAE -85.6% / MSE -97.1%
National Illness	MAE / MSE	1.395 / 3.885	1.272 / 3.955	1.281 / 3.733	1.827 / 6.593	1.528 / 5.308	1.287 / 3.483	1.677 / 5.764	1.040 / 3.080	MAE -43.1% / MSE -53.3%
Traffic	MAE / MSE	0.372 / 0.670	0.370 / 0.690	0.332 / 0.618	0.800 / 1.462	0.328 / 0.627	0.388 / 0.613	0.391 / 0.719	0.318 / 0.582	MAE -60.3% / MSE -60.2%
Weather	MAE / MSE	0.516 / 0.518	0.510 / 0.509	0.525 / 0.593	0.610 / 0.641	0.257 / 0.202	0.336 / 0.266	0.384 / 0.300	0.227 / 0.185	MAE -62.8% / MSE -71.1%

表 3：图像补全（DTD）与交通流插补（California Traffic Flow）评估

评测任务	指标	CNP	AttCNP	ConvCNP	SConvCNP	TNP	TETNP	本文 (STNP)
DTD 图像补全	Log-Likelihood ↑	0.67±0.01	1.39±0.02	1.48±0.00	1.50±0.02	1.39±0.05	OOM (显存溢出)	1.51±0.01
DTD 图像补全	PSNR ↑ (dB)	18.7±0.31	22.8±0.18	23.4±0.14	23.6±0.16	22.9±0.11	OOM	24.0±0.15
DTD 图像补全	SSIM ↑	0.35±0.05	0.56±0.02	0.61±0.01	0.62±0.01	0.57±0.01	OOM	0.64±0.01
加州交通流插补	Log-Likelihood ↑	1.73±0.10	1.80±0.01	1.98±0.02	2.05±0.02	1.93±0.06	1.72±0.02	2.11±0.01
加州交通流插补	RMSE ↓	0.05±0.00	0.05±0.00	0.04±0.00	0.04±0.00	0.04±0.00	0.05±0.00	0.03±0.01

消融实验¶

论文通过针对性消融验证了嵌入参数化方式与责任网络架构设计的必要性（如表 6 所示）。

表 4：模块消融实验（周期 GP 目标对数似然与 ETTh1 预测误差）

消融类别	变体配置	周期 GP (\(m_{\min}=10\))	周期 GP (\(m_{\min}=15\))	周期 GP (\(m_{\min}=20\))	ETTh1 (MAE)	ETTh1 (MSE)	设计结论
完整模型	STNP (ours)	0.63	1.02	1.14	0.487	0.539	表现最优
嵌入参数化	固定正弦波 (FAN式)	-0.36	-0.35	-0.35	0.512	0.592	静态频率无法适应跨任务频率漂移
嵌入参数化	原始离散谱直接嵌入 \(\phi_{\text{disc}}\)	0.10	0.21	0.29	0.513	0.595	离散尖锐谱缺乏连续泛化能力
嵌入参数化	经验离散谱采样 \(\phi_{\text{rff}}\)	0.46	0.60	0.71	0.513	0.593	缺乏连续高斯混合压缩机制
责任网络	前馈全连接网络 (FFN)	0.05	0.67	0.81	0.495	0.541	忽略频轴局部几何，极度稀疏时大幅退化
责任网络	1D 卷积网络 (CNN)	0.63	1.02	1.14	0.487	0.539	局部几何感知能力是高精度关键

关键发现¶

动态谱估计优于静态傅里叶嵌入：静态正弦基底（FAN 式嵌入）在不同周期任务间遭遇严重性能崩溃（对数似然仅 -0.36 至 -0.35），证明元学习场景下必须由上下文实时自适应反演主频与带宽。
一维卷积对频域拓扑的感知不可或缺：若用无局部感受野的逐点 FFN 替代 CNN，当上下文点从 \(m_{\min}=20\) 骤减至极度稀疏的 \(m_{\min}=10\) 时，对数似然从 0.63 暴跌至 0.05，说明频轴局部滤波对稀疏频域分解具有极强的稳健正则作用。
外推鲁棒性与内存优势显著：相比在 2D 图像网格上因显存占用过大而 OOM 的 TETNP，STNP 保持了 \(\mathcal{O}(N^2)\) 的基础复杂度，在纹理图像补全与长期时间序列预测中不仅精度拔尖，而且具备可靠的显存可扩展性。

亮点与洞察¶

注意力机制与高斯过程谱混合核的数学统一：巧妙证明了重参数化谱特征内积在数学期望下严格退化为经典高斯过程谱混合核（Wilson & Adams, ICML 2013）。无需破坏现有 Transformer 注意力机制的底层算子，仅通过前端特征增强便隐式赋予了模型强大的非局部周期外推归纳偏置。
频域软聚类的轻量解析解设计：将高维经验谱通过一维 CNN 预测责任度，再以加权统计矩匹配解析求解混合高斯参数。全程无迭代、闭式解析、全程可微，计算开销仅为 \(\mathcal{O}(M)\) 低阶项，兼具极高效率与优雅的概率解释。

局限与展望¶

网格频率超参数敏感：预设频域网格的上下界区间及离散网格点数 \(K\) 目前仍作为先验超参数手动设定；若测试任务的真实振荡频率超出预设范围，可能产生谱能量截断或混叠。
高维输入张量积网格拓展代价：在多维输入（如复杂高维时空物理场）中，多维频域网格若采用张量积展开会导致网格点数随维度指数爆炸，未来需探索基于稀疏网格或自适应粒子采样的频域离散化方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将神经过程与连续谱混合核通过重参数化谱随机特征桥接，理论严谨完备。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖一维多类型合成函数、二维大面积纹理补全以及横跨 7 个真实时间序列基准，验证深入。
写作质量: ⭐⭐⭐⭐⭐ 数学推导层层递进，附录复杂度与测度论证明详尽清晰。
价值: ⭐⭐⭐⭐⭐ 解决了神经过程在周期与拟周期动态下长期存在的欠拟合顽疾，为科学计算与时间序列基础模型提供了极具启发性的思路。