FUTON: Fourier Tensor Network for Implicit Neural Representations¶

会议: NeurIPS 2026
arXiv: 2602.13414
OpenReview: https://openreview.net/forum?id=Gru6lQkUxo
领域: 其他
关键词: 隐式神经表示, 傅里叶分析, 张量网络, CP分解, 逆问题求解

一句话总结¶

FUTON摒弃了多层感知机（MLP）主干，将隐式神经表示重构为基于正交可分离基函数的广义傅里叶级数，并利用低秩CP分解参数化频域系数张量，在保证 $L^2$ 万能逼近的前提下实现随坐标维度与谱分辨率线性缩放的前向收敛与高效推理。

研究背景与动机¶

隐式神经表示（Implicit Neural Representations, INRs）或神经场（Neural Fields）已成为连续信号建模的基石，广泛应用于新视角合成、几何表面重建以及计算成像逆问题中。现有主流INR模型几乎无一例外地依赖于多层感知机（MLP）架构，并通过引入非线性周期或波形激活函数——例如SIREN中的正弦激活、高斯非线性激活以及WIRE中的复Gabor小波激活——来缓解标准ReLU网络的谱偏差（spectral bias）问题，从而提升拟合高频细节的能力。

然而，基于MLP的隐式连续表示在本质上受限于坐标黑盒映射的设计机制，导致三大根本性瓶颈：首先是训练收敛速度慢，深层权重交织与梯度传导的非线性特性使得网络需要极长时间的迭代；其次是对测量噪声缺乏内生结构先验，在反问题或弱监督场景下极易过拟合于随机高频噪声；最后是对未观测区域的泛化与外推能力较差，严重依赖于手工设计的外加正则化项。

这一困境的核心矛盾在于：连续物理信号在频域内天然具备强关联性与本征低维谱结构，但深层MLP盲目地学习任意高阶非线性映射，缺乏与信号先验相契合的紧致归纳偏置。本文切入的角度是回归经典调和分析与张量代数，彻底抛弃深层MLP，将信号直接显式展开为广义傅里叶级数，并利用张量网络对高维系数张量进行低秩分解。核心 idea：将连续坐标信号表示为广义傅里叶级数，利用规范多元多项式（CP）低秩张量分解参数化正交谱系数，借助可分离基的张量收缩实现线性时间复杂度与内生低秩平滑正则。

方法详解¶

整体框架¶

FUTON的核心流程是将连续输入坐标 $\boldsymbol{x} \in [0, 1]^C$ 映射为目标信号 $\boldsymbol{s}(\boldsymbol{x}) \in \mathbb{R}^D$。系统首先在每个坐标轴上独立计算一维正交基函数向量，随后将这些基向量分别投影到对应的因子矩阵中；接着，在低维隐空间内通过阿达马积（Hadamard product）进行跨维度的特征乘法融合；最后，通过一个紧凑的线性输出因子矩阵重构出多通道信号值。整个计算过程仅包含矩阵-向量乘法与逐元素向量乘积，完全规避了传统张量内积的指数级计算爆炸。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续输入坐标 x ∈ [0, 1]^C"] --> B["1. 正交可分离基函数映射<br/>各维度独立计算余弦基向量 φ_c(x_c)"]
    B --> C["2. 谱系数低秩CP参数化<br/>因子矩阵模式投影 U^(c)T φ_c(x_c)"]
    C --> D["3. 紧凑张量网络收缩<br/>隐向量跨维度阿达马积 ⊙ 与输出矩阵 V 投影"]
    D --> E["4. 线性复杂度与万能逼近<br/>重构信号 s_futon(x) = V g(x)"]

关键设计¶

1. 正交可分离基函数映射：将高维连续空间解耦为一维正交谱基

针对高维坐标连续建模难以及传统傅里叶位置编码参数冗余的问题，FUTON基于希尔伯特空间 $L^2([0, 1]^C)$ 理论构建可分离正交基（Orthonormal Basis, ONB）。具体选取经典余弦正交基： $$ \varphi_0(x) = 1, \quad \varphi_k(x) = \sqrt{2}\cos(k\pi x) \quad (k \ge 1) $$ 对于 $C$ 维坐标 $\boldsymbol{x} = (x_1, \dots, x_C)$，多维正交基函数定义为其单变量正交基的张量积： $$ \phi_{\boldsymbol{k}}(\boldsymbol{x}) = \prod_{c=1}^C \varphi_{k_c}(x_c) $$ 通过富比尼定理与正交完备性准则，多维基集合 $\{\phi_{\boldsymbol{k}}\}_{\boldsymbol{k}\in\mathbb{N}_0^C}$ 构成 $L^2([0, 1]^C)$ 上的标准正交基。此时截断级数 $\hat{\boldsymbol{s}}_K(\boldsymbol{x}) = \boldsymbol{\Phi}(\boldsymbol{x}) \bullet \boldsymbol{\mathcal{W}}$ 的系数张量阶数为 $C+1$，其维度大小为 $K \times \dots \times K \times D$。

2. 谱系数低秩CP参数化：利用频域相关性打破维度灾难

若直接存储和优化全秩系数张量 $\boldsymbol{\mathcal{W}} \in \mathbb{R}^{K \times \dots \times K \times D}$，参数量和收缩代价为 $\mathcal{O}(K^C D)$，随输入空间维度 $C$ 呈指数爆炸。针对此痛点，FUTON引入典范多项（Canonical Polyadic, CP）分解，将庞大的权重张量表示为 $R$ 个秩-1张量的线性组合： $$ \boldsymbol{\mathcal{W}} = \sum_{r=1}^R \boldsymbol{u}_r^{(1)} \otimes \boldsymbol{u}_r^{(2)} \otimes \dots \otimes \boldsymbol{u}_r^{(C)} \otimes \boldsymbol{v}_r $$ 其中 $\boldsymbol{U}^{(c)} = [\boldsymbol{u}_1^{(c)} \mid \dots \mid \boldsymbol{u}_R^{(c)}] \in \mathbb{R}^{K \times R}$ 为各输入维度的因子矩阵，$\boldsymbol{V} = [\boldsymbol{v}_1 \mid \dots \mid \boldsymbol{v}_R] \in \mathbb{R}^{D \times R}$ 为输出信道因子矩阵。该设计不仅将参数量压缩至 $CKR + DR$，更将自然信号频域固有的低秩压缩先验内嵌为模型的基本归纳偏置，排除了不符合自然规律的无序高频扰动。

3. 紧凑张量网络收缩：三阶段计算图将前向传播降至线性开销

为了避免显式物化高阶张量，FUTON通过对求和项重新编排，导出了极度高效的前向收缩序列： $$ \boldsymbol{s}^{\text{futon}}(\boldsymbol{x}) = \boldsymbol{V} \boldsymbol{g}(\boldsymbol{x}) $$ $$ \boldsymbol{g}(\boldsymbol{x}) = \boldsymbol{h}_1(x_1) \odot \boldsymbol{h}_2(x_2) \odot \dots \odot \boldsymbol{h}_C(x_C), \quad \boldsymbol{h}_c(x_c) = {\boldsymbol{U}^{(c)}}^\top \boldsymbol{\varphi}(x_c) $$ 整个计算过程分为三步：首先将各维一维基向量 $\boldsymbol{\varphi}(x_c) \in \mathbb{R}^K$ 投影至因子矩阵，得到局部隐向量 $\boldsymbol{h}_c(x_c) \in \mathbb{R}^R$，复杂度为 $\mathcal{O}(CKR)$；然后利用逐元素阿达马积融合多轴信息得到 $\boldsymbol{g}(\boldsymbol{x}) \in \mathbb{R}^R$，复杂度为 $\mathcal{O}(CR)$；最后经矩阵乘法映射到通道空间，复杂度为 $\mathcal{O}(DR)$。总体时间复杂度仅为 $\mathcal{O}(CKR + CR + DR)$，对维度 $C$ 严格呈线性关系。

4. 完备逼近理论保障与浅层优化动力学

与经验启发式网络不同，FUTON具有坚实的数学基础。理论证明了通用逼近定理：对于任意 $\varepsilon > 0$ 及 $\boldsymbol{s} \in L^2([0, 1]^C)$，总存在充分大的谱分辨率 $K$ 和秩界 $R \le K^{C-1} \min\{K, D\}$，使得 $\|\boldsymbol{s}_d - \boldsymbol{s}_d^{\text{futon}}\|_{L^2} < \varepsilon$。在优化动力学上，浅层的双线性/多线性张量收缩解耦了全局低频骨架与局部高频调整的梯度流动，从根本上消除了深层MLP中的梯度弥散与曲折损失地形，实现了超高速且平滑的经验收敛。

损失函数 / 训练策略¶

模型参数 $\boldsymbol{\theta} = (\boldsymbol{U}^{(1)}, \dots, \boldsymbol{U}^{(C)}, \boldsymbol{V})$ 采用均匀分布初始化，并使用 Adam 优化器端到端训练。在坐标拟合任务中，优化均方误差损失函数： $$ \mathcal{L}{\text{MSE}} = \frac{1}{N} \sum)|^2 $$ 在图像去噪逆问题中引入各向异性全变分（Total Variation, TV）正则化：}^N |\boldsymbol{s}_n - \boldsymbol{s}^{\text{futon}}(\boldsymbol{x}_n; \boldsymbol{\theta$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{MSE}} + \lambda_{\text{TV}} \mathcal{L}_{\text{TV}}$（$\lambda_{\text{TV}} = 1 \times 10^{-7}$）；在有限角CT重建中，在投影Sinogram空间计算Radon变换一致性损失，配合权重衰减系数 $\lambda = 4 \times 10^{-3}$，确保不适定反演的稳定性。

实验关键数据¶

主实验¶

在 Kodak 数据集（24张连续自然图像）上的图像拟合评估中，FUTON在相近模型参数量（约500K）下显著碾压了包括WIRE在内的所有主流MLP方案，同时推理速度逼近轻量ReLU基线。

模型	参数量	PSNR (dB) ↑	SSIM (%) ↑	推理速度 (img/s) ↑
ReLU+PE	542K	26.41	68.89	17.23
SIREN	528K	26.27	69.88	13.07
Gauss	528K	27.73	75.68	8.67
WIRE	595K	33.69	92.38	6.62
FUTON (本文)	526K	37.12	96.54	12.29

在 3D 体素占据栅格表示（Thai Statue 二值几何分类，约200K参数）上，FUTON展现出优异的几何重建精度与平滑度：

模型	参数量	IoU (%) ↑	推理速度 (img/s) ↑
ReLU+PE	226K	97.51	0.30
SIREN	207K	96.71	0.23
Gauss	207K	97.60	0.15
WIRE	204K	99.08	0.12
FUTON (本文)	197K	99.67	0.19

在各类逆问题任务中，FUTON 均表现出超越SOTA的泛化与去噪能力： - 4× 图像超分辨率（DIV2K）：FUTON 达到 30.74 dB（WIRE 30.54 dB，Bilinear双线性插值 30.20 dB，SIREN 25.23 dB）。 - 传感器图像去噪（DIV2K，高斯-泊松混合噪声输入 20.57 dB）：FUTON 达到 27.04 dB（WIRE 26.51 dB，Gauss 24.18 dB，SIREN 21.07 dB）。 - 稀疏角度CT重建（150角度投影，Radiopaedia数据）：FUTON 达到 29.18 dB（WIRE 27.80 dB，Gauss 25.90 dB，SIREN 24.59 dB）。

消融实验¶

在 Kodak 数据集上对比不同一维正交基函数对模型性能的影响（统一设定 $R = K = 512$）：

| 正交基函数选择 $\varphi(\cdot)$ | 参数量 | PSNR (dB) ↑ | SSIM (%) ↑ | 推理速度 (img/s) ↑ | 说明 | |---|---|---|---|---| | Chebyshev 多项式 | 526K | 33.29 | 92.80 | 2.14 | 第一类切比雪夫多项式，依赖递推评估，计算开销大 | | Legendre 多项式 | 526K | 33.33 | 92.75 | 2.12 | 勒让德正交多项式，高阶拟合梯度流条件较差 | | Cosine 余弦基（本文默认） | 526K | 37.12 | 96.53 | 12.28 | 三角函数向量化极快，且天然契合自然图像频域能量集中特性 |

针对秩 $R$ 与谱基数量 $K$ 的协同消融显示： - 固定 $K=512$，当 $R$ 从 64 增加到 512 时，PSNR 呈陡峭上升（提升达 10 dB 以上），但超过 $R=512$ 后指标进入平台期，表明自然图像的频域能量在极低秩子空间内即可被充分表征； - 固定 $R=512$，当 $K$ 从 64 扩展到 512 时，高频谐波充分解封，PSNR 从约 25 dB 跃升至 37.12 dB；若 $R$ 较小，单纯增加 $K$ 无法带来明显增益。

关键发现¶

收敛速度大幅领先：在壁钟时间（Wall-clock time）与迭代步数两个维度上，FUTON均呈现极度平陡的加速收敛曲线。图像拟合任务仅需数秒即可突破 30 dB，反问题优化速度达到主流基准的 2–5 倍。
浅层乘法机制优于深层非线性映射：消融表明，基于张量收缩的多线性可分离结构使梯度能够无阻碍地并行更新各频率分量，完全消除了MLP深层堆叠导致的模式崩溃或低频滞后。
固有低秩正则化抗噪能力突出：在没有额外复杂手工平滑先验的前提下，FUTON在去噪与稀疏CT重建中产生的条纹伪影和过度平滑现象最少，验证了低秩谱分解天然具备滤除高频非相干噪声的强大归纳偏置。

亮点与洞察¶

架构范式的代数化转变：FUTON跳脱了无休止尝试新型MLP激活函数（Sine、Gaussian、Wavelet）的经验试错怪圈，将INR还原为经典正交函数逼近与张量因子分解，给出了清晰简洁的理论解释。
数学完备与工程轻量的优雅统一：通过利用张量收缩顺序重排，将理论上指数爆炸的高维级数求和化简为一维矩阵乘法与阿达马积，巧妙兼顾了 $L^2$ 逼近保证与 $\mathcal{O}(CKR)$ 的极致计算效率。
可复用的频域张量范式：将信号的频域系数进行低秩参数化的思路，不仅适用于2D/3D静态信号，还可以直接扩展至视频时空场或动态4D辐射场，为神经场的大规模低秩压缩与硬件加速提供了通用蓝图。

局限与展望¶

基函数对不规则边界的适应性：当前主要基于单位超立方体 $[0, 1]^C$ 上的正交余弦基展开，对于高度不规则几何流形或非紧致无界场景，正交基构造需要额外重参数化或空间扭曲。
复杂动态场景的高阶张量网络扩展：论文仅探讨了基础的 CP 分解格式。对于更高维度的时空视频或连续辐射场，CP分解在特定病态张量下可能遭遇收敛不稳定问题，未来探索 Tucker 或张量列（Tensor Train, TT）架构将具有重要应用价值。
数据驱动的自适应正交基学习：当前余弦基为固定先验，针对特定领域（如脑部MRI或特殊地震勘探数据），结合正交约束端到端联合学习局部紧支撑自适应小波基将是极具前景的突破方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了MLP在INR领域的垄断地位，开创性地将广义傅里叶级数与张量网络紧密融合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖2D图像、3D体素几何以及超分、去噪、CT反演等完整任务链，数学证明严密详尽。
写作质量: ⭐⭐⭐⭐⭐ 论证结构清晰自洽，张量图谱与收缩算法推导优雅规范。
价值: ⭐⭐⭐⭐⭐ 为连续信号隐式表示提供了兼具高精度、快收敛与低计算开销的全新经典基石。