Learnable Spectral Activations¶

会议: NeurIPS 2026
arXiv: 2610.07419
OpenReview: https://openreview.net/forum?id=X6lgq8Q6sS
代码: https://github.com/tamirshor7/Learnable-Spectral-Activations
领域: 自监督学习
关键词: 隐式神经表示, 激活函数, 傅里叶级数, 神经正切核, 谱偏差

一句话总结¶

提出可学习谱激活（LSA），将传统隐式神经表示中固定的非线性激活替换为截断傅里叶残差级数，解耦特征选择线性权重与内部谱形状调节，显著强化了神经正切核顶阶特征模式对目标信号的能量捕获。

研究背景与动机¶

隐式神经表示（INR）将连续物理信号（如音频、图像、神经辐射场及声学场）参数化为由坐标直接映射至信号值的连续函数网络。从结构化字典视角来看，INR 本质上是将目标信号表示为输入编码与非线性激活函数诱导产生的一系列谐波基底原子的加权组合。传统的改进路线基本聚焦于控制“可用频率支持集”，例如在网络输入端引入坐标傅里叶特征映射，或在网络隐层采用周期性激活（SIREN 的固定正弦函数）与变频周期性激活（FINER 基于预激活幅度的局部调频）。

然而，仅仅调节网络可访问的频率范围并不足以解决所有瓶颈。当面对具有局部突变或空间剧烈非平稳特征的异质信号（如图像边缘、语音瞬态与多径声学反射）时，网络必须协调合成跨越多阶谐波的复杂响应。在 SIREN 或 FINER 等固定激活范式中，每个隐层神经元所能激发的谱内容被其线性投影权重严格绑定——如果网络试图调整某个神经元的频域谐波形状，就不得不连带改变该神经元所选取的空间线性特征。

这种特征提取与谱形状调节的高度纠缠，使得基于梯度下降的优化在逼近复杂异质信号时效率受限。本文的切入角度是改变这一内在表示的参数分解方式，保持线性权重专注提取空间特征，而将多谐波合成能力赋予激活函数本身。核心 idea：将神经元级激活函数参数化为带可学习谐波幅度的残差截断傅里叶级数，实现线性特征选择与非线性谱塑形的解耦优化，显著提升神经正切核主导模式对目标信号能量的吸纳能力。

方法详解¶

整体框架¶

在标准隐式神经表示中，输入坐标 $x$ 经由可选的坐标编码 $\gamma(x)$ 升维为初始特征 $z^{(0)}$，随后逐层经过仿射变换与非线性激活。LSA 保持这一经典主干架构不变，但在每一隐层中将固定的非线性算子替换为可微的残差傅里叶级数展开 $\phi^{(\ell)}(u)$。各层内部的所有隐藏神经元共享同一组可学习谱幅度参数，并在恒等映射附近初始化，使得模型在训练初期表现为稳定的残差恒等网络，随后根据各层反向传播梯度自适应调整谐波分布。

整个流水线由输入特征计算、层内线性投影、LSA 逐通道非线性谱塑形以及最终线性投影回归信号值构成，其紧凑前向与优化数据流如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入坐标 x<br/>(可选傅里叶特征 γ)"] --> B["线性投影与偏置<br/>u = W z + b"]
    B --> C["残差傅里叶级数变换<br/>u + ∑ a_k sin(2πku)"]
    C --> D["解耦梯度更新机制<br/>W 更新特征 / a 更新谱幅度"]
    D -->|逐层堆叠传播| E["输出线性回归<br/>预测连续物理信号"]

关键设计¶

1. 残差截断傅里叶级数激活：赋予神经元独立合成多阶谐波的能力
为了摆脱固定激活中单一神经元只能响应单一频域模式的限制，LSA 将标量预激活值 $u$ 的激活算子定义为包含 $K$ 阶正弦谐波的截断级数： $$\phi^{(\ell)}(u) = u + \sum_{k=1}^{K} a_{k}^{(\ell)} \sin(2\pi ku)$$ 其中 $a_{k}^{(\ell)}$ 是第 $\ell$ 层特有的第 $k$ 阶谐波可学习幅度系数。由于该算子直接对标量预激活 $u = w^\top z + b$ 进行多项周期变换，单个神经元无需依赖跨神经元线性叠加即可直接产生协调的多谐波内部响应。更关键的是，算子关于可学习系数 $a_k^{(\ell)}$ 是线性的（仿射关系），这使得给定输入隐层特征时，激活谱的优化成为一个极其规整、梯度条件优良的局部凸子问题。

2. 近恒等初始化与平滑解析导数：保持梯度流稳定与支持导数监督
将网络参数完全放开往往容易导致训练初期的不稳定性，尤其是在周期性激活函数中，频率与相位的剧烈扰动容易诱发混沌动力学。LSA 采用近恒等初始化策略，将谐波系数 $a_k^{(\ell)}$ 初始化为零均值、超小方差（如标准差 $10^{-3}$ 或 $10^{-2}$）的高斯分布。在初态 $a_k \approx 0$ 时，激活函数严格退化为恒等映射 $\phi(u) \approx u$，而其关于谐波幅度的切向偏导数 $\partial \phi / \partial a_k = \sin(2\pi ku)$ 依然完整保持激活，为梯度更新开辟了畅通的初始谐波流向。此外，正弦级数的任意阶导数仍为余弦/正弦谐波，保留了如 SIREN 般优良的解析导数性质，能够完美原生支持泊松图像重建、散度计算及物理场微分方程约束。

3. 正交切向量空间的解耦梯度流与 NTK 能量主频聚焦
将模型参数解耦为常规权重偏置 $w$ 与激活谐波系数 $a$ 后，残差向量 $r = f_{w,a}(X) - y$ 在均方误差损失 $\mathcal{L} = \frac{1}{2}\|r\|_2^2$ 下的全量梯度流呈现精确的有限宽度正交分离： $$-\dot{\mathcal{L}} = \eta_w \|J_w^\top r\|_2^2 + \eta_a \|\Psi^\top r\|_2^2, \quad \text{其中 } \|\Psi^\top r\|_2^2 = \sum_{\ell,k} \langle r, \psi_{\ell k} \rangle^2$$ 这里 $\psi_{\ell k}(x) = B_\ell(x) \sin(2\pi k u^{(\ell)}(x))$ 代表第 $\ell$ 层第 $k$ 个谐波项传播至输出的切向特征向量。相应地，经验神经正切核（NTK）在初始点满足 $\kappa_{\text{LSA},0} = \kappa_{\text{frozen},0} + \eta_a \Psi_0 \Psi_0^\top$。由于新增的半正定分量 $\eta_a \Psi_0 \Psi_0^\top$ 直接引入了多阶谐波梯度空间，经验 NTK 的前若干个最大特征向量（高特征值主导模态）能够捕获显著更多的目标信号能量，使得梯度下降能够以更快的速度压低复杂高频细节的逼近残差。

损失函数 / 训练策略¶

在普通信号拟合（音频、图像、神经声学场）中，模型直接以均方误差（MSE）为优化目标。在针对图像导数场的泊松重建任务中，网络完全脱离像素级 RGB 监督，仅通过自动微分最小化预测梯度与真值空间梯度之间的均方误差： $$\mathcal{L}_{\text{grad}} = \left\| \partial_x f_\theta(x) - g^x \right\|_2^2 + \left\| \partial_y f_\theta(x) - g^y \right\|_2^2$$ 在优化策略上，常规权重 $w$ 与激活谐波参数 $a$ 均采用 Adam 优化器，但为谐波参数设置了独立的倍乘学习率（例如图像拟合中普通权重使用 $5\times 10^{-4}$，激活参数采用乘子 $\text{act\_lr\_mult}=2$ 即 $10^{-3}$），二者同步遵循指数衰减调度。

实验关键数据¶

主实验¶

论文在 Blender 合成数据集（InstantNGP 架构，稀疏视点协议下 150,000 步训练）的神经辐射场（NeRF）新视角合成任务中，与经典 SIREN 及先进的 FINER 激活函数进行了严格受控的对比：

场景	评估指标	本文 (LSA)	FINER	SIREN	表现简评
Chair	PSNR ↑ / SSIM ↑ / LPIPS ↓	34.18 / 0.977 / 0.013	33.90 / 0.973 / 0.015	33.48 / 0.973 / 0.017	三项指标全面领先
Drums	PSNR ↑ / SSIM ↑ / LPIPS ↓	24.79 / 0.922 / 0.050	24.90 / 0.911 / 0.052	24.89 / 0.912 / 0.051	结构与感知质量最优
Ficus	PSNR ↑ / SSIM ↑ / LPIPS ↓	28.85 / 0.967 / 0.021	28.70 / 0.958 / 0.024	28.22 / 0.959 / 0.027	边缘与叶片细节更锐利
Hotdog	PSNR ↑ / SSIM ↑ / LPIPS ↓	33.36 / 0.967 / 0.027	33.05 / 0.959 / 0.033	32.85 / 0.960 / 0.032	显著改善结构感知指标
Lego	PSNR ↑ / SSIM ↑ / LPIPS ↓	29.39 / 0.950 / 0.026	30.04 / 0.951 / 0.025	29.60 / 0.948 / 0.030	略逊于针对性变频的FINER
Materials	PSNR ↑ / SSIM ↑ / LPIPS ↓	27.22 / 0.936 / 0.029	27.05 / 0.928 / 0.032	27.13 / 0.932 / 0.028	高频反射与各向异性更好
Mic	PSNR ↑ / SSIM ↑ / LPIPS ↓	33.91 / 0.983 / 0.010	33.96 / 0.981 / 0.010	33.28 / 0.979 / 0.014	结构相似度明显领先
Ship	PSNR ↑ / SSIM ↑ / LPIPS ↓	22.60 / 0.803 / 0.101	22.47 / 0.792 / 0.108	22.48 / 0.797 / 0.116	复杂绳索与桅杆恢复更精细
8场景均值	PSNR ↑	29.29	29.26	28.98	整体表现稳健最优

在 Kodak 图像全量拟合主实验中，固定统一配置下 LSA 全集平均 PSNR 达到 38.110 dB（21/24 张优于 FINER 的 37.317 dB，24/24 压制 SIREN 的 34.990 dB 与 STAF 的 35.369 dB）。在 48kHz 音频拟合上，LSA（FF16, $\sigma=100$）在 NSynth 和 LibriSpeech 上分别达到 86.72 dB 和 90.78 dB，大幅超越 STAF（68.79 dB / 68.40 dB）与 FINER（67.19 dB / 66.32 dB）。

消融实验¶

1. 谐波截断阶数 $K$ 对拟合质量的影响（Kodak 6图诊断子集）

| 谐波阶数 $K$ | 均值 PSNR (dB) | 标准差 (dB) | 中位数 PSNR (dB) | 均值 SSIM | 说明 | |---|---|---|---|---| | $K=4$ | 30.45 | 5.28 | 29.17 | 0.8156 | 谐波容量不足，低阶截断拟合欠缺 | | $K=8$ | 35.36 | 4.64 | 34.53 | 0.9229 | 相比 $K=4$ 出现跳跃式质量提升 (+4.91 dB) | | $K=16$ | 38.67 | 4.34 | 40.33 | 0.9607 | 迅速逼近极高质量区 | | $K=32$ | 39.50 | 4.32 | 41.38 | 0.9661 | 最优性能平衡点（默认推荐配置） | | $K=64$ | 39.35 | 4.14 | 40.50 | 0.9649 | 性能基本饱和，显存与计算开销翻倍 |

2. 激活参数可学习性消融（冻结初态近恒等 vs. 联合反向传播）

评测数据划分	激活系数状态	PSNR (dB)	SSIM	LSA胜出比例	95% 置信区间增益
18张独立测试集	联合反向学习 (Learned)	38.05 ± 2.63	0.9545	18/18	[17.45, 18.87] dB
18张独立测试集	冻结小随机初态 (Frozen)	19.91 ± 1.78	0.4861	0/18	基准对照线
24张全量图像池	联合反向学习 (Learned)	38.11 ± 2.90	0.9557	24/24	[17.56, 19.17] dB
24张全量图像池	冻结小随机初态 (Frozen)	19.76 ± 1.95	0.4834	0/24	基准对照线

关键发现¶

谱系数学习至关重要：冻结初始状态下的系数会导致网络退化为近线性残差网络，拟合 PSNR 骤降 18.13 dB 以上，证明优异的表现完全来源于反向传播对非线性谱幅度的针对性塑形，而非参数微调或残差结构的偶然作用。
频域截断具备明显平台期：随着谐波阶数从 $K=4$ 提升至 $K=32$，图像拟合 PSNR 单调上升并在 32 阶左右饱和（39.50 dB vs. 64 阶的 39.35 dB），表明有限阶数的截断傅里叶基底已足够承载自然信号局部频谱变换的需求。
泛化内插稳定性更优：在未见采样网格的音频连续近似测试中，SIREN 随输入频宽 $\sigma$ 增加在网格外点出现严重的混叠与崩溃（严重过拟合离散网格），而 LSA 能够保持网格内与中点插值外推误差的高度一致。

亮点与洞察¶

解耦特征学习与谱塑形：通过引入 $a_k$ 这一独立的仿射谱系数，线性权重专注于将坐标变换到特征子空间，激活函数独立完成谐波加权，避免了传统 INR 中“调整频率必须牵动特征基底”的梯度冲突。
NTK 主特征子空间的能量聚集：经验神经正切核分析揭示，LSA 能在不改变模型渐进表达能力上限的前提下，使前若干阶高特征值本征模式更紧密地覆盖目标信号能量，从优化几何层面解释了收敛加速与残差收敛的原因。
可复用的通用即插即用特性：每层仅增加 $K$ 个共享参数（如 4 层网络、32 阶谐波仅增加 128 个可学习标量），完全无需破坏原有 MLP 架构即可无缝替换现有的 SIREN、ReLU 或 FINER 算子。

局限与展望¶

显存与计算开销较大：尽管模型可学习参数增量微乎其微（如音频网络仅增加 64 个标量），但由于前向与反向传播过程中必须对每个采样点、每个通道逐一计算 $K$ 阶正弦激活，导致张量维度膨胀；在 48k 音频拟合中相比 FINER 产生了约 $7\times$ 的训练耗时与 $9\times$ 的显存峰值开销。
通道间与空间自适应性未充分挖掘：当前实现中所有通道共享同一组层级谐波系数，尚未探索通道分组自适应（Grouped LSA）或基于输入坐标条件化的动态谱系数调节。
未来改进思路：开发基于 CUDA 的融合算子（Fused Kernel）或选择性激活检查点（Activation Checkpointing），在底层流水线中直接累加傅里叶级数从而规避中间张量实例化，有望将运行时与显存开销压缩至与普通 SIREN 相当的水平。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出隐层神经元级截断傅里叶级数可学习激活算子，解耦谱调节与特征选择，视角新颖且理论完备。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1D 音频、2D 图像拟合与泊松导数重建、3D NeRF 新视角合成及 4D 神经声学场（NAF），实验设计严密详实。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，理论公式推导（有限宽度梯度流与 NTK 分析）与实证分析高度闭环。
价值: ⭐⭐⭐⭐☆ 为隐式神经表示提供了一个极具参考价值的即插即用激活模块，对神经渲染、场模拟及物理导数建模具有显著启发。