ScaLe-INR: Scale and Learn Implicit Neural Representations¶

会议: NeurIPS 2026
arXiv: 2606.27862
代码: https://github.com/Buwaneka99/ScaLe-INR
领域: 其他
关键词: 隐式神经表示、谱偏差、坐标缩放、多分支网络、边缘引导损失

一句话总结¶

针对传统隐式神经表示（INR）单网络参数更新中高频细节破坏低频流形的“谱串扰”问题，ScaLe-INR 基于傅里叶逆缩放定理提出方向坐标缩放的多分支并行架构，结合置信度融合与方向边缘引导损失，实现高保真连续信号表征并全面刷新多项 SOTA。

研究背景与动机¶

隐式神经表示（INR）将连续信号建模为以多层感知机（MLP）参数化的连续坐标映射函数，在图像恢复、超分辨率、音频建模以及 3D 几何重建等任务中表现出独特的连续可微优势。然而，标准神经网络固有的“谱偏差”（Spectral Bias）使得网络在优化过程中天然优先学习低频平滑分量，而难以捕捉锐利边缘、高频纹理与微小拓扑结构。已有工作多从设计周期性激活函数（如 SIREN、FINER）、精细位置编码或离散网格特征入手扩宽频带，但依然局限在将网络强行适配于信号本身的频谱结构。

当单一全局 MLP 尝试表征宽频跨尺度的复杂信号时，核心矛盾在于全局函数的非局部干扰性与信息串扰（Cross-talk）：更新高频权重的梯度步骤会不可避免地剧烈震荡并破坏底层已收敛的低频结构流形，使得高频学习效率低下且易产生伪影。此外，直接在离散网格或八叉树结构中分块存储局部特征虽然能缓解串扰，却破坏了纯 MLP 所具备的紧凑参数量与解析连续可微性。

本文从傅里叶变换的对偶逆缩放性质出发，提出了一个全新的切入视角：与其单向改变网络去强拟合原始宽频信号，不如通过空间域坐标的主动缩放变换，将信号的高频成分反向压缩至网络最擅长学习的有效工作带宽内。核心 idea：基于傅里叶逆缩放定理构建方向坐标缩放的多分支并行架构（LL、HL、LH、HH），并配合梯度驱动的方向边缘引导损失对高频分支施加局部稀疏约束，以置信度自适应融合彻底消除多尺度谱串扰。

方法详解¶

整体框架¶

ScaLe-INR 的核心管线包括四个阶段：方向坐标缩放变换、多分支并行 MLP 特征预测与置信度估计、基于 Softmax 的像素级置信度融合、以及受约束的安全边缘引导正则化。以二维连续图像信号 \(\boldsymbol{I}(x,y) \in \mathbb{R}^3\) 为例，输入坐标分别在 \(x\) 方向、\(y\) 方向施加低频（保持或微调）与高频缩放因子 \(\alpha_L, \alpha_H\)。四条解耦的并行分支分别对应不同的方向频谱专精：全低频（LL）、水平高频/垂直低频（HL）、垂直高频/水平低频（LH）以及双向高频（HH）。每条分支输出 RGB 候选值与一个标量置信度 logit，经过空间归一化后加权合成最终输出，并在训练中受地面真值梯度边缘掩码的动态稀疏约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入空间坐标 (x, y)"] --> B["方向坐标缩放<br/>不同轴缩放因子映射"]
    B --> C["四分支并行 MLP 提取<br/>LL / HL / LH / HH 分支"]
    C --> D["置信度自适应融合<br/>Softmax 空间权重动态分配"]
    D --> E["安全边缘引导正则化<br/>Sobel 梯度空间稀疏约束"]
    E --> F["输出高保真重构信号"]

关键设计¶

1. 方向坐标缩放：基于傅里叶对偶性将高频成分迁移至网络有效带宽

针对单一 MLP 无法兼顾频谱两端且容易出现高频欠拟合的痛点，本文利用一维及多维傅里叶变换的尺度对偶定理：若连续信号在空间域被拉伸（即时间/空间坐标除以缩放因子 \(a\)，变为 \(x(t/a)\)），其在频域的频谱将被压缩为 \(|a|X(a\omega)\)。这意味着，在输入层对坐标应用缩放变换，实质上可将难以拟合的高频震荡变换成更平缓、更容易被基底网络（如 SIREN 周期激活 MLP）捕获的中低频结构。对于二维图像，构造四个并行的独立子网络分支： - LL 分支：接收未放大或基线坐标，负责表征全局平滑色彩、大面积色块与粗粒度背景流形； - HL 分支：在 \(x\) 轴施加高频坐标放大因子 \(\alpha_H\)，在 \(y\) 轴保持 \(\alpha_L\)，专门对齐水平方向快速变化的边缘信息； - LH 分支：在 \(x\) 轴保持 \(\alpha_L\)，在 \(y\) 轴应用 \(\alpha_H\)，专精垂直方向高频纹理； - HH 分支：在双向均施加 \(\alpha_H\)，捕捉角点、交叉点及微细拓扑。

值得注意的是，HH 分支并非 HL 与 LH 分支的线性重叠，因为神经网络具有非线性拟合特性 \(f_\theta(x \odot y) \neq f_\theta(x) \odot f_\theta(y)\)，显式设置 HH 能够让模型精准拟合由多轴耦合非线性决定的复杂尖锐角点。该结构可直接推广到 \(N\) 维信号，形成 \(2^N\) 个频率专精分支。

2. 置信度自适应融合：空间自适应的像素级分支动态路由

在图像的不同空间位置，局部信号的频率复杂度与纹理密度差异极大；若简单进行固定比例加权或平均求和，平滑区域依然会受到高频分支的噪声扰动，而细节边缘又会被低频分支过度平滑。为此，每个分支 \(b \in \{LL, HL, LH, HH\}\) 设计为产生两组输出：该分支的信号预测值 \(\hat{\boldsymbol{I}}_b(x,y) \in \mathbb{R}^3\) 与未归一化的标量置信度 logit \(c_b(x,y) \in \mathbb{R}\)。模型利用带温度参数 \(\tau\) 的 Softmax 函数在像素级别计算分支置信度权重 \(P_b(x,y)\)：

\[P_b(x,y) = \frac{\exp(c_b(x,y)/\tau)}{\sum_{j \in \{LL,HL,LH,HH\}} \exp(c_j(x,y)/\tau)}\]

最终信号由各分支预测值经空间权重凸组合得到：

\[\hat{\boldsymbol{I}}(x,y) = \sum_{b \in \{LL,HL,LH,HH\}} P_b(x,y)\hat{\boldsymbol{I}}_b(x,y)\]

在平滑大背景区域，网络自主收敛为 \(P_{LL} \to 1\)，从而屏蔽高频分支的潜在抖动；在包含精细结构或方向线条处，对应的定向高频分支置信度急剧上升，确保细节由专职分支提供，彻底避免全局参数干扰。

3. 安全边缘引导正则化：通过梯度先验强制实现严格的功能解耦

即使设置了多分支架构，若仅靠纯端到端均方误差（MSE）重构损失驱动，网络仍可能退化：各高频分支可能随意拟合任意成分，造成分支间功能混叠（Cross-talk 转移）。为强制实现物理意义明确的频率与方向解耦，本文提出了基于地面真值 Sobel 梯度的方向边缘引导损失（Directional Edge Guidance Loss）。首先从真实图像计算方向边缘掩码 \(M_x\)、\(M_y\) 与联合掩码 \(M_{all}\)，并进行归一化。对于各高频分支的实际贡献量 \(C_b(x,y) = P_b(x,y)\hat{\boldsymbol{I}}_b(x,y)\) 与置信度 \(P_b(x,y)\)，在非边缘区域（即 \(1 - M\) 接近 1）强力施加 L1 惩罚：

\[\mathcal{L}_{edge} = \mathbb{E}[(1-M_x)|C_{HL}|] + \mathbb{E}[(1-M_y)|C_{LH}|] + \mathbb{E}[(1-M_{all})|C_{HH}|] + \beta_{conf}\mathcal{L}_{conf}\]

其中置信度惩罚项为 \(\mathcal{L}_{conf} = \mathbb{E}[(1-M_x)P_{HL}] + \mathbb{E}[(1-M_y)P_{LH}] + \mathbb{E}[(1-M_{all})P_{HH}]\)。为了避免在训练初期特征尚未成形时辅助正则化项破坏主干优化，设计了动态预热调度因子 \(\lambda_{edge}(t)\) 与安全上限截断机制（Safe Scaling）：

\[\mathcal{L}_{edge,safe} = \min\left(\lambda_{edge}(t)\mathcal{L}_{edge},\; \alpha\mathcal{L}_{recon}\right)\]

通过将边缘正则化贡献严格限制在重构损失的一定上限比率（如 \(\alpha = 0.05\) 即 5%），确保了模型既能稳定收敛至主目标，又能严格约束高频分支蜕变为高度纯粹的方向性局部边缘滤波器。

损失函数 / 训练策略¶

总体训练目标函数定义为：

\[\mathcal{L}_{\mathrm{Total}} = \mathcal{L}_{\mathrm{recon}} + \mathcal{L}_{\mathrm{edge,safe}}\]

其中重构主损失为采样像素的均方误差 \(\mathcal{L}_{\mathrm{recon}} = \mathbb{E}_{(x,y) \sim \mathcal{U}(\Omega_d)}[\|\hat{\boldsymbol{I}}(x,y) - \boldsymbol{I}(x,y)\|_2^2]\)。网络使用 Adam 优化器，基础主干为 3 层隐藏层维度为 256 的 SIREN 架构。高频缩放倍率 \(\alpha_H\) 默认设为 4.0；融合温度 \(\tau\) 从 1.0 开始以鼓励训练初期的充分探索，随后逐步退火退至确定性硬选择；安全系数 \(\alpha\) 锁定为 0.05。

实验关键数据¶

主实验¶

在多任务通用场景下，ScaLe-INR 在图像超分辨率（DIV2K）、图像重构（Kodak 24 图）、图像去噪（DIV2K Parrot）、3D 占用网格重建（Lucy 512³）以及音频重建（Bach Cello Suite 7s）上均显著超越了包括 SIREN、FINER、INCODE、WIRE 与 COSMO-RC 在内的 SOTA 模型。

下表给出了图像超分辨率（DIV2K）在不同降采样因子（\(2\times\), \(4\times\), \(6\times\)）下的 PSNR (dB) 与 SSIM 对比：

数据集 / 任务	指标	本文 (ScaLe-INR)	之前SOTA (COSMO-RC)	提升
DIV2K 超分辨率 (\(2\times\))	PSNR / SSIM	34.43 / 0.97	34.03 / 0.96	+0.40 dB / +0.01
DIV2K 超分辨率 (\(4\times\))	PSNR / SSIM	30.48 / 0.95	30.42 / 0.95	+0.06 dB / 0.00
DIV2K 超分辨率 (\(6\times\))	PSNR / SSIM	27.68 / 0.85	27.66 / 0.83	+0.02 dB / +0.02
Kodak 原图重构 (24图均值)	PSNR	46.40	41.24 (COSMO-INR)	+5.16 dB
DIV2K 强噪声图像去噪	PSNR	30.90	30.25 (COSMO-RC)	+0.65 dB
Lucy 3D 占用网格 (512³)	IoU	0.999	0.995 (COSMO-RC)	+0.004
Bach 大提琴音频重构 (7s)	PSNR	50.02	49.10 (INCODE)	+0.92 dB

消融实验¶

论文在附录 B.1 中针对网络规模、计算复杂度、训练/推理速度与重构质量进行了全面对比分析（在单图超分辨率/重构基准上）：

配置 / 模型	参数量 (K)	GFLOPs	训练耗时 (s/it)	推理耗时 (s/it)	吞吐量 (GFLOPs/s)	PSNR (dB)	说明
SIREN	199	25.9	0.222	0.074	350.0	32.9	单分支周期性基线，计算快但频带严重受限
FINER	199	25.9	0.270	0.090	288.0	36.4	可变周期激活，质量改善但仍存单分支串扰
INCODE	437	38.7	0.435	0.145	267.0	36.2	引入先验条件编码
WIRE	100	13.0	0.645	0.215	60.0	32.5	小波激活基线，算力利用率低
COSMO RC	437	38.7	3.500	1.100	33.2	45.1	复杂正余弦调制，耗时极高 (3.5s/it)
FR INR	6294	29.2	0.229	0.082	356.1	36.2	极端参数量模型
ScaLe-INR (Full model)	534	69.5	0.820	0.291	238.8	46.8	多分支+置信度融合+边缘引导，在效率与精度间取得最优折中

此外，针对一维 Chirp 信号分析与消融表明： - 无坐标缩放：高频波形完全被抹平，频谱高频部分能量丢失； - 过大坐标缩放：造成频谱过度压缩折叠，信号结构发生严重畸变； - 去掉边缘引导损失（w/o Edge Guidance）：高频分支的置信度漫溢到平滑背景区，引发背景伪影并减缓收敛速度。

关键发现¶

多分支解耦极大加速收敛：从 Kodak 训练损失曲线看，ScaLe-INR 在极短的迭代周期内即可达到 baseline 数倍迭代才能达到的损失水平，避免了高低频梯度在单网络内部的相互抵消。
边缘保留能力极其优异：去噪与超分实验中，鸟嘴轮廓、精细几何边缘等最易被平滑的结构均得到了近乎完美的保真恢复，且在图像修复（Celtic Spiral Knots 80% 随机缺失下，ScaLe-INR 达到 22.07 dB，全面超越 baseline）中表现出连续拓扑的完美修补能力。
算力开销可控：相比性能接近的竞争模型 COSMO-RC（单步迭代训练耗时高达 3.5s），ScaLe-INR 的训练开销仅为 0.82s，推理开销仅为 0.29s，大幅提升了实际可行性。

亮点与洞察¶

逆向思维解决谱偏差：过去学术界往往执着于修改激活函数（ReLU \(\to\) Sine \(\to\) Wavelet），本文巧妙利用傅里叶逆缩放原理，通过在输入端主动对坐标实施方向性缩放变换，把原本“难啃”的高频直接送进模型“最舒适”的低中频带，四两拨千斤。
非线性耦合分支的引入（HH）：作者洞悉了神经网络非线性逼近的本质，没有简单做 \(x\) 与 \(y\) 的可分离正交分解，而是额外设计了一个双向缩放分支 HH，专门捕捉角点与复杂对角纹理。
安全阈值截断正则化设计：辅助边缘损失通过带动态调度的安全比例约束（\(\le 5\%\mathcal{L}_{recon}\)），杜绝了辅助损失在训练初期“喧宾夺主”破坏主任务优化的常见顽疾，具备极高的工程可复用性。

局限与展望¶

高维扩展分支爆炸：在拓展到通用 \(N\) 维信号时，全排列分支数量呈指数增长（\(2^N\)），如 3D 占用重建需要 8 分支（占用 20GB 显存），若扩展到 4D 动态辐射场等任务将需要 16 个分支，显存与计算开销急剧增长。
缺乏动态分支剪枝：当前所有分支参数量对称均等，但平滑信号在很多高频维度上信息量极少，固定分配 MLP 容量造成了一定的算力浪费；未来可引入自适应分支剪枝或稀疏激活机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 傅里叶逆缩放对偶性与方向多分支结合的视角新颖，物理动机明确。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1D 信号、2D 图像重构/超分/去噪/修复、3D 网格与音频，多维度对比扎实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，数学表述严密，图表对比详实。
价值: ⭐⭐⭐⭐☆ 为连续神经表示领域解决谱偏差提供了极具启发性的空间方向频率解耦范式。