What Cohort INRs Encode and Where to Freeze Them¶
会议: NeurIPS 2026
arXiv: 2605.08298
OpenReview: https://openreview.net/forum?id=Cwk1nNVMQY
领域: 可解释性
关键词: 隐式神经表示, 稀疏自编码器, 权重稳定秩, 迁移学习, 机械可解释性
一句话总结¶
通过冻结层扫描与稀疏自编码器（SAE）字典分解，本文首次揭示了群组训练隐式神经表示（INR）的最优迁移冻结深度严格对应编码器的权重稳定秩峰值层，并阐明了 SIREN 形成空间平铺基元与 FFMLP 记忆全局轮廓的机制差异。
研究背景与动机¶
隐式神经表示（INR）通过连续坐标 MLP 学习信号的连续函数逼近，在图像、三维几何、神经辐射场及医学影像等领域取得了广泛应用。然而标准 INR 的本质是单信号拟合，每当遇到全新信号时都必须从零开始迭代优化，单样本拟合成本极高。近期以 STRAINER 为代表的群组预训练（Cohort Pretraining）范式，通过在相关信号群体上共享浅层编码器、保留独立解码头来学习跨信号先验，并将该共享编码器作为新信号的初始化权重，有效加快了收敛速度。
然而，现有群组 INR 的测试阶段依然沿用端到端全量微调方案，预训练编码器所承载的先验结构与新样本拟合过程完全耦合在一起，导致群组编码器究竟哪一层真正学到了可迁移表征、这些表征在网络内部究竟编码了什么结构，长期处于黑盒状态。直接沿用全量微调不仅计算开销大，在跨分辨率或域迁移时还极易因不匹配的梯度更新而破坏有价值的先验。
本文的切入角度是引入冻结特征分析与机制可解释性工具，将表征迁移深度的定量判定与网络内部激活的解耦分析统一起来。核心 idea：群组 INR 的最优测试期冻结深度先验对齐于编码器权重稳定秩的峰值层，且通过稀疏自编码器（SAE）可将激活精确分解为因果有效的字典原子——SIREN 学习到内容无关的空间平铺基元，而 FFMLP 则过早退化为全局记忆原子。
方法详解¶
整体框架¶
本文的方法评估体系包含两大核心诊断流：第一步是测试阶段的逐层冻结协议（Layer-wise Freezing Protocol）与基于权重稳定秩（Weight Stable Rank）的最优深度先验定位；第二步是基于 TopK 稀疏自编码器（SAE）的激活空间字典学习与单原子因果消融验证。整个体系以坐标 MLP 为基础，在 CelebA-HQ、OASIS-MRI 与 Kodak 信号上进行群组训练与跨域迁移测试。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入坐标 x ∈ [-1, 1]²"] --> B["群组编码器训练与权重分析<br/>共享 L 层 MLP 编码器 + 独立投影头"]
B --> C["权重稳定秩分析定位最优冻结深度<br/>计算各层 sr(Wℓ) 峰值确定 τ*"]
C --> D["测试期分层冻结迁移评估<br/>固定 0~τ* 层，仅重置并拟合后续层"]
B --> E["TopK 稀疏自编码器字典分解<br/>分解激活向量为 n=4096 个稀疏基元"]
E --> F["单原子因果消融与几何分析<br/>零化特定原子验证局部/全局输出退化"]关键设计¶
1. 基于权重稳定秩的最优冻结边界定位：在免除测试搜索的前提下识别可迁移表征 现有方法微调新信号时缺乏层选择标准，往往需要昂贵的全层重训。对于具有奇异值 \(\sigma_1 \ge \sigma_2 \ge \dots\) 的权重矩阵 \(W_\ell^\star\)，其稳定秩定义为 Frobenius 范数平方与谱范数平方之比： $\(\operatorname{sr}(W_\ell^\star) = \frac{\|W_\ell^\star\|_F^2}{\|W_\ell^\star\|_2^2} = \frac{\sum_i \sigma_i^2}{\sigma_1^2}\)$ 与代数秩相比，稳定秩是一种连续且对噪声鲁棒的有效子空间维度度量。权重稳定秩衡量了该层能够读取其输入激活的有效正交方向数量。本文发现，最优测试冻结深度 \(\tau^\star\) 严格对齐于编码器权重稳定秩的峰值所在层，即： $\(\tau^\star \in \arg\max_{\ell \in \{0, \dots, L-1\}} \operatorname{sr}(W_\ell^\star)\)$ 该指标可直接从预训练权重中离线计算，无需访问下游测试数据或执行网格搜索。由于第一层高秩权重负责将低维坐标映射至高维分离子空间，它天然承担了群组通用的坐标嵌入功能。对于通过正弦激活完成内部高维映射的 SIREN，稳定秩峰值位于 \(\tau^\star=1\)；而对于显式使用固定高斯傅里叶投影的 FFMLP，稳定秩峰值则出现在首个可训练层 \(\tau^\star=0\)。
2. 激活空间 TopK 稀疏自编码器：解离多义性与重构特征原子字典 神经网络隐层激活存在普遍的超密叠合（Superposition）现象，传统的 PCA 正交分解受限于神经元维度上限，无法恢复实际特征基元。为此，本文针对群组编码器的各隐层激活 \(\mathbf{h} \in \mathbb{R}^d\) 分别拟合一个 TopK 稀疏自编码器，构建包含 \(n = 4096\) 个原子的过完备字典（为隐层宽度 \(d = 256\) 的 16 倍）。编码器对中心化激活执行稀疏映射： $\(\mathbf{z} = \operatorname{TopK}\left(\operatorname{ReLU}\left(W_{\text{enc}}(\mathbf{h} - \mathbf{b}_{\text{pre}}) + \mathbf{b}_{\text{enc}}\right), k\right)\)$ 其中稀疏度严格限制为前 \(k=32\) 个最大响应特征，从而完全消除传统 \(\ell_1\) 惩罚带来的数值收缩偏差。解码器通过单位范数约束的原子矩阵 \(W_{\text{dec}} \in \mathbb{R}^{n \times d}\) 线性重构隐层激活 \(\hat{\mathbf{h}} = W_{\text{dec}}^\top \mathbf{z} + \mathbf{b}_{\text{pre}}\)。通过分析激活图 \(z_a(\mathbf{x})\) 的空间响应分布与失活原子率，实现了对隐层几何表征的机械化解析。
3. 单原子因果消融诊断：量化原子对图像输出的因果依赖模式 为验证 SAE 字典是否被 INR 网络因果性使用，本文提出了单原子消融实验。针对目标原子 \(a\)，将第 \(\ell\) 层的隐层激活干预替换为 \(H_\ell - z_a \mathbf{w}_a^\top\)（其中 \(\mathbf{w}_a\) 为解码器第 \(a\) 个行向量），并在像素空间衡量预测改变量 \(\Delta_a(\mathbf{x}) = f_\theta(\mathbf{x}) - f_\theta^{-a}(\mathbf{x})\)。若字典原子编码的是局部空间基元，消融后重建误差应严格局限于激活几何区域；若原子过早编码了全局图像先验，则消融将沿特征传递路径产生全局发散的重构伪影与大幅度 PSNR 暴跌。
损失函数 / 训练策略¶
群组预训练采用 STRAINER 协议，在 \(M=10\) 个信号样本上最小化多头均方误差： $\(\Theta^\star = \arg\min_{\Theta} \sum_{j=1}^M \sum_{i=1}^N \|g_{\phi_j}(f_\theta(\mathbf{x}_i)) - \mathbf{s}_i^{(j)}\|_2^2\)$ 预训练使用 Adam 优化器，学习率设为 \(10^{-4}\)，迭代 5000 步直至群组平均 PSNR 达到约 30 dB。测试阶段采用 500 步的拟合预算。SAE 训练阶段保持已训练完成的 INR 权重完全冻结，使用 Adam 优化器以 \(10^{-4}\) 学习率优化重构 MSE 损失达 10,000 步，每步严格执行解码原子单位范数重归一化。
实验关键数据¶
主实验¶
主实验在 CelebA-HQ（人脸）、OASIS-MRI（脑部 MRI）与 Kodak（自然图像）三种不同分布的数据集之间进行了全组合跨域迁移评估，对比标准 STRAINER 全量微调（No freeze）与本文按 \(\tau^\star\) 冻结最优层的方案（SIREN \(\tau=1\)，FFMLP \(\tau=0\)）。
| 迁移组合 (源域 → 目标域) | 模型架构 | STRAINER (无冻结) PSNR (dB) | 本文冻结协议 PSNR (dB) | 相对增益 | 稳定秩预测匹配 (W/H) |
|---|---|---|---|---|---|
| CelebA → CelebA (域内) | SIREN (\(\tau=1\)) | 43.15 ± 2.26 | 42.36 ± 2.47 | -0.79 dB | ✓ / ✗ |
| CelebA → CelebA (域内) | FFMLP (\(\tau=0\)) | 33.20 ± 2.42 | 34.01 ± 2.40 | +0.81 dB | ✓ / ✓ |
| CelebA → Kodak (跨域) | SIREN (\(\tau=1\)) | 30.93 ± 2.65 | 39.77 ± 1.99 | +8.84 dB | ✓ / ✗ |
| CelebA → Kodak (跨域) | FFMLP (\(\tau=0\)) | 28.43 ± 2.54 | 29.89 ± 3.78 | +1.46 dB | ✓ / ✓ |
| CelebA → OASIS (跨域) | SIREN (\(\tau=1\)) | 49.28 ± 1.30 | 49.52 ± 1.42 | +0.24 dB | ✓ / ✗ |
| CelebA → OASIS (跨域) | FFMLP (\(\tau=0\)) | 39.61 ± 1.57 | 42.93 ± 2.21 | +3.32 dB | ✓ / ✓ |
| Kodak → Kodak (域内) | SIREN (\(\tau=1\)) | 30.02 ± 2.63 | 39.81 ± 2.11 | +9.79 dB | ✓ / ✗ |
| Kodak → Kodak (域内) | FFMLP (\(\tau=0\)) | 28.76 ± 2.62 | 31.06 ± 2.78 | +2.30 dB | ✓ / ✓ |
| OASIS → Kodak (跨域) | SIREN (\(\tau=1\)) | 30.56 ± 2.68 | 39.19 ± 2.07 | +8.63 dB | ✓ / ✓ |
| OASIS → OASIS (域内) | SIREN (\(\tau=1\)) | 48.98 ± 2.02 | 49.17 ± 1.39 | +0.19 dB | ✓ / ✓ |
| 全组合平均 (Mean) | SIREN | 40.69 | 43.80 | +3.11 dB | 6/6 架构对齐 |
| 全组合平均 (Mean) | FFMLP | 34.66 | 35.91 | +1.25 dB | 6/6 架构对齐 |
消融实验¶
消融实验包含两部分：冻结深度扫描分析与 SAE 单原子因果消融实验。下表汇报了 CelebA 预训练模型在迁移到 CelebA 目标域时不同冻结深度 \(\tau\) 下的权重稳定秩、激活稳定秩及拟合指标，以及 SAE 字典活跃状态统计。
| 冻结深度 / 评估配置 | 架构 | 权重稳定秩 \(sr(W_\ell)\) | 激活稳定秩 \(sr(H_\ell)\) | PSNR (dB) | SSIM | 机制表现与失活原子率 |
|---|---|---|---|---|---|---|
| 原始全微调 (No freeze) | SIREN | – | – | 43.15 ± 2.26 | 0.9879 | 全层更新，参数量与开销最大 |
| 冻结 \(\tau=0\) | SIREN | 1.97 | 14.91 | 41.09 ± 2.00 | 0.9814 | 未覆盖内部高秩坐标映射层 |
| 冻结 \(\tau=1\) (最优) | SIREN | 32.45 | 32.26 | 42.36 ± 2.47 | 0.9858 | 稳定秩峰值层，保留通用空间网格基元 |
| 冻结 \(\tau=2\) | SIREN | 28.04 | 48.55 | 41.65 ± 2.61 | 0.9845 | 性能维持高位平台，保持局部平铺 |
| 冻结 \(\tau=3\) | SIREN | 29.16 | 39.43 | 38.66 ± 3.28 | 0.9695 | 开始出现表征专用化惩罚 |
| 冻结 \(\tau=4\) | SIREN | 21.72 | 16.19 | 17.57 ± 1.39 | 0.3295 | 编码器几乎全冻结，容量完全塌陷 |
| 原始全微调 (No freeze) | FFMLP | – | – | 33.20 ± 2.42 | 0.9016 | 全量拟合易陷入次优局部解 |
| 冻结 \(\tau=0\) (最优) | FFMLP | 79.61 | 63.08 | 34.01 ± 2.40 | 0.9148 | 紧邻傅里叶投影层，保留频域位置编码 |
| 冻结 \(\tau=1\) | FFMLP | 30.59 | 11.17 | 29.79 ± 2.16 | 0.8098 | 出现域先验记忆干扰 (-4.22 dB) |
| 冻结 \(\tau=2\) | FFMLP | 16.66 | 3.54 | 25.50 ± 1.69 | 0.6472 | 记忆轮廓固化严重 (-8.51 dB) |
| 冻结 \(\tau=4\) | FFMLP | 26.76 | 2.28 | 15.92 ± 1.37 | 0.3913 | 失活原子率飙升至 59.1% |
| SAE 单原子消融 (\(\ell_2\)) | SIREN | – | – | -2.0 ~ -3.0 dB | – | 误差严格局限在原子激活的空间局部 |
| SAE 单原子消融 (\(\ell_2\)) | FFMLP | – | – | 高达 -10.58 dB | – | 误差扩散至全图，单一原子破坏全局轮廓 |
关键发现¶
- 权重稳定秩具有无监督指导能力：在全部 6 组“源域-网络架构”组合中，权重稳定秩 \(sr(W_\ell^\star)\) 的峰值位置百分之百精确指示了经验最优冻结深度 \(\tau^\star\)（SIREN 为第 1 层，FFMLP 为第 0 层）。而常用的激活稳定秩在 CelebA 和 Kodak 源域的 SIREN 上由于受具体数据分布激发状态的偏置干扰，峰值发生偏移，仅在 4/6 情况下吻合。
- 高分辨率和小样本拟合下冻结策略收益巨大：在 Kodak 目标域的高分辨率拟合中，由于 500 步优化预算难以让全网络充分收敛，冻结浅层有效降低了待优化参数量，使 SIREN 相对全量微调取得了最高达 +9.79 dB 的极其显著提升。
- 两种主流架构的表征字典截然相反：SAE 激活分解证明，SIREN 的字典原子表现为空间局域的“色块/斑块”，如同网格平铺整个坐标空间，失活原子率全流程低于 4%；而 FFMLP 在深层演变为“整幅人脸/脑部解剖轮廓”的全局特征，失活原子率由 0.3% 激增至 59.1%。单个深层原子的剔除可直接摧毁 FFMLP 整幅图像重建（PSNR 暴跌 10.58 dB）。
亮点与洞察¶
- 解耦先验重构了 INR 的编码器-解码器分工：深入剖析了 SIREN 与 FFMLP 的本质差异——FFMLP 依赖外部固定傅里叶投影作为硬编码，从第 1 层起就开始用可学习参数去记忆样本的语义外观；而 SIREN 内部必须自发构建连续坐标网格嵌入，其前两层本质上充当了通用位置编码器。
- 引入机制可解释性工具透视连续表征：首次将现代大语言模型中的 TopK 稀疏自编码器移植到隐式神经表示的激活分析中，突破了过去仅能观察单神经元激活的局限，成功提取出网络在叠合机制下实际使用的正交基元。
- 免调优确定超参数的普适指导律：提出了仅依赖离线权重 SVD 分解即可精确确定最佳微调冻结层的判据，消除了下游迁移适配时逐层扫描的巨大计算开销。
局限与展望¶
- 主干架构覆盖范围有限：本文仅针对 SIREN 与傅里叶特征 MLP 两种经典 MLP 架构进行了验证，尚未拓展至近年流行的三维高斯（3DGS）、高斯激活网络、多分辨率哈希网格（Instant-NGP）或小波隐式网络（WIRE）。
- SAE 语义维度的深层标注尚待建立：当前字典虽然能可视化呈现清晰的空间几何形态与器官轮廓，但未进一步建立与具体语义属性（如边缘频率、颜色通道、具体解剖结构亚区）的细粒度量化映射。
- 未探索激活操控与下游控制任务：目前的工作主要聚焦于单向消融与机理验证，尚未尝试通过在线调整特定 SAE 原子的激活强度来对隐式场景执行解耦编辑或几何风格迁移。
相关工作与启发¶
- vs STRAINER [66] / Noise Pretraining [67]：STRAINER 提出了群组共享编码器的训练方案但测试时无差别微调全网络，掩盖了层级迁移能力；本文提出了分层冻结机制，不仅阐明了哪一层可迁移，更在少步数下实现了跨域性能的大幅超越。
- vs XINC [46] / SplineCAM [26]：先前的 INR 解释工作局限于分析孤立神经元的空间响应或 ReLU 网络输入空间分区，难以应对特征超密叠合现象；本文通过 SAE 字典学习首次恢复出网络实际运算时依赖的过完备特征原子。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将 SAE 字典分解引入隐式神经表示，并发现了权重稳定秩对可迁移冻结深度的严格先验对应关系。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三种跨域视觉与医学影像数据集、两种主干、全层冻结扫描、权重/激活稳定秩对比以及单原子因果消融。
- 写作质量: ⭐⭐⭐⭐⭐ 理论分析与经验证据严谨闭合，图表与机制阐述非常透彻。
- 价值: ⭐⭐⭐⭐⭐ 为 INR 的轻量化迁移微调提供了直接可行的工程指导，并为连续表征的可解释性研究开辟了全新路径。