Bounding Global and Local Compression Error of Signal Parameterizations¶
会议: NeurIPS 2026
arXiv: 2606.00126
OpenReview: https://openreview.net/forum?id=ut4H4goukL
代码: https://github.com/voilalab/global_error_bound
领域: 模型压缩
关键词: 信号参数化, 隐式神经表示, 压缩误差界, 逆问题, 局部误差热图
一句话总结¶
基于最优误差曲线的单调性、离散凸性及有限参数零误差三大结构特性，提出一种无需真实信号（Ground Truth）即可计算的可微信号参数化全局与局部压缩误差理论界与校准预测方法。
研究背景与动机¶
隐式神经表示（INR）与各类混合参数化模型（如网格、傅里叶特征网络、多分辨率哈希编码、张量分解）因其紧凑性与端到端可微性，已成为计算成像和神经表征领域的核心工具，广泛应用于超分辨率、加速核磁共振成像（MRI）重建及神经辐射场（NeRF）等任务。然而，在有限参数预算下，这些连续参数化模型到底损失了多少信号保真度，长期缺乏原则性的理论衡量工具。在实际计算成像与临床诊断等关键场景中，待测信号本身是未知且无法直接观测的，依赖真实信号评估重建误差在现实中根本不可行。
经典率失真理论（Rate-Distortion Theory）通常依赖已知的信号先验分布或基于不可微的量化/熵编码操作，无法直接迁移到通过非凸优化持续拟合连续坐标的可微表示中；而现有的神经网络逼近理论大多局限于渐近宽度（Asymptotic）或超参数化机制，给出的界过于粗糙，难以指导特定信号在具体有限尺寸下的实际压缩决策。
本文敏锐地抓住可微参数化模型压缩误差曲线内在的几何结构特性，发现只要最优误差随模型容量单调递减、呈现边际收益递减（离散凸性）并在有限参数下能够精确拟合，就能通过相邻容量模型的预测差值推导未知真实误差的紧致界。核心 idea：利用相邻压缩尺度模型的预测差异与至零误差阈值的参数距离构建伸缩级数，在无需 Ground Truth 的前提下推导出有限参数下全局压缩误差的非渐近理论上界，并通过单一架构常数校准获得高保真的全局误差曲线追踪与像素级局部误差热图。
方法详解¶
整体框架¶
本文针对可微信号参数化构建了一套从理论上界、优化差距修正到实用校准预测的完整误差评估体系。输入为不同容量配置（参数量 \(d\)）下的参数化模型，整个流水线无需访问目标真实信号 \(x\)。整体流程分为四步：首先基于误差曲线的三大结构假设建立理想全局误差界；随后引入多随机重启方差估计非凸优化的实际优化差距；接着对理论保守常数进行架构级单标量校准；最后将相邻模型残差向像素/体素空间投影以输出局部误差分布。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 相邻容量模型预测<br/>g_d 与 g_d+1（无需 Ground Truth）"] --> B["三假设全局误差界<br/>伸缩级数与离散凸性控制"]
B --> C["优化差距修正<br/>多随机重启方差估计 η_d"]
C --> D["单标量架构校准<br/>统一缩放因子 c 转换实用预测"]
D --> E["局部误差热图推断<br/>逐点差异 c|g_small - g_large| 定位伪影"]关键设计¶
1. 三大结构假设下的全局误差界推导：基于伸缩级数消除未知目标信号
直接评估模型在参数量 \(d\) 下的最优压缩误差 \(\|x - g_d^\star\|\) 极其困难，因为真实信号 \(x\) 不可知。本文建立在三项符合物理规律的自然结构假设之上： 1. 单调性：增大参数预算不会恶化最优拟合效果，即 \(\|x - g_d^\star\| \ge \|x - g_{d+1}^\star\|\)； 2. 离散凸性：存在边际效益递减，即 \(\|x - g_d^\star\| - \|x - g_{d+1}^\star\| \ge \|x - g_{d+1}^\star\| - \|x - g_{d+2}^\star\|\)； 3. 有限零误差：存在有限的临界参数预算 \(d^\star\)，使得模型能够精确插值信号，即 \(\|x - g_{d^\star}^\star\| = 0\)。
在上述假设下，将 \(\|x - g_d^\star\|\) 展开为从 \(d\) 到 \(d^\star\) 的伸缩求和（Telescoping Sum）。由于离散凸性保证了后续每一阶参数增长带来的误差缩减均不超过第一项，再结合三角不等式 \(\|x - g_d^\star\| - \|x - g_{d+1}^\star\| \le \|g_d^\star - g_{d+1}^\star\|\)，即可将对未知 \(x\) 的依赖消去，得出核心定理： $$ |x - g_d^\star| \le (d^\star - d) |g_d^\star - g_{d+1}^\star| $$ 若离散凸性仅在残差平方项上成立（如径向谱衰减下的插值网格或张量分解），只需增加常数因子 2。为进一步抵抗单对模型训练波动，本文还设计了批处理变体（Batched Bound），通过在连续 \(b\) 个参数增量窗口内取平均残差 \(\frac{1}{b}\sum_{i=1}^b \|g_{d+i-1}^\star - g_{d+i}^\star\|\)，显著平滑估计波动。
2. 优化差距修正与包络函数扩展：应对非凸优化与复杂函数族
实际中模型往往通过梯度下降求解非凸目标，得到的收敛权重 \(\tilde{g}_d\) 与全局最优解 \(g_d^\star\) 之间存在不可忽略的优化误差 \(\eta_d = \tilde{g}_d - g_d^\star\)。将真实拟合误差三角展开，推导出包含优化差距的实际可计算界： $$ |x - \tilde{g}d| \le (d^\star - d)|\tilde{g}d - \tilde{g}| + (d^\star - d)|\eta - \eta_d| + |\eta_d| $$ 针对无法直接观测的 \(\|\eta_d\|\)，设计了一种无真实标签的诊断方案：对同一架构和压缩等级，使用不同随机种子独立训练 \(m\) 次，统计成对重构之间的最大 \(\ell_2\) 距离 \(h_m = \max_{i \ne j} \|\tilde{g}_d^{(i)} - \tilde{g}_d^{(j)}\|\)，利用其随重启次数增长的收敛平区作为 \(\|\eta_d\|\) 的实用替代指标。对于无法直接严格证明离散凸性的复杂神经网络（如 FFN 和 Instant-NGP），本文进一步提出了上下包络定理（Theorem 3），利用连续逼近速率推导出的单调凸上包络 \(U(d)\) 与下包络 \(L(d)\)，引入松弛项 \(U(d) - L(d)\)，从理论上将框架扩展至广泛的神经网络家族。
3. 单标量架构校准与像素级局部误差热图：从极度保守界转化为精准预测器
虽然理论界是绝对严格且无分布假设的，但乘子 \((d^\star - d)\) 反映的是极端病态几何下的最坏情况，导致理论数值保守数个数量级。然而实验揭示，相邻模型的差值范数随压缩率变化的相对变化趋势与真实误差曲线具有惊人的一致性。因此，本文提出了极简的校准机制：对每种架构仅在单个基准信号上拟合一个固定的缩放常数 \(c\)，使得预测值 \(c \cdot B(d)\) 紧致覆盖真实误差。该常数一经确定，即可跨不同信号、不同任务（图像拟合、MRI 重建、辐射场）乃至不同数据维度直接泛化。同时，将该思想自然延伸到局部空间：计算小模型与大模型输出的逐点加权差值 \(c|\tilde{g}_{\text{small}} - \tilde{g}_{\text{large}}|\)，无需任何 Ground Truth 即可精确输出局部误差热图，定位边缘、纹理等高频失真区域。
实验关键数据¶
主实验¶
论文对四类代表性可微参数化模型（插值 Grid、Fourier Feature Networks、Instant-NGP、Geometric Algebra Planes）在 2D/3D 直接拟合与逆问题（MRI、NeRF）上进行了全面验证。表 1 展示了核心架构校准常数与对应任务设置，表 2 展示了在典型压缩等级下各模型直接拟合真实信号（DIV2K 图像与 Stanford Dragon 3D 体素）的真实误差、理论界与校准预测值表现。
| 架构 | 任务大类 | 标定常数 \(c\) | 容量调优参数 | 解码器设定 | 优化差距估计方式 |
|---|---|---|---|---|---|
| FFN | NeRF / 其他通用任务 | 3.9 / 1.4 | MLP 隐藏层宽度 \(w\) | 1层浅层 / 4层深层(NeRF) | 多次随机重启最大成对残差平区 |
| Instant-NGP | NeRF / 其他通用任务 | 2.2 / 0.9 | 哈希表尺寸 \(T\) | 2层 MLP / 3层 MLP(NeRF) | 多次随机重启最大成对残差平区 |
| GA-Planes | NeRF / 其他通用任务 | 4.4 / 4.2 | 特征维度 \(k_1\) | 线性解码器 / 2层非线性 | 多次随机重启最大成对残差平区 |
| Grid | NeRF / 其他通用任务 | 3.1 / 4.5 | 网格轴分辨率 \(r\) | Sinc / 线性插值 + TV正则 | 确定性优化 / TV平滑 |
| 信号与数据模态 | 参数化模型 | 压缩等级 \(d/n\) | 真实误差 \(\|x - \tilde{g}_d\|_2\) | 理论上界（带优化差距修正） | 校准预测误差 \(c \cdot B(d)\) | 预测与真实比值 |
|---|---|---|---|---|---|---|
| DIV2K 2D 图像 (\(128^2\)) | Grid | 0.20 | 0.048 | 8.21 | 0.052 | 1.08× |
| DIV2K 2D 图像 (\(128^2\)) | FFN | 0.20 | 0.039 | 15.63 | 0.041 | 1.05× |
| DIV2K 2D 图像 (\(128^2\)) | Instant-NGP | 0.20 | 0.033 | 9.47 | 0.035 | 1.06× |
| DIV2K 2D 图像 (\(128^2\)) | GA-Planes | 0.20 | 0.041 | 11.85 | 0.044 | 1.07× |
| Stanford Dragon 3D (\(64^3\)) | Grid | 0.40 | 0.027 | 5.34 | 0.029 | 1.07× |
| Stanford Dragon 3D (\(64^3\)) | FFN | 0.40 | 0.021 | 10.12 | 0.022 | 1.05× |
| Stanford Dragon 3D (\(64^3\)) | Instant-NGP | 0.40 | 0.018 | 6.88 | 0.019 | 1.06× |
| Stanford Dragon 3D (\(64^3\)) | GA-Planes | 0.40 | 0.024 | 7.92 | 0.025 | 1.04× |
消融实验¶
消融实验重点验证了优化差距修正项与批处理块大小 \(b\) 对误差界与预测曲线稳定性的影响（以 2D MRI 切片重建为例）。
| 算法配置 / 模块组合 | 预测误差相对波动 (std/mean) | 理论界松紧比 (Bound/Actual) | 局部热图与真实误差相关系数 (Pearson \(r\)) | 说明 |
|---|---|---|---|---|
| 基础差值预测 (\(b=1\), 无优化差距修正) | 18.4% | 340× | 0.812 | 单对相邻模型受非凸收敛随机性扰动明显 |
| 加入多重启优化差距修正 (\(\|\eta_d\|\)) | 11.2% | 385× | 0.825 | 准确界定优化缺陷，理论界始终严格成立 |
| 加入批处理增量平滑 (\(b=3\)) | 5.3% | 362× | 0.864 | 显著降低相邻采样点斜率跳变 |
| 完整模型 (\(b=3\) + 优化差距修正 + 标定 \(c\)) | 3.8% | 1.05× | 0.897 | 理论严谨、实测极紧，局部热图高度契合真实伪影 |
关键发现¶
- 最坏情况理论界的高度保守性与结构一致性：最坏情况理论界高出真实误差两个数量级以上，但其一阶导数和曲率变化与真实误差曲线严格同步，表明相邻模型间隙确实捕获了内在的信息衰减动态。
- 校准因子的任务无关性：在直接拟合、带傅里叶欠采样的 MRI 逆问题以及带非线性体绘制的 NeRF 渲染中，同一种模型架构只需设定一个固定常数 \(c\)，就能准确泛化至完全未见过的信号类型与分辨率。
- 局部热图高保真定位：即便理论定理仅在全局 \(\ell_2\) 范数下证明成立，但逐点残差 \(c|\tilde{g}_{\text{small}} - \tilde{g}_{\text{large}}|\) 极好地复现了高频边缘与复杂拓扑处的实际损失，证明了相邻容量差异在空间域同样具备强指示性。
亮点与洞察¶
- 无需 Ground Truth 的逆向误差控制：巧妙利用伸缩级数和边际效益递减原理，将对真实信号的依赖完全替换为相邻模型之间的输出差异，为无参考信号质量评估提供了严格数学基石。
- 从保守理论上界向实用预测器的平滑落地：不仅给出了数学完备的最坏情况定理与优化差距分析，还提出单标量校准这一工程极度简练的方案，解决了逼近理论在实践中“保真却不紧致”的通病。
- 广泛的跨任务与跨维度泛化能力：一套范式统摄了 2D 图像、3D 体素、MRI 欠采样重建与 5D 神经辐射场，为计算成像和具身感知边缘端的自适应压缩配置提供了可复用的监控手段。
局限与展望¶
- 理论推导局限于浅层单隐层解码器：在理论证明中，MLP 均被简化为单隐层浅层网络，而实际工业级 NeRF 或高精度隐式表示多采用更深的非线性网络，深层网络严格离散凸性的理论验证仍是开放课题。
- 局部热图缺乏正式理论保证：局部空间误差热图虽在实验中表现优异，但目前仅属于经验启发式推断，定理仅覆盖全局 \(\ell_2\) 范数，尚未建立局部半范数（Semi-norm）或感兴趣区域（ROI）的理论下界与上界。
- 极端欠拟合或多峰优化失效风险：如果多组模型均陷于相近的局部劣解，重启方差法可能会低估优化误差，进而低估真实重建损失。
相关工作与启发¶
- vs 经典率失真理论 (Rate-Distortion Theory)：经典理论依赖源信号的概率分布先验，且面向离散量化操作；本文无分布假设，直接针对连续可微参数化的非凸拟合过程建立单信号确定性上界。
- vs 神经网络函数逼近理论 (Siegel & Xu, Barron 等)：既有逼近理论多讨论网络宽度趋于无穷时的渐近收敛率或存在性，无法量化具体信号在具体有限预算下的真实绝对误差；本文借助逼近理论构造上下包络，导出了无需真值的有限参数非渐近可计算界。
- vs 无参考图像质量评价 (NR-IQA)：传统 NR-IQA 侧重感知自然度或利用判别器打分，无法给出物理保真度的度量界；本文立足重构动力学，直接预测物理信号的欧几里得逼近误差。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出无需真值的可微信号参数化有限非渐近误差界，思路独辟蹊径。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2D/3D、直接拟合与逆问题、理论验证与局部热图，数据丰富扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 数学论证严谨，定理、推论与附录证明层层递进，结构极度清晰。
- 价值: ⭐⭐⭐⭐⭐ 彻底打通了信号隐式压缩理论与实际工业部署中无参考自适应压缩的关键瓶颈。