Denoised Variance-Based Pruning with Optimal Brain Bias Compensation¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/3650
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2379.pdf
作者: Geon Tack Lee, Jaegul Choo, Kang Eun Jeon
代码: https://github.com/geontackee/DVBP_OB2C
领域: 模型压缩
关键词: 结构化剪枝、激活方差、协方差去噪、随机矩阵理论、偏置补偿

一句话总结¶

DVBP + OB2C 先用去噪与原始激活方差的混合分数选择待剪 MLP 神经元，再以中心化协方差求解权重和偏置补偿；在 ImageNet-1K 上剪去 50% MLP 隐藏神经元且不微调时，Swin-S 的 Top-1 从 VBP 的 69.91% 提升至 77.24%。

研究背景与动机¶

结构化剪枝删除完整神经元或通道，能直接缩小矩阵维度，不需要依靠稀疏计算内核才能减少运算。但一个神经元是否可以删除，不能只看连接权重的大小：即使权重不小，只要该神经元在输入之间几乎不变，它的作用就接近一个常量，可以搬进下一层的偏置。方差剪枝 VBP 正是利用这一点，按激活方差排序，并在删除后补回平均贡献。

VBP 的不足也沿着这条思路出现。有限校准数据估计出的方差会混入统计噪声，尤其在剪枝率较高、许多中等重要的神经元也要被取舍时，排序错误会放大。另一方面，偏置只能补回常量，不能补回被删神经元随输入变化的部分；保留下来的神经元可能包含相关信息，但如果其输出权重不变，这些信息不会主动接替被删路径的功能。

本文因此不是重新设计一个可训练的剪枝器，而是修正 VBP 的统计选择和剪后恢复环节。核心 idea：用谱去噪改善“删谁”的判断，再把偏置补偿放进层输出重建目标，使“怎样补救”成为基于同一份中心化协方差的闭式权重更新。

方法详解¶

整体框架¶

输入是预训练模型与一组校准图像，输出是隐藏维度缩小后的模型。方法只针对 DeiT、Swin 和 ConvNeXt 中的 MLP 隐藏神经元，不剪注意力头，也不改变块的外部输入、输出维度。在线中心统计得到均值和协方差；去噪混合评分决定全网删除集合；OB2C 联合补偿利用原始中心化协方差更新第二个线性层的权重和偏置，随后物理删除对应维度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练模型<br/>校准图像"] --> B["在线中心统计"]
    B --> C["去噪混合评分"]
    B -->|均值与原始协方差| D["OB2C 联合补偿"]
    C -->|待剪神经元集合| D
    D --> E["删除对应维度<br/>压缩模型"]

关键设计¶

1. 在线中心统计：为排序与补偿提供同一份数据基础

统计对象是待压缩 MLP 的隐藏激活，即第二个线性层接收的输入。VBP 只需每个神经元的均值和方差，而权重补偿还需要知道神经元之间的共同变化，因此本文保留完整协方差。对角线描述单个神经元的波动，非对角项则描述某个被删神经元的变化能否由其他神经元的变化解释；后者是补偿权重能够有效恢复输出的关键。

直接保存所有校准激活会使存储随样本数增长。本文按批次维护样本数、均值和协方差，用 Chan/Pébay 类型的合并规则，把新批次内部的中心统计与历史统计合并，并补上两批均值差产生的外积项。这个校正项不能省略：若两批内部波动都很小、但均值不同，简单平均两批协方差会漏掉跨批次变化。在线计算避免保存完整激活历史，但仍要存储每层的稠密协方差，因此并不意味着开销与隐藏维度无关。

2. 去噪混合评分：只在排序时抑制噪声谱，并随剪枝率调整力度

样本协方差的特征值谱中，低秩信号之外还存在由有限样本产生的噪声谱主体。本文用 Marchenko–Pastur（MP）分布估计噪声上界：先以协方差特征值的中位数和理论 MP 中位数估计噪声尺度，再得到上边界，只保留超过该边界的特征值及对应特征向量。将这些分量重建回神经元坐标后，取对角线作为去噪方差；因此它仍然给原始神经元打分，并不是把网络变换到特征向量基底后剪枝。

MP 拟合中的纵横比采用隐藏维度除以校准图像数，而不是除以图像 patch 总数，因为同一图像的 patch 高度相关。这个选择旨在避免把相关 patch 当成额外独立样本；它并不能严格证明真实网络激活满足 MP 定律要求的独立同分布噪声假设。去噪还可能删除较弱但有用的信号，所以作者没有完全替换原方差，而是让目标剪枝比例控制两种分数的混合。

\[ C_{\mathrm{denoised}}=\sum_{\lambda_i>\lambda_+}\lambda_i v_i v_i^\top, \qquad s_i=(1-p)C_{ii}+p(C_{\mathrm{denoised}})_{ii}. \]

这里 \(C\) 是原始中心化协方差，\(\lambda_i,v_i\) 是其特征值和特征向量，\(\lambda_+\) 是估计出的 MP 噪声上界，\(p\in[0,1]\) 是目标剪枝比例。低剪枝率更依赖原方差，高剪枝率更依赖去噪方差。所有目标 MLP 的隐藏神经元按该混合分数全局排序，删除最低的一部分，不强制每层剪掉同样比例。因此，50% 是目标神经元集合的总体删除比例，不是每层、全模型参数或 MACs 都减半。

3. OB2C 联合补偿：先消去最优偏置，再用中心化曲率恢复权重

VBP 的偏置更新只处理被删神经元的平均输出。OB2C 则把压缩后权重与新增偏置补偿一起作为层重建的优化变量，让压缩前后线性层输出在校准集上尽量接近。对偏置先求最优解后，问题变成对中心化激活的重建；这样，均值变化已被偏置处理，权重只需恢复随输入变化的部分。这个区别解释了为什么应使用协方差，而不是直接套用 OBC 的未中心化二阶矩。

\[ \min_{\widehat W,b}\left\|WX-(\widehat W X+b\mathbf 1^\top)\right\|_F^2, \qquad b^*=(W-\widehat W)\mu, \qquad H=2\widetilde X\widetilde X^\top=2NC. \]

其中 \(X\) 的列是校准激活，\(\mu\) 是其均值，\(\widetilde X=X-\mu\mathbf 1^\top\)，\(C=\widetilde X\widetilde X^\top/N\)。\(b\) 表示在原偏置上新增的补偿量，而非把原偏置丢弃。这里的 \(H\) 是逐层平方重建误差的代理 Hessian，不是整个分类任务损失的 Hessian；它与协方差成比例，也不是未经归一化就恰好等于协方差。

确定待删索引集合 \(P\) 后，OB2C 使用原始中心化协方差的逆，计算满足这些列被置零约束的多权重闭式更新：

\[ \delta W=-W_{:,P}\bigl([C^{-1}]_{P,P}\bigr)^{-1}[C^{-1}]_{P,:}, \qquad \widehat W=W+\delta W. \]

该式把被删列的贡献通过激活相关性分配给其余列，随后按更新前后权重之差计算最优偏置补偿。只把原始被删权重的均值贡献加回偏置是不够的，因为幸存权重也变了。最后同步删除第一个线性层的对应输出维度及隐藏偏置项，以及第二个线性层的对应输入维度，保持块外部接口不变。

以上公式按原文第 3.1、3.4 节的变量关系整理；本地文本的部分公式存在抽取断裂，未据此补写未明确给出的阻尼或求逆实现。特别要区分两份矩阵的用途：谱截断后的协方差只参与评分，OB2C 推导使用的是原始中心化协方差，并非对已被截成低秩的矩阵直接求逆。“最优”也只针对给定删除集合、校准激活和逐层重建目标，不表示找到了全网最优剪枝结构。

损失函数 / 训练策略¶

主要结果不进行梯度训练或剪枝后微调。校准集从 ImageNet-1K 训练集以固定种子随机采样 8,192 张图像，不做数据增强；统计完成后按评分与闭式更新执行剪枝，直接在验证集测 Top-1。这里的 zero-shot 指剪后零微调，不是完全不用校准数据，也不是零样本类别识别。

论文另以 70% MLP 剪枝的 DeiT-B 和 Swin-S 检验恢复后微调的效果，使用 VBP 官方脚本、未剪模型作为教师、AdamW、学习率 \(1.5\times10^{-5}\)、余弦退火与批量大小 32，观察 10 个 epoch。该实验是额外分析，不能与主表的免微调结果混为一谈。

实验关键数据¶

主实验¶

统一为 ImageNet-1K Top-1 准确率，越高越好；下表均为 50% MLP 隐藏神经元剪枝，剪后不微调。完整模型与各基线由作者在同一设置下本地评测，不能将下列基线准确率自动视作其他预训练权重的标准值。

模型	完整模型 Top-1 (%) ↑	VBP (%) ↑	DVBP + OB2C (%) ↑	相对 VBP 提升（百分点）
DeiT-S	79.86	66.03	70.25	4.22
DeiT-B	81.98	68.92	75.85	6.93
Swin-S	83.32	69.91	77.24	7.33
Swin-B	85.27	70.86	76.16	5.30
ConvNeXt-T	84.17	15.44	44.90	29.46
ConvNeXt-B	85.81	56.12	70.76	14.64

数据来自表 1、3。ConvNeXt-T 的 29.46 是准确率百分点差，不是相对提高 29.46%；其剪后准确率仍仅 44.90%，不宜称为近乎无损压缩。论文摘要关于 Small/Base 保留超过 90% 原始准确率的概括也不是所有表格行都满足，例如 DeiT-S 的 70.25% 对应完整模型 79.86%。

资源方面，表 2 的 DeiT-B 参数从 86.57M 降至 58.24M，MACs 从 17.59G 降至 12.01G，再次说明 MLP 剪枝 50% 不等于全模型减半。ConvNeXt 的 VBP 与本文资源量并不完全一致：ConvNeXt-T 分别为 12.61M / 12.96M 参数、2.95G / 2.94G MACs，不能宣称这些比较完全同参数量。

消融实验¶

下表摘自表 5，比较同一 50% 剪枝设置下的阶段性 Top-1；“+D”是在 VBP 上加入去噪评分，“+D+O”再加入 OB2C。所有数值单位为 %，越高越好。

模型	VBP	+D	+D+O	OB2C 相对 +D 提升（百分点）
DeiT-T	42.90	44.32	56.40	12.08
DeiT-S	66.03	65.37	70.25	4.88
Swin-S	69.91	71.21	77.24	6.03
Swin-B	70.86	70.11	76.16	6.05

表 5 的 DeiT-T VBP 为 42.90%，而表 1 为 42.89%；这里保留各自原值。按消融相邻列计算，DeiT-T 加入 OB2C 的提升是 12.08 个百分点，不采用正文“接近 14%”的概括。

关键发现¶

OB2C 是表 5 中更主要的恢复来源；去噪单独加入时并不总有收益，DeiT-S 从 66.03% 降至 65.37%，Swin-B 从 70.86% 降至 70.11%。因此应把“选择更好”和“恢复更好”区分开。
去噪在高剪枝率下更重要。表 6 的 Swin-S 在 70% 剪枝时，不去噪为 37.26%，MP 上界筛选为 57.13%；但 50% 剪枝时，固定保留前 50% 谱分量达到 77.76%，高于 MP 方案的 77.24%，不能照抄正文“始终最高”的表述。
表 4 在 RTX 3090 上报告 Swin-B 的剪枝耗时从 VBP 的 34.89 秒增加至 66.92 秒，峰值显存从 4.58G 增至 8.11G。这是离线压缩成本，不是部署推理延迟；完整主文未用这些数值证明实际端侧加速倍率。

亮点与洞察¶

将偏置优化写进重建目标，比剪完再补均值更有解释力。中心化之后，权重优化只处理残余变化，统计量的含义与补偿任务直接对应。
相同校准统计支撑两种用途，但无需让两者使用同一种处理结果。排序可以采用去噪后的对角线，恢复仍保留原协方差中的相关性，避免混淆“重要性分数”与“重建几何”。
实验表明好的结构选择不必承担全部恢复任务。即使去噪评分略有退步，联合权重与偏置更新仍能明显提高剪后精度，说明只评估排序规则可能误判整个剪枝系统。

局限与展望¶

作者明确承认，原方差与去噪方差按剪枝率线性混合属于启发式，尚缺乏理论最优性依据。谱较弱的有效信号可能被噪声筛选误删。
从本文评测范围看，证据主要覆盖 ImageNet-1K 分类和 MLP 神经元剪枝，不能直接推广为注意力结构、其他任务或所有线性层都已验证。ConvNeXt-T 的剩余精度损失尤其明显。
MP 噪声模型与真实激活分布之间仍有建模距离；中心化协方差的求逆也依赖可逆性和数值稳定性。可读主文没有明确交代奇异矩阵处理细节，完整算法与证明被放在当前缓存未包含的补充材料中。
现有消融和实际表格比部分文字概括更保守，且未给出多随机种子误差范围。判断小幅去噪收益时，应保留实验不确定性，而不是把小数点差异都归因于确定的机制优势。

评分¶

新颖性: 4/5。将偏置消元与协方差权重恢复连起来很清楚，谱去噪及混合分数本身则更多是已有工具的组合。
实验充分度: 3/5。覆盖多个骨干和规模，包含资源与消融分析，但训练任务单一、重复试验信息不足，部分比较需注意资源差异。
写作质量: 3/5。核心推导容易把握，但摘要及部分实验文字的概括强于表格证据，需按表核对。
价值: 4/5。为免微调结构化剪枝提供实用的权重恢复方案，尤其适合研究偏置补偿与中心化统计的关系。