跳转至

Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理
关键词: 大模型量化, 混合精度量化, 免校准量化, 机械可解释性, 奇异值分解

一句话总结

针对传统免校准层级混合精度量化仅依赖单一数值异常统计且无视模块异质性的缺陷,本文提出了 NSDS 框架,通过机械可解释性将层内模块解构为探测器与写入器,从数值脆弱性与结构表达力双视角评估敏感度,并基于 MAD-Sigmoid 与 Soft-OR 实现鲁棒无校准比特分配。

研究背景与动机

大语言模型在复杂推理、多语言理解及各类垂域任务中展现了极其强大的能力,但数十亿乃至数百亿的参数体量对端侧及数据中心的高效部署构成了严苛的计算与显存挑战。训练后量化(PTQ)凭借无需耗费海量算力重训的特性成为了主流压缩方案;然而在低于 4-bit 的极限低比特压缩场景下,传统对全模型所有层施加统一精度的均匀量化会导致输出困惑度急剧恶化甚至模型能力彻底坍塌。层级混合精度量化(LMPQ)通过在关键敏感层分配更高位宽(如 4-bit)、次要层分配更低位宽(如 2-bit)来权衡整体比特预算与精度损失,同时因为保持了层内权重张量的位宽统一与物理连续性,具有极佳的硬件内核规整性与执行效率。

尽管基于准则的敏感度估计方法兼具效率与实用性,但现有方案面临着严峻的分歧与缺陷。依赖前向校准集的方案往往面临计算开销高昂且极易对特定校准域过拟合的泛化瓶颈;而现存无需校准数据的免校准(Data-free)方法又存在两个根本性盲区:其一,它们通常将 Transformer 层内的所有权重矩阵(Q、K、V、O、FFN 等)平铺视作同质参数,忽视了不同运算模块在网络信息流中所承载的异质功能角色;其二,敏感度判别标准往往高度简化并局限于单一的标量数值属性,例如仅统计参数分布的离群值(Outlier)或全局方差。实验表明,即便某些层的权重异常值极少、数值脆弱性低,一旦其表征子空间的结构表达力遭到破坏,量化后依然会引发灾难性的模型困惑度激增。

为了打破对单一数值离群统计的过度依赖,本文从大模型内部机制机理切入,重新审视了网络层内部不同功能组件的运作范式与退化本质。作者发现,模型的量化鲁棒性是由参数分布的数值尾部特征与其在残差流中信息提取/写入的子空间结构共同决定的,两者相互正交且缺一不可。核心 idea:本文提出免校准的双重敏感度量化框架 NSDS,将 Transformer 层解构为「探测器」与「写入器」两类功能组件,结合超额峰度(数值脆弱性)与词表投影重加权谱能量(结构表达力),通过 MAD-Sigmoid 归一化与 Soft-OR 算子融合出层级综合敏感度以指导无监督比特分配。

方法详解

整体框架

NSDS 是一套完全数据无关(Data-Free)的 Transformer 层级混合精度量化敏感度度量与比特分配框架。整体流水线分为三个串行阶段:首先是模块角色机械解构与敏感度度量阶段,将各 Transformer 层内的注意力头矩阵与前馈网络按信息流动方向细分为负责特征激活的探测器(Detectors)与负责残差回写的写入器(Writers),并独立计算其数值脆弱性(NV)与角色感知的结构表达力(SE);第二阶段是鲁棒尺度对齐与评分聚合,利用中位数绝对偏差(MAD)消除跨层跨组件量纲不一致,再经 Sigmoid 映射后采用 Soft-OR 逻辑算子自适应突出最高风险项;第三阶段为闭式约束比特分配,依据综合敏感度降序排序,在目标平均位宽预算下为敏感层精准分配高比特(4-bit),其余层赋予紧凑比特(2-bit)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练模型权重矩阵"] --> B["阶段1:层内机制角色解构<br/>分流为探测器 (Detectors) 与写入器 (Writers)"]
    B --> C["阶段2:数值脆弱性与角色感知结构表达力双重估计<br/>超额峰度衡量尾部风险 + SVD谱熵重加权表征能量"]
    C --> D["阶段3:基于 MAD-Sigmoid 与 Soft-OR 的鲁棒评分聚合<br/>去中心化稳健标准化 + 极值主导概率逻辑融合"]
    D --> E["阶段4:闭式确定性数据无关比特分配<br/>依据综合敏感度降序排定 4-bit / 2-bit 预算"]
    E --> F["混合精度量化模型输出"]

关键设计

1. 层内机制角色解构:解耦异质权重的信息流职能 以往的免校准敏感度估计将注意力投影与前馈网络的所有矩阵混为一谈,遮蔽了不同张量在残差流更新中的真实角色。NSDS 借鉴机械可解释性回路理论,将单层分解为两类操作组件:探测器(Detectors)与写入器(Writers)。在多头注意力中,各头解耦合并后的 \(W_{QK}^{(l,h)} = W_Q^{(l,h)} (W_K^{(l,h)})^T\) 负责计算查询-键匹配模式并决定 token 注意力流向,属于探测器;而 \(W_{OV}^{(l,h)} = W_V^{(l,h)} W_O^{(l,h)}\) 负责提取受关注 token 的值信息并变换写入残差流,属于写入器。在前馈网络(以及包含门控的 SwiGLU 结构)中,负责读取残差流状态以激活特定神经元特征的上升投影 \(W_{\text{in}}\)(及门控矩阵 \(W_{\text{gate}}\))充当探测器;而将激活特征映射写回残差流的下降投影 \(W_{\text{out}}\) 则充当写入器。这种分类从根本上建立了网络内部特征感知与信息发射的功能边界。

2. 数值脆弱性与角色感知结构表达力双重估计:兼顾参数分布异常与几何子空间容量 传统的敏感度判据仅依赖单一指标(如参数统计方差或离群点),极易漏判那些参数分布规整但承载关键低秩流形结构的敏感层。为此,NSDS 从数值脆弱性(Numerical Vulnerability, NV)与结构表达力(Structural Expressiveness, SE)两维度构建双重视角。对于数值脆弱性,方法采用超额峰度 \(\kappa(w)\) 捕捉权重张量扁平化后的厚尾极端离群点分布,公式如下: $$ \kappa(w) = \frac{\mathbb{E}[(w - \mu)^4]}{(\mathbb{E}[(w - \mu)^2])^2} - 3 $$ 超额峰度越高意味着局部极端值越发集中,量化网格拉伸越严重。而在结构表达力方面,NSDS 首先通过截断 SVD(保留前 90% 累计方差以滤除长尾噪声)获取基础能量与谱熵乘积 \(E_{\text{base}} = \|\sigma\|_1 \times \exp(H(\sigma))\),其中 \(H(\sigma) = -\sum p_i \log p_i\) 刻画信息丰富度。进一步地,针对探测器与写入器施加差异化重加权因子:探测器依赖输入奇异向量 \(V\) 的锐度识别特定模式,以输入奇异向量超额峰度的对数亚线性变换 \(\beta_{DS}^{(i)} = \log(1 + \text{ReLU}(\kappa(v_i)))\) 重加权(对于 QK 矩阵则联合 Query 与 Key 奇异向量峰度乘积);写入器依赖输出奇异向量 \(U\) 在词表空间的投影影响力,采用其投影到词表解嵌入矩阵 \(W_U\) 的 \(L_1\) 范数 \(\beta_{WD}^{(i)} = \|W_U^T u_i\|_1\) 重加权。最终通过以 \(\sigma_i \cdot \beta^{(i)}\) 替换原始奇异值,获得深度融合模块机械特异性的结构表达力指标 \(E_{\text{role}}\)。

3. 基于 MAD-Sigmoid 与 Soft-OR 的鲁棒评分聚合:跨模态指标无偏规整与极值优先决策 由于数值脆弱性与结构表达力的量纲、尺度及方差差异极大,简单的线性加权必然导致某一指标占据绝对主导。NSDS 引入基于中位数绝对偏差(MAD)的稳健 Z 分数标准化以抵抗极端极值干扰: $$ z^{(l,c)} = \frac{r^{(l,c)} - \text{Median}(R)}{1.4826 \cdot \text{MAD}(R) + \epsilon} $$ 其中 \(1.4826\) 将 MAD 缩放到标准正态分布等效标准差。标准化后的 \(z^{(l,c)}\) 经由标准 Sigmoid 压缩至 \((0, 1)\) 概率区间得到 \(P^{(l,c)}\)。为了避免传统均值池化平摊掉单一组件的致死敏感度,NSDS 引入类布尔逻辑的 Soft-OR 算子 \(\text{Soft-OR}(\{P_i\}) = 1 - \prod (1 - P_i)\)。当任意一个模块展现出高风险脆弱性时,Soft-OR 均会赋予其接近 1 的主导评分。算法先在层内聚合所有组件的 NV 与 SE 得分,再将层级数值脆弱性与结构表达力通过 Soft-OR 熔炼为最终唯一的层级敏感度得分 \(S_{\text{NSDS}}^l\)。

4. 闭式确定性数据无关比特分配:零采样开销的预算贪心映射 在得出全网各层的全局敏感度标量后,面对给定的平均目标比特预算 \(\bar{b} \in [2, 4]\)(常规设为 3-bit),系统通过解析方程确定高精度分配比例:\(\rho = \frac{\bar{b} - 2}{4 - 2}\)。由此直接得出整网中应分配 4-bit 精度的层数 \(L_4 = \text{round}(\rho \cdot L)\),而剩余的 \(L_2 = L - L_4\) 层则采用极限紧凑的 2-bit 精度。整个分配过程仅依据 \(S_{\text{NSDS}}^l\) 降序选取 Top-\(L_4\) 层赋予 4-bit,全程不接触任何文本校准样本,杜绝了前向/反向传播计算负荷。

评估基准与实验设计

实验基于免校准量化后端 HQQ(默认设置)以及 GPTQ 展开,评估涵盖了 Llama-3.1-8B、Qwen2.5-7B、Llama-2-13B 和 Qwen2.5-14B 等主流开源大模型。下游评测横跨通用语言建模任务(WikiText-2 与 C4 数据集上的困惑度 PPL,数值越低越优)以及复杂语言推理与常识问答任务(ARC-Challenge、HellaSwag、PIQA、BoolQ、WinoGrande、TruthfulQA 的准确率,数值越高越优)。基线涵盖所有主流免校准方案(MSE、EWQ、ZD、KurtBoost)及代表性依赖校准集的方法(LIM、LSAQ、LLM-MQ、LieQ、SliM-LLM)。

实验关键数据

主实验

在目标平均 3-bit 预算(\(\bar{b} = 3\))下,Llama-3.1-8B 与 Qwen2.5-7B 模型上与前沿免校准基准的主实验测试结果如下表所示:

模型 方法 ARC-C (↑) Hellaswag (↑) PIQA (↑) BoolQ (↑) Winogrande (↑) TruthfulQA (↑) WikiText-2 (↓) C4 (↓)
Llama-3.1-8B FP16 基准 57.76 81.97 80.09 82.11 77.35 28.40 6.24 8.95
MSE 38.73 64.21 68.58 60.73 65.82 23.95 9.22 12.35
EWQ 40.17 67.16 71.49 64.52 67.43 23.34 8.38 11.27
ZD 39.45 66.94 69.63 62.88 67.51 24.49 8.42 11.51
KurtBoost 41.87 68.22 70.76 67.76 69.69 25.15 7.74 10.65
NSDS (本文) 43.16 69.67 73.31 66.89 72.28 26.43 7.25 9.97
Qwen2.5-7B FP16 基准 63.82 80.22 78.73 84.65 76.01 39.05 6.85 10.44
MSE 53.68 67.35 72.92 69.85 65.18 27.82 11.65 14.22
EWQ 51.85 67.52 72.10 67.96 64.35 26.95 11.48 14.05
ZD 55.82 70.45 73.01 72.95 65.25 28.94 9.23 12.15
KurtBoost 54.25 69.92 72.48 70.40 65.72 28.35 9.84 13.68
NSDS (本文) 57.08 71.56 75.25 73.18 68.56 31.15 8.61 11.83

在 13B/14B 更大规模模型上的对比结果展示了 NSDS 优异的参数扩展性:

模型 方法 推理任务平均准确率 (↑) WikiText-2 PPL (↓) C4 PPL (↓)
Llama-2-13B FP16 基准 67.23 4.88 6.47
MSE 59.91 8.55 10.21
EWQ 61.68 6.77 8.43
ZD 60.99 7.08 8.89
KurtBoost 62.08 6.62 8.41
NSDS (本文) 63.01 6.23 7.99
Qwen2.5-14B FP16 基准 73.25 5.29 9.15
MSE 64.29 8.93 12.31
EWQ 63.36 9.37 12.88
ZD 65.42 8.54 11.97
KurtBoost 65.13 8.46 12.36
NSDS (本文) 66.15 8.28 11.65

消融实验

为定量分析各核心模块对模型性能的独立影响,下表基于通用推理基准平均准确率及语言建模平均困惑度给出了系统性消融分析:

消融配置 变动机制与考察目标 Llama-3.1-8B 推理Acc (↑) Qwen2.5-14B 推理Acc (↑) 困惑度 PPL 恶化趋势
Full NSDS 完整双重视角与鲁棒聚合方案 58.62 66.15 最低且最平稳(基准)
w/o SE 移除结构表达力(仅依赖数值脆弱性) 56.40 (-2.22) 64.82 (-1.33) 各模型 PPL 显著上升
w/o NV 移除数值脆弱性(仅依赖结构表达力) 56.95 (-1.67) 65.01 (-1.14) 各模型 PPL 明显上升
w/o \(\beta_{DS}\) & \(\beta_{WD}\) 移除机制感知奇异值重加权系数 57.21 (-1.41) 65.20 (-0.95) 丢失任务针对性表征,PPL 轻度上升
w/o MAD-Sigmoid & Soft-OR 采用常规线性加权平摊聚合 54.85 (-3.77) 62.07 (-4.08) PPL 剧烈反弹激增,退化最为严重

关键发现

  • 聚合机制(MAD-Sigmoid & Soft-OR)贡献最为显著:消融数据表明,去掉该聚合操作会在 Qwen2.5-14B 上引发高达 4.08% 的准确率暴跌,同时带来最严重的困惑度飙升。这证明由于 NV 与 SE 属于完全不同维度的数学统计量,若不进行稳健去中心化并在决策时贯彻“一处高危即予保护”的逻辑取向,两者的融合将相互抵消。
  • 极端低比特区间鲁棒性压倒性领先:当平均比特预算从 3.8 逐步压缩至 2.2 时,主流基线(如 EWQ、KurtBoost)在 3.2-bit 附近便开始断崖式下跌;而 NSDS 在比特预算下探至 2.6-bit 时仍能保持极高的推理精度稳定度,充分证明了其层级排序的精准性。
  • 跨模型架构与规模的稳定性胜过校准法:实验将 NSDS 与依赖校准数据的 LIM、LSAQ、LLM-MQ 和 LieQ 对比发现,校准方法受校准集分布与模型先验匹配度的影响巨大(如 LIM 在 Llama-3.1 表现顶尖而在 Qwen2.5 垫底);而完全免校准的 NSDS 在所有模型上均稳居前二,具备高度可靠的泛化表现。
  • 与先进 PTQ 后端完全正交解耦:当将底层量化后端由免校准的 HQQ 切换至需要 Hessian 矩阵误差补偿的 GPTQ 时,NSDS 的推理准确率和困惑度均能进一步同向受益,甚至超越了采用非规则硬件开销巨大的组级混合精度方案 SliM-LLM。

亮点与洞察

  • 将机械可解释性回路拆解首次引入低比特量化评估:不再将 Transformer 视作黑盒张量堆叠,而是从底层信息流向将注意力机制与 FFN 矩阵解构为探测器与写入器,使数学敏感度度量与模型内部语义回路紧密贴合。
  • 投影词表能量的写入器特异性加权设计极为巧妙:借助 Logit Lens 思想,直接通过奇异向量在解嵌入矩阵 \(W_U\) 上的投影 \(L_1\) 范数来衡量写入器对最终输出 Logit 的实际杠杆效应,赋予了奇异值直观的信息论语义。
  • 工程友好的层级混合精度范式保留了完整内核吞吐:相比组级(Group-wise)混合精度带来的非对齐显存碎片和复杂推理算子,层级量化保持了整层权重的张量规整性,在现代硬件加速框架上可直接兑现理论加速比。

局限与展望

  • 受限于算力约束缺乏百亿级以上模型实测验证:作者在论文 Limitations 中坦承,受限于计算资源,实验评测模型最大仅推进到 14B 参数级别。对于 30B、70B 乃至 MoE 巨型架构,参数分布与关键敏感层是否存在新的结构迁移模式仍有待未来跟进。
  • 仅探索了固定层级 2/4-bit 双值分配:当前实验框架主要面向 2-bit 与 4-bit 的二值离散划分,尚未探索动态跨 2/3/4/8-bit 更细粒度的非均匀层级混合方案,未来可将闭式解析解拓展到多位宽连续规划问题中。

相关工作与启发

  • vs KurtBoost / ZD: 传统免校准基线仅通过权重分布本身的统计量(如方差或未去均值的峰度)挑选离群值,完全遗失了权重张量在多维空间的几何方向性;NSDS 引入 SVD 截断谱熵和重加权结构能量,弥补了高结构敏感但低数值离群层的估计死角。
  • vs LIM / LieQ: 校准基线依赖小批量样本文本计算层间余弦相似度或表示紧凑性,不可避免地引入了前向反向计算开销,并承担样本过拟合风险;NSDS 纯粹基于权重固有特性,零校准数据输入,却展现出了超越校准方法的跨模型稳定性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 将机械可解释性角色解构与双重敏感度度量相结合,视角开创且理论自洽。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大模型家族、6 种推理与 2 项建模基准,消融和对比实验极其详实严密。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导丝丝入扣,公式符号清晰严密,实验图表信息密度高。
  • 价值: ⭐⭐⭐⭐⭐ 为极限低比特大模型硬件友好型高效压缩落地提供了完全免校准的可靠准则。