Scaling Laws for Mixed Quantization¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 模型压缩
关键词: 混合精度量化, 缩放法则, 块粒度, 后训练量化, 部署优化
一句话总结¶
提出了首个面向大语言模型后训练混合精度量化(PTQ)的统一缩放法则,将量化诱导的困惑度损失劣化建模为模型参数量、低精度参数比例与量化块大小的可分乘积函数,揭示了大模型对高低精度比例更具容忍度以及细粒度分块收益随规模递减的核心规律。
研究背景与动机¶
大语言模型向数百亿乃至千亿参数的扩展使得实际推理部署面临严峻的显存与计算瓶颈,而后训练量化(PTQ)作为压低推理成本的核心手段,在工业界部署中普遍采用混合精度策略而非全局均匀低比特。这主要是因为预训练 Transformer 权重与激活值中天然存在显著的异常离群值(outliers),若强行统一量化至极低比特会导致模型性能断崖式下跌,因此实践中通常将敏感离群值或关键层保留在高精度,而将绝大多数参数压至低精度。与此同时,现代硬件架构(如 NVIDIA Blackwell GPU 的 MXFP4/MXFP6 微缩放格式)引入了硬件级块缩放(block-wise scaling)支持,即以特定块大小 \(Q_b\) 共享缩放因子的形式,在硅片层面兼顾了高动态范围与低比特运算吞吐。
然而,尽管围绕预训练阶段计算最优的缩放法则(如 Kaplan 与 Chinchilla 定律)已被广泛研究,且已有工作初步探索了全局均匀精度下的精度缩放法则,但混合精度后训练量化如何在不同模型规模下与量化配置相互作用,仍处于缺乏理论指导与系统建模的状态。工程师在面对不同规模的模型时,往往只能依赖耗时耗力的人工启发式搜索来确定每一层或每个算子的比特分配,既无法先验预测模型在目标量化预算下的性能损失,也无法厘清低精度参数比例与分块粒度在不同参数量级下的真实收益边界。
面对这一部署层面的核心盲区,本文试图建立一套兼具样本拟合效率与跨尺度预测能力的量化损失缩放理论框架。核心 idea:将后训练混合精度量化建模为由低精度参数比例 \(Q_r\)、分块大小 \(Q_b\) 以及模型参数量 \(N\) 共同决定的可分乘积缩放法则 \(\delta(N, Q_r, Q_b) = C e^{A Q_r} N^{-\gamma_N} (Q_b + d)^{\gamma_c}\),以极小样本代价在小规模模型上校准系数,即可高精度外推预测大模型的最优与期望量化损失劣化。
方法详解¶
本文构建的缩放理论旨在打通离散混合精度搜索空间与连续损失曲面之间的解析映射,通过宏观参数化规避层级组合爆炸,并建立高精度的跨尺度外推范式。
整体框架¶
本文针对自回归因果语言模型在后训练量化阶段的混合精度配置展开系统建模。对于参数量为 \(N\)、预训练 Token 量为 \(D\) 的语言模型,混合精度量化将参数权重划分为低精度集合 \(W_l\)(如 4-bit/2-bit)与高精度集合 \(W_h\)(如 BF16)。整体推理损失被分解为标准 Chinchilla 预训练基线损失项与后训练量化引起的额外损失劣化项 \(\delta\)。由于满足特定全局预算的层级或算子分配方案存在巨大的离散组合空间,本文将划分方案视为离散随机变量,并对性能下界(样本最优解 \(\delta_{opt}\))和平均性能(期望损失 \(\mathbb{E}[\delta]\))分别拟合参数化曲面。整个评估与建模流程包含划分空间随机采样、困惑度评估、小模型参数拟合以及大模型跨尺度外推四个阶段。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:预训练语言模型与压缩预算<br/>模型参数量 N、数据量 D、目标硬件约束"] --> B["双参数解耦空间与随机划分统计<br/>配置低精度比例 Qr 与分块大小 Qb,均匀采样组件分配"]
B --> C["统一缩放法则构建<br/>拟合可分乘积形式弱法则与强法则,建模最优与期望损失"]
C --> D["小模型高效校准与大模型外推范式<br/>小尺度检查点标定幂律与指数常数,直接推断大规模部署"]
D --> E["输出:最优 PTQ 配置决策与性能预测<br/>判定硬件分块开销平衡点与低精度容忍极限"]
关键设计¶
1. 双参数解耦空间与随机划分统计:量化比例与块粒度的形式化表征 针对传统混合精度搜索中状态空间组合爆炸、无法统一度量的问题,本文提出通过全局低精度量化比例 \(Q_r\) 与分块粒度 \(Q_b\) 两个物理参数对配置空间进行正交解耦。量化比例定义为低精度参数数目与总参数数目的比值: $\(Q_r(W_l, W_h) := \frac{\|W_l\|_0}{\|W_l\|_0 + \|W_h\|_0}\)$ 分块大小 \(Q_b\) 则表征共享一个公共缩放因子的数值个数(如 MX 格式中的 16 到 256)。为了避免组合爆炸导致精确全局优化不可行,本文在层级(layer-wise)或矩阵乘法级(matmul-wise)的离散配置空间中采用均匀随机采样,为每个组件指派精度,并通过 100 次采样计算均值估计 \(\delta_\mu\) 与样本最小值 \(\delta_{min}\) 作为 \(\mathbb{E}[\delta]\) 和 \(\delta_{opt}\) 的无偏/渐近无偏估计量。作者在消融中证明,层级敏感度在不同模型规模间并不具备可迁移的高秩相关性(Spearman 相关系数仅在 0.41–0.60),从而证实引入单层敏感度变量无法跨模型泛化,使用全局预算 \(Q_r\) 配合采样统计是最紧凑且具有预测普适性的数学抽象。
2. 统一缩放法则构建:可分乘积形式与弱强法则推演 为了刻画量化损失劣化的几何流形,本文基于复合误差累积假设(量化误差跨层累加近似呈指数放缩)与参数缩放假说,提出了可分乘积形式的统一缩放法则。当分块大小 \(Q_b\) 固定时,体系遵循弱缩放法则(Weak Scaling Law): $\(\delta_{opt}(N, Q_r) = C e^{A Q_r} N^{-\gamma_N}, \quad \mathbb{E}[\delta(N, Q_r)] = C' e^{A' Q_r} N^{-\gamma'_N}\)$ 其中 \(e^{A Q_r}\) 为量化比例驱动的指数放大效应,\(N^{-\gamma_N}\) 为模型规模带来的多项式衰减补偿效应。该式在 \(Q_r = 0\) 时指数项退化为常数,退化并完全兼容此前 Kumar 等人的均匀精度缩放法则。进一步将块大小变量解耦,形成强缩放法则(Strong Scaling Law): $\(\delta_{opt}(N, Q_r, Q_b) = C e^{A Q_r} N^{-\gamma_N} (Q_b + d)^{\gamma_c}\)$ 这一形式将硬件底层的分块开销与误差表征为一个准多项式项 \((Q_b + d)^{\gamma_c}\)。由于乘积形式具备正交可分离性,在固定允许的量化损失预算 \(\delta = l\) 下,模型规模对数与低精度比例呈现严格的线性权衡关系 \(\log(N) = \frac{A}{\gamma_N} Q_r + \frac{\log(C) - \log(l)}{\gamma_N}\),从而在理论上确立了参数量越大的模型能够承受更高低精度比例的数学依据。
3. 小模型高效校准与大模型外推范式:从参数敏感度到工程落地 为了让缩放法则摆脱百亿参数全量搜索带来的天文级算力消耗,本文将其定位为“小样本校准工具”(sample-efficient calibration tool),而非强求跨架构通用的常数。同一模型家族与量化算法共享完全相同的函数拓扑,其系数(\(C, A, \gamma_N, d, \gamma_c\))仅需在几个小型检查点(如 60M 至 1.1B 的 CLM 系列,或 0.5B 至 7B/8B 的开源模型)上通过极少量的后训练量化随机采样快速拟合得到。一旦标定完成,该解析公式即可零样本外推预测至 13B、14B 乃至 32B 的同族大模型,且决定系数 \(R^2\) 稳定维持在 0.96 以上。在系统部署层面,该法则直接导出了两个极为关键的工程准则:其一,当模型规模扩展至 70B 以上时,\(Q_r\) 可直接推高至 0.9 以上而困惑度劣化不超过 0.5;其二,当模型规模超过 50B 时,细粒度分块(如 \(Q_b=32\))相较粗粒度分块(如 \(Q_b=128\))的绝对损失改善已小于 0.5,提示硬件与系统设计者无需为了微小的精度增益而引入复杂的微缩放硬件元数据与访存开销。
一个完整示例¶
以部署一个 Qwen-3 系列 32B 模型、采用 MXINT-4 矩阵乘法级后训练量化为例。根据在小尺度(0.6B 到 8B)检查点上拟合的弱法则参数 \(C=0.0409, A=6.0825, \gamma_N=0.9994\),工程师设定业务容忍的最大困惑度劣化预算为 \(l = 0.20\)。此时代入线性折衷方程: $\(\log(32) \approx 3.466 = \frac{6.0825}{0.9994} Q_r + \frac{\log(0.0409) - \log(0.20)}{0.9994}\)$ 解得最大容许的低精度矩阵乘法比例 \(Q_r \approx 0.83\)。这意味着工程师可以安全地将网络中 83% 的矩阵乘法直接投射至 INT4 运算,仅保留 17% 的敏感矩阵于 BF16,即可在数学上严格保证困惑度增加不超过 0.2。整个推断过程耗时为零,完全避免了在 32B 模型上执行数千次 PTQ 与前向评估的巨大 GPU 开销。
损失函数 / 训练策略¶
本研究完全立足于后训练量化(PTQ)场景,量化后不进行任何反向传播或有监督微调(No fine-tuning),因此 \(\delta\) 纯粹反映量化算子直接引入的即时损失扰动。为构建完备的缩放基线,作者使用 TorchTitan 预先在 FineWeb-Edu 上训练了包含 5 个规格(60M, 200M, 400M, 600M, 1.1B)的 CLM 参照模型族,严格遵循 Chinchilla 最优训练策略(数据量为非嵌入参数量的 22 倍,AdamW 优化器,学习率 1e-4 配 20% 预热)。评测数据集统一采用从 SlimPajama 随机子采样的 1000 条样本序列,序列长度为 2048,直接测量基于交叉熵损失的困惑度指标。
实验关键数据¶
主实验¶
主实验在 17 个模型规模、跨越 60M 到 32B 参数量、超过 115,500 个量化检查点上展开,覆盖 CLM、LLaMA、Qwen-1.5、Qwen-3 等多个模型族,并验证了弱法则与强法则对样本最优解 \(\delta_{opt}\) 及期望均值 \(\mathbb{E}[\delta]\) 的拟合精度与外推表现。下表展示了在 \(\le 8\text{B}\) 模型上拟合后、直接零样本外推至 13B–32B 大规模模型上的拟合优度(数据引自原文 Table 4):
| 量化粒度 | 验证模型 | 规模 (\(N\)) | \(\delta_{opt}\) 拟合优度 (\(R^2\)) | \(\delta_{opt}\) 均方误差 (MSE) | \(\mathbb{E}[\delta]\) 拟合优度 (\(R^2\)) | \(\mathbb{E}[\delta]\) 均方误差 (MSE) |
|---|---|---|---|---|---|---|
| 层级 (Layer-wise) | Qwen-1.5-14B | 14B | 0.9837 | 0.1662 | 0.9770 | 0.3785 |
| 层级 (Layer-wise) | Qwen-3-14B | 14B | 0.9786 | 0.2726 | 0.9783 | 0.4021 |
| 层级 (Layer-wise) | LLaMA-13B | 13B | 0.9646 | 0.7787 | 0.9944 | 0.1683 |
| 层级 (Layer-wise) | Qwen-3-32B | 32B | 0.9778 | 0.2596 | 0.9771 | 0.3908 |
| 算子级 (Matmul-wise) | Qwen-3-14B | 14B | 0.9940 | 0.2138 | 0.9970 | 3.1558 |
| 算子级 (Matmul-wise) | Qwen-1.5-32B | 32B | 0.9631 | 0.5597 | 0.9850 | 1.1031 |
| 算子级 (Matmul-wise) | Qwen-3-32B | 32B | 0.9935 | 0.2050 | 0.9969 | 2.7820 |
消融实验¶
消融实验对比了不同数值格式(MXINT-2、MXINT-4 权量化、MXINT-4 权+活量化、HQQ-4、GPTQ、Minifloat、MXFP)及强弱缩放法则下的拟合系数与几何表现(数据综合自原文 Table 1 与附录拟合结果):
| 量化方案与配置 | 目标统计量 | 缩放法则形式 | 比特格式与机制 | 规模衰减指数 \(\gamma_N\) | 比例放大指数 \(A\) | 拟合优度 (\(R^2\)) | 结论与行为特征 |
|---|---|---|---|---|---|---|---|
| Qwen-3 MXINT-4 (W-only) | \(\delta_{opt}\) | 弱法则 (Weak) | 4-bit 权量化 (BF16活) | 1.1251 | 5.9150 | 0.9552 | 适中压缩,系数平稳可信 |
| Qwen-3 MXINT-4 (W-only) | \(\delta_\mu\) | 弱法则 (Weak) | 4-bit 权量化 (BF16活) | 1.9460 | 4.0875 | 0.9977 | 期望损失拟合度极高 (\(R^2>0.99\)) |
| Qwen-3 MXINT-4 (W-only) | \(\delta_{opt}\) | 强法则 (Strong) | 4-bit 权量化 (\(Q_b \in [16,256]\)) | 0.8181 | 8.1566 | 0.7025 | 解耦块效应重分配权重,受蒸馏轻微扰动 |
| Qwen-3 MXINT-4 (W-only) | \(\delta_\mu\) | 强法则 (Strong) | 4-bit 权量化 (\(Q_b \in [16,256]\)) | 1.5909 | 4.1025 | 0.8336 | 分块敏感指数 \(\gamma_c=1.6736, d=-3.7594\) |
| CLM MXINT-4 (W-only) | \(\delta_{opt}\) | 弱法则 (Weak) | 4-bit 权量化 | 0.6818 | 4.4940 | 0.9790 | 纯预训练模型拟合极为规整 |
| CLM HQQ 4-bit | \(\delta_{opt}\) | 弱法则 (Weak) | 4-bit 免校准权重二次量化 | 0.6471 | 2.1631 | 0.9668 | \(A\) 显著偏低,高鲁棒量化使误差放大极慢 |
| CLM MXINT-2 (W+A) | \(\delta_{opt}\) | 弱法则 (Weak) | 2-bit 极限权活量化 | 0.0992 | 9.1365 | 0.9707 | 规模补偿能力大幅减弱 (\(\gamma_N \to 0\)),指数爆炸 |
关键发现¶
- 模型规模对量化噪声具有天然免疫补偿:在弱法则中,参数规模项 \(N^{-\gamma_N}\) 随着模型规模增大而快速收敛至极小值,其收敛速度显著压制了低精度比例项 \(e^{A Q_r}\) 的增长速度。在超 70B 模型上,低精度参数比例即使推高至 90% 以上,困惑度劣化仍可控制在 0.5 以内。
- 细粒度分块的绝对收益随参数量急剧衰减:在强法则对于分块大小 \(Q_b\) 的建模中,虽然细粒度分块能更精确地拟合动态范围,但当模型参数超过 50B 时,\(Q_b=128\) 与 \(Q_b=32\) 之间的绝对损失差异已被压缩至 0.5 以下。这表明大模型更擅长吸收粗粒度量化带来的扰动,部署时无需过分追求昂贵的细粒度缩放因子硬件开销。
- 极低比特与蒸馏模型的异化边缘:在 MXINT-2(2-bit 权活量化)的极限压力测试中,模型质量发生严重雪崩,Qwen-3 甚至出现负向缩放指数 (\(\gamma_N = -4.6183\));此外,纯蒸馏模型在某些轻量配置下因正则化效应出现负劣化(量化后困惑度反而微幅改善),违反了法则的非负性假设,提示该缩放律在超低比特与强蒸馏检查点上需要审慎校准。
亮点与洞察¶
- 统一且可分的解析形式:将看似复杂的离散混合精度配置空间收敛为两个宏观标量参数(\(Q_r\) 与 \(Q_b\)),并证明了可分乘积结构能在 \(Q_r \to 0\) 时渐近统一至经典的均匀精度缩放法则(Kumar et al., 2024),兼具理论优雅性与工程实用性。
- 样本极度友好的工程外推能力:打破了传统 PTQ 必须在超大模型上做全量敏度扫描的算力壁垒,通过在 \(\le 8\text{B}\) 小型检查点拟合,即可零样本精准预测 13B–32B 模型的量化劣化,单次部署节省上万 GPU 小时。
- 重新审视下一代推理芯片设计:揭示了“大模型更耐受高低精比、大模型对细分块收益递减”的本质,为 Blackwell 等支持 MXFP4/MXINT 的下一代低精度张量核心架构提供了坚实的负载指导——硬件应优先支持更高的低精度算力配比,而非盲目堆叠高开销的微块元数据通道。
局限与展望¶
- 仅适用于后训练量化(PTQ):本文公式基于无微调设置建立,未涵盖量化感知训练(QAT)或 LoRA 恢复微调下的损失重对齐动态,QAT 下的规模效应仍需未来研究拓展。
- 极低比特下的数值不稳定:在 2-bit(如 MXINT-2)等极端破坏性压缩下,量化噪声超出可分线性累积的假设边界,常数发生震荡,无法直接提供高可靠性的先验指导。
- 任务评测局限于自回归困惑度:评估主要基于 SlimPajama 语言建模困惑度,尽管困惑度与预训练基座能力高度相关,但尚未显式覆盖长文本检索、代码推理或复杂多步数学推理等下游具体任务的量化衰退差异。
相关工作与启发¶
- vs Kumar et al. (2024) (Precision Scaling Laws): Kumar 等人首次将缩放法则拓展至精度维度,但其假设全局所有权重采用单一均匀精度(Uniform Precision),无法刻画现代工业界广泛采用的混合精度(保留激活/权重异常值)及硬件分块粒度;本文的统一缩放法则在数学上涵盖了 Kumar 形式作为 \(Q_r=0\) 的特例,并首次给出了 \(Q_r\) 与 \(Q_b\) 的连续影响曲面。
- vs Frantar et al. (2025) (Compression Scaling Laws): Frantar 等人近期探讨了稀疏性(Sparsity)与均匀量化在 QAT 阶段的统一缩放趋势;本文则聚焦于纯后训练量化(PTQ)这一零重训成本部署场景,并在混合精度组合空间与硬件微缩放格式(MXFP/MXINT)的交互上给出了更加落地的闭式经验解析解。
- vs AWQ / SpQR / LLM-MQ 等启发式混合量化: 传统混合量化方法依赖一阶梯度或激活特征值来手工设计层级敏感度启发式规则;本文从宏观统计学角度指出层级敏感度在跨模型时迁移性较差,反而是全局低精度比例 \(Q_r\) 呈现出严格且可预测的数学尺度律,为启发式搜索提供了先验性能约束与搜索空间剪枝依据。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立并形式化了后训练混合精度量化与块粒度的连续缩放理论,填补了推理部署侧 Scaling Law 的空白。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨越 17 个模型规模、115,500+ 个检查点、6 种主流数值格式,并进行了严苛的 13B–32B 零样本外推验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑链条极为清晰,从问题提出、随机变量采样统计到弱强法则解析建模层层递进,洞察深入。
- 价值: ⭐⭐⭐⭐⭐ 为大模型实际推理部署架构、算子精度选型以及下一代 AI 芯片设计提供了极具实操意义的量化理论指导。