Predicting Quantization Price for Selecting PTQ Configurations Before Deployment¶

会议: NeurIPS 2026
arXiv: 2609.28270
OpenReview: https://openreview.net/forum?id=LWK4LetKST
领域: 模型压缩
关键词: 训练后量化, 配置选择, 价格预测, 前向KL散度, 部署预算

一句话总结¶

针对训练后量化（PTQ）在部署前无法预知全局漂移的难题，本文将权重空间 PTQ 重构为以输出误差协方差与下游曲率定价为核心的配置选择问题，在校准期利用极轻量 trace 指标实现高效预算搜索。

研究背景与动机¶

在大语言模型与基础模型的权重空间训练后量化（PTQ）中，工程部署栈必须在真正构建并部署完整量化模型之前，为网络的每一个线性层预先选定具体的有限格式（如 INT/FP/微缩格式）、量化粒度（逐通道/逐分组/分块）、量化器类型（标量/向量码本/格子编码）、等价变换（SmoothQuant 缩放、旋转或白化）以及目标位宽。然而，量化对模型整体输出分布产生的漂移与性能衰退，却只有在所有层的配置组合完毕并完成全模型前向后才能完整显现。在百亿或千亿参数模型上穷举式地部署并测试所有可能的候选配置组合在算力与时间上完全不可行；而如果直接固定几何结构与变换、仅退化为单一的混合精度位宽搜索，又会丢失海量关键自由度，因为预变换和量化结构本身直接决定了层输出误差的注入形态。

现有的大量代表性工作分别从局部切入预测退化。例如，OBQ、GPTQ、BRECQ 等二阶重构方法关注局部权重误差补偿；HAWQ 系列、HIGGS 与 Q-Palette 依靠 Hessian 敏感度或率失真理论分配精度；SmoothQuant、AWQ、QuaRot、FlatQuant 证明缩放与旋转能重塑量化几何；而 GuidedQuant 与 YAQA 则尝试将下游端到端损失引入量化目标。但这些方法割裂在各自的特定配置族内部，通常在固定某种几何后才评分，缺乏一个在部署前横跨位宽、粒度、码本、坐标变换与硬件开销的“统一通用价格（Price）”。局部重构误差忽略了下游网络对不同方向误差的非对称容忍度，而对角重要性又丢弃了输入通道间的交叉协方差。

本文的核心洞察在于：候选配置向网络注入的层输出误差必须由全精度参考模型下游的曲率进行定价，且在全精度参考点处，前向 KL 散度的一阶梯度项自然抵消。核心 idea：将权重空间 PTQ 的预部署决策建模为带硬件预算约束的配置选择问题，利用全精度模型的前向 KL 散度二阶展开定义层输出误差协方差的二次“量化价格”，并通过各向同性 trace 降维将高昂的全模型评估转化为校准期仅需两个候选标量与一个参考曲率迹的极速预算搜索。

方法详解¶

整体框架¶

本文将权重空间 PTQ 的目标严格形式化为约束优化问题：在全精度参考模型与校准分布 $\mathcal{D}$ 下，部署栈为每一层 $l \in \{1,\ldots,L\}$ 提供一个容许配置集合 $\mathcal{A}_l$。一个层配置 $\alpha_l \in \mathcal{A}_l$ 包含候选坐标变换、有限格式量化替换以及底层硬件开销 $\kappa_l(\alpha_l)$。整体目标是在全网络总硬件开销不超过预算 $B$（$\sum_{l=1}^L \kappa_l(\alpha_l) \le B$）的前提下，最小化量化模型相对于全精度参考模型的前向 KL 散度漂移 $\mathcal{J}(\alpha) \triangleq \mathbb{E}_{\mathbf{x}\sim\mathcal{D}}[D_{\mathrm{KL}}(\pi_0(\cdot\mid\mathbf{x}) \parallel \pi_\alpha(\cdot\mid\mathbf{x}))]$。

由于未部署前无法直接评估 $\mathcal{J}(\alpha)$，框架在全精度参考处对前向 KL 进行二阶展开。由于全精度处一阶得分（score）严格为零，KL 漂移被分解为各层二次量化价格 $\rho_l(\alpha_l) = \frac{1}{2}\operatorname{Tr}(\mathbf{H}_l \mathbf{\Sigma}_l(\alpha_l))$ 之和。其中，$\mathbf{\Sigma}_l(\alpha_l)$ 是候选配置诱导的层输出误差协方差，$\mathbf{H}_l$ 是全精度模型在该层输出侧的二阶下游曲率。针对大模型计算高维矩阵过于沉重的问题，进一步引入各向同性 trace 降维，使每个候选配置只需估计两个标量因子即可完成打分，最终通过带预算的离散规划器（如二进制 MILP）一次性解出全局最优配置分配。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["校准集输入 + 全精度参考模型"] --> EstCurv["参考侧下游曲率评估<br/>一次性缓存各层曲率迹"]
    EstCurv --> CandGen["容许层候选配置族<br/>格式/粒度/码本/等价变换/硬件开销"]
    CandGen --> CovCalc["诱导层输出误差协方差<br/>变换后输入协方差与权重扰动矩"]
    CovCalc --> PriceScore["各向同性 trace 价格打分<br/>两候选标量与参考迹轻量相乘"]
    PriceScore --> BudgetOpt["预算引导配置选择器<br/>求解硬件预算约束下的离散优化"]
    BudgetOpt --> Out["产出最终层配置组合并执行PTQ部署"]

关键设计¶

1. 前向 KL 散度展开与层输出误差定价：用二阶项消除对全模型试跑的依赖
在未构建全局量化模型之前，直接测试网络任务精度或交叉熵会导致灾难性的搜索开销。本文证明，全精度模型到量化模型的前向 KL 散度漂移在全精度参考参数处的一阶导数期望严格为零： $$\nabla_{\theta'} \mathcal{L}(\theta')\big|_{\theta'=\theta} = -\mathbb{E}_{\mathbf{x}\sim\mathcal{D}}\left[\sum_{y}\nabla_{\theta}\pi_0(y\mid\mathbf{x})\right] = 0$$ 因此，一阶项自然消除，保留的主导贡献是分块对角二阶项。对于第 $l$ 层，候选量化引入的层输出扰动协方差为 $\mathbf{\Sigma}_l(\alpha_l) \triangleq \mathbf{\Delta}_l(\alpha_l) \mathbf{C}_l(\alpha_l) \mathbf{\Delta}_l(\alpha_l)^\top$（其中 $\mathbf{C}_l(\alpha_l)$ 为该坐标下的输入协方差，$\mathbf{\Delta}_l(\alpha_l)$ 为权重扰动），而全精度参考模型提供输出侧下游曲率 $\mathbf{H}_l \triangleq \mathbb{E}[\nabla_{\mathbf{z}}^2 \mathcal{J}_{\mathbf{x},l}(\mathbf{z})|_{\mathbf{z}=\mathbf{z}_l}]$。这直接导出了二次量化价格公式： $$\rho_l(\alpha_l) \triangleq \frac{1}{2}\operatorname{Tr}\left(\mathbf{H}_l \mathbf{\Sigma}_l(\alpha_l)\right)$$ 这一理论同时解释了经典启发式分数的本质缺陷：普通重建误差（Reconstruction Error）相当于隐式设置 $\mathbf{H}_l \mapsto \mathbf{I}$，抹杀了下游对不同输出方向的敏感度差异；而对角重要性指标（如 imatrix）进一步设置 $\mathbf{C}_l \mapsto \operatorname{diag}(\mathbf{C}_l)$，直接丢弃了通道间的交叉协方差。只有当被丢弃的因子在所有候选配置上严格恒定时，这些退化代理才能保持真实排序。

2. 候选配置族的统一价格因式分解：连接有限格式、等价变换与硬件开销
本文将五花八门的 PTQ 技术统一解构为对误差协方差与成本的不同影响途径。针对位宽、微缩格式与粒度，量化替换 $\hat{\mathbf{W}}_l(\alpha_l)$ 决定了权重扰动矩包络 $\mathbf{V}_l(\alpha_l) \approx \mathbb{E}[\|\hat{\mathbf{W}}_l(\alpha_l) - \mathbf{W}_l(\alpha_l)\|_2^2]$。在独立均匀舍入下，位宽 $b$ 引入经典的 $4^{-b}$ 误差衰减，但本文表明该衰减并非孤立的经验规律，而是扰动矩进入价格后的具体体现。对于等价坐标变换（$\tilde{\mathbf{x}} = \mathbf{P}\mathbf{x}, \tilde{\mathbf{W}} = \mathbf{W}\mathbf{P}^{-1}$），变换在保持浮点输出精确不变的同时，将输入协方差变为 $\mathbf{P}\mathbf{C}\mathbf{P}^\top$，并将权重残差变为 $\tilde{\mathbf{\Delta}}_b(\mathbf{P})$。本文从理论上证明了在行列式守恒变换中，白化变换（$\mathbf{P}\mathbf{C}\mathbf{P}^\top = \lambda_g \mathbf{I}$）是最小化最大方向方差的最优解；对角缩放仅能调整通道方差而无法消除相关性；正交旋转则保持输入谱不变，专司改善权重矩阵的非相干性与舍入动态范围。

3. 各向同性 trace 降维与预算引导搜索器：两标量加一迹换取毫秒级评估
为避免在几十层的大模型上为海量候选配置反复计算高维矩阵迹乘，本文提出基于各向同性近似的计算降维。若通过变换使输入协方差接近各向同性标量阵 $\sigma_l^2 \mathbf{I}$，且扰动协方差的主导部分为 $\omega_l \mathbf{I}$，则价格公式严格收敛为主项与微小非各向同性残差： $$\rho_l(\alpha_l) = \frac{1}{2}\sigma_l^2(\alpha_l)\omega_l(\alpha_l)\operatorname{Tr}(\mathbf{H}_l) + \frac{1}{2}\sigma_l^2(\alpha_l)\operatorname{Tr}\left(\mathbf{H}_l \mathbf{A}_l(\alpha_l)\right)$$ 在实际搜索中，全精度模型的下游曲率迹 $\hat{\tau}_l \triangleq \operatorname{Tr}(\hat{\mathbf{H}}_l)$ 仅需通过单次前向与反向传播的 Gauss-Newton Fisher 迹估计器（如 Hutchinson 随机估计）离线计算一次并缓存。在校准期，对任意候选配置只需在至多 512 个校准 token 上快速统计归一化输入能量 $\hat{\sigma}_l^2(\alpha_l)$ 和扰动方差 $\hat{\omega}_l(\alpha_l)$，即可用标量乘积 $\hat{\rho}_l(\alpha_l) \leftarrow \frac{1}{2}\hat{\sigma}_l^2(\alpha_l)\hat{\omega}_l(\alpha_l)\hat{\tau}_l$ 进行打分。最后，在总成本约束 $\sum_{l=1}^L \kappa_l(\alpha_l) \le B$ 下建立二进制混合整数线性规划（MILP），毫秒级输出全局最优配置 $\alpha^\star$。

损失函数 / 训练策略¶

本方法属于免微调（training-free）的校准期配置选择器，无需更新网络权重。全局离散优化目标定义为： $$\alpha^\star \in \arg\min_{\alpha \in \mathcal{A}_1 \times \cdots \times \mathcal{A}_L} \sum_{l=1}^L \hat{\rho}_l(\alpha_l) \quad \text{s.t.} \quad \sum_{l=1}^L \kappa_l(\alpha_l) \le B$$ 曲率迹缓存仅需利用 32 个序列长度为 512 的校准样本计算 $\hat{\tau}_l = \mathbb{E}[\|\nabla_{\mathbf{z}_l} \ell\|_2^2]$。候选打分在 $\le 512$ 个 token 的激活上并行完成，最终通过求解器分配位宽、分组或变换，随后直接调用后端执行单次量化装配。

实验关键数据¶

主实验¶

在 Llama-3.2-1B 上，针对位宽分配（目标均值 3.0 bit，候选 {2,3,4} bit）、变换选择（固定 W4 Group-128，对比不同缩放/旋转/白化）以及粒度分配（固定 W4，对比不同分组与分块大小）三类核心决策进行评测。评测指标包括 WikiText2 困惑度（PPL）、5 项常识问答任务（BoolQ、TruthfulQA、PIQA、WinoGrande、WiC）平均准确率以及配置搜索耗时。

决策类别	方法	搜索耗时 (s) ↓	WikiText2 PPL ↓	BoolQ ↑	TruthfulQA ↑	PIQA ↑	WinoGrande ↑	WiC ↑	5项任务均值 ↑
浮点基准	FP16 参考模型	-	9.75	63.82	38.48	54.46	60.14	44.83	52.35
位宽分配 (3-bit)	HIGGS (二阶线性)	813	12.50	58.23	40.24	49.67	56.91	47.81	50.57
	AMQ (AutoML搜索)	11635	11.05	55.26	40.12	50.82	56.04	48.43	50.13
	本文方法 (Ours)	579	12.22	62.42	41.85	49.51	55.72	46.71	51.24
变换选择 (W4G128)	CALM-CKA	703	12.80	50.92	37.59	49.51	56.12	51.88	49.20
	Random Selection	-	22.68	48.00	39.53	49.75	54.56	49.84	48.34
	本文方法 (Ours)	657	11.53	53.64	38.67	49.78	57.30	49.69	49.82
粒度分配 (W4)	Fixed Group-128	-	12.71	63.49	35.96	51.96	56.20	49.84	51.49
	Random Selection	23313	43.57	48.64	3.10	50.62	51.15	39.41	-
	本文方法 (Ours)	127	11.39	62.54	36.90	52.99	58.01	49.37	51.96

消融实验¶

消融主要验证价格指标对真实前向 KL 散度漂移的对齐一致性（在 OPT-125M 和 Qwen3-0.6B 上对单层及双层施加受控扰动），以及在更大规模模型（Llama-3.2-3B 与 Llama-3.1-8B）上各决策模块的有效性。

验证维度 / 模型	对齐或评测指标	真实价格 $\rho$ (Eq. 8)	Trace 降维价格 $\hat{\rho}$ (Eq. 18)	基线对比指标
KL对齐度: OPT-125M	对数尺度皮尔逊相关系数 $\rho$	0.9470	0.9483	重建误差/对角评分排序失真
KL对齐度: Qwen3-0.6B	对数尺度皮尔逊相关系数 $\rho$	0.9249	0.9438	降维近似与全协方差表现高度一致
Llama-3.2-3B 变换选择	WikiText2 PPL / 任务均值	-	8.58 / 58.96	CALM-CKA (8.81 / 58.58)
Llama-3.2-3B 粒度选择	WikiText2 PPL / 任务均值	-	8.46 / 58.13	Fixed Group-128 (8.81 / 58.38)
Llama-3.1-8B 位宽选择	WikiText2 PPL / 搜索耗时	-	10.87 / 5967s	AMQ (9.31 / 23337s), HIGGS (11.15 / 5805s)
Llama-3.1-8B 粒度选择	WikiText2 PPL / 任务均值	-	6.75 / 63.77	Fixed Group-128 (7.02 / 62.74)

关键发现¶

价格与真实 KL 漂移具有高度线性相关性：在 OPT 与 Qwen 模型上的受控实验中，理论二次价格与 trace 简化价格对 KL 散度的对齐系数均超过 0.92，证明在局部微扰区间内，二阶项牢牢主导了输出漂移，高阶截断项影响极小。
降维 trace 几乎不损失决策排序质量：用仅包含输入尺度与权重方差的标量 trace 替代全协方差矩阵后，相关系数（如在 Qwen3 上从 0.9249 微升至 0.9438）与实际配置选择质量均保持稳固，但搜索计算复杂度骤降数个数量级。
大幅削减混合精度搜索时延：相比于基于启发式遗传算法反复量化试跑的 AMQ，本文选择器耗时缩减了 95% 以上（例如 Llama-1B 上从 11635 秒降至 579 秒），在下游问答平均准确率上甚至反超 AMQ 1.11 个百分点。

亮点与洞察¶

从第一性原理统一 PTQ 评估标准：借助全精度点一阶得分为零的数学特性，将看似孤立的量化算法（位宽、分组、旋转、缩放）统筹为“扰动协方差”与“下游曲率”的相互作用，彻底厘清了传统重建误差与激活加权法的近似边界。
将几何选择提升为一等公民：传统 PTQ 通常将位宽分配作为核心，而把坐标变换与分组作为固定后端；本文证明变换与粒度直接决定了注入误差的形状，通过统一价格能够自动化完成预量化坐标系与粒度的最优协同选择。
工程友好的极速离散求解：算法仅需一次前向反向记录各层 Fisher 曲率迹，候选打分无需复杂的跨层反传，与轻量 MILP 结合直接解开工程落地中的多硬件约束难题。

局限与展望¶

适用范围局限于权重空间 PTQ：当前主选择器专为权重截断与等价变换设计。尽管附录推导了权值-激活联合量化的形式，但激活量化的非对称截断偏差破坏了条件零均值假设，需要额外的偏置校正与动态范围建模。
极端低比特下的曲率失配：当位宽下探至 1-2 bit 且模型受到强非局部扰动时，三阶残差与跨层高阶耦合项显著放大，局部二阶泰勒展开的预测排序能力会有所衰退。
缺乏端到端硬件延迟建模闭环：当前硬件开销模型主要以有效位宽和参数量折算为主，若要直接面向特定边缘端芯片（如 NPU/DSP），需进一步引入真实 kernel 级延迟基准以精细化开销约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从前向 KL 散度严格推导出层输出误差与下游曲率定价理论，将五花八门的 PTQ 家族统摄在同一预部署选择范式下。
实验充分度: ⭐⭐⭐⭐ 覆盖 OPT、Qwen、Llama-1B/3B/8B 多个体量，完整评测了位宽、变换与粒度三大类决策，但极端低比特与激活量化未在主实验深入展开。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，从定理证明到计算降维的逻辑演进极其清晰，对前人代理指标的剖析直击本质。
价值: ⭐⭐⭐⭐⭐ 为大模型工业级量化流水线提供了一个兼具高精度理论支撑与极低计算开销的通用决策组件，实用性极强。

验证维度 / 模型	对齐或评测指标	真实价格 \(\rho\) (Eq. 8)	Trace 降维价格 \(\hat{\rho}\) (Eq. 18)	基线对比指标
KL对齐度: OPT-125M	对数尺度皮尔逊相关系数 \(\rho\)	0.9470	0.9483	重建误差/对角评分排序失真
KL对齐度: Qwen3-0.6B	对数尺度皮尔逊相关系数 \(\rho\)	0.9249	0.9438	降维近似与全协方差表现高度一致
Llama-3.2-3B 变换选择	WikiText2 PPL / 任务均值	-	8.58 / 58.96	CALM-CKA (8.81 / 58.58)
Llama-3.2-3B 粒度选择	WikiText2 PPL / 任务均值	-	8.46 / 58.13	Fixed Group-128 (8.81 / 58.38)
Llama-3.1-8B 位宽选择	WikiText2 PPL / 搜索耗时	-	10.87 / 5967s	AMQ (9.31 / 23337s), HIGGS (11.15 / 5805s)
Llama-3.1-8B 粒度选择	WikiText2 PPL / 任务均值	-	6.75 / 63.77	Fixed Group-128 (7.02 / 62.74)