MPQ: A Message-Passing View of Post-Training Quantization¶
会议: NeurIPS 2026
arXiv: 2610.32127
代码: https://github.com/poseidonchan/MPQ
领域: 模型压缩
关键词: 训练后量化, 消息传递, 向量近似消息传递, 块坐标下降, 点阵量化
一句话总结¶
针对训练后量化（PTQ）贪心求解器过早固定离散码字导致误差累积的瓶颈，本文将逐行量化重构建模为离散码本上的 Gibbs 后验推断，提出融合有限温度向量近似消息传递（VAMP）与精确块坐标下降（CD）的 MPQ 求解器，在激进低比特（2-bit/3-bit）大模型量化中显著超越现有贪心与随机搜索基线。
研究背景与动机¶
在大语言模型（LLM）向边缘与个人设备高效部署的进程中，训练后量化（PTQ）凭借无需大规模端到端重训练的优势，成为将高精度权重压缩为极低比特表示的核心技术。近期 PTQ 研究的显著突破主要集中在前处理变换与目标函数设计上，例如引入激活感知缩放（AWQ、SmoothQuant）降低通道动态范围、利用随机哈达玛变换（RHT，如 QuIP、QuaRot）打破离散权重的相干性、设计更具表达力的点阵结构码本（如 E8P12），以及建模跨层误差级联传播。然而，负责寻找离散码字最优分配的求解器层面的演进却相对停滞，主流方案大多沿袭了自回归顺序贪心量化的旧范式。
现有离散求解器（包括 GPTQ、LDLQ 以及近年改进的块坐标下降变体）在本质上均属于硬决策（Hard-Decision）求解器：它们在遍历各个权重块时，迫使其立刻敲定为单个最优码字，随后贪心补偿该硬量化误差并传递给后续未量化块。这种过早做出硬承诺（Early Commitment）的机制在 3-bit 标量甚至 2-bit 点阵等极限低比特场景下尤为致命。在极低比特空间中，码本容积极度稀疏，局部多个候选码字往往产生极其接近的拟合误差；与此同时，Hessian 矩阵的非对角耦合意味着当前块的最优码字高度依赖于其相邻块未来的取舍。贪心决策一旦在一开始选错了次优分支，后续由于误差不断补偿与放大，算法根本缺乏回溯修正机制，最终被困于全局劣质的局部极小值中。
本文跳出了将量化纯粹视为确定性组合搜索的视角，从概率图模型出发，将逐行 PTQ 最小二乘问题统一重构为离散码本上的 Gibbs 后验推断。在此框架下，GPTQ 与 LDLQ 等经典求解器被严格证明仅对应零温度下的硬决策极限。核心 idea：通过在有限温度下运用向量近似消息传递（VAMP）在各权重块之间双向传递码字后验软分布，在全局充分协同协商后再通过边缘最大后验（MAP）投影冻结初始码字，最后辅以精确块坐标下降（CD）进行局部精修，实现全局优质盆地定位与局部严格收敛的有机结合。
方法详解¶
整体框架¶
在逐行权重权重后量化中，设单层权重矩阵为 \(W \in \mathbb{R}^{m_{\mathrm{out}} \times n}\)，校准激活为 \(X \in \mathbb{R}^{m \times n}\)。逐行重构目标为对每一行 \(w \in \mathbb{R}^n\) 寻找离散量化向量 \(\hat{w} \in \mathcal{C}_{\mathrm{prod}} = \mathcal{C}_1 \times \cdots \times \mathcal{C}_B\)，最小化加权误差 \(\frac{1}{2}\|Xw - X\hat{w}\|_2^2\)。输入权重被切分为 \(B = n/d\) 个无重叠块，每个块维度为 \(d\)。
MPQ 求解器整体包含两个互补阶段：第一阶段运行在紧凑秩空间（Rank Space）中，交替迭代非线性离散去噪器与高斯线性模块，利用有限温度 VAMP 保持每个块在候选码字上的软概率分布，并借助在线经验贝叶斯估计自适应调整温度参数；第二阶段以 VAMP 收敛后的边缘 MAP 状态作为硬初始化，在原目标二次型上执行精确块坐标下降，直至局部残差完全收敛。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入校准特征与行权重<br/>A = X, y = Xw"] --> B["紧凑 SVD 降维投影<br/>T = Σ_A V^T, y_tilde = U^T y"]
B --> C["有限温度 VAMP 软消息传递<br/>双向传递各块码字软分布"]
C --> D["自适应温度 M-步更新<br/>经验贝叶斯在线估计 β^(t+1)"]
D -->|未达到迭代上限 T_vamp| C
D -->|完成 T_vamp 轮迭代| E["边缘 MAP 投影硬初始化<br/>x_b^(0) = argmax q_b(c)"]
E --> F["马氏度量精确块坐标下降<br/>交替枚举候选码字更新局部残差"]
F --> G["输出最终离散量化权重<br/>x_hat in C_prod"]关键设计¶
1. 紧凑秩空间有限温度 VAMP 软推断：保留多义码字协同分布
现有贪心求解器将每个块立即坍缩为确定性码字，切断了与后续块的联合可能性。MPQ 将重构目标嵌入 Gibbs 分布 \(p_\beta(\hat{w} \mid w, X) \propto \exp(-\beta E_w(\hat{w})) \prod_{b=1}^B \rho_b(\hat{w}_b)\) 中。为了彻底摆脱校准样本数 \(m\) 的冗余开销，MPQ 利用紧凑 SVD 将输入算子分解为 \(A = U \Sigma_A V^\top\)，将优化空间严格压缩至有效秩 \(r = \operatorname{rank}(A)\) 对应的坐标系 \(T = \Sigma_A V^\top \in \mathbb{R}^{r \times n}\)。在每轮 VAMP 迭代 \(t\) 中，各权重块通过非线性去噪器在先验针定与当前高斯腔分布 \((r_1^t, \gamma_1^t)\) 下并行计算各码字离散后验概率： $$ q_b^t(c) \propto \rho_b(c) \exp\left(-\frac{\gamma_1^t}{2}|c - r_{1,b}^t|_2^2\right),\quad c \in \mathcal{C}_b $$ 随后提取后验均值 \(\hat{x}_{1,b}^t\) 与协方差 \(\Sigma_{1,b}^t\)，通过外在信息更新公式剥离自反馈，交由高斯线性模块解算解析解。在整个 \(T_{\mathrm{vamp}}\) 轮循环中，所有参数块均以浮点软均值形态交互，保留了次优码字的统计信息，消除了早期不可逆硬选择的病态决策偏差。
2. 在线经验贝叶斯温度更新：自适应消除逆温度超参敏感性
在 Gibbs 后验推断中，逆温度参数 \(\beta\) 对应于线性观测模型中的等效噪声精度。若固定 \(\beta\) 为常数，算法对不同网络层、不同维度的激活信噪比极其敏感。MPQ 将 \(\beta\) 的确定视为标准的高斯似然最大期望（EM）框架中的 M-步更新，直接在奇异值正交基上推导出关于腔残差向量 \(u_\ell = \tilde{y}_\ell - s_\ell v_\ell^\top r_2^t\) 的闭式自适应解析解： $$ \frac{1}{\beta^{t+1}} \leftarrow \frac{1}{r} \sum_{\ell=1}^r \left[ \left(\frac{\gamma_2^t}{\beta^t s_\ell^2 + \gamma_2^t}\right)^2 u_\ell^2 + \frac{s_\ell^2}{\beta^t s_\ell^2 + \gamma_2^t} \right] $$ 该式第一项严格对应后验均值在各奇异模态上的平方残差，第二项为后验协方差的迹校正项。此自适应机制在每一步线性更新后轻度阻尼更新 \(\beta\)，不仅使推断从初始的低精度探索平滑过渡至高精度聚集，更将连续控制超参数收敛至全局阻尼因子 \(\rho_{\mathrm{damp}}\) 单一变量，大幅增强了全网跨层量化的稳健性。
3. 马氏最近邻等价的精确块坐标下降：高潜力盆地内的确定性收敛
当 VAMP 完成指定轮数后，每个块取边际后验概率最大值 \(x_b^{(0)} = \arg\max_{c \in \mathcal{C}_b} q_b^{T_{\mathrm{vamp}}}(c)\) 映射为离散初值。由于 Hessian 的非对角耦合，相互独立的边际 MAP 并不严格等同于联合全局最优，因此第二阶段执行确定性精确块坐标下降（CD）。本文证明，对任意块 \(b\)，在残差 \(u = \tilde{y} - Tx\) 约束下搜索使目标函数 \(F_b(c) = \frac{1}{2}\|u - T_b(c - x_b)\|_2^2\) 最小的离散码字，严格等价于在局部 Gram 矩阵 \(G_b = T_b^\top T_b\) 诱导的马氏度量（Mahalanobis metric）下寻找距动态中心 \(\mu_b = x_b + G_b^{-1} T_b^\top u\) 最近的码字： $$ \min_{c \in \mathcal{C}_b} \; \frac{1}{2}(c - \mu_b)^\top G_b (c - \mu_b) $$ 由于搜索中心 \(\mu_b\) 随每一步残差更新而漂移，贪心基线往往从劣质初值出发被困在局部浅坑；而 MPQ 借助 VAMP 的前期全局拓扑探索，赋予 CD 极高概率落在最优全局吸引盆内，只需 3 轮完整扫描即可触发早停退出，以极低局部搜索步数锁定高精度解。
损失函数 / 训练策略¶
MPQ 严格遵循 PTQ 的离线无需微调范式。VAMP 阶段默认设置迭代轮数 \(T_{\mathrm{vamp}} = 16\)，阻尼系数 \(\rho_{\mathrm{damp}} = 0.5\)，针定尺度系数 \(\tau = 0.2\)；CD 阶段最大迭代步数设为 \(S_{\mathrm{CD}} = 3\)（若某一轮没有块发生码字变动则提前终止）。输入行权重的初始腔精度由舍入到最近整数（RTN）的均方误差逆自适应初始化 \(\gamma_1^0 = 1/\mathrm{MSE}(w, w_{\mathrm{rtn}})\)。针对 3/4-bit 标量量化，分组大小设为 128，采用 AWQ + RHT 进行前处理；针对 2-bit 点阵量化，采用 8 维 E8P12 点阵码本（\(d=8, M_b=2^{16}\)），以 RHT 作为非相干前处理。
实验关键数据¶
主实验¶
校准数据统一采用 128 条长度为 2048 的 C4 序列，在保持激活为 16-bit 下评估 WikiText-2 / C4 困惑度（PPL ↓）以及 5 项常识推理任务（ARC-Challenge、ARC-Easy、HellaSwag、PIQA、Winogrande）的平均零样本准确率（Avg Acc ↑）。
表 1 汇总了 Llama 家族大模型在 4-bit 标量、3-bit 标量以及 2-bit E8P12 点阵配置下的困惑度对比：
| 模型 | 量化配置 | 评估集 | BF16 参考 | GPTQ / LDLQ | 基线 + CD (3 pass) | QuantEase | OJBKQ | MPQ (本文) |
|---|---|---|---|---|---|---|---|---|
| Llama3.2-1B | 4-bit 标量 (g128) | Wiki / C4 | 9.75 / 12.77 | 10.63 / 13.86 | 10.57 / 13.83 | 10.47 / 13.80 | 10.43 / 13.68 | 10.38 / 13.63 |
| Llama3.2-1B | 3-bit 标量 (g128) | Wiki / C4 | 9.75 / 12.77 | 15.45 / 19.25 | 15.58 / 18.94 | 14.86 / 18.51 | 14.26 / 18.00 | 13.65 / 17.42 |
| Llama3.2-1B | 2-bit E8P12 点阵 | Wiki / C4 | 9.75 / 12.77 | 42.80 / 43.47 | 41.79 / 42.69 | 47.31 / 46.24 | 39.28 / 39.72 | 31.67 / 31.48 |
| Llama3.2-3B | 3-bit 标量 (g128) | Wiki / C4 | 7.82 / 10.47 | 10.56 / 13.76 | 10.51 / 13.82 | 10.05 / 13.36 | 9.93 / 13.22 | 9.65 / 12.87 |
| Llama3.2-3B | 2-bit E8P12 点阵 | Wiki / C4 | 7.82 / 10.47 | 18.54 / 21.15 | 18.00 / 20.66 | 18.84 / 21.17 | 17.55 / 19.94 | 15.38 / 18.10 |
| Llama3-8B | 4-bit 标量 (g128) | Wiki / C4 | 6.14 / 8.93 | 6.54 / 9.41 | 6.55 / 9.42 | 6.50 / 9.37 | 6.48 / 9.35 | 6.46 / 9.33 |
| Llama3-8B | 3-bit 标量 (g128) | Wiki / C4 | 6.14 / 8.93 | 8.29 / 11.61 | 8.43 / 11.63 | 8.10 / 11.24 | 7.95 / 11.08 | 7.81 / 10.88 |
| Llama3-8B | 2-bit E8P12 点阵 | Wiki / C4 | 6.14 / 8.93 | 15.01 / 18.17 | 12.76 / 15.96 | 14.78 / 17.77 | 13.84 / 16.57 | 11.63 / 14.77 |
| Llama2-13B | 3-bit 标量 (g128) | Wiki / C4 | 4.89 / 6.47 | 5.46 / 7.09 | 5.46 / 7.09 | 5.39 / 6.95 | 5.40 / 6.98 | 5.30 / 6.89 |
| Llama2-13B | 2-bit E8P12 点阵 | Wiki / C4 | 4.89 / 6.47 | 6.63 / 8.17 | 6.61 / 8.13 | 6.67 / 8.19 | 6.55 / 8.11 | 6.27 / 7.76 |
| Llama2-70B | 3-bit 标量 (g128) | Wiki / C4 | 3.32 / 5.52 | 3.93 / 5.89 | 3.92 / 5.90 | 3.88 / 5.88 | 3.87 / 5.86 | 3.78 / 5.80 |
| Llama2-70B | 2-bit E8P12 点阵 | Wiki / C4 | 3.32 / 5.52 | 4.58 / 6.36 | 4.59 / 6.36 | 4.70 / 6.46 | 4.58 / 6.36 | 4.49 / 6.30 |
表 2 评估了跨架构模型在下游常识推理任务上的平均零样本准确率（5-task Avg Acc, %）：
| 模型 | BF16 | 3-bit GPTQ | 3-bit GPTQ+CD | 3-bit QuantEase | 3-bit OJBKQ | 3-bit MPQ | 2-bit LDLQ | 2-bit LDLQ+CD | 2-bit QuantEase | 2-bit OJBKQ | 2-bit MPQ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Mistral-7B | 74.3 | 71.2 | 71.2 | 72.1 | 71.9 | 71.9 | 66.8 | 67.5 | 66.1 | 67.5 | 67.9 |
| Qwen3-8B | 73.5 | 69.3 | 70.1 | 70.4 | 71.0 | 71.8 | 68.1 | 67.2 | 63.5 | 66.5 | 68.4 |
| Llama3-8B | 73.0 | 67.9 | 67.7 | 68.1 | 68.5 | 68.6 | 57.4 | 59.3 | 55.3 | 59.2 | 59.7 |
| Llama2-13B | 71.6 | 69.1 | 69.4 | 69.9 | 70.0 | 70.1 | 65.5 | 65.5 | 65.8 | 66.0 | 66.9 |
| Llama2-70B | 76.7 | 75.3 | 74.9 | 75.0 | 75.2 | 75.3 | 73.7 | 73.5 | 74.2 | 74.2 | 74.6 |
消融实验¶
表 3 针对 Meta-Llama-3-8B 在 2-bit E8P12 点阵配置下，消融了 VAMP 迭代次数与 CD 扫描轮次对困惑度与求解耗时的联合影响：
| 求解器配置 | VAMP 轮数 | CD 扫描轮数 | WikiText-2 PPL ↓ | C4 PPL ↓ | 求解器耗时 (s) | 显存峰值 (GB) | 配置特性说明 |
|---|---|---|---|---|---|---|---|
| LDLQ 基线 | 0 | 0 | 15.01 | 18.17 | 1082 | 8.45 | 纯贪心自回归硬分配 |
| LDLQ + CD3 | 0 | 3 | 12.76 | 15.96 | 2076 | 17.49 | 贪心初值后接 3 轮 CD |
| OJBKQ 基线 | - | - | 13.84 | 16.57 | 5768 | 21.49 | 随机多轨迹 Babai-Klein 采样 |
| MPQ-1 (纯 VAMP) | 1 | 0 | 321.12 | 280.36 | 784 | 22.63 | 仅 1 轮软传递，未形成收敛盆地 |
| MPQ-1 + CD3 | 1 | 3 | 14.34 | 17.64 | 1418 | 22.63 | 极浅探索仍需 CD 大幅修正 |
| MPQ-4 (纯 VAMP) | 4 | 0 | 590.20 | 446.48 | 1085 | 22.86 | 2-bit 下纯 MAP 离散投影未消除残差 |
| MPQ-4 + CD3 | 4 | 3 | 13.98 | 16.93 | 1725 | 22.86 | 耗时显著短于 OJBKQ 且效果持平 |
| MPQ-8 + CD3 | 8 | 3 | 12.37 | 15.77 | 2134 | 22.86 | 与 LDLQ+CD3 耗时相当，PPL 优 0.39 |
| MPQ-16 (纯 VAMP) | 16 | 0 | 17.24 | 21.01 | 2311 | 22.86 | 充分消息交互使边缘初值进入极佳盆地 |
| MPQ-16 + CD1 | 16 | 1 | 11.89 | 14.99 | 2558 | 22.86 | 仅需 1 轮 CD 即可大幅超越 LDLQ+CD6 |
| MPQ-16 + CD3 | 16 | 3 | 11.63 | 14.77 | 2951 | 22.86 | 默认最佳配置，PPL 压至 11.63 |
关键发现¶
- 比特越低，消息传递增益越显著：在 4-bit 标量下，各主流基线已逼近 BF16 上限，MPQ 展现出微弱但高度稳定的优势；而在 2-bit E8P12 点阵下，由于码本空间极度受限且 Hessian 强耦合，基线 LDLQ（42.80）严重崩溃，而 MPQ 成功将 Llama3.2-1B 的 WikiText-2 PPL 压至 31.67，在 Llama3-8B 上达到 11.63（超强基线 OJBKQ 2.21 点）。
- CD 修复率的理论验证：在 3-bit 标量下，VAMP 终端精度极大（中位数达 \(1.77 \times 10^5\)），初值已高度收敛，全局仅有 \(6.44 \times 10^{-7}\) 的块被 CD 改变，此时甚至可省去 CD 阶段；而在 2-bit E8P12 下，终端精度中位数降为 \(1.30 \times 10^1\)，有 \(12.9\%\) 的参数块被 CD 修正，表明此时 VAMP 的核心贡献是锁定全局吸引盆地，而 CD 承担了局部精修职责。
- 算力-质量权衡优于随机采样：OJBKQ 依赖多条随机 Babai 轨迹进行暴力搜索，耗时高达 5768 秒且在 Llama3-8B 2-bit 上仅收敛至 13.84；MPQ（\(T_{\mathrm{vamp}}=8\) + CD3）在仅耗费 2134 秒（与 LDLQ+CD3 相当）下即达成 12.37，展示了确定性变分后验推断相比蒙特卡洛采样的计算效率优势。
亮点与洞察¶
- 将 PTQ 统一到有限温度贝叶斯推断框架：巧妙揭示了以 GPTQ、LDLQ 和坐标下降为代表的经典求解器在数学本质上均为零温度极限下的贪心点估计，建立起消息传递理论与神经网络量化求解的桥梁。
- 紧凑秩空间投影极大压缩计算图：在奇异值分解坐标系下将庞大的激活算子投影至 rank 空间，使得线性模块与逆温度更新完全规避了大矩阵求逆，单卡即可毫秒级完成单行软推断。
- 即插即用的后端解耦兼容性：MPQ 属于纯粹的求解器层改进，产出的权重与标准 GPTQ/QuIP# 格式完全兼容，可直接复用现成的高性能 GPU 推理内核，且与 AWQ、RHT 等前处理无缝协同。
局限与展望¶
- 作者指出的局限：在 2-bit 点阵码本下，单靠 VAMP 投影仍无法直接完全消除局部残差，必须挂载块坐标下降后处理；离线量化耗时约为纯贪心基线的 2-3 倍。
- 潜在不足与适用边界：理论分析依托于右正交不变（ROI）高斯系综假定，虽然哈达玛变换（RHT）显著提升了真实 Hessian 的非相干性，但真实激活矩阵的特征值长尾分布与理想矩阵理论仍存在一定差距。
- 后续改进方向：可进一步探索结合非高斯先验的广义近似消息传递（GAMP），或针对多层级联目标构建层间反向消息反传机制。
相关工作与启发¶
- vs GPTQ / LDLQ: 经典方法采用自回归逐块贪心舍入并传递固定误差，属于零温度硬决策，在低比特下极易被锁死在局部极小值；MPQ 在推断期维持多码字软后验分布，待全局协同交互充分后再行离散投影。
- vs OJBKQ: OJBKQ 利用 Klein 采样生成多条相互独立的随机贪心轨迹进行搜索，各轨迹内部依然是逐块硬分配；MPQ 则通过变分消息传递在单次连续动力学过程中聚合多条潜在路径的软概率，算力效率与终态质量均更优。
- vs QuantEase / CDQuant: 纯坐标下降方法极度依赖随机或简单启发式初值，极易受困于残差诱导的局部浅坑；MPQ 先通过 VAMP 获得高置信度盆地初值，仅需极少轮次 CD 即可达成高质量收敛。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从有限温度消息传递与 Gibbs 后验推断的全新视角统一并革新了 PTQ 求解器设计。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个主流大模型规模（1B 至 70B）、3 种精度预算（4-bit、3-bit、2-bit 点阵）及完整的常识推理零样本评测与机制诊断。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导完备自洽，从变分近似推导到马氏最近邻映射分析环环相扣，逻辑缜密清晰。
- 价值: ⭐⭐⭐⭐⭐ 为大模型极端低比特部署提供了高质量且完全兼容现有推理架构的离散求解新利器。