D2Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs¶

会议: NeurIPS 2026
arXiv: 2602.02546
代码: https://github.com/XIANGLONGYAN/D2Quant
领域: 模型压缩
关键词: 大语言模型量化, 仅权重量化, 训练后量化, 双尺度量化, 激活偏移校正

一句话总结¶

针对大语言模型在低于 4-bit 训练后仅权重量化中精度暴跌的问题，本文从权重与激活双重视角提出 D2Quant，通过针对 Down-projection 的可吸收双尺度量化器（DSQ）与针对 LayerNorm 均值偏移的偏差感知校正（DAC），在零额外推理开销下大幅提升极低比特量化精度。

研究背景与动机¶

随着大语言模型（LLM）参数规模持续攀升，庞大的显存占用与显存带宽瓶颈严重限制了其在边缘计算设备及高并发服务中的低成本部署。与需要特定低比特算子和专用硬件支持的权重-激活联合量化（W&A Quantization）相比，仅权重量化（Weight-Only Quantization）由于直接适配现代 LLM 推理的 Memory-bound（访存受限）特性，不仅能大幅削减静态显存与通信带宽，还能在标准硬件架构上无缝加速推理。为了避免微调训练带来的庞大数据依赖与高额算力开销，训练后量化（PTQ）成为工业界部署的首选路线，现有代表性工作如 GPTQ 与 AWQ 在 4-bit 精度下已能取得接近无损的效果。

然而，当权重量化比特数进一步压缩到 4-bit 以下（如 2-bit 或 3-bit）时，现有仅权重 PTQ 方案的模型精度会出现灾难性骤降，下游推理能力迅速崩溃。深入剖析这一退化现象可以发现两个核心症结：其一，在 Transformer 结构中，MLP 模块的 Down-projection 投影矩阵由于其权重动态范围与特征分布特异性，历来是极其敏感的量化瓶颈，以往方法要么被迫为其分配更高比特位，要么引入不可消除的额外开销；其二，尽管仅权重量化不直接量化激活张量，但权重离散化引入的截断与舍入误差会在网络前向传播中不可避免地逐层向后传导，引起深层激活分布的系统性漂移，而现有方法缺乏对这种激活失真的针对性校准策略。

为了打破极低比特仅权重量化的精度瓶颈，本文从权重重构和激活纠偏两个正交维度协同切入。在权重侧，利用 MLP 中 Up-projection 与 Down-projection 之间的信道等价缩放特性，将缩放因子重构并内嵌到 Down-projection 的双尺度优化中，量化后可完全吸收进前驱算子；在激活侧，系统性定量测量并发现 Attention 量化在后接 LayerNorm 上引发了高度结构化的均值漂移，进而通过极轻量的偏置对其进行闭式补偿。核心 idea：通过针对 Down-projection 的可吸收双尺度量化器（DSQ）优化权重重构精度，结合利用信噪比驱动的偏差感知校正（DAC）补偿 Attention 引起的 LayerNorm 均值漂移，构建软硬件零额外开销的高精度亚 4 比特仅权重 PTQ 框架。

方法详解¶

整体框架¶

D2Quant 采用自底向上的逐 Block（Transformer 层级）校准与量化流水线。在每个 Transformer Block 内，算法首先利用输入校准数据采集全精度下 Attention 输出接续的 LayerNorm 激活张量作为对齐基准；接着执行标准 Attention 投影权重量化并重新计算该处激活，通过偏差感知校正（DAC）闭式计算均值偏差并注入 LayerNorm 的偏置项中；随后依次量化 MLP 模块的 Gate 与 Up 投影权重，并对敏感的 Down 投影矩阵运行双尺度量化器（DSQ），通过迭代优化求得最优列级缩放因子与低比特整数权重；最后将 DSQ 生成的额外列级缩放因子无损乘入已经逐通道量化的 Up-projection 尺度中，完成缩放吸收并向前传递校准数据进入下一层。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入校准数据与全精度 Block"] --> B["采集全精度 Post-Attention LayerNorm 激活"]
    B --> C["Attention 权重低比特量化"]
    C --> D["偏差感知校正 DAC<br/>计算均值偏移注入 LayerNorm 偏置"]
    D --> E["MLP 模块 Gate 与 Up 权重量化"]
    E --> F["双尺度量化器 DSQ<br/>针对 Down-projection 迭代优化尺度"]
    F --> G["列级尺度吸收<br/>将额外尺度无损折叠入 Up-projection 尺度"]
    G --> H["更新激活并向前传递至下一 Block"]

关键设计¶

1. 基于等价变换的双尺度量化器 DSQ：打破 Down-projection 权重动态范围瓶颈

Transformer 架构中的 MLP 模块通常采用门控机制（Gated MLP），前向计算公式为 \(\mathbf{Y} = (\sigma(\mathbf{X}\mathbf{W}_{\text{gate}}^{\top}) \odot (\mathbf{X}\mathbf{W}_{\text{up}}^{\top})) \mathbf{W}_{\text{down}}^{\top}\)。引入一个对角缩放向量 \(\boldsymbol{\eta} \in \mathbb{R}^{1 \times H}\)，可以在数学上构建严格等价的重参数化变换：\(\widetilde{\mathbf{W}}_{\text{up}}^{\top} = \mathbf{W}_{\text{up}}^{\top}\operatorname{diag}(\boldsymbol{\eta})\)，且 \(\widetilde{\mathbf{W}}_{\text{down}}^{\top} = \operatorname{diag}(\boldsymbol{\eta})^{-1}\mathbf{W}_{\text{down}}^{\top}\)。在逐通道（Per-channel）量化体系下，对 \(\mathbf{W}_{\text{up}}\) 施加通道缩放会被每个输出通道的量化尺度直接吸收，完全不改变其量化难度；然而对于 \(\mathbf{W}_{\text{down}}\) 而言，相反方向的缩放能够有效平滑其跨通道分布、压缩其动态范围。

为了彻底释放这一缩放自由度，本文不再采用以往生硬且效果欠佳的静态平滑（Static Smoothing），而是将 Down-projection 形式化为一个双尺度量化优化问题。在标准的逐行（逐输出通道）尺度与零点基础之上，引入一个可优化的列级缩放因子 \(\mathbf{s}^{c} \in \mathbb{R}^{1 \times H}\)，使量化反解张量形式化为 \(\widehat{\mathbf{W}} = Q(\mathbf{W}) \odot \mathbf{s}^{c}\)。量化目标直接最小化全精度权重与重构权重之间的 Frobenius 范数误差：

\[\min_{\mathbf{s}^{c}, Q(\mathbf{W})} \|\mathbf{W} - Q(\mathbf{W}) \odot \mathbf{s}^{c}\|_{F}^{2}\]

在具体优化机制上，DSQ 采用交替迭代求解：首先固定当前量化器映射 \(Q(\cdot)\)，对列级缩放向量 \(\mathbf{s}^{c}\) 进行闭式最小二乘解析求解；随后固定 \(\mathbf{s}^{c}\)，将原始权重按该尺度归一化后执行更新量化。实验证明该交替过程在约 15 次迭代内迅速收敛。最关键的是，在完成量化后，由于前驱的 \(\mathbf{W}_{\text{up}}\) 本身即采用逐通道尺度表示，列级缩放向量 \(\mathbf{s}^{c}\) 可以直接点乘融入 \(\mathbf{W}_{\text{up}}\) 已有的量化 Scale 中完全折叠吸收，既不需要改变数据排布，也不会增加推理时的乘加计算或额外存储位宽。

2. 基于信噪比分析的偏差感知校正 DAC：根除 Attention 量化引起的均值漂移

仅权重量化虽然保留了激活的高浮点位宽，但各层权重误差的非线性累积会引起深层激活分布的不可逆漂移。为了诊断这一漂移的物理机制，本文定义了逐 Token 的激活偏差张量 \(\Delta\mathbf{Y} = \mathbf{Y}_{fp} - \mathbf{Y}_{q}\)，并计算其跨 Token 维度的均值向量 \(\boldsymbol{\mu} = \frac{1}{L}\sum_{t=1}^{L}\Delta\mathbf{Y}^{(t)}\) 与方差向量 \(\boldsymbol{\sigma}^{2} = \frac{1}{L}\sum_{t=1}^{L}(\Delta\mathbf{Y}^{(t)} - \boldsymbol{\mu})^{2}\)，进而构建了激活漂移信噪比指标：

\[\mathrm{SNR} = \frac{|\boldsymbol{\mu}|}{\boldsymbol{\sigma}^{2}}\]

实测发现，Attention 模块在经过极低比特量化后，其后接的 Post-Attention LayerNorm 表现出极高的 SNR，表明激活误差在各个维度上高度一致地呈现出系统性的全局均值偏移（Mean Shift）；相反，MLP 模块量化后在下个 Block 的 Pre-LayerNorm 处表现出的 SNR 极低，呈现杂乱无章的无结构扰动。

针对这一深刻机理，DAC 采取针对性的偏置对齐机制：在微型校准集上前向运行全精度与 Attention 量化后的局部模块，在 Post-Attention LayerNorm 处经验估计其均值漂移向量 \(\boldsymbol{\mu}\)，并在量化模型推理时直接将其作为常量残差偏置融入 LayerNorm 计算中：\(\mathbf{Y}_{\text{aligned}} = \mathbf{Y}_{q} + \boldsymbol{\mu}\)。从理论误差削减角度，对于第 \(i\) 维特征通道，原始激活均方误差分解为 \(\mathbb{E}[\|\Delta\mathbf{Y}_{i}\|^{2}] = \mu_{i}^{2} + \sigma_{i}^{2}\)，引入补偿偏置后均方误差精确收敛至方差 \(\sigma_{i}^{2}\)，其相对误差削减率可被严格推导为：

\[\frac{\mu_{i}^{2}}{\mu_{i}^{2} + \sigma_{i}^{2}} = \frac{\mathrm{SNR}_{i}}{1 + \mathrm{SNR}_{i}}\]

这一公式在理论上严密证明了 DAC 的收益正比于特征维度的信噪比——对于 Attention 引起的强均值漂移，DAC 能消除绝大部分由于量化偏置造成的激活重建失真，而参数量仅为几个千维向量，对整体模型存储和计算耗时几近完全透明。

实验关键数据¶

主实验¶

在 Qwen-3（8B / 14B / 32B）与 LLaMA-3 / 3.1（8B / 70B）两大核心主流模型族上，评估极具挑战性的 2-bit 仅权重 PTQ 效果。对比基线涵盖工业标准 GPTQ、融入旋转变换的 GPTQ† (QuaRot)、动态误差补偿的 GPTAQ/GPTAQ†，以及前沿的二阶 Hessian 估计方案 BoA。

表 1 汇总了 Qwen-3 系列在 WikiText-2 / C4 困惑度（Perplexity，PPL 越低越好）、MMLU 知识推理准确率以及 7 个常识推理任务平均准确率（Avg. Acc，越高越好）的主结果。

模型	方法	WikiText-2 (↓)	C4 (↓)	MMLU (↑)	Avg. Acc (↑)
Qwen-3-8B	FP16 基线	9.72	15.43	72.96	68.31
	GPTQ	23.28	55.55	37.05	47.82
	GPTQ† (QuaRot)	15.27	28.60	46.53	54.05
	GPTAQ	20.24	52.02	30.37	46.66
	GPTAQ† (QuaRot)	15.61	29.91	43.49	51.62
	BoA	17.67	40.37	40.37	49.34
	D2Quant (本文)	14.10	25.96	49.94	57.22
Qwen-3-14B	FP16 基线	8.64	13.82	77.11	71.34
	GPTQ	12.71	28.68	53.20	55.19
	GPTQ† (QuaRot)	12.92	38.23	46.90	57.80
	GPTAQ	12.91	28.19	51.33	58.15
	GPTAQ† (QuaRot)	12.48	23.93	56.12	59.71
	BoA	14.10	29.33	44.95	55.76
	D2Quant (本文)	11.88	22.40	58.36	61.45
Qwen-3-32B	FP16 基线	7.61	12.45	80.76	72.05
	GPTQ	11.13	25.27	63.04	62.04
	GPTQ† (QuaRot)	10.61	19.38	63.03	62.02
	GPTAQ	10.78	24.12	62.54	61.21
	GPTAQ† (QuaRot)	10.44	20.03	62.61	62.09
	D2Quant (本文)	9.71	17.10	64.31	64.56

在 LLaMA-3.1 系列上同样展现出显著优势：LLaMA-3.1-8B 模型在 2-bit 极限压缩下，常规 GPTQ 的 C4 PPL 暴涨至 120.14，常识推理均分跌至 44.04%；而 D2Quant 将 C4 PPL 稳定在 27.19，常识推理均分达到 51.04%（净胜 GPTQ +7.00%），MMLU 达到 28.85%。在 70B 超大参数量级上，LLaMA-3.1-70B 的 D2Quant 将 WikiText-2 PPL 压至 8.63，常识问答平均分达到 57.10%，远优于 GPTAQ† 的 46.24%。

消融实验¶

表 2 报告了在 Qwen-3-8B（2-bit）配置下，对核心模块 DSQ 与 DAC 进行的消融分解验证。

配置	WikiText-2 (↓)	C4 (↓)	MMLU (↑)	Avg. Acc (↑)	说明
基础量化基线	14.72	27.47	45.49	53.94	标准逐通道量化基线
+ DSQ (仅双尺度量化)	14.41	26.95	48.97	57.21	权重敏感层重构，MMLU大幅提升 +3.48%
+ DAC (仅偏差校正)	14.63	27.00	45.82	54.63	抑制激活漂移，各任务稳步提升
+ DSQ + DAC (完整 D2Quant)	14.10	25.96	49.94	57.22	两者互补，综合性能达到全局最优

针对 DSQ 内部设计，论文对比了静态平滑（Static Smooth）与不同迭代轮数的影响。直接应用固定的静态平滑反而导致性能微跌（WikiText-2 从 14.72 恶化为 14.85，Acc 跌至 52.28%），这表明固定缩放无法适应低比特量化的复杂离散扭曲；而在 DSQ 优化中，随着交替迭代次数从 0 增加到 1、3、15 次，MMLU 准确率从 46.05% 持续跃升至 48.97%，并在 15 次时完全收敛。针对 DAC 校准集样本规模，从 16 样本扩展到 128 样本可显著稳定均值统计，过小的校准样本（如 16）因估计方差过大会损害常识准确率，最终 128 样本（序列长度 2048）实现了计算代价与估计稳定性的最佳平衡。

关键发现¶

权重与激活的正交互补性：消融数据显示，DSQ 主要从模型参数本身提升了表示容量（对 MMLU 复杂知识与推理任务提振达 +3.48%），而 DAC 则从动态激活层面消除累积偏差。二者叠加在语言建模困惑度（C4 降低 1.51）与下游问答上表现出优异的正向协同效应。
静态平滑在极低比特下的失效：广泛用于 8-bit 的静态通道平滑在 2-bit 下失效，必须通过量化感知（Quantization-Aware）的双尺度交替最小化求解，才能真正兼顾 Up 与 Down 投影的协同最优。
开销极低与线性扩展：在量化耗时上，由于 DAC 仅需前向统计闭式解，DSQ 仅需局部线性迭代，D2Quant 的量化耗时远低于依赖完整二阶曲率矩阵求逆的 BoA，且模型体积与 GPTQ 严格一致（仅微量 LayerNorm 浮点偏置，参数增量在百万分之一级别以下）。

亮点与洞察¶

Down-projection 尺度的“无损折叠”构思：巧妙利用了 Gated MLP 内部算子级联的数学等价性，在 Down-projection 侧显式优化额外的列级缩放以削减量化难度，再将该缩放自然内卷吸收至前驱 Up-projection 的行级量化尺度中。这种“量化时多一维尺度、部署时零额外算子”的思路极具工程落地价值。
激活均值偏移的 SNR 闭式解析：不仅在经验上发现了 Attention 量化诱发 LayerNorm 均值偏移的现象，更从理论上给出了激活误差削减率与信噪比的解析映射 \(\frac{\mathrm{SNR}}{1+\mathrm{SNR}}\)。这一洞察指明了 PTQ 激活校准应当“有的放矢”——只在信噪比显著主导的结构点注入偏置，避免了盲目增加可调参数。
无需重训即可拯救 2-bit 实用性：在不需要庞大训练集和反向传播的前提下，首次将 8B/70B 级别开源大模型在纯粹 2-bit 仅权重量化下的常用常识精度保持在可用区间，大幅缩短了边缘轻量化部署的落差。

局限与展望¶

DSQ 跨模块泛化的结构限制：目前 DSQ 的尺度吸收主要绑定在 Gated MLP 的 Up-Down 级联分支上。对于 Attention 模块中的 QKV 投影，其前驱往往共用同一个 LayerNorm，要将列缩放折叠进 LayerNorm 必须强约束各投影头共享统一的缩放因子，限制了该设计在注意力模块中的自由度。
激活漂移模式的单一性假设：DAC 目前专注于捕捉并校准一阶统计量（均值偏移）。在极端极低比特或深层累积下，激活分布可能存在二阶方差膨胀、协方差畸变甚至局部离群值（Outliers）突变，单一的偏置对齐无法完全恢复更高阶的分布几何特征。
缺乏端到端硬件内核适配验证：论文重点聚焦于算法层面的权重和激活误差控制，在工程实现上沿用反量化后 FP16 计算的模拟仿真机制。后续工作亟需配合定制的高性能 2-bit 解包与 GEMM 融合算子，验证端侧芯片上的真实 End-to-End 加速比与显存带宽节约。

评分¶

新颖性: ⭐⭐⭐⭐☆ [双尺度可吸收量化与基于 SNR 的 LayerNorm 均值偏置校正构思巧妙，切入点直观且有效]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Qwen-3 与 LLaMA-3/3.1 全系列多尺寸模型，包含困惑度、常识问答、MMLU 及细致消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密流畅，理论误差推导清晰，图表呈现扎实]
价值: ⭐⭐⭐⭐⭐ [攻克了极具工业挑战的亚 4-bit 仅权重 PTQ 难题，软硬件无侵入且极易部署推广]