D\(^2\)Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs¶

会议: NeurIPS 2026
arXiv: 2602.02546
OpenReview: https://openreview.net/forum?id=Zx81NVkpZ2
代码: https://github.com/XIANGLONGYAN/D2Quant
领域: 模型压缩
关键词: 仅权重量化, 训练后量化, 大语言模型, 双尺度量化器, 激活偏移校正

一句话总结¶

针对大语言模型在低于 4-bit 极端低比特权重量化中精度严重劣化的困境，D2Quant 通过在权重侧引入可无损折叠的双尺度量化器（DSQ）优化下投影瓶颈，并在激活侧提出偏移感知校正（DAC）消除后注意力层归一化的系统性均值偏移，实现了零额外比特与零推理开销下的高性能仅权重量化。

研究背景与动机¶

随着大语言模型（LLM）参数规模不断攀升，海量的显存占用与访存带宽瓶颈严重制约了模型在边缘计算与资源受限场景下的实际部署。在自回归生成推理阶段，计算过程通常受到内存带宽（Memory-Bound）的强力约束，而非算力瓶颈。因此，无需依赖定制低比特算子或特殊硬件支持的“仅权重量化”（Weight-Only Quantization）成为了极具吸引力的落地方案。相比于开销巨大的量化感知训练（QAT），仅依赖少量校准样本的训练后量化（PTQ）方法（如 GPTQ 与 AWQ）在 4-bit 精度下已能保持接近无损的性能。然而，一旦将量化比特压缩至 4-bit 以下（例如极限的 2-bit），现有 PTQ 方法的语言建模困惑度与多任务推理精度均会出现断崖式下跌，模型输出迅速崩溃为乱码或无意义重复。

这种极端低比特崩溃的根源可归结为权重与激活两个维度的核心矛盾。在权重表征层面，多层感知机（MLP）中的下投影矩阵（Down-Projection Matrix）由于维度跨度大、动态范围剧烈，向来被视作量化的核心瓶颈；以往方法若要维持下投影的保真度，往往必须分配额外的位宽或昂贵的稀疏补偿，直接破坏了统一的低比特显存预算。在激活传播层面，尽管仅权重量化不对激活张量本身进行离散截断，但不可避免的权重截断误差会在深层前向传递中持续诱发激活分布漂移。现有研究普遍缺乏对这种量化引入激活漂移的显式建模与低开销纠正机制。

通过细致的层级统计分析，本文揭示了两个关键现象：其一，在 MLP 的门控结构中，上投影与下投影之间存在数学等价的通道缩放自由度，对下投影施加缩放变换能在不改变上投影量化难度的情况下显著平滑下投影的动态范围；其二，量化注意力模块会在其后的后注意力层归一化（Post-Attention LayerNorm）处诱发极具统计规律性的系统性均值偏移，而 MLP 模块量化引起的激活偏差则呈现出各向同性的无序扰动。核心 idea：将低比特仅权重量化重构为权重保真与激活对齐的双重协同优化——在权重侧利用可折叠的双尺度量化器（DSQ）消除下投影瓶颈，在激活侧基于信噪比准则通过偏移感知校正（DAC）消除层归一化的系统性均值漂移。

方法详解¶

整体框架¶

D2Quant 遵循逐块（Block-wise）量化的渐进执行范式。对于 Transformer 架构中的每个模块，输入全精度激活并以其作为对齐目标，整体量化处理流程包含两个核心交互阶段：首先对注意力模块的多头投影权重进行量化，并在后注意力层归一化处计算全精度与量化激活之间的统计偏差，通过偏移感知校正（DAC）将均值偏移对齐项注入 LayerNorm 偏置；随后对 MLP 模块的门控投影和上投影进行常规通道量化，并在下投影矩阵上构建结合行向与列向尺度的双尺度量化器（DSQ），通过迭代优化求解出最优列向尺度后将其完全吸收入已量化的上投影通道尺度中，最后刷新下一模块的校准激活。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入校准数据与全精度 Transformer 模块"] --> B["注意力模块权重通道量化<br/>W_q, W_k, W_v, W_o"]
    B --> C["偏移感知校正（DAC）<br/>提取后注意力层归一化均值偏差 μ 并融入偏置"]
    C --> D["MLP 门控与上投影权重通道量化<br/>W_gate, W_up"]
    D --> E["双尺度量化器（DSQ）<br/>交替求解下投影 W_down 的最优列向尺度 s_c"]
    E --> F["跨投影尺度折叠（Scale Folding）<br/>将 s_c 乘入 W_up 通道尺度实现等价无损部署"]
    F --> G["前向更新校准激活进入下一 Transformer 模块"]

关键设计¶

1. 偏移感知校正（DAC）：以信噪比为准绳消除后注意力层归一化的系统性均值偏移

针对权重截断误差引发激活分布偏移且缺乏针对性补偿机制的问题，本文通过定义激活偏差的信噪比（Signal-to-Noise Ratio, SNR）进行定量诊断。对于全精度输出 \(\mathbf{Y}_{fp}\) 与权重量化后的输出 \(\mathbf{Y}_q\)，定义每个特征通道 \(i\) 上的 token 级误差为 \(\Delta\mathbf{Y} = \mathbf{Y}_{fp} - \mathbf{Y}_q\)。其均值 \(\mu_i\) 与方差 \(\sigma_i^2\) 刻画了激活偏差的确定性方向与随机离散程度，由此构建指标：

\[\text{SNR}_i = \frac{\mu_i^2}{\sigma_i^2}\]

实验统计表明，在 Transformer 各层中，后注意力层归一化（Post-Attention LayerNorm）处的 SNR 呈现出数十倍于前置层归一化（Pre-LayerNorm）的极高数值，表明注意力权重量化会直接导致后续激活在特定特征方向上发生全局一致的均值漂移。DAC 据此在后注意力 LayerNorm 处引入统计均值补偿向量 \(\boldsymbol{\mu}\)，调整输出为 \(\mathbf{Y}_{\text{aligned}} = \mathbf{Y}_q + \boldsymbol{\mu}\)。根据均方误差分解定理，特征维度的期望均方误差由 \(\mathbb{E}[\|\Delta\mathbf{Y}_i\|^2] = \mu_i^2 + \sigma_i^2\) 骤降为校正后的 \(\sigma_i^2\)。其相对误差削减率精确满足：

\[\frac{\mu_i^2}{\mu_i^2 + \sigma_i^2} = \frac{\text{SNR}_i}{1 + \text{SNR}_i}\]

该结论表明高 SNR 维度所承受的主导误差被近乎完全消除。由于该项仅相当于在已有 LayerNorm 中更新或增加一个维度为 \(H\) 的常数偏置向量，其参数开销在数十亿参数的大模型中完全可以忽略不计，且在推理过程中与原有 LayerNorm 融合计算，完全不带来额外的浮点计算与访存开销。

2. 双尺度量化器（DSQ）：解耦行列缩放因子的交替迭代重构

针对下投影矩阵维度高、动态范围大、传统逐通道量化损失严重的瓶颈，本文将上下投影之间的平滑变换重构为下投影内部的双尺度量化问题。对于下投影矩阵 \(\mathbf{W}_{\text{down}} \in \mathbb{R}^{C_{\text{in}} \times H}\)，标准逐通道量化仅在输出通道维度施加尺度参数。DSQ 额外引入一个列向缩放向量 \(\mathbf{s}^c \in \mathbb{R}^{1 \times H}\)，将量化近似形式拓展为：

\[\widehat{\mathbf{W}} = Q(\mathbf{W}) \odot \mathbf{s}^c\]

为了最小化 Frobenius 范数下的权重重建误差 \(\min \|\mathbf{W} - Q(\mathbf{W}) \odot \mathbf{s}^c\|_F^2\)，DSQ 采用交替迭代优化策略：首先冻结量化算子 \(Q(\cdot)\)，利用最小二乘法封闭形式解出最优列向尺度 \(\mathbf{s}^c\)；随后固定 \(\mathbf{s}^c\)，将权重张量按列归一化为 \(\mathbf{W} / \mathbf{s}^c\) 后更新标准逐通道量化参数（包含通道尺度 \(\mathbf{s}\) 与零点 \(\mathbf{z}\)）。实验表明该交替求解过程在约 15 次迭代内即可稳定收敛，相比于固定的静态平滑缩放，动态闭环求解能够精准压制异常峰值、最大化保留权重张量的保真度。

3. 跨投影尺度折叠（Scale Folding）：利用等价重参数化实现零额外位宽部署

若在实际推理中显式保留列向缩放因子 \(\mathbf{s}^c\)，将破坏标准定点乘加算子并增加运行时访存开销。本文利用门控 MLP 的数学恒等变换实现了列向尺度的完全吸收。门控 MLP 的前向计算公式为 \(\mathbf{Y} = (\sigma(\mathbf{X}\mathbf{W}_{\text{gate}}^\top) \odot (\mathbf{X}\mathbf{W}_{\text{up}}^\top)) \mathbf{W}_{\text{down}}^\top\)。通过在 \(\mathbf{W}_{\text{up}}^\top\) 与 \(\mathbf{W}_{\text{down}}^\top\) 之间插入对角变换矩阵 \(\operatorname{diag}(\mathbf{s}^c)\) 与 \(\operatorname{diag}(\mathbf{s}^c)^{-1}\)：

\[\widetilde{\mathbf{W}}_{\text{up}}^\top = \mathbf{W}_{\text{up}}^\top \operatorname{diag}(\mathbf{s}^c), \quad \widetilde{\mathbf{W}}_{\text{down}}^\top = \operatorname{diag}(\mathbf{s}^c)^{-1} \mathbf{W}_{\text{down}}^\top\]

由于上投影矩阵 \(\mathbf{W}_{\text{up}}\) 是按输出通道进行量化的，各列向通道之间彼此独立，缩放因子 \(\mathbf{s}^c\) 的逆向乘积可以直接乘入 \(\mathbf{W}_{\text{up}}\) 已经解算出的通道缩放系数中。这一机制使得下投影在享受了双尺度精细量化带来的精度红利后，其额外的缩放因子在量化流程结束时被彻底折叠回前序层，最终保存的量化模型与标准逐通道量化格式完全相同，无需增加任何位宽预算，推理侧也无需做任何算子修改。

损失函数 / 训练策略¶

作为训练后量化（PTQ）框架，D2Quant 属于免微调（Tuning-Free）范式，无需进行梯度反向传播。 1. 校准配置：使用来自 WikiText-2 的 128 个序列片段（序列长度 2048）作为标准校准数据集。 2. 量化参数：全模型采用统一的每通道均匀对称/非对称整数低比特量化，分块大小固定为 128。 3. DSQ 优化策略：在每个 Transformer block 内部，下投影矩阵的 DSQ 交替迭代轮数固定设为 15 轮，收敛后执行封闭式尺度折叠。 4. DAC 校准策略：在前向传播中收集各 batch 在对应 Post-Attention LayerNorm 处的输出残差，离线计算通道均值偏差向量 \(\boldsymbol{\mu}\) 并直接叠加写回模型参数字典。

实验关键数据¶

主实验¶

在主流大语言模型（Qwen-3 与 LLaMA-3/3.1 系列）的 2-bit 极限权重量化场景下，对 WikiText-2 / C4 困惑度（Perplexity, 越低越好）、MMLU 知识评估基准以及 7 项常识推理任务（PIQA, HellaSwag, ARC-E, ARC-C, WinoGrande, RTE, OpenBookQA）的平均准确率（Avg., 越高越好）进行评测。对比基线包括经典的 GPTQ、引入旋转变换的 GPTQ†、考虑输入误差传播的 GPTAQ / GPTAQ† 以及高阶 Hessian 估计方法 BoA。

模型	方法	WikiText-2 (↓)	C4 (↓)	MMLU (↑)	常识推理 Avg. (↑)
Qwen-3-8B	FP16 基准	9.72	15.43	72.96	68.31
Qwen-3-8B	GPTQ	23.28	55.55	37.05	47.82
Qwen-3-8B	GPTQ† (QuaRot)	15.27	28.60	46.53	54.05
Qwen-3-8B	GPTAQ	20.24	52.02	30.37	46.66
Qwen-3-8B	GPTAQ†	15.61	29.91	43.49	51.62
Qwen-3-8B	BoA	17.67	40.37	40.37	49.34
Qwen-3-8B	D2Quant (本文)	14.10	25.96	49.94	57.22
Qwen-3-14B	FP16 基准	8.64	13.82	77.11	71.34
Qwen-3-14B	GPTQ	12.71	28.68	53.20	55.19
Qwen-3-14B	GPTAQ†	12.48	23.93	56.12	59.71
Qwen-3-14B	D2Quant (本文)	11.88	22.40	58.36	61.45
Qwen-3-32B	FP16 基准	7.61	12.45	80.76	72.05
Qwen-3-32B	GPTAQ†	10.44	20.03	62.61	62.09
Qwen-3-32B	D2Quant (本文)	9.71	17.10	64.31	64.56
LLaMA-3.1-8B	FP16 基准	6.24	9.54	63.32	69.09
LLaMA-3.1-8B	GPTQ	18.61	120.14	23.76	44.04
LLaMA-3.1-8B	GPTAQ†	13.61	32.92	24.58	46.55
LLaMA-3.1-8B	D2Quant (本文)	11.54	27.19	28.85	51.04

消融实验¶

在 Qwen-3-8B 2-bit 量化设置下，对 DSQ 模块、DAC 模块、校准样本容量及 DSQ 迭代轮数进行细粒度消融分析。

配置方案	WikiText-2 (↓)	C4 (↓)	MMLU (↑)	常识推理 Avg. (↑)	说明
Baseline (基础量化基线)	14.72	27.47	45.49	53.94	无额外量化优化机制
+ DSQ (仅加入双尺度量化)	14.41	26.95	48.97	57.21	下投影优化使 MMLU 提升 +3.48
+ DAC (仅加入偏移感知校正)	14.63	27.00	45.82	54.63	均值补偿使推理任务稳步恢复
+ DSQ + DAC (完整 D2Quant)	14.10	25.96	49.94	57.22	双组件正交互补，各项指标达最优
DAC 校准样本量 = 16	15.75	31.15	42.06	52.51	样本过少造成均值估计过拟合
DAC 校准样本量 = 128 (默认)	14.10	25.96	49.94	57.22	统计估计充分收敛，收益饱和
DSQ 采用静态平滑 (Static)	14.85	27.72	44.99	52.28	固定缩放因子无法适应量化失真
DSQ 迭代轮数 = 1	14.90	28.62	48.70	57.01	仅 1 轮迭代即带来明显改善
DSQ 迭代轮数 = 15 (默认)	14.41	26.95	48.97	57.21	约 15 轮达到全局重构收敛极限

关键发现¶

权重与激活双重视角的协同增益：单独引入 DSQ 可将 Qwen-3-8B 2-bit 的 MMLU 准确率从 45.49 提升至 48.97，常识推理大幅提升 3.27 个百分点；单独引入 DAC 则能显著稳定长文本困惑度。两者结合时 C4 困惑度进一步由 27.47 压低至 25.96，证明权重端消除表征瓶颈与激活端校正分布偏移具备强正交互补性。
动态闭环优化完胜静态平滑：对比实验表明，盲目借鉴以往将激活困难转移到权重的静态平滑策略（Static Smooth）在 2-bit 极端低比特下甚至会导致指标恶化（MMLU 下降 0.50，常识推理下降 1.66）；而 DSQ 通过交替闭环最小化量化误差，使得列向尺度动态适应离散网格，释放了真正的等价重参数化潜力。
校准开销极低且量化速度优越：校准数据集仅需 128 条常规样本即可精准捕获层归一化均值偏移；在量化耗时上，由于无需计算高阶 Hessian 矩阵逆，D2Quant 显著快于 BoA，保持了工程落地的高效实用性。

亮点与洞察¶

可完全吸收的列向缩放机制：巧妙利用 Transformer 门控 MLP 结构的算子级联特性，在不增加额外存储参数和运行时解码延迟的前提下，将列向尺度无损折叠入前序上投影通道尺度，为受限算子环境下的结构化量化提供了范式参考。
针对后注意力层归一化的定向手术：不仅揭示了注意力权重量化引发均值漂移的现象，还通过信噪比公式严格推导证明了均值校正能够消除的理论误差上界，用极轻量的向量偏置解决了深层特征对齐难题。
可迁移的量化设计思想：DSQ 的跨层吸收思路可拓展至自注意力模块中的 QKV 投影与前置 LayerNorm 之间；而 DAC 的分布统计校正思路亦可推广至混合精度量化、KV Cache 量化等更广泛的模型压缩前沿任务中。

局限与展望¶

作者承认的局限：当前 DSQ 仅在 MLP 下投影层完成落地应用，因为 QKV 投影等模块需要多分支共享相同的列缩放参数，受限于参数维度的耦合约束，尚需进一步探索多分支权衡下的联合量化算法。
激活校正形式尚显单一：DAC 目前仅在后注意力层归一化处补偿一阶统计量（均值偏移），而模型在更低位宽（如 1.5-bit 或三值化）下可能会涌现高阶分布畸变（如方差坍塌或偏度畸变），一阶偏置无法完全覆盖多阶特征漂移。
硬件算子协同部署测试：尽管权重格式与标准逐通道量化完全兼容，未来仍需在真实端侧硬件（如手机 NPU / GPU GEMM 核心）上进行端到端吞吐率与首字延迟（TTFT）的实体基准验证。

评分¶

新颖性: ⭐⭐⭐⭐☆ 权重双尺度无损折叠结合层归一化均值偏移校正，切入角度新颖且数学推导严密。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 Qwen 与 LLaMA 多代及 8B 至 70B 多种规模，对比大量强基线并包含详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰，图表数据与数学公式严谨自洽，方法动机直观明确。
价值: ⭐⭐⭐⭐⭐ 为大语言模型在边缘侧实现高可用 2-bit 仅权重量化提供了兼具精度与工程可行性的优秀方案。