CoQuant: Joint Weight-Activation Subspace Projection for Mixed-Precision LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Zachary5895/CoQuant
领域: 模型压缩
关键词: 混合精度量化, 训练后量化, 子空间投影, 权重激活联合协方差, KV Cache 量化
一句话总结¶
针对现有基于子空间的混合精度 LLM 量化仅依赖激活统计量而忽略权重扰动的缺陷,CoQuant 建立了线性层输出误差的一阶联合量化模型,推导出结合激活与权重协方差的加权 PCA 闭式解,在 Llama-3.2 和 Qwen2.5 全系列上显著降低量化扰动并刷新困惑度与零样本推理精度。
研究背景与动机¶
大语言模型在各领域的规模化部署受到 GPU 显存容量与内存带宽的严峻制约,使得免重训、低开销的训练后量化(PTQ)成为工业界加速推理的核心手段。早期的 GPTQ、AWQ 等方法专注于仅权重量化,能有效缓解模型存储压力,但实现端到端硬件加速必须对激活值也进行低比特量化。然而,Transformer 中激活值存在系统性极端异常值(outliers),直接进行低比特均匀量化会导致严重精度坍塌。尽管 QuaRot、SpinQuant 等工作通过引入等价正交旋转(如 Hadamard 变换)将异常值平滑分散到各个维度,但在 4-bit 甚至更低位宽下,旋转后的均匀量化与全精度基线相比仍存在明显的精度差距。
为弥合超低位宽下的性能损失,混合精度量化(MPQ)成为前沿研究重点,其核心思路是将极少数高敏感特征保留在 8-bit 高精度,其余绝大多数维度压缩至 4-bit 低精度。近期代表性工作 ResQ 引入了正交子空间投影视角,通过主成分分析(PCA)提取高方差低秩子空间并在其内保留高精度。然而,以 ResQ 为代表的现有子空间方法存在一个根本性局限:它们在构建高精度子空间时,理论分析仅考虑激活量化误差的上界,投影基底完全取决于激活值的协方差矩阵。
这种单侧视角的根本矛盾在于:在线性层矩阵乘法 \(Y = XW\) 中,输出端的扰动是由激活量化噪声与权重量化噪声共同决定的。权重的奇异值分布和主方向同样具有显著的方向敏感性,仅依据输入激活的统计特性选择高精度子空间,必然会错失权重张量本身对输出误差的关键贡献,导致子空间分割处于次优状态。核心 idea:从线性层输出误差的期望出发,联合建模激活与权重的加权量化扰动,推导出融合激活协方差与权重协方差的加权 PCA 闭式解,以此自适应构建最优高精度正交子空间。
方法详解¶
整体框架¶
CoQuant 的核心目标是通过正交分解 \(U = [U_l, U_h]\) 将特征空间划分为互补的高精度子空间(\(r\) 维)与低精度子空间(\(d-r\) 维),使得混合精度计算 \(\hat{Y} = Q_l(X U_l) Q_l(U_l^\top W) + Q_h(X U_h) Q_h(U_h^\top W)\) 的输出误差期望最小化。CoQuant 在每组共享输入的线性层中分别统计激活协方差与融合权重协方差,结合子空间位宽推导的误差系数构造联合协方差矩阵,经由特征值分解解析求解最优投影基,并以对称方式推广至 KV Cache。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["校准数据输入与模型权重"] --> B["联合误差建模与加权 PCA 闭式解<br/>建立 AQNM 联合误差期望,推导 M = λ_X Σ_X + λ_W Σ_W"]
B --> C["共享输入层的融合投影机制<br/>合并 Q/K/V 与 Gate/Up 权重协方差,特征分解求解 P_h"]
C --> D["广义双向交互的 KV Cache 协同量化<br/>V 缓存绑定 W_O 投影,K 缓存自适应对齐 Q 协方差"]
D --> E["混合精度权重/激活/KV输出<br/>1/8 通道保留 8-bit,7/8 通道压缩至 4-bit (均值 4.5-bit)"]
关键设计¶
1. 联合误差建模与加权 PCA 闭式解:以各向同性白噪近似消除松弛上界
针对以往方法仅凭激活协方差做 PCA 从而忽略权重扰动的问题,CoQuant 建立了严谨的输出扰动数学模型。在正交子空间分解下,令量化分量为 \(\hat{X}_k = X_k + E_{X_k}\) 与 \(\hat{W}_k = W_k + E_{W_k}\)(\(k \in \{l, h\}\))。由于子空间内部引入了不变随机正交旋转 \(R_h\),张量分布被高度高斯化,从而满足加性量化噪声模型(AQNM)的前提。忽略二阶微小扰动 \(E_{X_k} E_{W_k}\) 后,输出误差期望展开为激活交叉项与权重交叉项之和:\(\mathbb{E}[\|\hat{Y}-Y\|_F^2] \approx \sum_{k} (\mathbb{E}[\|E_{X_k}W_k\|_F^2] + \mathbb{E}[\|X_k E_{W_k}\|_F^2])\)。
以往工作通常采用矩阵范数的次乘性不等式进行放缩,导致误差界过于松散。CoQuant 引入各向同性白噪声假设,将量化误差期望能量严格建模为与张量信号能量成正比,即 \(\mathbb{E}[\|E_{X_k}\|_F^2] \approx \alpha_k^2 \|X_k\|_F^2\),其中相对误差系数仅取决于子空间位宽 \(N_k\):\(\alpha_k^2 = \beta_k^2 = (2^{N_k-1}-1)^{-2}\)。借助矩阵迹的恒等式展开,交叉误差项得以精确化简为 \(\mathbb{E}[\|E_{X_k}W_k\|_F^2] \approx \frac{\alpha_k^2}{d_k} \|X_k\|_F^2 \|W_k\|_F^2\)。代入总目标并利用正交补空间的能量守恒约束 \(\|X_l\|_F^2 = \|X\|_F^2 - \|X_h\|_F^2\),忽略极弱的 \(O(r^2)\) 交叉惩罚项后,目标函数转化为一个标准的迹最大化加权 PCA 问题: $\(\max_{P_h^\top P_h = I} \mathrm{Tr}\left( P_h^\top (\lambda_X \Sigma_X + \lambda_W \Sigma_W) P_h \right)\)$ 其中 \(\Sigma_X = X^\top X\) 与 \(\Sigma_W = W W^\top\) 分别为未中心化的二阶矩矩阵,权重系数为 \(\lambda_X = \gamma_l \|W\|_F^2\)、\(\lambda_W = \gamma_l \|X\|_F^2\),且 \(\gamma_k = (\alpha_k^2 + \beta_k^2)/d_k\)。由瑞利-里兹(Rayleigh-Ritz)定理,最优高精度投影基底 \(P_h\) 直接对应联合协方差矩阵 \(M = \lambda_X \Sigma_X + \lambda_W \Sigma_W\) 的前 \(r\) 个最大特征向量。这一闭式解从数学上优雅平衡了激活与权重的能量分布。
2. 共享输入层的融合投影机制:保持高效算子融合并降低运行时开销
若对 Transformer 中的每个独立线性层单独计算子空间投影,不仅会带来繁重的特征分解计算与元数据显存开销,更会彻底破坏注意力机制与 MLP 中的算子融合优化。为克服这一工程落地瓶颈,CoQuant 提出了面向共享输入张量的融合投影算法。
在自注意力模块中,查询(\(W_Q\))、键(\(W_K\))与值(\(W_V\))投影层共享完全相同的输入激活 \(X_{\text{attn}}\)。CoQuant 将它们的外积权重协方差线性叠加,构造融合注意力权重协方差: $\(\Sigma_W^{\text{attn}} = W_Q W_Q^\top + W_K W_K^\top + W_V W_V^\top\)$ 类似地,在采用 SwiGLU 结构的现代 MLP 块中,\(W_{\text{gate}}\) 与 \(W_{\text{up}}\) 同样共享输入 \(X_{\text{mlp}}\),其融合协方差定义为 \(\Sigma_W^{\text{mlp}} = W_{\text{gate}} W_{\text{gate}}^\top + W_{\text{up}} W_{\text{up}}^\top\)。通过将融合协方差代入联合优化目标,每一组模块仅需执行一次特征值分解即可获得全局共享的高精度基底 \(P_{\text{attn}}\) 和 \(P_{\text{mlp}}\)。这种设计既完整保留了底层融合内核的执行效率,又在数学上统一最小化了并行分支的总量化扰动。
3. 广义双向交互的 KV Cache 协同量化:自适应对齐解码期动态注意力分布
自回归生成阶段的吞吐瓶颈主要受限于 KV Cache 带来的显存带宽占用。CoQuant 将矩阵乘法的量化建模拓展为广义的“双向交互”视角,将任何相乘的两个张量分别视作泛化的激活与权重。对于 Value Cache,存储的 \(V\) 向量在注意力加权后会与输出投影层 \(W_O\) 相乘。因此,CoQuant 将 \(V\) 的经验协方差作为 \(\Sigma_X\),将静态权重 \(W_O\) 的协方差作为 \(\Sigma_W\),并在 Grouped-Query Attention(GQA)架构下按每个 KV 头独立切分计算,从而精确对齐各注意力头的敏感子空间。
对于 Key Cache,其物理交互为旋转位置编码后的注意力点积 \(Q K^\top\)。在此计算流中,Key 处于被查询状态,而动态 Query 实际上充当了变换权重的角色。CoQuant 将经过 RoPE 的查询向量 \(Q\) 视为动态“权重”,以 \(K\) 的自协方差作为 \(\Sigma_X\)、以 \(Q\) 的经验协方差作为 \(\Sigma_W\) 构造联合投影。通过这种自适应机制,Key Cache 的高精度子空间被精准导向能够最大程度保护 Query 分布敏感方向的流形,从而在超低位宽下保持极高的注意力召回精度。
损失函数 / 训练策略¶
CoQuant 属于免重训的纯后训练量化(PTQ),完全不需要反向传播微调。在量化配置上,激活采用逐 token 非对称量化,权重采用逐通道对称量化,KV Cache 采用逐头非对称量化;低精度权重使用 GPTQ 进行二阶舍入补偿。默认设置下,高精度子空间维度占比设为 \(r = d/8\) 并分配 8-bit 位宽,互补低精度子空间分配 4-bit 位宽,使得整体平均等效位宽为 4.5-bit。校准集从 WikiText 随机抽取 512 条序列(最大序列长度 2048),在单张 NVIDIA A100 GPU 上即可快速完成全部协方差收集与投影基底闭式求解。
实验关键数据¶
主实验¶
在 Llama-3.2(1B、3B)与 Qwen2.5(0.5B、1.5B、7B、14B)全系列模型上的 WikiText 语言建模困惑度(PPL ↓)以及 6 项常用常识推理基准(ARC-c、ARC-e、BoolQ、PIQA、SIQA、WinoGrande)零样本平均准确率(Avg 0-shot ↑)评测结果如下表所示。对于混合精度方法(QUIK、ResQ 及 CoQuant),1/8 通道保留在 8-bit,其余为 4-bit(平均 4.5-bit)。
| 模型家族 | 方法 | 位宽(W/A/KV) | Wiki PPL (↓) | Avg 0-shot (↑) |
|---|---|---|---|---|
| Llama-3.2-1B | FP16 | 16/16/16 | 9.75 | 56.48% |
| RTN | 4/4/4 | 329.65 | 40.77% | |
| GPTQ | 4/4/4 | 213.48 | 41.86% | |
| QuaRot | 4/4/4 | 14.39 | 51.03% | |
| QUIK | 4.5/4.5/4.5 | 16.55 | 49.92% | |
| ResQ | 4.5/4.5/4.5 | 12.03 | 52.30% | |
| CoQuant (本文) | 4.5/4.5/4.5 | 11.60 | 52.75% | |
| Llama-3.2-3B | FP16 | 16/16/16 | 7.81 | 64.18% |
| QuaRot | 4/4/4 | 10.06 | 56.13% | |
| QUIK | 4.5/4.5/4.5 | 10.78 | 55.56% | |
| ResQ | 4.5/4.5/4.5 | 9.18 | 60.03% | |
| CoQuant (本文) | 4.5/4.5/4.5 | 8.93 | 60.23% | |
| Qwen2.5-0.5B | FP16 | 16/16/16 | 13.07 | 54.02% |
| QuaRot | 4/4/4 | 204.10 | 41.50% | |
| QUIK | 4.5/4.5/4.5 | 301.06 | 39.51% | |
| ResQ | 4.5/4.5/4.5 | 18.19 | 48.24% | |
| CoQuant (本文) | 4.5/4.5/4.5 | 17.76 | 49.12% | |
| Qwen2.5-1.5B | FP16 | 16/16/16 | 9.26 | 62.97% |
| QuaRot | 4/4/4 | 6169.32 | 42.03% | |
| ResQ | 4.5/4.5/4.5 | 11.75 | 55.66% | |
| CoQuant (本文) | 4.5/4.5/4.5 | 11.67 | 57.59% | |
| Qwen2.5-7B | FP16 | 16/16/16 | 6.85 | 70.13% |
| QuaRot | 4/4/4 | 3736.39 | 40.66% | |
| ResQ | 4.5/4.5/4.5 | 8.95 | 66.46% | |
| CoQuant (本文) | 4.5/4.5/4.5 | 8.70 | 67.44% | |
| Qwen2.5-14B | FP16 | 16/16/16 | 5.29 | 72.60% |
| QuaRot | 4/4/4 | 6.80 | 68.68% | |
| ResQ | 4.5/4.5/4.5 | 6.50 | 69.64% | |
| CoQuant (本文) | 4.5/4.5/4.5 | 6.48 | 70.01% |
消融实验¶
1. 协方差组成部分对子空间优化的影响:在 Llama-3.2 家族上,对比仅依赖激活协方差(ResQ)、仅依赖权重协方差以及 CoQuant 联合协方差三种优化目标。
| 模型 | 优化目标 | Wiki PPL (↓) | Avg 0-shot (↑) |
|---|---|---|---|
| Llama-3.2-1B | 仅激活协方差 (ResQ) | 12.03 | 52.30% |
| 仅权重协方差 | 13.23 | 50.68% | |
| 联合协方差 (CoQuant) | 11.60 | 52.75% | |
| Llama-3.2-3B | 仅激活协方差 (ResQ) | 9.18 | 60.03% |
| 仅权重协方差 | 10.23 | 57.61% | |
| 联合协方差 (CoQuant) | 8.93 | 60.23% |
2. 极限超低比特压力测试(平均 3.375-bit):将低精度基底大幅压缩至 3-bit,高精度子空间设为 6-bit(\(r = 1/8\),等效位宽 3.375-bit),与 3-bit QuaRot 及 3.375-bit ResQ 进行极限抗噪对比。
| 模型 | 方法 | 平均位宽 | Wiki PPL (↓) | Avg 0-shot (↑) |
|---|---|---|---|---|
| Llama-3.2-1B | FP16 | 16 | 9.75 | 56.48% |
| QuaRot | 3.0 | 950.62 | 39.90% | |
| ResQ | 3.375 | 39.81 | 42.81% | |
| CoQuant | 3.375 | 28.71 | 43.75% | |
| Llama-3.2-3B | FP16 | 16 | 7.81 | 64.18% |
| QuaRot | 3.0 | 193.60 | 38.26% | |
| ResQ | 3.375 | 16.77 | 46.77% | |
| CoQuant | 3.375 | 15.76 | 48.39% |
关键发现¶
- 联合优化的必要性与充分性:消融实验显示,“仅权重”优化表现最差(1B 上 PPL 剧增至 13.23),因为其完全无法防御激活异常值;“仅激活”优化(ResQ)虽抑制了异常值,但忽略了权重结构的敏感性;CoQuant 通过 \(\lambda_X \Sigma_X + \lambda_W \Sigma_W\) 达成精确平衡,PPL 下降至 11.60。单层隔离分析更证实,CoQuant 在各层线性算子上均实现了 30%~60% 的实际量化误差下降。
- 对重度异常值模型的鲁棒性:在异常值极其剧烈的 Qwen2.5 家族上,传统均匀量化(RTN/GPTQ/QUIK)在 0.5B/1.5B/7B 上全线崩溃(PPL 达到上万)。CoQuant 表现出极强稳定性,在 Qwen2.5-1.5B 上零样本推理精度达到 57.59%,较 ResQ 显著提升 1.93 个百分点。
- 极限压缩下的抗崩溃能力:在 3.375-bit 极限位宽下,均匀旋转方法 QuaRot 彻底崩塌(1B PPL 达 950.62),而 CoQuant 将 ResQ 的 39.81 进一步拉低至 28.71,验证了噪声越大时联合子空间建模的优越性越显著。
- 极低的校准集敏感性:校准样本量实验表明,仅使用 16 条样本即可取得 11.70 的 PPL,扩充到 512 条仅微调至 11.67,证明闭式协方差解具有极高的样本效率,无过拟合风险。
亮点与洞察¶
- 闭式加权 PCA 的理论优雅性:巧妙运用旋转不变性带来的各向同性白噪性质,避开松散的次乘性上界,直接通过矩阵迹恒等式推导出一阶输出误差闭式解,使得联合量化具备了扎实的解析几何解释。
- 权重-激活对称性拓展到动态缓存:将 Attention 中的 QK 点积和 Value 缓存与投影矩阵的交互抽象为通用的矩阵相乘,使原本针对前向静态权重的理论自然迁移至解码期的动态 KV Cache。
- 极佳的系统亲和性:通过对共享输入分支(QKV 与 Gate/Up)做协方差融合,以一次特征值分解解决整组算子的子空间划分,完美保护了现代 LLM 的融合算子执行效率。
局限与展望¶
- 高阶噪声交互未予建模:理论推导基于一阶误差近似和加性白噪声假设,忽略了二阶项 \(E_X E_W\),在极度低比特(如 2-bit)场景下可能存在理论近似失真。
- 各层采用固定子空间比例:目前全网络统一采用固定的高精度子空间比例(\(r = 1/8\)),未考虑不同层(如深层 vs 浅层、MLP vs Attention)对精度的非均质敏感性。
- 缺乏端到端定制算子:论文重点在于数学建模与量化精度验证,实际推理吞吐仍需配套的高效底层 GPU Kernel(如针对混合精度 GEMM 的专用调度)来充分兑现硬件加速收益。
相关工作与启发¶
- vs ResQ (Saxena et al., 2025): ResQ 是子空间混合精度的奠基性工作,但其投影基完全依赖输入激活的协方差;CoQuant 在理论上揭示了输出误差双侧驱动的本质,构造了包含权重协方差的加权矩阵,层级误差降低 30%~60%。
- vs QuaRot (Ashkboos et al., 2024b): QuaRot 仅依靠随机旋转进行均匀量化;CoQuant 在旋转分散异常值的基础上叠加低秩高精度子空间,并在超低位宽(3-bit/4-bit)下彻底杜绝了模型崩溃。
- vs QUIK (Ashkboos et al., 2024a): QUIK 采用启发式的通道掩码保留高精度异常值通道;CoQuant 从谱空间的角度全局寻找能量最优方向,不仅压缩比更高,而且能处理 Qwen 等复杂分布模型。
评分¶
- 新颖性: ⭐⭐⭐⭐ [推导出一阶联合误差的闭式加权 PCA 投影解,突破了单一依赖激活统计的传统视角]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨 Llama-3.2 与 Qwen2.5 两大主流家族,涵盖主实验、长文本生成、超低比特压力测试及逐层误差量化]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严密,从高斯化假设到迹恒等式展开逻辑严丝合缝]
- 价值: ⭐⭐⭐⭐⭐ [为 LLM 超低位宽训练后混合精度部署提供了极为扎实可靠且轻量的理论基石与工程范式]