Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs

会议: NeurIPS 2026
arXiv: 2608.04048
领域: 模型压缩
关键词: 大模型量化, 多精度表示, 残差量化, 训练后量化, 动态推理部署

一句话总结

针对大语言模型在多变部署环境下需维护多个独立精度权重文件的痛点，本文提出了递归残差量化（RRQ），将权重解耦为超轻量低比特基底与多级量化残差修正，仅凭单套检查点即可无校准数据极速重构出2/4/6/8-bit多精度表示。

研究背景与动机

在大语言模型（LLM）的工业级服务部署中，硬件显存容量、首字延迟（TTFT）、解码吞吐量以及任务精度要求等约束随着并发负载与硬件异构性剧烈变动。为了在精度、显存与速度之间取得灵活权衡，权重量化（Post-Training Quantization, PTQ）是最常用的技术手段。然而，传统的量化管线如 GPTQ、AWQ 等都是针对单一目标位宽独立设计与校准的。若要在生产环境支持 4-bit、6-bit、8-bit 等多种精度部署配置，必须离线生成、存储并分发多套完全独立的模型检查点，带来了极其庞大的存储开销与维护负担。

近期涌现的单检查点多精度方案（如 MatQuant 与 MatGPTQ）试图通过“俄罗斯套娃”（Matryoshka）式的整数位切片（MSB slicing）来解决该问题，让低精度子模型直接嵌套在高精度表示的最高有效位中。然而，这种紧密嵌套的层级结构强行将所有候选精度耦合在单一量化树状结构内，不仅依赖复杂的跨位宽联合多目标优化、海森矩阵（Hessian）估计与前向校准数据，而且无法直接复用已针对极端低比特专门优化过的极佳低位权重，严重限制了部署灵活性与构建速度。

本文从残差分解的视角打破了位切片的设计定式，提出将大模型权重建模为低比特基底加上逐步逼近的量化残差序列。核心 idea：将多精度权重表示解耦为解耦的低比特基底与递归残差修正，各阶段均采用免校准的最近邻取整（RTN）以加法级联逐步缩小局部异常值动态范围，以极低构建成本从单检查点无缝派生 2/4/6/8-bit 多精度部署模型。

方法详解

整体框架

RRQ 的核心流程将全精度浮点权重分解为一个粗粒度低比特基础量化器（Base Quantizer）与若干层级联的轻量残差量化器（Residual Quantizers）。在离线构建阶段，首先将浮点权重经基底量化器压缩为最低部署比特（如 2-bit），随后以当前重构权重与原始全精度权重的差值作为下一级输入，递归使用轻量量化器量化误差残差，依次生成第 1、第 2、第 3 级残差分量。在部署推理阶段，系统可根据服务侧动态资源，按需切取不同长度的残差前缀，通过累加各级反量化结果或并行执行各阶段 GEMM 并累加输出，无缝派生出 2-bit、4-bit、6-bit 或 8-bit 的计算图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["全精度浮点权重 W"] --> B["阶段 0：基底量化<br/>2-bit 粗粒度基底量化"]
    B --> C["残差计算与量化<br/>R0 = W - W_hat_0"]
    C --> D["阶段 1：首级残差量化<br/>2-bit 关键异常值范围压缩"]
    D --> E["阶段 2：次级残差量化<br/>2-bit 细粒度误差进一步逼近"]
    E --> F["阶段 3：末级残差量化<br/>2-bit 残差修正达到近无损"]
    B -.->|前缀截断 t=0| M0["2-bit 部署模型<br/>仅基底 W_hat_0"]
    D -.->|前缀截断 t=1| M1["4-bit 部署模型<br/>W_hat_0 + R_hat_1"]
    E -.->|前缀截断 t=2| M2["6-bit 部署模型<br/>W_hat_0 + R_hat_1 + R_hat_2"]
    F -.->|前缀截断 t=3| M3["8-bit 部署模型<br/>累加 4 个 2-bit 分量"]

关键设计

1. 递归残差量化分解：解耦基底与增量修正的免校准级联体系

传统多精度方法要求对整个高比特表示做联合位约束，而 RRQ 建立了一种模块化、可即插即用的纯加法表示。记第 \(i\) 批量化分组内的第 \(j\) 个浮点权重为 \(x_i^j\)，对应缩放因子为 \(s^i\)、零点为 \(z^i\)。基底量化器首先采用 \(b_0\) 比特（实验中默认 2-bit）进行粗量化得到整数编码 \(Q_0^j = \mathcal{R}(x^j / s^i + z^i)\)，产生基底重构反量化值 \(\hat{x}_0^j = (Q_0^j - z_0^i) s_0^i\) 以及初始残差 \(r_0^j = x^j - \hat{x}_0^j\)。随后，针对总共 \(S\) 级残差阶段，第 \(k\) 级量化器直接以 \(b_k\) 比特量化上一级的误差残差 \(r_{k-1}^j\)，输出该级反量化补丁 \(\hat{r}_k^j\) 并更新残差： $\(r_k^j = r_{k-1}^j - \hat{r}_k^j, \quad k=1,\dots,S\)$ 累加前 \(t\) 级残差后的有效重构权重严格等于纯线性加法 \(\tilde{x}^j_{(t)} = \hat{x}_0^j + \sum_{k=1}^t \hat{r}_k^j\)。该设计彻底摆脱了海森矩阵重构与数据校准流程，全部阶段均可直接通过最近邻取整（RTN）在秒级完成运算，且天然支持接入任意现成已优化的高性能 2-bit 独立权重检查点作为初始基底。

2. 局部异常值动态范围压缩：理论证明残差超越直接量化的界限

针对业界长期存在的“为什么不直接做多位宽均匀量化”的疑问，作者从现代 LLM 权重普遍存在的局部极端异常值（Outlier）现象切入，给出了精确的误差理论推导。定义量化分组内的峰值均值比（Peak-to-Mean Ratio, PMR）为组内绝对最大值除以平均绝对误差 \(K/\text{MAE}\)。假设组内绝大部分正常权重分布于 \([-r, r]\) 区间，仅存在极少数幅值达到 \(K\)（\(K > r\)）的极端异常值。若直接进行 \(B = n_1 + n_2\) 位的一步量化，其阶梯步长被单调拉宽为 \(\Delta_{\mathrm{direct}} = \frac{K+r}{2^B - 1}\)，导致海量正常区间的在群权重因量化颗粒度过粗而产生巨大的期望平均绝对误差 \(E_{\mathrm{direct}} \approx \frac{K+r}{4(2^B - 1)}\)。

相反，在 RRQ 体系下，首阶段 \(n_1\)-bit 基底优先吸收了跨越极端区间的动态范围；一旦大异常值被基底粗粒度捕获，残差项的动态范围不再受 \(K\) 支配，而是坍缩回在群尺度 \([-r, r]\)，使第二阶段的残差步长仅为 \(\Delta_{\mathrm{rrq}} = \frac{2r}{2^{n_2}-1}\)。由残差误差小于直接量化误差 \(E_{\mathrm{rrq}} < E_{\mathrm{direct}}\)，作者推导出 RRQ 优于直接均匀量化的临界异常值阈值定理： $\(K > r\left(2 \cdot \frac{2^B - 1}{2^{n_2} - 1} - 1\right) \gtrsim r(2^{n_1 + 1} - 1)\)$ 对于 4-bit 场景下的 \(2+2\) 分解（\(n_1=n_2=2, r=0.5\)），精确阈值为 \(K > 4.5\)（即异常值幅度超过正常边界的 9 倍）。当张量存在严重的偏斜与高幅异常值时，残差量化能以更小的高阶误差包络大幅削减总失真；反之若张量分布平坦均匀，直接均匀量化则因保留更细的均匀栅格而更具优势。这一理论不仅揭示了残差量化的几何物理本质，也严密解释了为何 RRQ 在不同模型间的 4-bit 表现呈现模型依赖性。

3. 解耦式推理与 Prefill/Decode 算子适配机制

RRQ 的线性加法重构形式天然契合矩阵乘法运算的分配律。给定输入激活矩阵 \(A\)，累加前 \(t\) 级残差的模型前向传播计算可精确等价于各阶段低比特 GEMM 结果的逐项相加： $\(A \tilde{W}_{(t)} = A \hat{W}_0 + \sum_{k=1}^t A \hat{R}_k\)$ 这一特性使得底层系统无须在推理前进行昂贵的高精度反量化权重重构，而是直接调用成熟的 2-bit 矩阵乘核心分别计算并累加，且各阶段可高度复用相同的低位宽硬件微架构。更为重要的是，针对 LLM 计算密集型的 Prefill 阶段与访存带宽瓶颈型的 Decode 阶段，系统能够极为自然地执行异构精度服务策略（如 Prefill 采用高位宽残差累加保持复杂上下文语义，Decode 阶段采用低比特截断降低显存搬运延迟），在算子层解锁了极为宽广的性能-精度折中空间。

实验关键数据

主实验

实验基于 MatGPTQ 评测协议，在包含 ARC-Challenge、ARC-Easy、HellaSwag、PIQA、WinoGrande 的五大基准上评估平均零样本准确率（Task Avg），并测试 WikiText-2 困惑度（PPL）。涵盖 Llama-3.1-8B/8B-Instruct、Qwen3-8B-Base/8B/14B、Phi-3-medium 等六大代表性模型。在 8-bit 与 6-bit 下，RRQ 几乎无损逼近全精度 BF16 基准，并在多款模型上超越了经过海森矩阵优化的 MatGPTQ。

位宽 (Bits)	方法 (Method)	Llama-3.1-8B (Avg)	Llama-3.1-8B-I (Avg)	Qwen3-8B-B (Avg)	Qwen3-8B (Avg)	Qwen3-14B (Avg)	Phi-3-Med (Avg)
16-bit	FP16/BF16 原始模型	74.52	74.00	73.55	71.54	74.95	77.04
8-bit	MatGPTQ	73.07	73.35	73.27	71.86	75.02	74.48
8-bit	RRQ (All-RTN)	74.04	74.05	73.39	71.63	74.90	76.92
8-bit	RRQ (SignRoundV2 Base)	74.28	73.91	73.53	71.65	75.06	77.04
6-bit	MatGPTQ	72.74	73.11	73.56	71.35	74.96	73.66
6-bit	RRQ (All-RTN)	73.87	74.46	73.27	71.45	74.83	76.43
6-bit	RRQ (SignRoundV2 Base)	74.11	74.18	72.92	71.63	74.50	76.71
4-bit	MatGPTQ	72.43	72.62	73.02	70.79	73.89	75.97
4-bit	RRQ (All-RTN)	73.12	72.85	72.07	70.34	74.09	76.88
4-bit	RRQ (SignRoundV2 Base)	72.32	72.87	72.84	70.87	75.22	76.92
2-bit	RRQ (All-RTN)	52.85	55.82	61.58	60.27	66.67	68.03
2-bit	RRQ (SignRoundV2 Base)	63.29	64.70	65.73	63.79	75.22	70.45

量化构建耗时与开销对比

在相同 A100 GPU 硬件环境下，以 Qwen3-8B 为基准评估构建全套多精度模型所需的端到端时间与计算需求：

评估维度 (Aspect)	MatGPTQ (3, 4, 8 bits)	RRQ All-RTN (2, 4, 6, 8 bits)	优势/对比说明
量化优化算法	定制联合多目标 GPTQ	纯 RTN 基底 + 级联 RTN 残差	免联合求解，各阶段完全解耦
跨位宽平衡权重搜索 (\(\lambda_r\))	必需搜索	无需搜索	规避极度繁琐的超参调优
海森矩阵 / 校准数据	强制必需	完全无需任何校准数据	彻底消除对前向校准集的依赖
独立 2-bit 基底模型支持	不支持	原生天然支持	2-bit 可直接独立加载服务
整体包构建耗时 (Qwen3-8B)	4,239 秒	1,293 秒	3.3× 显著加速（纯量化仅 412 秒）
序列化存储大小 (Qwen3-8B)	6,996,980 KB	7,322,960 KB	仅微增 4.6% 开销即可多获 2-bit 与 6-bit 档位

关键发现

• 8/6-bit 高精度区间近无损表现：即使完全采用免校准的 RTN 方式，RRQ 在 6-bit 和 8-bit 下不仅紧紧贴近未量化的 BF16 精度，且在多数模型上（如 Llama-3.1 系列及 Phi-3-medium）全面超越联合优化的 MatGPTQ，充分证明残差修正足以高效消除量化累积失真。
• 4-bit 表现的模型敏感性与异常值关联：在 4-bit（2+2）配置下，表现呈现显著的模型相关性。在最大分组异常比（Max group-max \(K/\text{MAE}\)）高达 93~116 的极端异常值密集模型（如 Qwen3-14B、Phi-3-Med）上，RRQ 优势明显，而在分布平缓的模型（如 Llama-3.1，异常比约 64）上，直接 4-bit 量化更有利，这与正文建立的临界异常值理论预测完全吻合。
• 基底质量对超低比特的关键作用：在 2-bit 极限位宽下，采用学习型量化器（SignRoundV2）相比简单 RTN 能带来多达 2.4~10.4 点的 Task Avg 提升；但随着 4-bit 及更高阶残差的加入，这一基底差距迅速缩小，证明残差机制能够强力吸收并弥补早期阶段的量化缺陷。

亮点与洞察

• 从“位切片”到“残差补丁”的范式革新：以往单检查点多精度方案强行在二进制编码内部做位掩码剥离，而 RRQ 创新性地采用模块化加法残差，将高低精度的耦合关系转化为外挂补丁式的增量修正，形式更加简洁优雅。
• 免校准即达 SOTA 的工程价值：全 RTN 模式下不消耗任何外部数据、无需反向传播梯度或二阶海森矩阵构建，1200 余秒即可产出涵盖 2/4/6/8-bit 的全套模型包，极为适合高频迭代的云端模型量化与分发部署流水线。
• 严谨的异常值临界误差推导：不仅给出了方法实现，更通过精炼的数学模型推导出 \(K > r(2^{n_1+1}-1)\) 临界阈值，首次从理论层面回答了多阶残差量化在何种张量统计分布下相比传统固定位宽能取得几何级优势。

局限与展望

• 算子与推理核函数的工程适配缺失：目前论文验证均基于假量化（QDQ）模拟执行，实际端到端推理时若调用多次独立 2-bit 矩阵乘累加，可能会在计算受限的 Prefill 阶段引入额外的累加开销，仍需专用的硬件级融合算子（Fused Stage-GEMM Kernel）才能将理论显存收益最大化转化为吞吐提速。
• 残差元数据随阶段线性增长：由于每一个残差阶段都必须保存独立的每组量化缩放因子（Scales），导致 4 阶段的 8-bit 包体积相比单次量化多了约 4~5% 的元数据开销。
• 极低比特依然依赖优质基底：单纯依靠 RTN 构建的 2-bit 独立模型精度仍相对有限，针对 2-bit 极限场景往往仍需配合 SignRound 等进阶量化算法作为首阶段。

相关工作与启发

• vs MatGPTQ / MatQuant: MatGPTQ 采用整数位嵌套切片，必须联合求解不同位宽的平衡目标，构建慢且需要校准集；RRQ 采用纯加法残差级联，阶段解耦且支持免校准构建，速度提升 3.3 倍且可无缝集成第三方 2-bit 检查点。
• vs SqueezeLLM / OWQ / SpQR: 传统稀疏-稠密混合量化方法依赖单独维护高精度的离群异常值稀疏矩阵；RRQ 则通过第一级基底量化直接吸收大动态范围，再用残差量化器消化在群残差，无需维护不规则的稀疏索引结构。

评分

• 新颖性: ⭐⭐⭐⭐ [打破位切片思维定式，提出基于残差累加的大模型单检查点多精度表示]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 6 款主流开源大模型，横跨 2/4/6/8-bit，涵盖详细的构建耗时与理论阈值验证]
• 写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑极其清晰，理论推导严密且与实证发现深度咬合]
• 价值: ⭐⭐⭐⭐ [为大模型多场景自适应部署提供了一种超轻量、免校准的高效工程解决方案]

相关论文

• [NeurIPS 2026] The Quantization Benefits of Residual-Free Transformers
• [ICLR 2026] PM-KVQ: Progressive Mixed-Precision KV Cache Quantization for Long-CoT LLMs
• [NeurIPS 2026] MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM Inference
• [ICLR 2026] AnyBCQ: Hardware Efficient Flexible Binary-Coded Quantization for Multi-Precision LLMs
• [NeurIPS 2026] D2Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs