Leech Lattice Vector Quantization for Efficient LLM Compression¶
会议: NeurIPS 2026
arXiv: 2603.11021
OpenReview: https://openreview.net/forum?id=tRi401SBRQ
领域: 模型压缩
关键词: 大模型量化, 矢量量化, Leech 格点, 球面编码, 训练后量化
一句话总结¶
本文提出基于 24 维 Leech 格点的无码本矢量量化框架 LLVQ，结合多壳层球面搜索、层次化双射编解码与保模长 Spherical GPTQ，在超低 2-bit 权重量化下显著超越现有 SOTA 并实现免旋转预处理。
研究背景与动机¶
在大语言模型（LLM）的极致压缩与高效部署中，将权重压至 2-bit 等极低比特是降低显存和内存带宽压力的关键途径。传统的标量量化对每个权重独立舍入，受限于 Shannon 率失真理论中无记忆映射的理论上限，在超低比特下必然产生严重的精度崩塌；即便对于高斯等各向同性独立信源，块编码的率失真边界也严格优于标量编码。为了突破该理论瓶颈，矢量量化（VQ）将多个权重聚合成高维向量联合映射，但非结构化 VQ 需要显式存储随维度指数级爆炸的高维码本并遍历近邻，计算和存储开销完全无法扩展至高维空间。
为了在免显式存储码本的前提下享受高维几何增益，近期前沿方法转向结构化格点（如基于 8 维 \(E_8\) 格点的 QuIP#）。然而 8 维空间的填充增益仍较为有限，而在数学上，高维空间中已知具有最优球堆积与最大接吻数的最高维度正是 24 维的 Leech 格点 \(\Lambda_{24}\)。此前经典通信领域针对 Leech 格点的单壳层近邻搜索算法（如 Adoul & Barth）存在双重瓶颈：一是缺乏高效可逆的双射索引机制，无法把格点直接压缩映射为连续整数比特串；二是仅支持固定范数的单壳层搜索，无法适配多壳层截断及高维“形状-增益”（Shape-Gain）解耦量化需求。
本文切入的角度是系统性释放 24 维 Leech 格点的极致堆积密度与超高球面均匀度。核心 idea：基于扩展二元 Golay 码的代数层次结构构建无码本可逆双射索引，将近邻搜索推广至多壳层并结合“形状-增益”分解，提出在超球流形上进行曲率误差反馈的 Spherical GPTQ，彻底摆脱耗时的在线旋转预处理。
方法详解¶
整体框架¶
LLVQ 将大模型权重矩阵沿输入通道拆分为长度为 24 的向量块，利用 24 维 Leech 格点进行高维矢量量化。整个流水线首先通过球形剪裁或形状-增益分解将连续权重映射到由 Leech 格点构成的离散点集；在形状-增益模式下，方向向量映射到格点多壳层并集归一化后的超球面码，模长通过标量量化；量化过程中将当前块引入的残差投射回等模长超球流形，通过 Hessian 逆矩阵将角度误差贪心补偿给未量化权重（Spherical GPTQ）；最后通过代数同余约束完成整数索引压缩与硬件友好的 GPU 融合反量化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入权重块 W 与校准曲率 H<br/>24 维通道分块划分"] --> B["多壳层球面与角度搜索<br/>联合壳层超球码投影"]
B --> C["代数层次化双射索引<br/>壳层-类-本地陪集映射"]
C --> D["保模长球面曲率反馈<br/>等范数回退更新未处理块"]
D --> E["GPU 融合反量化核函数<br/>模运算并行重构格点向量"]关键设计¶
1. 多壳层球面与角度搜索：突破单壳层受限比特率瓶颈 经典的 Leech 近邻搜索算法仅支持固定半径的单个壳层，此时欧氏距离与内积排序严格等价；但对于大模型权重，单壳层可容纳的格点数有限（第一壳层仅提供 0.75 bit/dim），必须使用半径平方从 4 到 \(2M\) 的多壳层并集 \(\Lambda_{24}(M) = \bigcup_{m=2}^{M}\text{Shell}(m)\)。在多壳层下各点范数不同，欧氏度量与角度度量不再统一。本文将搜索算法推广至多壳层空间，对于形状-增益分解中的方向量化，输入向量与格点候选均归一化为单位向量 \(\hat{\mathbf{x}}=\mathbf{x}/\|\mathbf{x}\|_2, \hat{\mathbf{v}}=\mathbf{v}/\|\mathbf{v}\|_2\)，通过最大化内积 \(\langle\hat{\mathbf{x}}, \hat{\mathbf{v}}\rangle\) 寻找角失真最小的超球码字。实验证实，累积多壳层并集构造的超球码在单位比特下的角误差显著低于单壳层投影。
2. 代数层次化双射索引：无需存储码本的确定性压缩映射 为了在不存储高维码表的前提下实现比特串与格点之间的精确可逆转换，本文基于 Leech 格点在整数嵌入下的二元 Golay 码 \(\mathcal{G}_{24}\)（4096 个码字）分解，提出自顶向下的三级索引机制。首先，按壳层递增的累计格点偏移量确定所属壳层；其次，在每个壳层内按照典范前导向量（Leader）的坐标绝对值多重集及其偶/奇陪集确定类（Class）并划分连续区间；最后，在类内部将自由度依次拆解为 Golay 码字索引、符号模式以及坐标置换秩。反向解构时完全通过整数除法与取模运算完成： $\(r = I_{\text{class}} \bmod A, \quad I' = \lfloor I_{\text{class}} / A \rfloor, \quad s = I' \bmod 2^B, \quad I'' = \lfloor I' / 2^B \rfloor\)$ 其中 \(r\) 索引 Golay 码字细化，\(s\) 索引符合同余校验的符号配置，\(I''\) 索引置换字典序，实现单射与满射的精确闭环。
3. 保模长球面曲率反馈：几何重解释与免旋转量化 在形状-增益与 GPTQ 曲率补偿的结合中，传统欧氏 GPTQ 容易产生累积的径向模长漂移，高度依赖输入输出端的 Hadamard 旋转来消除离群值。本文发现，将形状-增益量化后的候选向量重新缩放匹配原始模长，本质上是向超球积流形（Product of Spheres）的收缩映射（Retraction）： $\(\hat{\mathbf{w}} = \Pi_{\|\mathbf{w}\|}(\tilde{\mathbf{w}}) := \frac{\|\mathbf{w}\|_2}{\|\tilde{\mathbf{w}}\|_2}\tilde{\mathbf{w}}\)$ 将此时的残差 \(\mathbf{E} = \mathbf{w} - \hat{\mathbf{w}}\) 代入 Cholesky 分解后的 Hessian 逆矩阵 \(\mathbf{U} = \text{chol}(\mathbf{H}^{-1})^\top\) 传播补偿给未量化权重，使误差反馈完全聚焦于修正方向角残差。由于 24 维 Leech 格点本身具备极低的角度失真，Spherical GPTQ 彻底消除了径向膨胀，即使完全不进行 Hadamard 旋转变换，模型困惑度也保持高度稳定。
4. GPU 融合反量化核函数：零显存搬运的极速推理 传统的反量化需要先将压缩格式展开为 FP16 浮点权重显存，严重受限于自回归解码时的内存带宽。本文利用 Leech 格点索引解构完全由小查找表（壳层与类偏移）、二值 Golay 掩码位运算及整除取模构成的特性，设计了可高度并行的 CUDA 融合算子。每个线程块直接从紧凑整数索引解算 24 维整数向量并与激活值完成内积累加，无需将反量化后的矩阵写入全局内存，计算开销极低且完全向量化，相比标准 FP16 矩阵-向量乘法实现 1.36× 至 1.48× 的端到端推理加速。
实验关键数据¶
主实验¶
论文在 Llama-2 7B、Llama-3 8B、Ministral-3 8B 以及 Qwen-3 系列上进行了严格一致的 PTQ 评测，并在 2-bit 下与标量基线（Quarot/GPTQ）和高维矢量量化基线（QuIP#、QTIP）全面对比：
| 数据集 / 模型 | 指标 | LLVQ (Shape-Gain) [本文] | QuIP# / E8P12 [之前SOTA] | QTIP (3INST) | 提升 / 优势 |
|---|---|---|---|---|---|
| Llama-2 7B (无微调, 2-bit) | Wiki-2 PPL ↓ | 6.83 | 7.96 | 7.28 | -1.13 PPL |
| Llama-2 7B (无微调, 2-bit) | MMLU ↑ | 34.9 | 30.5 | 34.2 | +4.4% |
| Llama-2 7B (无微调, 2-bit) | CSR ↑ | 64.6 | 61.4 | 63.0 | +3.2% |
| Llama-3 8B (无微调, 2-bit) | Wiki-2 PPL ↓ | 9.35 | 12.25 | 9.59 | -2.90 PPL |
| Llama-3 8B (无微调, 2-bit) | MMLU ↑ | 48.7 | 40.5 | 50.1 | +8.2% vs QuIP# |
| Llama-3 8B (无微调, 2-bit) | CSR ↑ | 66.4 | 62.0 | 66.4 | +4.4% vs QuIP# |
| Ministral-3 8B (无微调, 2-bit) | Wiki-2 PPL ↓ | 8.56 | 10.83 | 8.96 | -2.27 PPL |
| Ministral-3 8B (无微调, 2-bit) | MMLU ↑ | 56.6 | 49.6 | 55.0 | +7.0% |
| Qwen-3 8B (无微调, 2-bit) | Wiki-2 PPL ↓ | 10.82 | 12.80 | 11.17 | -1.98 PPL |
| Llama-2 7B (微调, 2-bit) | Wiki-2 PPL ↓ | 5.48 | 5.73 | 5.50 | -0.25 PPL |
消融实验¶
1. 高斯信源 2-bit 信息保留率消融 在标准零均值单位方差高斯信源下评测不同量化机制逼近 Shannon 界极限（Ret %）的能力：
| 配置 | 维度 (Dim) | 均方误差 (MSE) ↓ | 信号量化噪声比 (SQNR bits) ↑ | Shannon保留率 (Ret %) ↑ | 说明 |
|---|---|---|---|---|---|
| 均匀标量量化 (Uniform) | 1 | 0.150 | 1.37 | 69.0% | 标量下界受限 |
| Lloyd-Max 量化 | 1 | 0.120 | 1.53 | 77.0% | 标量最优仍损耗大 |
| E8 (cubic) 格点 | 8 | 0.103 | 1.64 | 82.0% | QuIP# 所用基础结构 |
| LLVQ [球面剪裁] (本文) | 24 | 0.084 | 1.79 | 89.4% | 多壳层欧氏剪裁 |
| LLVQ [形状-增益] (本文) | 24 | 0.078 | 1.84 | 92.1% | 逼近理论极限 (2.0) |
| 理论 Shannon 极限 | - | 0.0625 | 2.00 | 100.0% | 理论上限 |
2. Hadamard 旋转预处理依赖度消融 (Llama-2 7B, 2-bit, 无微调) 验证在不同旋转策略下各量化算法的鲁棒性：
| 配置 | 旋转模式 (Hadamard) | 修正策略 | Wiki-2 PPL ↓ | MMLU ↑ | CSR ↑ | 说明 |
|---|---|---|---|---|---|---|
| 标量 GPTQ (1D) | 无旋转 (No Rotation) | 标准 GPTQ | 3411.6 | 26.6 | 39.7 | 标量量化完全崩塌 |
| 标量 Quarot (1D) | 输入+输出双旋转 | 标准 GPTQ | 37.83 | 26.1 | 48.4 | 严重依赖旋转消除离群点 |
| E8P (QuIP#, 8D) | 无旋转 (No Rotation) | 标准 GPTQ | 105.98 | 24.8 | 44.9 | 缺失旋转显著劣化 |
| E8P (QuIP#, 8D) | 输入+输出双旋转 | 标准 GPTQ | 7.96 | 30.5 | 61.4 | 必须在线旋转保证稳定性 |
| LLVQ [形状-增益] (本文) | 无旋转 (No Rotation) | Spherical GPTQ | 7.27 | 29.8 | 61.5 | 无需旋转仍大幅超越 E8P 无旋版本 |
| LLVQ [形状-增益] (本文) | 输入单旋转 | Spherical GPTQ | 6.90 | 36.0 | 63.6 | 仅需简单离线输入变换 |
| LLVQ [形状-增益] (本文) | 输入+输出双旋转 | Spherical GPTQ | 6.83 | 34.9 | 64.6 | 全配置达到最优指标 |
关键发现¶
- 形状-增益分解显著优于纯欧氏球面剪裁：在 2-bit 预算下，给模长（增益）分配 1~2 bit，剩余分配给 24 维 Leech 格点超球码，信息保留率高达 92.1%，有效兼顾了方向分辨力与动态范围。
- Spherical GPTQ 赋予模型免旋转（Hadamard-Free）特性：传统低维或标量方法在去掉旋转后 PPL 爆炸（标量飙升至 3411，E8P 增至 105.98），而 LLVQ 结合 Spherical GPTQ 在无任何旋转下 PPL 仅为 7.27，极大降低了推理时在线执行旋转变换的访存与计算延迟。
- 即使完全不进行微调（纯 PTQ），LLVQ 的下游任务得分（MMLU 34.9 / CSR 64.6）已超越许多经过有监督轻量微调的基线方法（如 QuIP# 微调后 CSR 为 64.9）。
亮点与洞察¶
- 24 维数学极限与工程实现的统一：借助扩展二元 Golay 码的代数组合性质，巧妙将 Fields 奖级别的 24 维 Leech 格点转化为计算复杂度低、完全无需查表的双射索引方案，为大模型压缩开辟了全新的几何编码空间。
- Spherical GPTQ 的流形视点：揭示了形状-增益量化与 Hessian 误差反馈结合时的超球流形收缩本质，指出高维低角失真码字能够天然抑制径向发散，从而在机理上解释了为什么高维格点能够摆脱繁琐的 Hadamard 旋转。
- 算子融合赋能端到端加速：反量化过程无需物化全量 FP16 矩阵，在 CUDA 内核中利用寄存器与共享内存完成多项式整除取模重构并直接累加点积，破解了高维 VQ 难以硬件落地的传统偏见。
局限与展望¶
- 反量化逻辑分支开销：尽管无需访问内存码本，但根据 Golay 约束与奇偶类判断进行整数解构仍包含一定的算术取模与位运算操作，相比极简的 INT4/INT2 标量乘加，算力密集型任务下的延迟收益需高度依赖专用汇编级指令优化。
- 跨层曲率耦合被忽略：当前 Hessian 误差反馈仍沿用局部单层代理假设，忽略了跨层误差级联传播效应，未来结合全局 Hessian 或跨层自适应舍入有望进一步压榨低比特空间。
- 激活量化兼容性待探索：本文主要侧重于权重仅量化（Weight-Only PTQ），如何将 24 维 Leech 格点的几何优势推广至 W2A4 或 W4A4 等权值-激活全量化场景是未来极具价值的突破方向。
相关工作与启发¶
- vs QuIP# (Tseng et al., 2024a)：QuIP# 采用 8 维 \(E_8\) 格点与双侧 Hadamard 旋转。LLVQ 扩展至 24 维最优 Leech 格点，几何填充密度与球面均匀度更优；且凭借 Spherical GPTQ，在无需在线旋转时依然保持稳健，PPL 大幅领先。
- vs QTIP (Tseng et al., 2024b)：QTIP 利用网格编码（Trellis）构建高维码本。LLVQ 依托刚性对称的 Leech 格点解析代数结构，不仅重构失真更小，且避免了维特比解码等复杂的序列路径回溯。
- vs GPTVQ (Van Baalen et al., 2024)：GPTVQ 依赖显式码本和 \(k\)-d 树近邻搜索，维度受限在低维（如 2~4 维）。LLVQ 通过 Golay 码的同余约束实现了完全免码本的 24 维解析搜索与双射压缩。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 将 24 维 Leech 格点首次系统引入大模型量化，提出了完备的双射索引与流形视角的 Spherical GPTQ。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖高斯信源理论极限、全系列现代开源 LLM、免旋转消融及端到端 CUDA 算子延迟评测。
- 写作质量: ⭐⭐⭐⭐⭐ 理论严谨，从代数组合到几何流形的推导层次极其分明，工程落地叙述详实。
- 价值: ⭐⭐⭐⭐⭐ 为超低比特（2-bit）大模型量化提供了极具竞争力的数学范式与工业级落地方案。