InfoQuant: Shaping Activation Distributions for Low-Bit Weight-Activation Quantization in LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/LLIKKE/InfoQuant
领域: 模型压缩
关键词: 大模型量化, 训练后量化 (PTQ), 权重-激活量化, 正交变换, 分布整型
一句话总结¶
InfoQuant 从信息论视角剖析低比特均匀量化误差与激活分布形状的内在联系,提出无需端到端重训的峰值抑制正交变换(PSOT)、自适应异常 token 筛选(ASOT)与可学习激活裁剪(LAC),在 W4A4KV4 极低比特下保留了浮点基线平均 97% 的精度。
研究背景与动机¶
随着大语言模型(LLM)参数规模与推理开销的急剧膨胀,训练后量化(PTQ)成为在资源受限设备上部署低显存、高吞吐服务的关键途径。然而,相较于分布平坦、易于压缩的模型权重,激活值量化一直是阻碍低比特硬件加速的核心技术瓶颈。LLM 的激活张量往往在极少数坐标上表现出跨层持续的极端异常值(outliers),这些离群值极度拉伸了动态量化动态范围;在 4-bit 甚至 3-bit 极低比特场景下,仅有的 \(2^4=16\) 个离散网格点被迫用于覆盖包含离群值的宽阔区间,导致大量集中在均值附近的密集有效数值发生网格级别塌缩,引发致命的量化精度崩溃。
现有代表性变换类 PTQ 方案尝试通过数学等价变换缓解该矛盾:SmoothQuant 借助对角通道缩放将量化难度转移至权重,QuaRot 与 SpinQuant 引入确定性哈达玛矩阵或基于任务损失学习的正交旋转来打散热点通道,FlatQuant 则借助克罗内克积构造全层仿射矩阵。然而,绝大多数现有工作都以经验性的离群点消除、通道能量均衡或逐层均方误差(MSE)最小化为驱动,却从未系统定义到底怎样的激活分布在量化器看来才是“易量化”的。单纯追求数值平滑或局部 MSE 最小,可能依然残留宽泛的量化区间,或是使密集分布塌陷到均值附近的寥寥数个台阶,无法从根本上恢复离散量化后的分布分辨率。
本文突破了将激活变换仅视为“抑制离群值”的启发式视角,将其重新表述为面向低比特均匀量化器的分布几何形态设计。通过构建平滑 KL 散度与归一化截断量化误差理论界,论文从信息论层面证明量化友好的激活分布必须同时满足两个互补条件:更紧凑的数值截断范围以及在该范围内具备充分的归一化有效离散度。核心 idea:通过无需全模型反向传播的峰值抑制正交变换(PSOT)自适应重塑激活分布几何形态,配合自适应离群 token 筛选(ASOT)聚焦高信息量样本并辅以轻量可学习裁剪(LAC),将连续激活能量均匀铺展到可用量化网格中。
方法详解¶
整体框架¶
InfoQuant 是一个免于端到端重训练(train-free)的高效 PTQ 框架,专门面向大语言模型的低比特权重-激活-KV Cache 全面量化。它直接针对量化器的离散能力优化激活分布形态,整个流程分为三个层层递进的核心阶段: 1. 峰值抑制正交变换(PSOT):在各层目标激活流上以哈达玛矩阵为基准初始化块对角正交矩阵,利用自适应温度的峰值抑制损失函数直接惩罚离群特征坐标,在保持激活向量模长守恒的同时将尖峰能量向正交子空间发散; 2. 自适应异常 token 筛选(ASOT):利用校准集多样本间位置不一致性曲率,自动剥离由特定 prompt 布局产生的固定位置伪离群点,聚焦跨序列泛化的真实离群 token 并施加加权优化; 3. 可学习激活裁剪(LAC):在重塑后的紧凑激活分布上引入双边界缩放因子,通过局部块级输出重构微调量化步长,最终无缝接入 GPTQ 进行权重补偿。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["校准激活流输入<br/>原始激活分布呈钟形且含离群值"] --> B["峰值抑制正交变换<br/>PSOT:块对角正交矩阵重塑分布形态"]
B --> C["自适应异常 token 筛选<br/>ASOT:基于跨样本位置不一致性加权"]
C --> D["可学习激活裁剪<br/>LAC:块级重构微调量化步长与边界"]
D --> E["W4A4/W4A4KV4 低比特部署<br/>兼顾轻量推理算子与高保真分布分辨率"]
关键设计¶
1. 峰值抑制正交变换(PSOT):从启发式平滑转向紧致区间与高离散度联合优化
针对传统正交旋转或通道缩放无法量化激活分布优劣的痛点,论文首先通过平滑 KL 散度将截断均匀量化器的误差上界分解为带内舍入误差与截断尾部误差两项之和:
其中 \(\lambda = s/\sigma\) 为步长方差比,\(\kappa = c/\sigma = 1/b_n\) 为截断比,而 \(b_n = \sigma/c\) 为最大归一化离散度。对于高斯或拉普拉斯等典型钟形激活分布,当截断尾部受控时,误差界随着 \(\kappa\) 减小(即 \(b_n\) 增大、数值截断范围 \(c\) 压缩)而单调递减。PSOT 据此利用参数化正交矩阵 \(R\)(\(R^\top R = I\))对激活向量 \(x\) 进行旋转,并通过中心化投影矩阵 \(P_\perp = I - \frac{1}{d}\mathbf{1}\mathbf{1}^\top\) 去除均值偏置后构建峰值抑制损失函数:
其中 \(\pi_T(y) = \text{softmax}(|y|/T)\) 是带温度 \(T\) 的软权重分布。由于正交变换天然保持向量欧式范数不变(\(\|tA\|_2 = \|t\|_2\)),通过平滑聚焦并严厉惩罚处于最高幅值的坐标点,被压缩峰值所蕴含的能量被迫向其余坐标轴均匀弥散,显著压缩极差 \(\|t'\|_\infty\) 的同时提升归一化有效离散度 \(b_n(t')\),从几何分布根源上最大化低比特离散栅格的信息承载效率。
2. 自适应异常 token 筛选(ASOT):基于位置不一致性剥离虚假离群噪声
针对在校准集全体 token 上做均匀优化会稀释离群峰值梯度、且极易过拟合特定提示词布局(prompt formatting)固定位置伪异常的痛点,ASOT 提出了一种基于跨样本统计变异度的自适应筛选准则。给定阈值系数 \(k\),样本 \(r\) 中的极端 token 索引集定义为 \(T^{(r)}(k) = \{i \mid o_i^{(r)} > k\}\),其中 \(o_i^{(r)} = \|(x_i^{(r)} - \mu)/\sigma\|_\infty\)。为判断离群点究竟是序列结构性假象还是与 token 语义内涵绑定的真特征,ASOT 引入多样本位置不一致性度量:
当 \(k\) 从 0 逐步增加时,\(\eta_m(k)\) 呈现出由低到高并最终在稳定拐点趋平的饱和曲线。ASOT 通过网格搜索自动选取曲率梯度稳定且满足稀疏约束的最优阈值 \(k^\star\):
对选出的离群 token 赋予放大倍率 \(\gamma > 1\)(如 \(\gamma=30\)),普通 token 保持权重为 1。这一设计使 PSOT 能够将宝贵正交旋转自由度全力倾斜于最易产生量化截断溃缩的高危特征上。
3. 可学习激活裁剪(LAC):在重塑空间微调量化网格有效动态范围
虽然 PSOT 极大压缩了激活值的绝对峰值,但由于不同网络层与不同激活通道的方差差异,直接采用对称极值量化依然容易受长尾微弱噪声影响。LAC 针对分布重塑后的紧致形态,为每个量化张量配置两个受限缩放参数 \(\alpha, \beta \in [0.5, 1.0]\),将激活量化步长动态重定义为:
该参数在冻结网络其余部分的前提下,通过以全精度 Transformer Block 输出与量化 Block 输出之间的均方重构误差为目标进行局部微调:
通过仅微调轻量的上下界因子,LAC 在无需端到端反向传播的前提下精确抚平了离散量化步长与重塑后激活边界的微小偏置,形成了“先正交重塑宏观几何、再局部微调截断步长”的高效协同管线。
损失函数 / 训练策略¶
InfoQuant 整体采用分步无反向传播策略,优化高效且显存开销极小。PSOT 阶段在校准集(WikiText-2 随机抽取的 128 条长为 2048 的样本)上运行,采用基于 Cayley 变换的黎曼流形随机梯度下降(Cayley SGD)在 Stiefel 流形(\(R^\top R = I\))上迭代 15 个 epoch,初始学习率为 2.0 线性衰减,温度 \(T=2\)。ASOT 超参设为校准样本数 \(m=10\)、容差 \(\delta=0.02\)、稀疏度上限 \(\tau=0.4\) 及重加权因子 \(\gamma=30\)。随后的 LAC 阶段使用 AdamW 优化器,学习率设为 0.05(余弦退火,5 个 epoch),裁剪比例初始设定为 0.95。最后,模型权重使用标准非对称 per-channel GPTQ 算法(KV Cache 矩阵采用 128 分组)量化。针对工程落地,InfoQuant 默认将正交矩阵划分为块对角形式(7B/13B 为 2 块,70B 为 4 块),在 RTX 4090 上单层优化仅需数分钟,70B 模型全流程峰值显存控制在 24GB 以内。
实验关键数据¶
主实验¶
在 LLaMA-2、LLaMA-3 和 Qwen2.5 多个家族与规模的大模型上,论文评测了 WikiText2 语言建模困惑度(PPL)以及来自 lm-evaluation-harness 的 9 项多样化零样本推理任务(ARC-Easy, ARC-Challenge, BoolQ, HellaSwag, LAMBADA, OpenBookQA, PIQA, SIQA, WinoGrande)的平均准确率。以下整理了核心 W4A4KV4 与 W4A4 场景下的实测数据对比:
| 模型 | 比特配置 (W-A-KV) | 量化方法 | WikiText2 PPL (↓) | 9个零样本任务均分 (↑) | 相对 FP16 精度保留率 |
|---|---|---|---|---|---|
| LLaMA-3 8B | 16-16-16 | FloatingPoint | 6.14 | 68.09 | 100.0% |
| 4-4-4 | QuaRot | 8.18 | 61.38 | 90.1% | |
| 4-4-4 | SpinQuant | 7.35 | 64.10 | 94.1% | |
| 4-4-4 | Kurtail | 7.20 | - | - | |
| 4-4-4 | BASE-Q | 7.17 | 65.39 | 96.0% | |
| 4-4-4 | INFOQUANT | 7.16 | 65.57 | 96.3% | |
| LLaMA-3 70B | 16-16-16 | FloatingPoint | 2.86 | 73.81 | 100.0% |
| 4-4-4 | QuaRot | 6.60 | 65.33 | 88.5% | |
| 4-4-4 | SpinQuant | 6.24 | 66.31 | 89.8% | |
| 4-4-4 | Kurtail | 7.20 | - | - | |
| 4-4-4 | BASE-Q | OOM | OOM | - | |
| 4-4-4 | INFOQUANT | 5.39 | 70.21 | 95.1% | |
| LLaMA-2 7B | 16-16-16 | FloatingPoint | 5.47 | 65.21 | 100.0% |
| 4-4-4 | QuaRot | 6.11 | 61.48 | 94.3% | |
| 4-4-4 | SpinQuant | 5.96 | 62.01 | 95.1% | |
| 4-4-4 | BASE-Q | 5.85 | 62.50 | 95.8% | |
| 4-4-4 | INFOQUANT | 5.89 | 63.16 | 96.9% | |
| LLaMA-2 13B | 16-16-16 | FloatingPoint | 4.88 | 67.61 | 100.0% |
| 4-4-4 | QuaRot | 5.39 | 65.16 | 96.4% | |
| 4-4-4 | SpinQuant | 5.74 | 64.13 | 94.9% | |
| 4-4-4 | BASE-Q | 5.21 | 65.48 | 96.9% | |
| 4-4-4 | INFOQUANT | 5.18 | 66.33 | 98.1% | |
| LLaMA-2 70B | 16-16-16 | FloatingPoint | 3.32 | 71.59 | 100.0% |
| 4-4-4 | QuaRot | 3.80 | 70.30 | 98.2% | |
| 4-4-4 | SpinQuant | 3.61 | 70.57 | 98.6% | |
| 4-4-4 | BASE-Q | OOM | OOM | - | |
| 4-4-4 | INFOQUANT | 3.64 | 70.35 | 98.3% | |
| Qwen2.5 14B | 4-4-4 | QuaRot | 6.77 | 67.23 | 94.8% |
| 4-4-4 | SpinQuant | 6.55 | 67.29 | 94.8% | |
| 4-4-4 | INFOQUANT | 6.30 | 67.65 | 95.3% | |
| Qwen2.5 32B | 4-4-4 | QuaRot | 6.04 | 68.14 | 95.8% |
| 4-4-4 | SpinQuant | 5.88 | 68.51 | 96.3% | |
| 4-4-4 | INFOQUANT | 5.69 | 69.90 | 98.3% |
消融实验¶
在 W4A4KV4 配置下,作者逐项拆解各模块对 WikiText2 困惑度的逐步贡献(如 Table 4 所示):
| 配置变体 | Hadamard 基准 | PSOT 变换 | GPTQ 权重补偿 | ASOT 样本加权 | LAC 边界裁剪 | LLaMA-3 8B PPL (↓) | LLaMA-2 7B PPL (↓) |
|---|---|---|---|---|---|---|---|
| 基础哈达玛基线 | ✓ | - | - | - | - | 10.90 | 8.99 |
| 引入 PSOT 正交优化 | - | ✓ | - | - | - | 8.84 | 7.03 |
| 叠加 GPTQ 权重重建 | - | ✓ | ✓ | - | - | 7.53 | 6.01 |
| 叠加 ASOT 样本加权 | - | ✓ | ✓ | ✓ | - | 7.42 | 5.97 |
| 完整 INFOQUANT 模型 | - | ✓ | ✓ | ✓ | ✓ | 7.16 | 5.89 |
关键发现¶
- PSOT 正交重塑是精度的首要推进力:仅将固定哈达玛旋转替换为 PSOT 学习到的峰值抑制旋转,LLaMA-3 8B 的困惑度就从 10.90 陡降至 8.84(下降 2.06),LLaMA-2 7B 困惑度从 8.99 降至 7.03(下降 1.96)。这一改进幅度占据整个流程总增益的 50% 以上,证明让激活分布主动迎合量化器是低比特突破的核心。
- 权重补偿与激活调优呈现正交增益:在激活重塑之后应用 GPTQ,PPL 进一步下降超过 1.0 点,证明激活空间正交整型与经典的二阶权重误差补偿互不冲突、强强联合。
- 超参鲁棒性极高:在正交矩阵初始化实验中,哈达玛初始化与纯随机 QR 正交矩阵初始化最终取得完全一致的 PPL(LLaMA-3 8B 均为 7.18,LLaMA-2 13B 均为 5.18),证明 PSOT 对初始基底不敏感;此外在 C4 和 WikiText-2 上分别采样 128/256/512 样本时,标准差小于 0.17,展现出优秀的跨校准集稳定性。
- 极端大模型在受限硬件下可训:在 70B 级别大模型上,竞品 BASE-Q 产生显存溢出(OOM),而 InfoQuant 通过分块正交分解将显存严格压在 24GB 消费级显卡以内,且在 LLaMA-2 70B 上实现了 2.46× 的 Prefill 加速与 2.91× 的显存节省。
亮点与洞察¶
- 信息论视角重新定义激活量化目标:不再停留在“抹平 outlier”的直觉感受,而是严密推导出低比特量化误差关于数值范围截断比 \(\kappa\) 和归一化离散度 \(b_n\) 的闭式关系,为量化变换提供了确凿的数学目标。
- 低成本兼顾工程部署友好性:采用块对角正交矩阵与 Cayley SGD 优化,既保留了通道间重分布的自由度,又避免了全矩阵全局相乘在残差分支上引入的沉重推理 FLOPs,可在标准 INT4 GEMM 算子中直接复用旋转折叠收益。
- 样本位置不一致性度量(\(\eta_m\))构思精巧:巧妙地将离群 token 划分为“位置绑定型假离群”与“语义特征真离群”,借助曲率拐点自动定阈,避免了人工微调阈值带来的泛化陷阱。
局限与展望¶
- 假设检验局限于单峰钟形分布:核心理论界的闭式推导基于高斯分布和拉普拉斯分布假设,对于 MoE 架构中高度稀疏、多峰并存或重尾程度更剧烈的激活形态,现有误差边界可能偏紧或失配。
- 跨层独立变换的次优性:当前块对角旋转主要在每层局部独立优化,尚未建立 Transformer 全局多层之间激活误差累积的全局联合流形约束。
- 超低比特边界极限:尽管在 W4A4 下表现近乎无损,但在挑战更极端的 W3A3 或 W2A2 极限比特时,均匀量化器固有的栅格分辨率上限仍将导致精度显著衰退。
相关工作与启发¶
- vs QuaRot & SpinQuant: QuaRot 采用固定的 Walsh-Hadamard 变换,不具备对不同模型激活特异性的适应力;SpinQuant 在 Stiefel 流形上直接优化交叉熵任务损失,计算开销巨大且高度依赖全模型反向传播。InfoQuant 则提出无训练的 PSOT 直接靶向分布几何形状,耗时减少数倍且显存大幅压缩。
- vs FlatQuant: FlatQuant 引入细粒度 Kronecker 仿射变换并依赖在线动态算子,极大增加了推理时的额外 FLOPs 开销;InfoQuant 将绝大部分正交变换吸收折叠至静态权重中,KV Cache 部分复用轻量快旋转,推理延迟开销极低。
- vs OSTQuant: OSTQuant 严重依赖全精度大模型的蒸馏指导与通道缩放组合。InfoQuant 证明无需复杂监督蒸馏,仅通过面向分布的无监督峰值抑制与离散度优化,在多项中大规模模型上即可逼近甚至反超蒸馏效果。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 突破经验性平滑思路,从信息论量化误差边界角度确立“窄范围+高离散度”原则,理论视角新颖。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B 至 70B 多模型家族、9 项零样本基准、推理时延显存测试与详尽消融分析,数据坚实可信。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完整,附录给出了严格数学证明,图表信息表达紧凑专业。
- 价值: ⭐⭐⭐⭐⭐ 兼顾高性能与极低优化开销,24GB 单卡即可完成 70B 级 W4A4 量化,对工业界低成本模型部署具有显著落地价值。