OCGQuant: Outlier-Companion Grouping for NVFP4 Quantization¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Eshamont/OCGQuant
领域: 模型压缩
关键词: NVFP4量化, 激活离群值, 伴随通道分组, 间接量化误差, PTQ
一句话总结¶
针对新一代GPU原生微缩放量化NVFP4中激活离群值主导块缩放因子的瓶颈,OCGQuant提出离群-伴随分组机制,自适应将离群通道与低模长伴随通道绑定为16元素量化块,并在算子内部融合重排与连续段快速加载,以零推理附加开销和近乎无损的精度逼近FP16基线。
研究背景与动机¶
大语言模型在端侧与云端推理部署中的显存和算力开销极为严苛,后训练量化(PTQ)成为降本增效的核心路径。随着现代NVIDIA GPU架构(如Blackwell系列)引入原生微缩放(Microscaling)硬件加速,NVFP4格式备受瞩目。NVFP4将张量元素以非均匀的FP4-E2M1浮点编码存储,每连续16个通道元素共享一个FP8-E4M3细粒度块缩放因子,并配合张量级FP32缩放扩展动态范围。相比均匀整数INT4量化,NVFP4具备更密集的近零网格与更广的局部动态范围,但在极低位宽激活-权重全量化场景下,激活离群值(Activation Outliers)依然是破坏量化精度的头号元凶。
现有针对低比特量化的离群值抑制方案大多存在明显的架构与硬件错配。传统INT量化常用的混合精度路径(如LLM.int8()、Atom)需要维护额外的高精度矩阵乘分支;基于正交或Hadamard矩阵的旋转方法(如QuaRot)往往破坏了NVFP4局部微缩放的稀疏分布,甚至诱发全局误差放大;而针对NVFP4设计的残差补偿方法(如ARCQuant)则引入了附加的增广通道计算与显存访问。究其深层矛盾,在于NVFP4以每16个连续元素为单位共享缩放系数,一旦某个通道存在幅值极大的离群值,该离群值将直接决定整个量化块的最大绝对值和FP8缩放因子。这一放大的缩放因子迫使同块内的其余正常通道元素被强行缩放至极小区间,不仅丢失精度,而且在FP4网格间距较大的中高值区引发不可逆的舍入失真。
为了化解块缩放因子被离群值绑架的问题,本文跳出传统“压制离群值”或“外挂补偿”的思路,转向NVFP4原生分组维度的排列组合优化:既然同一块内的缩放尺度不可避免被最大值主导,能否重新安排通道组合,让离群通道只与幅值几乎为零的伴随通道共存?因为近零值在FP4稠密区间内的舍入误差几乎可以忽略,从而彻底解放原本受牵连的普通通道。核心 idea:从块组成视角定义最大值缩放下非极值元素的“间接量化误差”,提出离群-伴随分组(OCG),离线基于RMS校准统计自适应将极端离群通道与低模长伴随通道配对重组,并结合权重空间GPTQ补偿与融合CUDA核,在消除附带量化误差的同时维持RTN级别的推理吞吐。
方法详解¶
整体框架¶
OCGQuant的执行流水线涵盖三个协同阶段:离线激活校准与重排规划、权重补偿与静态重排、以及在线低开销融合推理。首先,基于少量无标注校准样本计算各激活通道的均方根模长(RMS),依据跨Token高度持久的通道局部性特征,筛选离群候选通道与极低模长伴随通道,生成层级通道置换矩阵 \(P\);其次,对权重张量执行对称重排 \(WP\),并在置换空间内运行二阶GPTQ重构,精确吸收通道重排后的权重侧量化残差;最后,在推理运行时,将激活通道重排隐式融入RMSNorm与NVFP4量化核,利用未重排通道的连续段特性实现零冗余内存搬运的高效推理。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
A["校准激活张量输入<br/>X ∈ R^(N×C)"] --> B["离群伴随分组<br/>1个离群通道与15个低RMS伴随通道配对"]
B --> C["自适应边界打包<br/>Margin判据动态终止,保留普通通道连续序"]
C --> D["权重重排与离线GPTQ补偿<br/>在WP空间最小化二阶重构误差"]
D --> E["算子融合与连续段快速访存<br/>RMSNorm+Reorder+NVFP4量化单核执行"]
E --> F["低误差NVFP4量化输出<br/>交付Tensor Core GEMM"]
关键设计¶
1. 离群伴随分组:消除块内大尺度的附带量化误差 -> 极值通道与近零通道配对 -> 显著降低同块普通通道量化损失 在原生通道排布中,随机相邻的16个元素常将少数离群通道与大量承载关键特征的普通通道划分进同一量化块 \(B\)。若令 \(m = \arg\max_{j\in B} |x_j|\) 为该块绝对值最大的主导元素,其诱导出的块反量化缩放因子为 \(s_B\)。除 \(x_m\) 外的其余 \(G-1\) 个元素本身不决定尺度,却必须在 \(s_B\) 约束下被量化。本文将这部分由于共享大尺度而产生的额外可消除误差正式定义为间接量化误差(Collateral Quantization Error): $\(E_{\text{col}}(B, m) = \sum_{j\in B, j\neq m} \left( x_j - s_B \left\lfloor \frac{x_j}{s_B} \right\rceil_{\text{FP4}} \right)^2\)$ 当普通通道与离群通道共块时,归一化后的普通值大多被压缩在量化步长相对粗糙或精度损失严重的区间。OCG的设计机制是构建由 1 个离群通道与 \(G-1\)(NVFP4中 \(G=16\),即15个)极低RMS伴随通道组成的定制块 \(B_o = F_o \cup \{o\}\)。由于伴随通道的真实数值高度聚集在零附近,即使在 \(s_B\) 被离群值大幅放大的情况下,这些近零值依然能够精准落入FP4-E2M1原点附近的超密网格(如 \(\pm0.5, 0\)),其绝对误差上限被严格限制在近零区间;理论推导证明(定理1),最小化伴随集合的RMS平方和 \(\sum_{f\in F} r_f^2\) 严格等价于最小化间接量化误差超标的概率上界,从而彻底将普通激活通道从高缩放因子的污染中解脱出来。
2. 自适应边界打包:避免弱离群通道强行重组打乱局部连续性 -> 方差增益阈值终止判据 -> 保持普通通道原始顺序并降低重排复杂度 模型内部各层(如Self-Attention的Projection与MLP的Down-Projection)的激活分布异质性极高,部分层存在跨越数个数量级的尖锐离群值,而另一些层分布平缓。若不加节制地将所有通道全局打散重排,不仅边际增益递减,还会破坏访存局域性并增加硬件重排开销。为此,OCG提出基于相对边界的自适应打包机制。在从未分配通道集合 \(U\) 中依次提取当前最大RMS通道 \(o\) 时,算法引入预设基准伴随集合 \(F_{\text{ref}}\)(初始状态下全层最小的 \(G-1\) 个通道),计算当前候选离群值的判别边界: $\(\Delta(o) = r_o^2 - \sum_{f\in F_{\text{ref}}} r_f^2\)$ 当且仅当 \(\Delta(o) > 0\) 时,表明该通道的方差能量足以显著主导局部尺度,才允许为其挑选伴随通道组装成块并从 \(U\) 中剔除;一旦 \(\Delta(o) \le 0\),说明剩余通道之间模长差异已不足以引发灾难性的间接量化误差,算法立刻提前停止配对。所有未被打包的普通通道严格维持其原始物理维度的相对顺序。这一自适应剪枝确保了离群重组只发生在真正产生病态尺度的通道上,使大多数网络层的普通数据流能够以天然的连续段结构保留下来。
3. 权重重排与离线GPTQ补偿:激活引导的通道重排导致权重端量化误差失配 -> 同步置换矩阵并结合二阶Hessian离线重构 -> 零在线开销下拉升全层线性保真度 由于激活端施加了通道置换矩阵 \(P \in \mathbb{R}^{C \times C}\)(满足 \(P P^\top = I\)),为了保证线性变换数学等价性 \(X W^\top = (XP)(WP)^\top\),权重矩阵的输入通道必须施加相同的物理置换 \(W' = WP\)。然而,单纯置换后若采用朴素的四舍五入(RTN)对权重分块量化,会因激活与权重的互协方差结构被改动而引入累积误差。OCGQuant将通道重排后的置换空间视为统一优化目标,在离线阶段直接对重排后的权重矩阵 \(W'\) 执行改进的GPTQ二阶重建算法,利用反量化Hessian矩阵逆逐步补偿权重量化残差。该过程完全在离线校准阶段完成(单卡8B模型仅需约4-5分钟),生成的重排量化权重直接持久化存储,无需在推理阶段引入任何反解置换或浮点修正算子,实现了纯净的端到端零参数开销补偿。
量化分组与硬件调度策略¶
在NVFP4底层硬件规范中,张量核心按16个连续元素读取并解码FP8标量,若采用常规软件流程在激活量化前显式调用张量Gather操作生成重排激活,将引入高昂的全局显存读写(DRAM Round-trip)以及核函数启动开销,瞬间抵消量化带来的加速红利。OCGQuant通过两项关键的底层核优化彻底消除了该瓶颈:
首先,设计前置融合CUDA算子(Fused Kernel)。将线性层入口处的LayerNorm/RMSNorm归一化、通道重排索引查表以及NVFP4在线量化融合为单一算子。在片上SRAM完成归一化后,线程块依据重排索引直接从寄存器/共享内存中按目标组结构收集元素,就地计算16元素最大绝对值并转换为FP8-E4M3缩放因子,随后完成FP4舍入与位压缩打包,向显存输出的即为对齐好的量化数据,全程规避了重排中间张量的显存落地。
其次,提出连续段快速路径调度(Contiguous Reorder-segment Fast Path)。得益于自适应打包策略,大量未参与离群配对的普通通道保持了原始相对顺序。对于由连续通道组成的量化块,核函数无需逐元素读取重排索引表,而是直接触发快速加载路径——仅读取段基址并在地址寄存器上做连续偏移自增(Base + Offset),大幅削减了重组索引表的显存访问带宽与线程束内的发散等待。对于少数非连续离群块,则无缝回退至Gather加载,兼顾了灵活性与极致吞吐。
实验关键数据¶
主实验¶
在单张NVIDIA RTX 5090 GPU上,针对Llama3(3.1-8B, 3.2-3B)与Qwen3(1.7B, 8B, 32B)系列模型开展全维度评测。校准集统一采用WikiText-2训练集的128条2048长度样本。评测包含语言建模困惑度(WikiText-2 PPL,越低越好)与LM-Eval六项下游常识问答零样本平均准确率(ARC-C, ARC-E, BoolQ, HellaSwag, LAMBADA, PIQA,越高越好)。
表1:WikiText-2上的困惑度(PPL)对比(NVFP4量化,QuaRot因Hadamard维度不支持Qwen3-32B) | 方法 | Llama3.2-3B | Llama3.1-8B | Qwen3-1.7B | Qwen3-8B | Qwen3-32B | | :--- | :---: | :---: | :---: | :---: | :---: | | FP16 基准 | 7.81 | 6.24 | 16.67 | 9.72 | 7.60 | | RTN (原始NVFP4) | 8.62 | 6.95 | 19.25 | 10.07 | 8.01 | | SmoothQuant | 8.57 | 6.88 | 17.45 | 10.10 | 7.89 | | QuaRot | 8.92 | 6.92 | 18.12 | 10.25 | - | | GPTQ | 10.48 | 6.79 | 18.46 | 10.10 | 7.86 | | MR-GPTQ | 8.50 | 6.86 | 18.70 | 10.27 | 7.96 | | ARCQuant | 8.54 | 6.87 | 17.45 | 10.35 | 7.90 | | OCGQuant (本文) | 8.37 | 6.75 | 16.71 | 9.90 | 7.82 |
表2:六大下游常识基准测试零样本平均准确率(%)对比 | 方法 | Llama3.2-3B | Llama3.1-8B | Qwen3-1.7B | Qwen3-8B | | :--- | :---: | :---: | :---: | :---: | | FP16 基准 | 68.75 | 75.42 | 62.29 | 73.53 | | RTN | 66.16 | 72.65 | 56.82 | 71.73 | | SmoothQuant | 66.07 | 73.29 | 57.22 | 72.21 | | QuaRot | 64.07 | 72.74 | 56.20 | 71.09 | | GPTQ | 65.20 | 72.57 | 58.26 | 72.44 | | MR-GPTQ | 66.46 | 72.84 | 55.90 | 71.75 | | ARCQuant | 65.86 | 73.30 | 57.53 | 71.71 | | OCGQuant (本文) | 67.12 | 73.54 | 58.63 | 72.56 |
在Llama3.2-3B-Instruct的复杂推理评测中,OCGQuant在5-shot MMLU上达到56.96%(RTN为56.66%,ARCQuant为56.83%),在8-shot CoT GSM8K数学推理上大幅跃升至73.69%(RTN为71.65%,ARCQuant为71.87%),表明结构化离群重组对链式推理与高精度数值敏感任务极具保护效力。
消融实验¶
为厘清各核心组件的具体贡献,在WikiText-2困惑度上对模块进行剥离分析(表3),并进一步探究量化分组大小(Group Size)的扩展影响(表5节选)。
表3:OCGQuant组件消融实验(WikiText-2 PPL) | 配置组合 | Llama3.2-3B | Qwen3-1.7B | 说明 | | :--- | :---: | :---: | :--- | | RTN 基线 | 8.62 | 19.25 | 纯原始NVFP4量化 | | + GPTQ | 10.48 | 18.46 | 仅权重侧重构(小模型上可能出现过拟合退化) | | + OCG w/o AP | 8.64 | 17.20 | 移除自适应打包(全通道强行配对) | | + OCG (纯激活重排) | 8.63 | 17.18 | 包含自适应打包但无权重GPTQ补偿 | | OCGQuant (完整方案) | 8.37 | 16.71 | 激活OCG与权重重排GPTQ协同优化 |
表4:不同量化块分组大小(Group Size)下的PPL演变 | 分组大小 (Size) | 方法 | Llama3.2-3B | Llama3.1-8B | Qwen3-1.7B | Qwen3-8B | | :---: | :--- | :---: | :---: | :---: | :---: | | G=8 | RTN / OCGQuant | 8.44 / 8.21 | 6.78 / 6.63 | 18.50 / 16.91 | 9.94 / 9.93 | | G=16 (原生NVFP4) | RTN / OCGQuant | 8.62 / 8.37 | 6.95 / 6.75 | 19.25 / 16.71 | 10.07 / 9.90 | | G=32 | RTN / OCGQuant | 8.82 / 8.50 | 7.11 / 6.88 | 20.05 / 17.63 | 10.13 / 10.01 | | G=64 | RTN / OCGQuant | 9.09 / 8.72 | 7.31 / 7.04 | 19.76 / 18.12 | 10.22 / 10.21 |
关键发现¶
- 离群值极度显著的模型受益最为惊人:在离群值幅值达 \(10^4\) 量级的Qwen3-1.7B上,RTN量化后PPL由16.67剧烈恶化至19.25,而OCGQuant将其直接压回至16.71,几乎完整还原了FP16的拟合能力;相比之下,离群峰值仅数百的Llama系列虽然恶化相对较轻,但OCGQuant依然全面刷新了SOTA。
- 激活重排与权重补偿展现出高度互补性:在Llama3.2-3B上,单独应用GPTQ由于未解决激活端病态尺度导致误差发散(PPL由8.62退化至10.48),单独OCG提升微弱(8.63);但两者一旦结合,在消除激活附带误差的规整空间内运行GPTQ,PPL直接跃升至8.37的最优水平。
- 极致的端到端吞吐表现:在Llama3.1-8B输入长度2048的Prefill阶段,OCGQuant相比FP16实现1.68×(Batch Size=1)至2.29×(Batch Size=16)的实测加速,吞吐量达到20,159至26,439 tokens/s,紧咬理论上限RTN(20,752至26,838 tokens/s,仅损耗1.5%–2.9%),并全方位超越带残差分支的ARCQuant(18,457至22,784 tokens/s);在解码显存占用上,OCGQuant与RTN完全一致(BS=1为6.02 GB,BS=16为10.52 GB),毫无外设开销。
亮点与洞察¶
- 问题抽象直击要害:提出“间接量化误差”(Collateral Quantization Error)概念,明确指出块量化中真正的精度杀手不是离群值本身,而是离群值撑大缩放因子后对其余正常特征的连带破坏,颠覆了传统强行压缩离群值幅值的思路。
- 算法设计极其优雅实用:利用“1个离群值+15个极低伴随值”在非均匀FP4近零稠密网格中的数值特性,将数学上的误差上界直接转化为贪心排序与边界差值打包,既具备完备的概率论支撑,又具有极其简捷的工程实现性。
- 算法与硬件特性的深度共融:深刻洞察到未配对普通通道的天然连续性,创造性提出连续段快速路径(Contiguous Fast Path),通过地址偏移消除Gather查找表开销,彻底解决了重排类方法在GPU推理时“精度虽升、吞吐血崩”的致命行业痛点。
局限与展望¶
- 作者承认的局限:当前的伴随通道选取仍以轻量化的通道RMS统计量为代理指标,未直接在FP4离散网格的局部舍入误差或输出敏感度上建立闭环优化目标;此外,通道置换矩阵完全由激活端单向决定、权重端被动跟随,尚未实现激活间接误差与权重重构误差的联合联合双向最优化。
- 进一步深挖的局限:离线校准严重依赖激活离群通道在序列间的相对静止性与位置一致性;若在超长上下文推演或高度多模态混合输入的复杂场景下出现动态漂移离群点,静态置换矩阵的隔离有效性可能会出现折损。
- 未来改进路径:探索极低开销的动态双轨调度或轻量级注意力引导的自适应置换更新机制,并拓展至低比特KV Cache压缩等更广泛的微缩放落地场景。
相关工作与启发¶
- vs ARCQuant: ARCQuant同样针对NVFP4开发,但采用增广残差通道(Augmented Residual Channels)在低比特路径之外补偿激活离群值,在线推理时需额外执行残差计算与显存加载;OCGQuant则完全回归原生16通道分组结构,通过通道重排重构块组成,推理时通过核融合实现零算力/显存冗余,在吞吐量与显存占用上全面胜出。
- vs RPTQ / Atom: RPTQ与Atom将通道重组用于均匀INT4/INT8网格,主要基于Min-Max极差聚合,直接迁移至NVFP4时无法适应非均匀FP4浮点网格与微缩放特性(实验表明RPTQ直接搬至NVFP4在多模型上甚至劣于RTN);OCGQuant专为非均匀FP4-E2M1网格量身定制了RMS伴随选取准则与理论界,填补了微缩放浮点架构下重排算法的空白。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次从块内组成与附带量化误差视角切入微缩放NVFP4量化,离群-伴随配对构思精巧]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖Llama3与Qwen3从1.7B至32B全规模,包含真实RTX 5090硬件实测、端到端吞吐与显存评测]
- 写作质量: ⭐⭐⭐⭐⭐ [理论推导严谨自洽,方法论与算子工程软硬结合,论证清晰透彻]
- 价值: ⭐⭐⭐⭐⭐ [直面Blackwell架构原生NVFP4推理痛点,提供了几乎逼近FP16且无额外运行时开销的工业级落地方案]