RaZeR: Pushing the Limits of NVFP4 Quantization with Redundant Zero Remapping¶

会议: NeurIPS 2026
arXiv: 2501.04052
代码: https://github.com/yc2367/NVFP4-RaZeR
领域: 模型压缩
关键词: NVFP4量化、冗余零重映射、低精度算术、块缩放、大语言模型压缩

一句话总结¶

RaZeR 针对 Blackwell 架构原生的 NVFP4 量化格式，挖掘 FP8 块缩放因符号全正与权重容差所产生的冗余比特，将 FP4 原码表示中浪费的冗余负零自适应重映射为高精度特殊量化值，在完全零额外内存开销下使困惑度损失降低 31%~35%，并协同设计了高性能 GPU 算子与低开销专用 Tensor Core。

研究背景与动机¶

随着大语言模型（LLM）参数规模急剧膨胀，推理阶段的显存容量与内存带宽瓶颈愈发严重，4-bit 低位宽量化成为了实现高效大模型部署的关键使能技术。在学术界与工业界从标准整数 INT4 向浮点格式演进的浪潮中，NVIDIA Blackwell 架构原生支持的 NVFP4（FP4-E2M1 配合细粒度 16 元素 FP8-E4M3 块缩放及张量级 FP32 缩放）凭借其更优的动态范围分布，显著超越了传统 INT4 与早期的 MXFP4 格式。

然而，NVFP4 在逼近超低比特极限时仍然面临双重结构性冗余导致的表征能力瓶颈：其一，FP4-E2M1 采用带符号的原码（sign-magnitude）表示，天然存在正零（$+0$）与负零（$-0$），造成其中一个零编码完全多余，直接浪费了 16 个离散格点中珍贵的 1 个量化槽位；其二，NVFP4 中每个 16 元素块配备的 FP8 缩放因子由块绝对极大值与全局极大值除法求得，其数值恒为正数，符号位始终闲置。更为关键的是，LLM 权重张量的动态范围较为收敛，对块缩放格式的指数精度具备高度容忍度，使得权重块缩放存在进一步压缩的空间。

如何将这些被硬件标准和数值表示白白浪费的冗余比特利用起来，且不破坏硬件低精度张量乘加（MAC）单元的高能效，是提升 4-bit 浮点量化极限的核心挑战。本文的核心 idea 是：提取 FP8 块缩放因子中闲置的符号位与冗余指数位作为元数据通道，在保持零额外显存占用的前提下，将 FP4 中的冗余零自适应重映射为填补大数值量化断层的对称特殊值，并协同设计支持重映射的软硬件推理架构。

方法详解¶

整体框架¶

RaZeR（Redundant Zero Remapping）建立在标准的 NVFP4 两级缩放架构之上，其核心计算流涵盖权重/激活块缩放格式剪裁、候选特殊值（Special Value, SV）集合构建、块级最小均方误差（MSE）自适应重映射以及运行时轻量化解码计算。

整个流程首先对张量按 16 元素分组并计算两级缩放；随后，利用块缩放因子的冗余比特提取出无需显存开销的元数据空间（权重 2-bit，激活 1-bit）；在量化编码时，FP4 原有的冗余零码字被替换为从候选集中自适应选出的最优特殊值，使得每个 16 元素块在保持 4-bit 位宽的同时获得扩展量化字典；最后在推理端通过专用 Tensor Core 解码器或优化 GPU 算子实现快速还原与 MAC 计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入浮点张量<br/>(权重 / 激活)"] --> B["块缩放冗余位提取<br/>恒正符号位 + 权重指数压缩"]
    B --> C["硬件友好特殊值候选集<br/>0.5步长约束 + 对称取值对(±5等)"]
    C --> D["块级自适应重映射<br/>冗余零替换 + 最小化MSE误差"]
    D --> E["RaZeR软硬件协同推理<br/>GPU Kernel自动调优 / 专用Tensor Core"]

关键设计¶

1. 块缩放冗余位提取与位宽复用：零内存开销元数据通道 针对标准 NVFP4 中 16 元素块缩放因子的比特浪费，RaZeR 进行了严格的数值表征分析。标准 FP8-E4M3 编码包含 1 位符号位 $S$、4 位指数位 $E$ 和 3 位尾数位 $M$。由于块缩放因子 $\Delta^{\text{FP8}}_i$ 是通过块内绝对值最大值与张量全局尺度的比值计算得出，其分子分母均为非负数，故其理论取值恒为正，符号位天然冗余（有效位宽为 7-bit）。更进一步地，作者通过广泛的消融实验发现，LLM 权重张量的动态范围极小，即使将块缩放因子从 E4M3 降采样至 E3M3（6-bit），在各大开源模型（Llama-3、Qwen-3 等）上的困惑度均无任何劣化。因此，权重块缩放因子可稳定释放出 2 个空闲比特（符号位 + 1 位高位指数），能够以零额外内存编码 $2^2=4$ 个特殊值选项。而对于激活张量，由于存在极度尖锐的激活异常值（outliers），其对指数位宽收缩高度敏感（E3M3 会导致激活量化显著掉点），因此保留 E4M3 精度并仅利用恒正符号位释放的 1 个比特，用于编码 $2^1=2$ 个激活特殊值选项。

2. 冗余零自适应重映射与硬件友好特殊值搜索：填补表示空间断层 FP4-E2M1 原码格式本可表示 16 个状态，但正零与负零占用两个码字，实际有效离散值仅 15 个（$\pm\{0, 0.5, 1, 1.5, 2, 3, 4, 6\}$）。若随意将冗余零映射为任意高精度浮点数（如 FP16），运行时解压将迫使算力单元回退至高精度乘加，丧失 NVFP4 的面积与能效红利。为此，RaZeR 提出严格的硬件友好约束：所有特殊值必须保持为 0.5 的整数倍（与 FP4 基础粒度对齐），且候选集合成对出现并具备相反符号（共享绝对值偏移，以极小化硬件逻辑开销）。作者通过对误差分布的曲率分析发现，由于 FP4 的最大两档表示值 4 与 6 之间跨度极大（间隔为 2.0），重映射加入 $\pm 5$ 恰好落入该区间的正中点，能极大抚平近极大值区域的阶梯量化误差。针对每个 16 元素块 $X^{\text{Scaled}}_i$，RaZeR 求解块级最小均方误差（MSE）目标函数： $$v_i = \arg\min_{v \in V} \left\| \left\lfloor X^{\text{Scaled}}_i, Q^{\text{FP4}} \cup \{v\} \right\rceil - X^{\text{Scaled}}_i \right\|_2^2$$ 其中 $V$ 为候选特殊值集合。离线对权重遍历寻找最优 $v_i$；在线激活量化时，仅需对两种激活候选值各做一次前向并比对误差，额外开销不足量化器耗时的 2%。

3. RaZeR 软硬件协同推理引擎：黑石 GPU 高性能算子与专用 Tensor Core 解码器 为了将算法优势转化为切实的系统吞吐，RaZeR 在现有平台与未来架构上双轨推进。在现存 NVIDIA Blackwell GPU 上，针对权重仅量化（W4A16）场景，设计了结合 Marlin 架构的 GEMM 与 GEMV 算子。算子采用 128 块大小，将 FP16 块缩放的符号位与最高指数位作为元数据存储；同时，针对现代 GPU（如 RTX Pro 6000 拥有 188 个 SM）在小矩阵时过多切分导致规约阶段成为瓶颈的问题，引入自适应 SM 启动裁剪调优，在小 batch 场景下将吞吐提升达 9.87%。对于未来专用加速器，设计了兼容 16 元素 SIMD 的 RaZeR Tensor Core。解码器通过 4 位偏移寄存器（存储 $[-3.5, 3.5]$ 范围、步长 0.5 的定点偏移），在运行时将基准值 6.0 加上选定偏移后与符号位拼接重建数值，检测到二进制零匹配时完成瞬时替换，整个模块在 TSMC 28nm 工艺下综合表明，仅带来 0.37% 的芯片整体面积增加与 1.35% 的功耗开销。

一个完整示例¶

以量化一个 16 元素权重块 $X^{\text{Scaled}}_i$ 为例，假设块内包含若干接近 5.2 与 -4.8 的数值。在标准 NVFP4 下，这些数值只能四舍五入至 4.0 或 6.0（误差分别高达 1.2 或 0.8）。而在 RaZeR 中，候选特殊值集合包含 $\{\pm 5, \pm 8\}$（由两个 4-bit 偏移寄存器分别配置为对应偏移值）。优化求解器计算表明，引入特殊值 $+5.0$ 能使该块的总 MSE 达到最低。此时，编码器将该块缩放因子的 2-bit 冗余元数据标记为选择 $+5.0$，并将块内原先本应量化到冗余负零的二进制槽位分配给 $+5.0$。在 Tensor Core 执行时，解码器读取该 2-bit 元数据，将偏移寄存器选通与基准值 6.0 结合生成 5.0，在遇到负零编码时即刻输出 5.0 参与低精度 MAC 阵列计算，精确还原了接近 5.2 的权重分布。

损失函数 / 训练策略¶

RaZeR 属于训练后量化（PTQ）范式，无需昂贵的大规模反向传播与微调。对于权重特殊值的确定，离线阶段在校准集上进行网格搜索与贪心匹配，为每个模型确定全局适用的额外特殊值对（例如 Llama 系列普遍最优为 $\pm 5, \pm 8$；Qwen-3-8B 为 $\pm 5, \pm 7$；Qwen-3-32B 为 $\pm 5, \pm 9$）。对于激活特殊值，在 The Pile 校准集上统计确定固定使用 $\pm 5$。在线推理时激活量化动态执行贪心误差比对，直接选择使块重构误差更小的特殊值。

实验关键数据¶

主实验¶

论文在 Llama-2、Llama-3 以及 Qwen-3 多种规模（3B~32B）的模型上，对比了 4-bit 权重仅量化（W4A16）与权重-激活联合量化（W4A4）下的 Wikitext-2 与 C4 困惑度（Perplexity，越低越好）。下表展示了代表性模型在各基线下的表现：

位宽 (W-A)	方法	Llama-2-7B (Wiki/C4)	Llama-3.1-8B (Wiki/C4)	Qwen-3-8B (Wiki/C4)	Qwen-3-32B (Wiki/C4)	全模型平均 PPL
16-16	FP16 基线	5.47 / 6.97	6.24 / 8.96	9.73 / 13.30	7.61 / 10.78	9.35
4-16	MXFP4	5.91 / 7.40	7.04 / 10.05	10.53 / 14.22	7.93 / 11.23	10.10
4-16	NVFP4 (原生)	5.63 / 7.15	6.63 / 9.48	9.92 / 13.55	7.87 / 10.98	9.61
4-16	AWQ	5.60 / 7.11	6.62 / 9.45	9.96 / 13.60	7.78 / 10.97	9.70
4-16	FourOverSix	5.61 / 7.14	6.60 / 9.42	9.89 / 13.54	7.80 / 11.04	9.59
4-16	RaZeR (本文)	5.57 / 7.09	6.50 / 9.29	9.75 / 13.46	7.74 / 10.89	9.52
4-4	MXFP4	7.01 / 8.67	8.29 / 11.65	11.84 / 15.77	8.49 / 11.87	11.38
4-4	NVFP4 (原生)	5.77 / 7.29	6.95 / 9.94	10.05 / 13.75	7.99 / 11.14	9.83
4-4	BlockDialect	5.76 / 7.27	6.89 / 9.87	10.34 / 13.99	7.92 / 11.12	10.13
4-4	MR-GPTQ	5.74 / 7.25	6.89 / 9.92	10.26 / 13.85	7.87 / 11.09	9.88
4-4	FourOverSix	5.72 / 7.25	6.88 / 9.83	10.00 / 13.73	7.91 / 11.14	9.78
4-4	RaZeR (本文)	5.66 / 7.19	6.74 / 9.63	9.83 / 13.60	7.84 / 11.02	9.68

消融实验¶

为了严格解耦权重端与激活端独立引入 RaZeR 的收益，作者在 Llama 系列模型上进行了分步消融（Table 6 原文数据）：

权重格式 - 激活格式	Llama-2-7B (Wiki/C4)	Llama-2-13B (Wiki/C4)	Llama-3.1-8B (Wiki/C4)	Llama-3.2-3B (Wiki/C4)	配置分析说明
NVFP4 - NVFP4	5.77 / 7.29	5.07 / 6.66	6.95 / 9.94	8.60 / 11.65	原始基线，无重映射
4over6 - 4over6	5.72 / 7.25	5.06 / 6.63	6.88 / 9.83	8.53 / 11.53	前沿基线，自适应缩放
RaZeR - NVFP4	5.73 / 7.25	5.05 / 6.63	6.87 / 9.82	8.53 / 11.52	仅权重应用 RaZeR (性能已超4over6)
NVFP4 - RaZeR	5.69 / 7.22	5.05 / 6.62	6.80 / 9.73	8.46 / 11.38	仅激活应用 RaZeR (逼近或持平4over6)
RaZeR - RaZeR	5.66 / 7.19	5.01 / 6.59	6.74 / 9.63	8.37 / 11.27	双端全集成，取得最佳困惑度

此外，在硬件开销评估中（Table 9 原文数据），在 TSMC 28nm 工艺下，基准 NVFP4 Tensor Core 总面积为 $2.319 \times 10^5\,\mu\text{m}^2$、功耗为 $41.4\,\text{mW}$；RaZeR Tensor Core 总面积为 $2.405 \times 10^5\,\mu\text{m}^2$、功耗为 $47.0\,\text{mW}$，解码器增加面积仅 $810\,\mu\text{m}^2$，整芯片级面积开销仅约 0.37%。

关键发现¶

困惑度损失大幅削减：相比于原生 NVFP4，RaZeR 在 W4A16 和 W4A4 下分别将平均困惑度退化相对减少了 34.6% 和 31.2%；相比 SOTA 方法 FourOverSix 分别削减了 29.2% 和 23.3%。
对复杂推理任务增益显著：在 GSM8K 数学推理测试中（Table 5），对于 Llama-3.1-8B，RaZeR 在 W4A4 精度下取得 82.64% 的准确率，大幅领先原生 NVFP4 的 77.71%（+4.93%）以及 FourOverSix 的 78.17%（+4.47%），证明填补大数值表示断层对于保持长链推理逻辑极为关键。
块尺寸放大鲁棒性极高：在块大小增大至 32、64、128 的实验中（Table 7），FourOverSix 因缩放至 $[-4, 4]$ 丢弃两个可用量化值而优势迅速衰减，而 RaZeR 的增益在各块大小下均保持稳定。

亮点与洞察¶

见微知著的表示层冗余挖掘：敏锐捕捉到浮点原码正负双零的天然冗余与缩放因子恒为正的代数先验，以精巧的位域重叠实现了“免费的午餐”（零显存开销获取额外量化级）。
软硬件边界划分清晰：没有盲目引入任意精度查找表，而是将特殊值严谨约束在 0.5 步长与对称取值对上，用最简单的定点偏移寄存器与加法器完成了解码扩展，保护了硬件 MAC 单元的高能效。
具备通用正交性：RaZeR 既可以与 AWQ 权重保护机制无缝结合（在 AWQ+FP4 基础上进一步降低困惑度），也可扩展至 KV-Cache 联合 4-bit 量化，体现了极佳的生态适配性。

局限与展望¶

当前物理硬件的原生支持滞后：现有 Blackwell GPU 的 Tensor Core 硬件固化了标准 NVFP4 逻辑，目前仅能通过权重端解压或双 pass 软实现来模拟 W4A4 乘加，其理论上的硬件能效红利完全释放依赖于未来新一代硬件采用类似 RaZeR 的微架构设计。
激活在线挑选计算开销：尽管双重前向比对仅增加约 2% 的量化耗时，但在极短序列或极端延迟敏感的交互式场景下，仍会对预填充（Prefill）阶段带来轻微额外延迟。
改进方向：探索与旋转变换（如 QuaRot、SpinQuant）以及自适应通道重排的深度融合，进一步平滑激活离群点分布。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙挖掘数值格式的代数与硬件冗余，零显存开销实现有效量化扩展。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个模型、困惑度、零样本分类、GSM8K 推理、GPU 算子测试与 28nm ASIC 综合。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、动机阐述极其直观有力、软硬件权衡交代清晰。
价值: ⭐⭐⭐⭐⭐ 为超低比特量化标准演进和未来 AI 芯片微架构设计提供了极具实践意义的指南。