AdaCode: Adaptive Lossless Compression for BFloat16 KV Cache¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/lichangshiwhu/Adacode
领域: 模型压缩
关键词: KV Cache 压缩, 无损压缩, BFloat16, 自适应编码, 显存优化
一句话总结¶
针对长文本推理中 KV Cache 显存线性爆炸且量化不可避免引入精度损失的问题,本文发现 BFloat16 的阶码(exponent)具有极高的统计集中性,并提出 AdaCode 无损压缩框架——对高频阶码采用基于最小代价优化的短定长码编码、稀疏离群值显式保留,配合离线校准与异步 CPU 调整器,在完全不损失精度(Bit-Exact)的前提下实现平均 71.78% 的 KV Cache 显存压缩率。
研究背景与动机¶
随着大语言模型在超长上下文与复杂推理场景中的普及,自回归生成阶段的键值缓存(Key-Value Cache,KV Cache)迅速成为制约服务吞吐与批处理规模的硬性内存瓶颈。KV Cache 的显存占用随批量大小与序列长度呈严格线性增长,使得数万甚至数十万 token 的长文本生成往往因 GPU 显存耗尽而不得不依赖高延迟的 CPU Offloading 或激进的剪枝截断。目前主流的缓解手段集中于低比特量化(如 INT8、INT4 乃至 2-bit 的 KIVI、HQQ、CommVQ 等),然而量化本质上属于有损压缩,必然会在注意力计算中引入近似误差。在代码生成、长链严密数学推理以及需要严格位精确重现(Bit-Exact Reproducibility)的关键任务中,微小的累积数值误差便可能导致解码路径分叉、推理逻辑崩溃或生成退化。
面对必须保证输出完全无损的严苛场景,无损压缩方案却面临巨大的技术鸿沟。传统的无损编码(如 Huffman 或熵编码)以及近期针对模型静态权重的无损压缩工作(如 ZipNN、DFloat11、Neuzip)均针对离线静态权重设计,其冗长复杂的前缀树解析或动态解码逻辑无法匹配 GPU 在自回归推理时极低延迟、逐 token 写入与高并发读取的访问需求。更为关键的是,BFloat16 格式由 1 位符号位、8 位阶码位和 7 位尾数位组成;直接对稀疏浮点数应用通用压缩算法往往收效甚微。
本文的切入视角源自对 Transformer 中 KV Cache 内部张量数值分布的深入解剖。作者在经验与理论上证明,BFloat16 格式下的阶码取值呈现极度尖锐的集中性,绝大多数阶码聚集在狭窄的连续区间内,而符号位与尾数位则接近均匀分布。核心 idea:利用 BFloat16 阶码高度集中的固有统计冗余,将高频阶码映射为短定长编码、罕见离群值全精度独立保留,构建由极小代价优化、字节对齐硬件排布、离线校准与异步在线调整器组成的无损 KV Cache 压缩系统,实现无精度损失与高硬件吞吐的统一。
方法详解¶
整体框架¶
AdaCode 的核心目标是在自回归推理中以极低延迟实现 BFloat16 KV Cache 的无损压缩与即时解压。整个架构分为两大部分:压缩参数的确定与自适应调整,以及针对 GPU 内存访问特性的字节对齐并行编解码。在预填充(Prefill)阶段之前,系统基于校准集(如 C4)离线求解各网络层的最优短码位宽 \(L\)(通常为 2、3 或 4 bit)与高频连续阶码区间的起始偏移量 \(o\);在自回归生成期间,每个生成步将新生成的 KV 向量按 8 个 BFloat16 元素构成的 block 进行规整打包,将符号与尾数拼为单字节 uint8,阶码则编码为相对偏移量并按短码位宽紧凑塞入字节中;同时,CPU 端的异步轻量调整器每隔 \(N\) 步检测当前分布是否漂移并在必要时更新参数重压缩。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 8个 BFloat16 KV Cache 元素<br/>(每元素: 1-bit 符号 + 8-bit 阶码 + 7-bit 尾数)"] --> B["符号与尾数直通打包<br/>每元素 1-bit 符号 + 7-bit 尾数 → 单字节 uint8"]
A --> C["阶码分布极小代价优化<br/>确定短码长度 L (2/3/4 bit) 与偏移量 offset"]
C --> D["短码映射与离群值处理<br/>区间内阶码存相对偏移 (e - offset)<br/>离群值分配零标记 + 显式追加 8-bit 原值"]
B --> E["GPU 友好字节对齐紧凑打包<br/>2-bit(4个/B), 3-bit(8个/3B), 4-bit(2个/B)"]
D --> E
E --> F["输出: 压缩态 KV Cache 显存<br/>(保持 100% 原始数值,无损恢复)"]
F -.每 N 步异步监控分布漂移.-> G["轻量在线自适应调整器<br/>CPU 异步重解最优 L 和 offset,必要时触发重压缩"]
G -.更新参数.-> C
关键设计¶
1. 阶码集中性理论与极小代价优化:自适应确定短定长码位宽
针对传统熵编码动态变长码字难以在 GPU 上并行寻址的问题,AdaCode 采用“短定长码覆写核心区间 + 离群值显式保留”的策略。作者从理论上证明,若 Transformer 激活值服从对称 \(\alpha\)-稳定分布(\(\alpha\)-stable distribution,覆盖了正态分布与厚尾柯西分布),BFloat16 的阶码概率质量函数 \(P(e)\) 会在极值点 \(e^* = 127 + \log_2(\gamma t^*)\) 处形成尖锐峰值,向右呈 \(2^{-\alpha e}\) 指数衰减,向左迅速趋零。因此,绝大多数阶码均天然落在极小的连续值域内。
为了量化短码位宽 \(L\) 与离群值开销的权衡,AdaCode 建立了显存代价最小化目标函数。设 \(W\) 为 KV Cache 中全部阶码的集合,\(2^L - 1\) 个最频繁出现的阶码集合所涵盖的元素数量为 \(M\),其余离群值数量为 \(N = |W| - M\)。由于 GPU 架构需要规整的阵列布局以保证对齐与快速索引,每个元素在基础存储中均占用 \(L\) bit,离群值则额外存储其完整的 \(E\) bit(BFloat16 中 \(E=8\))。总存储代价目标为: $\(L^* = \arg\min_{L} \Big( L|W| + E \cdot \big(|W| - |\text{Top}_{2^L - 1}(\text{Freq}(W))|\big) \Big)\)$ 通过在候选集合 \(\{2, 3, 4\}\) 内穷举检索,即可快速得到使显存占用最小的最优短码长度 \(L^*\) 以及连续覆盖区间的起始偏移量 \(\text{offset}\)。高频范围内的阶码直接存储为相对值 \(e - \text{offset}\),而值为 0 的短码则被预留作为离群值指示标记,从而彻底免去了体积庞大且破坏并行性的映射查找表。
2. 规整字节对齐打包布局:适配 GPU SRAM 与并发读写
GPU 擅长处理连续、规整的内存排布,细粒度的非对齐位操作会严重破坏显存带宽利用率并拖慢算子吞吐。AdaCode 将 16 位 BFloat16 拆解为“符号+尾数”和“阶码”两路并行流: - 符号与尾数流:每个 BFloat16 包含 1 位符号和 7 位尾数,二者拼接恰好构成一个完整的 8 位无符号整数(uint8),在内存中天然单字节对齐,压缩时直接按字节原样打包,完全绕过了繁复的位移开销。 - 阶码短码流:根据每层校准得到的最优短码位宽 \(L\),以固定块大小组织打包。对于 \(L=2\),每 4 个阶码编码合并为一个 uint8;对于 \(L=4\),每 2 个阶码合并为一个 uint8;对于实际模型中占据绝对统治地位的 \(L=3\)(实验显示占比超 98%),系统按 8 个阶码对应 3 个 uint8(共 24 bit)进行跨字节拼接。
在解压核函数(基于 Triton 实现)中,线程块按 8 元素粒度并行展开,寄存器快速还原出符号、尾数以及恢复偏移后的阶码(对标记为 0 的离群值则直接从末尾离群值池读取 8 位原阶码),瞬时重建出位完全一致的原生 BFloat16 浮点张量,避免了因内存不规则带来的分支发散。
3. 离线校准与轻量在线调整器:兼顾 TTFT 首字延迟与分布漂移
不同长文本任务或预填充与解码阶段之间可能存在阶码分布偏移(Distribution Shift)。如果每个推理 step 都在 GPU 上实时统计直方图并求解极小代价优化,将造成严重的内核启动与同步延迟,显著恶化首字输出时间(TTFT)。
为此,AdaCode 采取“离线校准初始化 + CPU 异步周期性微调”的双轨机制。首先,在离线阶段使用多样化的大规模通用语料(C4 训练集)对各层 KV Cache 运行统计,预先计算出每层的最优 \((L_{\text{curr}}, o_{\text{curr}})\),推理启动时直接加载这组参数,使得 Prefill 阶段零额外搜索开销;其次,在自回归解码阶段,系统设定固定的调整周期 \(N\)(默认 128 步)。当生成步数触发 \(t \pmod N = 0\) 时,采样当前 KV Cache 统计信息送至 CPU 端异步线程计算新参数 \((L_{\text{new}}, o_{\text{new}})\)。若新参数改变,才在后台发出重压缩指令更新显存排布。由于调整过程完全移出 GPU 关键计算路径,既彻底消除了分布漂移带来的压缩率退化,又保证了推理关键路径的零时延开销。
一个完整示例¶
以一段包含 8 个连续 BFloat16 键值数据的输入向量为例:
1. 拆解数据:8 个 16-bit 浮点数被分解为 8 个 (1-bit 符号 + 7-bit 尾数) 组合,以及 8 个 8-bit 原阶码。假定原阶码值为 \([126, 127, 128, 127, 129, 127, 130, 145]\)。
2. 符号与尾数打包:8 个符号与尾数直接组成 8 个字节的 uint8 数组,连续写入显存。
3. 阶码编码:当前网络层离线校准确定的参数为 \(L=3\)(可表示 \(2^3-1 = 7\) 个状态,值域范围 \(1 \sim 7\);0 预留为离群标记),基准偏移量 \(\text{offset}=125\)。
- 阶码 126 编码为 \(126 - 125 = 1\)(二进制 001);
- 阶码 127 编码为 \(127 - 125 = 2\)(二进制 010);
- 阶码 128 编码为 \(3\)(011);
- 阶码 129 编码为 \(4\)(100);
- 阶码 130 编码为 \(5\)(101);
- 阶码 145 超出覆盖上限 \([126, 132]\),判定为离群值,其 3-bit 槽位写入 000,同时将其完整的原值 \(145\)(10010001)追加写入离群值专用存储区。
4. 字节打包与解压:8 个 3-bit 编码拼成 24 bit,严丝合缝地存入 3 个 uint8 字节。解压缩时,解码算子首先解出 8 个 3-bit 数字,读出 000 处从离群值池取回 145,其余项加上 offset 125,拼合符号与尾数,100% 还原原始 BFloat16 数值。
实验关键数据¶
主实验¶
主实验在包括稠密模型(Qwen3-4B、Mistral-7B-Instruct-v0.3)和混合专家模型(Qwen1.5-MoE-A2.7B-Chat、Huihui-MoE-1.2B-A0.6B)在内的多种架构及覆盖长文本问答、摘要、代码补全、数学推理的 22 个评测集(LongBench 16 项任务、LCB、MBPP、AIME24、AIME25、RiddleBench、SimpleMath)上全面评估显存压缩比(压缩后显存 / 原始显存 \(\times 100\%\),数值越小越优)。所有模型均实现 100% 位精确(Bit-Exact)恢复,无任何精度下降。
| 模型 | 原始显存均值 (GB) | 压缩后显存均值 (GB) | 平均压缩比 (%) | 最佳任务与压缩比 (%) | 最差任务与压缩比 (%) |
|---|---|---|---|---|---|
| Qwen3-4B | 1.07 ± 0.05 | 0.77 ± 0.03 | 71.83 | qmsum: 71.37 | AIME25: 73.52 |
| Mistral-7B-Instruct-v0.3 | 1.05 ± 0.04 | 0.75 ± 0.03 | 71.22 | musique: 70.76 | AIME24 / R.B.: 72.75 |
| Qwen1.5-MoE-A2.7B-Chat | 1.43 ± 0.06 | 1.02 ± 0.04 | 71.85 | musique: 70.96 | RiddleBench: 74.82 |
| Huihui-MoE-1.2B-A0.6B | 0.83 ± 0.04 | 0.60 ± 0.03 | 72.21 | qmsum: 71.77 | AIME25: 73.91 |
| DeepSeek-V2-Lite (MLA) | 2.10 ± 0.09 | 1.50 ± 0.07 | 71.94 | passage_count: 71.48 | RiddleBench: 73.58 |
| Qwen3-VL-8B-Instruct (VLM) | 0.65 ± 0.08 | 0.46 ± 0.06 | 70.26 | Art: 70.21 | Public_Health: 70.31 |
此外,在对精确度极度敏感的任务(Copy 文本复现、RiddleBench 谜题逻辑、SimpleMath 基础运算)中,对比 KV Cache 量化基准 KIVI 与 HQQ,量化方法出现严重精度崩塌,而 AdaCode 完美保持 100% 原版输出:
| 任务 | Qwen3-4B (KIVI / HQQ / 本文) | Mistral-7B (KIVI / HQQ / 本文) | Qwen1.5-MoE (KIVI / HQQ / 本文) | Huihui-MoE (KIVI / HQQ / 本文) |
|---|---|---|---|---|
| Copy 精确复写任务 (%) | 57.00 / 62.00 / 77.00 | 57.00 / 53.00 / 58.00 | 22.00 / 13.00 / 24.00 | 0.00 / 19.00 / 80.00 |
| RiddleBench 谜题推理 (%) | 11.69 / 12.55 / 13.41 | 5.24 / 5.24 / 5.30 | 6.04 / 6.68 / 6.74 | 1.61 / 2.70 / 3.97 |
| SimpleMath 算术运算 (%) | 38.70 / 42.50 / 47.30 | 43.40 / 42.40 / 45.70 | 4.60 / 4.50 / 4.70 | 0.70 / 0.90 / 1.90 |
| 平均准确率 Avg. (%) | 35.80 / 39.02 / 45.90 | 35.21 / 33.55 / 36.33 | 10.88 / 8.06 / 11.81 | 0.77 / 7.53 / 28.62 |
消融与分析实验¶
论文针对调整器周期(Adjustment Interval)、离线校准对 TTFT 的影响以及不同浮点格式的适应性进行了严密消融:
| 配置 / 实验维度 | 核心量化指标与表现 | 实验结论与机制说明 |
|---|---|---|
| 离线校准对 TTFT 的影响 (multi_news) | TTFT 耗时显著缩短:Qwen3-4B (0.87s → 0.83s, -4.21%), Mistral-7B (0.99s → 0.86s, -14.56%), Qwen1.5-MoE (0.71s → 0.65s, -8.41%), Huihui-MoE (0.63s → 0.61s, -3.96%) | 离线预计算消除了 Prefill 阶段在线统计和搜索参数的开销,显著加速首次 Token 响应时间。 |
| 在线调整器周期 \(N\) 消融 (SimpleMath, MBPP 等) | 压缩比随周期变短而下降并收敛于 \(N=128\);去除调整器(W/O Adjuster)压缩比在 Qwen1.5-MoE SimpleMath 上恶化约 3% | 证明自适应调整器能动态捕获长文本生成中的分布漂移;\(N=128\) 在开销与压缩率间取得最佳平衡。 |
| 最优短码长度分布 (C4 校准集) | Qwen3-4B: 3-bit (100%); Mistral-7B: 2-bit (1.6%), 3-bit (98.4%); Huihui-MoE: 3-bit (98.2%), 4-bit (1.8%) | 3-bit 编码在全部模型中占据压倒性统治地位,为统一硬件核函数设计提供了强有力的统计支撑。 |
| 离群值比例统计 (LongBench 评测) | 4 个模型经推理后的离群值比例均分布在 3% ~ 8% 之间,中位数稳定低于 6% | 证明极端偏离高频区的离群点极少,将其单独立案保存引入的存储开销微乎其微。 |
| 拓展至不同浮点格式 (C4 压缩比) | BF16 (72.67%~73.71%), FP16 (91.48%~92.82%), FP8 E5M2 (78.97%~81.20%), FP8 E4M3 (90.51%~93.42%) | BF16 因阶码占比高达 50%(8/16 bit)收益最大;5-bit 阶码的 E5M2 亦有明显收益。 |
关键发现¶
- 3-bit 定长码是 BFloat16 压缩的天然黄金比例:在各层独立优化中,超 98% 的网络层自动收敛于 3-bit 短定长码。结合 8 个元素占用 3 个字节的对齐排布,使得阶码开销从原本的 8 bit 骤降至仅略高于 3 bit。
- 离群值极度稀疏:即便经历数万 token 的长文本生成,未被 3-bit 覆盖的离群阶码比例始终低于 6%。将其存入离群缓冲区的开销完全被短码节省的显存所抵消。
- 单位显存吞吐(Throughput-per-memory)全面领先:在 Mistral-7B 上,AdaCode 达到了 2762 tokens/s/GB,相比未压缩原版(2468)提升约 11%,并以数倍的吞吐效率超越了 CPU Offloading(323 tokens/s/GB)和既有无损基线 Neuzip(1861 tokens/s/GB)。
- 与 MLA 和多模态完美正交:DeepSeek-V2-Lite 原本已使用 MLA 压缩了注意力潜变量,AdaCode 仍可在其基础上再压 28.06%(压缩比 71.94%);在多模态视觉语言模型 Qwen3-VL 上同样达到 70.26% 的压缩比,证明其普适于各类基于 Transformer 的注意力计算结构。
亮点与洞察¶
- 从数值表征结构挖掘天然冗余:不盲目追求复杂的熵编码或全局变换,而是敏锐抓住 BFloat16 中阶码高频聚集、符号与尾数离散的本质属性,以极简的短定长偏移编码取代庞大的 Huffman 树,设计巧妙且极具硬件亲和力。
- 软硬件协同的工程落地:通过 8 元素 block 规整打包保证字节对齐,并借助 CPU 异步线程消化自适应调整的计算开销,彻底消除了 GPU 端在推理关键路径上的计算与等待负担。
- 填补了 Bit-Exact 无损 KV Cache 压缩的空白:证明了在不接受哪怕 1 bit 数值漂移的严密推理与代码生成场景下,依然可以纯靠无损工程手段释放近 30% 的昂贵 GPU 显存。
局限与展望¶
- 格式专一性限制:目前理论与工程实现紧密围绕 BFloat16 的 8-bit 阶码特性展开。对于 FP16(仅 5-bit 阶码、10-bit 尾数)或 FP8 E4M3 格式,由于阶码占比有限,显存压缩收益会有所缩减(FP16 压缩比仅为 ~92%)。
- 硬件生态局限:当前的快速编解码核函数依赖于 NVIDIA GPU 与 Triton 实现,对于 TPU、CPU 推理集群或边缘 NPU 设备,仍需进一步开发定制化的对齐算子支持。
- 潜在结合方向:未来可探索将 AdaCode 的无损阶码短码技术与无损尾数预测器、稀疏注意力掩码协同工作,进一步挖掘长文本生成下的压缩极限。
相关工作与启发¶
- vs KIVI / HQQ 等量化方法:量化方法以引入精度偏差为代价追求极端压缩(如 2-4 bit),但在数学推理、代码和文本复现等敏感任务上准确率大幅滑坡;AdaCode 属于绝对无损压缩,输出结果与未压缩 BFloat16 原型完全一致,且压缩比稳定维持在约 71%~72%。
- vs ZipNN / Neuzip 等权重无损压缩:ZipNN 等工作专注于离线静态权重,无法支撑自回归生成中高频单 token 追加写入与超低延迟在线解压的需求;AdaCode 创新性地将无损思路落地于动态 KV Cache,兼顾高吞吐与极低解码开销。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [敏锐发现并证明了 BFloat16 阶码在 LLM 中的高度集中性,提出极具硬件可实施性的定长短码策略]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 6 款大模型/多模态/MLA 架构、22 个长文本与推理评测集,包含严格的理论证明、消融实验与吞吐指标]
- 写作质量: ⭐⭐⭐⭐⭐ [动机阐述清晰,数学推导严谨,系统图表直观详实]
- 价值: ⭐⭐⭐⭐⭐ [为严禁精度损失的长文本推理场景提供了一条极具工业落地价值的即插即用型显存优化路径]