NOSA: Native and Offloadable Sparse Attention¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/thunlp/NOSA
领域: 模型压缩
关键词: 稀疏注意力, KV Cache Offloading, 局部性约束, 系统算法协同设计, 长文本推理
一句话总结¶
针对传统训练无关 KV 缓存卸载所导致的训练-推理不一致,以及可训练稀疏注意力因访存无序导致 PCIe 通信瓶颈的难题,NOSA 提出了首个具备原生卸载约束的可训练稀疏注意力机制与专用推理系统 NOSI,将解码吞吐提升至最高 5.04 倍且无损长文本推理质量。
研究背景与动机¶
在大语言模型处理长上下文输入与超长输出(如复杂推理与自主智能体)的场景中,解码吞吐量直接决定了实际部署的可行性。为了提升吞吐,增大推理批次(Batch Size)是最直接的途径,但 GPU 显存容量受到键值缓存(KV Cache)线性膨胀的强烈挤压。现有的免训练 KV 缓存卸载(KV Cache Offloading)策略(如 InfLLM、ShadowKV 等)将大部分 KV 保留在 CPU 内存中,仅按需向 GPU 传输稀疏子集以节省显存。然而,这种后处理启发式筛选引入了严重的训练-推理分布不匹配(Mismatch),稀疏模式从未在训练阶段经历优化,导致注意力误差在长生成过程中持续累积,出现困惑度爆炸和生成崩溃。
另一方面,诸如 NSA、InfLLMv2 等近期的可训练稀疏注意力方法虽然通过长文本预训练消除了上述分布差异,并取得了近乎无损的长文本建模能力,但它们并没有考虑硬件内存层级结构的传输限制。在这些方法中,任意查询(Query)都可能在连续步间无约束地检索任意深度的 KV 块,导致相邻步之间的 KV 激活局部性较差。当尝试直接对这些可训练稀疏注意力做内存卸载时,频繁且不规则的跨 PCIe 总线主机-设备(Host-to-Device)数据搬运直接让系统退化为通信受限(Communication-bound),80% 以上的时间甚至浪费在传输与注意力等待上。
面对“免训练卸载损害生成质量”与“可训练稀疏缺乏传输约束导致 PCIe 拥塞”的核心矛盾,本文的切入角度是将卸载系统的物理约束直接前置到算法设计与模型预训练阶段。核心 idea:通过解耦查询相关与查询无关的注意力块选择,在算法上为相邻解码步的 KV 复用率提供显式的理论下界保证(\(\gamma(t) \ge \frac{k_e}{k}\)),并将此局部性约束内化至长上下文预训练,配合软硬件协同优化的专用推理系统 NOSI,实现通信受限解除与高吞吐无损长文本解码。
方法详解¶
整体框架¶
NOSA 围绕“在模型训练中主动诱导并约束 KV 访问局部性”展开,在保持注意力高表现力的同时,显式限制每步从 CPU 到 GPU 的数据搬迁总量。给定输入序列,NOSA 将 KV 缓存切分为固定大小的块(Block),并通过双路打分与池化选出总预算为 \(k\) 个 token(对应 \(k/n_b\) 个块)的注意力上下文。整个机制由查询相关(Query-aware)分支与查询无关(Query-agnostic)分支协同构成,辅以端到端梯度反传的注意力偏置。在系统层面,推理系统 NOSI 配合定制的内存布局与融合内核,彻底消除了框架层面的调度开销。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入隐状态 H 与权重投影"] --> B["算子融合投影与打分<br/>解耦生成 Q, K, V 及重要性得分"]
B --> C["分层池化与双路径块筛选<br/>查询相关检索 + 延迟指数逐出头"]
C --> D["显式局部性下界保证<br/>理论下界约束跨步复用率"]
D --> E["差异化替换与 UVA 异步传输<br/>NOSI 系统解决集合差异与通信加速"]
E --> F["稀疏 FlashAttention 解码输出"]
关键设计¶
1. 算子融合投影与打分:解耦生成 Q, K, V 及重要性得分
针对逐 token 稀疏选择引发的高度碎片化通信与极低 PCIe 带宽利用率,NOSA 采用了块级(Block-wise)稀疏组织架构,并利用紧凑的投影头实时计算查询无关的重要性得分。在每个解码步,模型将隐状态映射为 \(Q, K, V\) 向量,同时通过轻量化逐出头计算各位置的查询无关标量分数 \(s_j^e = \tau(v_j W_1) W_2\),其中 \(W_1 \in \mathbb{R}^{d_{kv} \times n_{kv}}, W_2 \in \mathbb{R}^{n_{kv} \times 1}\) 均为可学习参数,\(\tau\) 为 Softplus 非线性激活。为了消除细粒度算子反复启动的开销,NOSA 在系统实现中将 \(Q, K, V\) 切分与 \(s_j^e\) 计算完全融合进单一 Triton 内核,实现了极低的前向延迟。
2. 分层池化与双路径块筛选:查询相关检索与延迟指数逐出头协同
在确定上下文块的重要性时,NOSA 提出了一种两阶段分层池化方法,兼顾计算效率与代表性。设每个块包含 \(n_b\) 个 token,系统首先以步长 \(l_{stride}\) 和核大小 \(l_{kernel}\) 在子块内进行均值池化(Mean-pooling),随后在块级别进行最大值池化(Max-pooling),从而获得查询相关分数 \(s_{i[j]}^q\) 与查询无关分数 \(s_{[j]}^e\)。在选择策略上,NOSA 将总块选择预算拆分为查询相关预算 \(k_q\) 与查询无关预算 \(k_e\)(\(k = k_q + k_e\))。算法优先利用查询相关分数 \(s_{i[j]}^q\) 检索出 \(k_q/n_b\) 个与当前 query 最匹配的块并将其分数置为 \(+\infty\),随后在剩余候选中依照 \(s_{[j]}^e\) 挑出 \(k_e/n_b\) 个查询无关块。为了解决训练过程中指数操作对浮点精度的极端敏感性,NOSA 提出了 ED-DMA(Exp-Delayed DMA)机制:在进行 Top-k 选择时严格基于指数前的重要性分数进行排序,而仅在后续注意力归一化权重计算中注入偏置 \(b_j = s_j^e\):
3. 显式局部性下界保证:理论下界约束跨步复用率
由于查询无关的逐出头天然具备单调遗忘特性——即一旦某个 KV 块在第 \(t\) 步未被查询无关集合选中,它就无法在后续步骤仅通过查询无关路径重新复活,除非被查询相关分支动态捕获。这种机制天然为相邻解码步间的重合度提供了数学保证。NOSA 在理论上严格证明了局部性定理(Theorem 3.1):若总预算为 \(k = k_q + k_e\),则相邻两步解码选中的 token 集合 \(\Gamma(t-1)\) 与 \(\Gamma(t)\) 之间的重叠比率(局部性 \(\gamma(t)\))恒满足:
在典型超参配置下(\(k=4096, k_q=1024\)),查询无关比例达到 75%,即使不考虑 attention sink 与局部滑动窗口的天然驻留,相邻步也至少有 75% 的块保证命中并常驻 GPU,将每步必须从 CPU 搬移的新块比例严格压制在 25% 以下,从源头消除了 PCIe 吞吐瓶颈。
4. 差异化替换与 UVA 异步传输:NOSI 推理系统的软硬件加速
为了将算法的理论局部性转化为实际系统的吞吐跃升,作者设计了专用推理引擎 NOSI。在朴素 Hugging Face 实现中,PyTorch 碎片化的内存分配与中间变量搬运严重掩盖了真实的传输瓶颈。NOSI 针对性地提出了三项底层革新:第一,定制 CUDA 集合求差核函数,每线程以 \(O(k)\) 复杂度快速比对旧索引与新索引,利用共享内存生成需要被换入的块地址与目标替换槽位;第二,基于统一虚拟寻址(UVA)构建专用 Triton 传输内核,直接自 CPU 页锁定内存异步拉取数据,绕过 PyTorch 冗余的缓冲区拷贝;第三,全链路引入 CUDA Graphs 捕获池化至索引选取的执行流,彻底消除小内核频繁 Launch 的 CPU 开销。
损失函数 / 训练策略¶
NOSA 的长文本适配分为两个阶段:模型首先在 4K 上下文上采用标准密集注意力完成基础预训练,随后在持续预训练(Continual Pre-training, CPT)阶段切换为 NOSA 稀疏注意力,使用 LongRoPE 将窗口外推扩展至 16K,并采用 AdamW 优化器和 WSD 学习率调度策略在 InfLLMv2-data-5B 数据集上训练约 5B tokens,最后进行有监督微调(SFT)。由于逐出头与模型注意力共享注意力偏置 \(b_j\) 传递的梯度,整个架构能够端到端联合收敛,无需额外的辅助损失项。
实验关键数据¶
主实验¶
在 8B 模型长文本评估中,对比了全注意力(FULLATTN)、免训练卸载方法(SHADOWKV、INFLLM、ARKVALE)以及可训练基线(INFLLMV2、DMA)。评测覆盖 LongBench(13 项任务平均)以及包含严苛长程检索子集的 HELMET 基准(16K 上下文),包括 Full Prefill(密集预填充)与 Sparse Prefill(稀疏预填充)两种典型模式:
| 方法 | Prefill 设置 | LongBench (Avg. ↑) | HELMET (Avg. ↑) | HELMET Recall (%) |
|---|---|---|---|---|
| FULLATTN | Full | 43.9 | 42.6 ± 0.3 | 89.5 ± 0.3 |
| SHADKV8 | Full | 43.3 | 38.8 ± 0.6 | 78.3 ± 0.4 |
| SHADKV64 | Full | 42.9 | 33.5 ± 0.3 | 55.3 ± 0.2 |
| ARKVALE | Full | 39.5 | 36.2 ± 0.4 | 56.2 ± 1.5 |
| DMA-F | Full | 40.1 | 31.2 ± 0.5 | 33.1 ± 0.2 |
| NOSA-F (本文) | Full | 43.7 | 40.4 ± 0.5 | 86.3 ± 0.0 |
| INFLLMV2 | Sparse | 44.3 | 40.3 ± 0.3 | 72.7 ± 0.2 |
| SHADKVM8 | Sparse | 41.1 | 36.5 ± 0.4 | 74.6 ± 0.2 |
| SHADKVM64 | Sparse | 41.1 | 32.3 ± 0.4 | 54.5 ± 0.9 |
| INFLLM64 | Sparse | 41.0 | 16.4 ± 0.7 | 5.5 ± 0.5 |
| DMA-S | Sparse | 35.9 | 26.3 ± 0.3 | 22.7 ± 0.7 |
| NOSA-S (本文) | Sparse | 43.3 | 37.6 ± 0.7 | 67.2 ± 0.8 |
在解码效率方面,NOSA 结合 NOSI 展现出极其显著的吞吐优势。在 8B 模型、输入长度 16K、不同等效批次大小(EB)下,实际测得的解码吞吐量(tokens/s)如下表:
| 方法 | 实现引擎 | 开启卸载 | EB: 16 | EB: 32 | EB: 64 | EB: 128 |
|---|---|---|---|---|---|---|
| FULLATTN | vLLM | ✗ | 233.21 (4) | 417.99 (8) | 678.41 (16) | 927.99 (32) |
| FULLATTN | SGLang | ✗ | 180.28 (4) | 358.56 (8) | 774.74 (16) | 1267.20 (32) |
| INFLLMV2 | NOSI | ✗ | 226.51 (4) | 440.76 (8) | 824.09 (16) | 1475.43 (32) |
| INFLLMV2 | NOSI | ✓ | 563.88 (16) | 759.35 (32) | 1389.40 (64) | 1441.32 (128) |
| SHADOWKV | SHADKV | ✓ | 585.92 (16) | 769.84 (32) | 970.19 (64) | 1071.36 (128) |
| NOSA | NOSI | ✓ | 743.18 (16) | 1056.27 (32) | 1630.80 (64) | 1961.17 (128) |
消融实验¶
针对逐出头设计与打分机制在 1B 模型长文本 CPT(16K 长度 RULER 基准)下的消融实验:
| 实现变体 | 核心打分 / 机制差异 | RULER 平均精度 (%) | 说明 |
|---|---|---|---|
| INFLLMV2 | 无逐出头,仅查询相关稀疏 | 60.3 | 基准上限 |
| LOCRET | 轻量 MLP 预测重要性 \(s_j^e = \text{MLP}(h_j)\) | 55.9 | 精度显著下降,多键任务表现弱 |
| DMA | 原始 DMA(在选择前执行 \(\exp(b_j)\)) | 56.2 | 精度损失严重,数值敏感 |
| S-DMA | 仅在反向传播保留偏置梯度(Straight-Through) | 60.9 | 与全注意力相近但缺乏有效过滤偏置 |
| ED-DMA (NOSA) | 延迟指数(Exp-Delayed),排序使用原始 logits | 61.9 | 效果最佳,超越原版 InfLLMv2 |
关键发现¶
- 长文本检索极度抗跌:在极易由于稀疏丢块而崩溃的 HELMET Recall 任务中,免训练的 SHADKV64 骤降至 55.3%、DMA-F 降至 33.1%,而 NOSA-F 凭借查询相关的精确保留与平滑预训练维持在 86.3%,与全注意力(89.5%)相比几乎无损。
- 长思维链推理拒绝崩溃:在 MATH-500 和高考数学/物理等需要生成 8K tokens 的超长推理任务中,SHADOWKV 随着步骤增加困惑度发生指数级爆炸并输出重复字符,平均分仅 12.5%;NOSA 保持平稳的低困惑度,取得 49.6% 的高平均分,媲美全注意力的 51.6%。
- 硬件带宽真实释放:在相同 Batch Size(B=16)的控制变量下,开启卸载后 INFLLMV2 吞吐大幅暴跌 31.6%(从 824.09 降至 563.16 tok/s),而 NOSA 仅轻微波动 9.1%(817.16 降至 743.18 tok/s),并在批次扩大至 128 时达到 1961.17 tok/s,达到 vLLM 全注意力的 2.11 倍、原生 Hugging Face 的 5.04 倍以上。
亮点与洞察¶
- 将系统底层瓶颈内化为算法理论约束:不同于以往将卸载视为单纯系统工程优化的做法,NOSA 证明了“算法原生考虑 PCIe 通信”的巨大优势,给出了具备数学证明的跨步局部性下界 \(\gamma(t) \ge k_e / k\)。
- Exp-Delayed DMA(ED-DMA)细节价值:发现并排除了 Softplus/Exp 运算在稀疏排序中带来的浮点数值失真,仅通过调整指数运算的位置便在 RULER 上带来 5.7% 的巨大净增益,是可复用性极强的工程 trick。
- 软硬件协同设计打破伪瓶颈:通过自研 NOSI 推理引擎,将原本掩盖在 PyTorch 框架开销之下的真实通信瓶颈剥离出来,用 UVA 和融合内核彻底激活了算法带来的局部性收益。
局限与展望¶
- 模型规模与架构限制:作者仅在 1B 至 8B 规模的模型上进行了验证,尚未在更大体量(如 70B+)、混合专家模型(MoE)或多模态大模型上测试。
- 主流推理引擎集成成本:目前的峰值吞吐依赖专有 NOSI 引擎,将其完整特性移植到 vLLM、SGLang 或 TensorRT-LLM 等工业级分布式框架中仍需大量底层适配工作。
- 超长外推的参数自适应:在超越训练长度的外推场景(如 64K+)中,仍需人工调整 RoPE \(\theta\) 与选择预算 \(k\),未来若能结合动态自适应预算机制将更具弹性。
相关工作与启发¶
- vs. ShadowKV:ShadowKV 是典型的训练无关卸载方法,依靠 SVD 分解与免训练查询感知提取,但因缺乏训练约束在长文本推理生成后期出现严重的误差累积与退化;NOSA 引入原生训练与局部性理论下界,彻底杜绝了分布偏移。
- vs. InfLLMv2 / NSA:InfLLMv2 等虽为可训练稀疏注意力,但在块选择时缺乏跨步时间局部性约束,直接卸载会引发剧烈的 PCIe 频繁换页;NOSA 显式拆分 \(k_q\) 与 \(k_e\),在保持相仿表征力的同时获得了极高的卸载命中率。
- vs. DMA / Locret:DMA 依赖单一查询无关逐出头且采用 element-wise 细粒度选择,既无法挽回被丢弃的重要上下文,又造成严重的显存带宽碎片;NOSA 结合 Block-wise 混合选择与 ED-DMA 修正,实现了兼顾召回与吞吐的全局最优。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从算法训练阶段显式约束卸载通信局部性并给出理论证明,视角开创。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1B/3B/8B 三种尺寸,横跨 LongBench、HELMET、长程数学推理、NUMA 敏感性及 H100 平台评测,数据极为详实。
- 写作质量: ⭐⭐⭐⭐⭐ 问题阐述直击痛点,理论与系统层级剖析深刻,结构严谨逻辑通畅。
- 价值: ⭐⭐⭐⭐⭐ 为长文本大模型高并发低成本落地提供了极具实用价值的算法-系统协同范式。