跳转至

Don't Read Everything: A Curvature-Conditioned Query for Linear Attention

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ledong0110/ccq
领域: LLM 推理
关键词: 线性注意力, 局部曲率, 读侧修正, 协方差收缩, 长上下文检索

一句话总结

针对线性注意力中缺乏 Softmax 竞争归一化导致高方差记忆方向稀释关键检索目标的问题,本文提出曲率条件查询(CCQ),在读取阶段利用键的历史协方差对查询进行各向异性收缩,在保持 \(O(1)\) 推理缓存的前提下显著提升了长文本检索与长度外推能力。

研究背景与动机

线性注意力与循环状态空间模型通过将 Softmax 注意力的二次复杂度替换为外积形式的快重记忆状态,实现了线性训练开销和恒定的推理缓存。然而,这一计算红利的代价是放弃了 Softmax 内部的竞争归一化机制。在标准的注意力操作中,内积打分与对数配分函数深度耦合,后者分配了全局固定的概率预算,使得不同键之间存在激烈的相互抑制。而在线性注意力的加性循环累加中,所有历史键向量无差别地叠加进状态矩阵,导致高方差方向的信息占据绝对主导,关键检索目标极易被海量背景键淹没,这正是线性模型在 Needle-In-A-Haystack 等上下文检索与复杂长程推理任务中持续落后于 Transformer 的根本症结。

现有改进方案绝大多数聚焦于记忆的“写入侧”(Write-side)。例如,GLA 与 Mamba 系列引入数据依赖的衰减门控来遗忘过时信息;DeltaNet 与 Gated DeltaNet 引入最小二乘差分规则对相近键进行软覆盖;另有工作尝试利用 Hedgehog 等核特征映射使内积更陡峭。然而,这些写入侧机制无论如何精细化筛选存入状态的内容,都无法改变读取阶段的本质缺陷:当查询向量到达时,读取操作依然退化为单次朴素的矩阵-向量乘法,完全无法根据已经存储的键分布几何结构自适应调整读取方向。

针对这一读侧空白,本文从 Softmax 缺失的对数配分函数局部几何性质切入。一旦历史键序列给定,竞争项本质上是仅关于查询向量的函数;对其在各向同性点展开二阶泰勒级数,可以发现局部二次模型的曲率矩阵严格等价于历史键的动态样本协方差。核心 idea:无需改动任何写入规则,直接利用与线性状态同构的循环统计量维护历史键协方差,并在读取前沿高方差曲率方向对查询向量进行各向异性收缩(CCQ),让查询主动避开拥挤的背景主成分以精准提取离群关键信息。

方法详解

整体框架

CCQ 的核心流程可以解耦为三个紧密相连的阶段:首先,通过与线性注意力主干无缝融合的块级前缀扫描,实时维护历史键向量的一阶运行均值 \(\mu_t\) 与二阶未中心化矩 \(\bar{C}_t\),从而在无需存储历史键的前提下提取中心化协方差矩阵 \(\Sigma_t = \bar{C}_t - \mu_t \mu_t^\top\);其次,基于当前查询向量 \(q_t\) 自适应预测标量门控系数 \(\lambda_t\),利用曲率算子对查询执行一阶谱收缩,生成净化后的查询向量 \(q_t^{\text{clean}}\);最后,将净化查询输入给黑盒线性注意力主干(如 GLA 或 Gated DeltaNet)执行常规读取操作 \(o_t = S_t q_t^{\text{clean}}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列特征 x_t<br/>投影并 L2 归一化为 q_t, k_t, v_t"] --> B["动态键统计量累加<br/>更新运行均值 μ_t 与二阶矩 C_t"]
    B --> C["曲率条件查询收缩<br/>计算 Σ_t 与自适应门控 λ_t 净化查询"]
    C --> D["解耦读取与主干状态更新<br/>以净化查询读取快速权重状态 S_t"]
    D --> E["输出表示 o_t<br/>保留 O(1) 推理缓存并消除背景稀释"]

关键设计

1. 动态键统计量累加:以同构循环机制实时捕获 Softmax 局部曲率 针对无法在保持线性复杂度的同时重构完整 Softmax 归一化项的矛盾,CCQ 证明了对数配分函数 \(A_t(q) = \log \sum_{m \le t} \exp(k_m^\top q)\) 在各向同性注意力参考点 \(q=0\) 处的 Hessian 矩阵,严格等于历史键向量的样本协方差矩阵: $\(\nabla_q^2 A_t(0) = \Sigma_t \triangleq \bar{C}_t - \mu_t \mu_t^\top = \frac{1}{t}\sum_{j \le t} k_j k_j^\top - \left(\frac{1}{t}\sum_{j \le t} k_j\right)\left(\frac{1}{t}\sum_{j \le t} k_j\right)^\top\)$ 为了以常数额外开销维护该曲率,CCQ 维护一个 \(d_k \times d_k\) 的二阶矩矩阵 \(\bar{C}_t\) 和一个 \(d_k\) 维的前缀和向量 \(\mu_t\)。在训练阶段,利用现代线性注意力的分块(Chunkwise)机制,将其转化为块间前缀累加与块内因果累加,仅需少量张量缩约即可完成,保持了对硬件友好的高吞吐特性。

2. 曲率条件查询收缩:沿高方差背景方向执行各向异性抑制 针对历史键中高频模板和通用词汇形成的高方差子空间对目标项的严重稀释,CCQ 设计了一个基于二阶曲率惩罚的查询收缩算子。将二次曲率惩罚定义为 \(R_t(q) = \frac{1}{2} q^\top \Sigma_t q\),收缩操作等价于在查询空间沿局部曲率上升最陡峭的方向执行一次负梯度步进: $\(q_t^{\text{clean}} = (I - \lambda_t \Sigma_t) q_t = q_t - \lambda_t \Sigma_t q_t, \quad \lambda_t = \sigma(W_\lambda q_t + b_\lambda)\)$ 其中 \(\lambda_t \in (0, 1)\) 是由轻量线性投影预测的自适应门控。在单位范数键与 Sigmoid 门控约束下,由于 \(\|\Sigma_t\|_2 \le \|\bar{C}_t\|_2 \le 1\),算子 \((I - \lambda_t \Sigma_t)\) 的特征值谱严格落在 \([1 - \lambda_t, 1] \subset (0, 1]\) 之间。该算子对正交于历史键空间的查询分量完全放行,而将投影在主特征方向上的分量按特征值强度平滑衰减,从根本上保证了无论序列延伸多长,数值计算均绝对稳定且不会湮灭任何查询信息。

3. 解耦读取与主干状态更新:独立于写入规则的即插即用读侧修正 为了消除现有模型对特定循环单元设计的强依赖,CCQ 完全将读操作与写操作解耦。写入主干状态 \(S_t = \text{Update}(S_{t-1}; k_t, v_t, \dots)\) 保持黑盒不变,无论采用加性衰减(GLA)还是差分覆盖(Gated DeltaNet),读取输出直接表达为: $\(o_t = S_t q_t^{\text{clean}} = S_t q_t - \lambda_t S_t \Sigma_t q_t\)$ 在打分空间展开该双线性形式,候选键 \(k_j\) 相对查询 \(q_t\) 的有效得分为 \(s_{tj}^{\text{CCQ}} = k_j^\top q_t - \lambda_t \text{Cov}_{\le t}[k_j^\top k, k^\top q_t]\)。该机制精准惩罚那些与历史键群对齐、且查询也碰巧覆盖的高方差方向,而将检索边际显著让渡给偏离主成分的孤立关键项(如实体、UUID 或密码)。

损失函数 / 训练策略

所有模型均在相同配置的 FineWeb-Edu 子集上以自回归因果语言建模任务从头预训练,采用标准交叉熵损失函数。优化器采用 AdamW,超参数设置为 \(\beta_1 = 0.9, \beta_2 = 0.95\),权重衰减为 0.1,最大学习率设为 \(10^{-3}\),配合 1024 步线性预热和余弦退火衰减至 0。模型采用 bfloat16 混合精度与 SwiGLU MLP、RMSNorm 架构,键值对不绑定。CCQ 的门控投影矩阵 \(W_\lambda\) 初始化为 0,偏置 \(b_\lambda\) 初始化使得初始门控值接近 0.01,确保训练初期平滑无扰动地过渡。

实验关键数据

主实验

在 500M 参数(15B tokens)和 1.3B 参数(40B tokens)两个训练规模下,对比涵盖 Softmax Transformer、Mamba2、GLA、GLA-Hedgehog、Gated DeltaNet 及 CCQ 增强模型的语言建模(WikiText / LAMBADA)与 7 项常识推理基准。

规模 / 模型 WikiText PPL↓ LAMBADA PPL↓ LAMBADA 准确率↑ HellaSwag acc_n BoolQ acc 7项常识均分 (Avg)
500M 规模
Transformer 331.69 30.47 34.04 43.12 58.01 49.44
Mamba2 26.22 29.37 34.62 44.15 55.84 49.17
GLA 27.27 32.11 34.02 41.93 59.66 48.54
GLA-Hedgehog 32.47 43.74 29.50 40.48 61.71 48.77
Gated DeltaNet 26.33 29.10 33.88 43.48 54.19 48.98
CCQ-GLA 26.17 25.77 36.74 43.45 56.85 49.73
CCQ-Gated DeltaNet 25.59 22.93 38.19 44.61 55.96 49.87
1.3B 规模
Transformer 41.55 14.31 45.02 53.44 61.16 54.60
Mamba2 18.17 13.55 45.55 57.00 56.97 55.17
GLA 18.80 12.31 47.02 55.44 58.01 55.75
GLA-Hedgehog 19.07 15.17 43.08 55.90 59.17 55.93
Gated DeltaNet 17.98 13.11 45.57 56.66 60.58 55.64
CCQ-GLA 16.92 11.39 47.82 59.14 59.69 56.10
CCQ-Gated DeltaNet 18.01 12.52 46.13 56.82 60.37 56.24

在长上下文与外推能力评估中,合成检索 S-NIAH(Passkey / Number / UUID)展现了 CCQ 的拯救性提升:在 1.3B 规模下,GLA 在 4K 上下文的 S-NIAH-1 准确率仅为 47.8%,而 CCQ-GLA 跃升至 96.8%(提升 +49.0%);在最困难的 S-NIAH-3 (4K) 上,Gated DeltaNet 准确率仅为 6.0%,而 CCQ-Gated DeltaNet 达到 46.6%(提升 +40.6%),CCQ-GLA 更是达到 64.8%。在 14 项 LongBench 任务中,1.3B CCQ-GLA 取得循环模型最高的 15.77% 综合均分(超越原始 GLA 的 14.07% 及 Mamba2 的 13.13%)。

消融实验

基于 1.3B 规模(40B tokens)的 Gated DeltaNet 骨干,对协方差中心化处理以及自适应门控策略展开消融测试:

变体配置 WikiText PPL↓ LAMBADA PPL↓ 7项常识 Avg↑ S1-4K 检索 S1-8K 检索 S2-4K 检索 S2-8K 检索 S3-4K 检索
Gated DeltaNet (无 CCQ) 17.98 13.11 55.64 100.0 99.8 83.4 56.6 6.0
CCQ,中心化 \(\Sigma_t\)(自适应学习门控) 18.01 12.52 56.24 100.0 98.2 86.0 58.4 46.6
CCQ,未中心化 \(\bar{C}_t\)(自适应学习门控) 17.30 12.55 56.20 100.0 97.6 84.8 56.2 55.6
CCQ,中心化 \(\Sigma_t\)(固定门控 \(\lambda=0.1\)) 17.99 12.91 55.85 100.0 99.2 84.3 57.2 20.0

关键发现

  • 去中心化并非唯一制胜因素:使用未中心化的二阶矩 \(\bar{C}_t\) 依然能取得与中心化协方差 \(\Sigma_t\) 相当甚至略高的下游检索收益(S3-4K 达到 55.6%),证明了沿键向量主能量方向进行抑制的普遍有效性。
  • 动态门控对于硬核检索至关重要:使用固定门控 \(\lambda=0.1\) 虽然在基础语言建模上略有提升,但在高难度 S-NIAH-3 (4K) 上的准确率从 46.6% 骤降至 20.0%,证实了模型自主感知当前是否处于检索查询位置并动态放大收缩力度的必要性(检索位置实际门控平均上升至 0.40)。
  • 几何假设与层级表征完全吻合:探测实验表明,在 Qwen3 与 Gated DeltaNet 中,真实 needle token 在所有层上投影到高方差子空间的能量均显著低于干扰词背景,尤其在中层语义抽象层依然保持负偏置,为 CCQ 提供了坚实的前提支撑。

亮点与洞察

  • 将 Softmax 配分函数曲率嫁接至线性读取端:敏锐地捕捉到对数和指数配分函数在各向同性参考点处的二阶曲率严格对应键协方差这一指数族分布经典性质,将原本被视为不可跨越的 Softmax 竞争优势转化为轻量级读侧仿射变换。
  • 纯粹的读侧操作与即插即用泛化性:不改变快速权重状态的写入机制与内存维度,使该方法能零成本挂载到任意线性注意力及现代状态空间变体上,打破了学术界长久以来仅在写入侧做门控或核映射的思维定式。
  • 对硬件实现与数值稳定性的极简平衡:利用分块前缀扫描融合成单次矩阵操作,收缩谱严格有界且无需矩阵求逆,以极为克制的开销(训练吞吐仅下降约 16%,推理状态增加 50%)换取了长程检索质的飞跃。

局限与展望

  • 假设边界的潜在失效场景:CCQ 建立在关键检索键不属于高方差主成分的假设上。如果目标信息本身属于高频重复模式、聚合统计或强模版化文本,该收缩机制可能会误伤有用特征。
  • 协方差未对齐主干衰减因子:当前的 \(\Sigma_t\) 采用无衰减的全局统计量,而底层主干(如 GLA、Gated DeltaNet)通常具备主动遗忘或差分覆盖能力,导致协方差所记录的高方差方向可能包含主干早已遗忘的信息。未来工作可探索与遗忘门同步衰减的加权协方差维护机制。
  • 工程落地中的推理 Kernel 优化需求:尽管理论上为 \(O(1)\) 缓存,但当前推理实现启动了较多未融合的细粒度 GPU 算子,导致实际解码吞吐下降约 35%,亟待开发高度定制的融合解码算子。

相关工作与启发

  • vs GLA / Mamba2 (数据依赖门控):GLA 与 Mamba2 通过学习输入依赖的通道/时间混合衰减率来动态清空陈旧记忆,但仅能决定“存什么”,无法根据历史统计特性指导“怎么读”;CCQ 与其正交互补,挂载后显著补齐了长程上下文召回短板。
  • vs DeltaNet / Gated DeltaNet (差分更新规则):Delta 规则通过在线最小二乘解实现对相似键的软覆盖,提升了线性记忆容量,但读取依然使用朴素内积;CCQ 进一步消除了背景残余方差对微弱信号的遮蔽效应。
  • vs Hedgehog / Performer (核特征映射方法):Hedgehog 等通过设计非线性特征映射拟合 Softmax 的尖锐内积,试图在写之前模拟注意力分布,但计算开销大且在长程下容易退化;CCQ 维持简单的线性特征映射,通过二阶统计直接压制竞争噪声,在超长外推上稳定性更强。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从 Softmax 局部曲率推导出用于线性注意力读取的协方差收缩算子,切入视角极具启发性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 500M 与 1.3B 双尺度、从头预训练、跨 5 种基线、四类评测基准并伴有严格的几何探测与消融分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽,几何动机生动直观,图表设计信息密度高。
  • 价值: ⭐⭐⭐⭐⭐ 为解决线性注意力与循环模型长程检索弱点提供了全新的设计维度,对长文本序列建模具重要参考价值。