LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning in LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理
关键词: 长文本推理, 强化学习, 固有激活模式, 显著性稀疏更新, GRPO/DAPO
一句话总结¶
揭示长文本注意力中 Query/Key 存在跨序列稳定的高幅值离群特征维度,提出 LongAct 显著性引导稀疏强化学习策略,仅更新与高幅值激活对应的注意力权重(默认保留前 30%),在保持推理结构与通用泛化性的同时将 Qwen3-8B 的 LongBench v2 成绩提升约 8%(36.73% vs 基线 27.04%/全参 DAPO 32.80%)。
研究背景与动机¶
强化学习(RL)已成为激发大语言模型复杂多步推理能力的核心引擎。在数学推导、代码生成等短上下文场景中,基于规则奖励(如 DeepSeek-R1、GRPO)的策略优化取得了瞩目突破。随着大模型应用向长文档多轮对话、海量结构化代码理解以及超长轨迹 Agent 决策等真实场景拓展,学术界开始尝试将强化学习引入长文本领域。然而,现有的长文本强化学习研究几乎完全将重心放在了外部监督信号的设计上,例如构建高质量长文本 CoT 合成数据、引入渐进式上下文窗口调度、设计细粒度上下文可验证奖励(如 LongRLVR),或者在模型架构层面引入线性注意力与分块稀疏机制。
现存长文本强化学习方法在本质上依然将 Transformer 的内部深层计算视作完全不可见的“黑盒”,默认在策略优化迭代中对全量参数进行无差别密集梯度更新。这种粗暴的密集更新机制在长上下文语境下面临致命矛盾:复杂逻辑推导高度依赖于隐状态空间中连贯稳定的“思考轨迹”,而在超长序列下,微弱的梯度扰动极易在自注意力层中累积,导致关键上下文锚点漂移。更关键的是,模型权重的更新往往会破坏预训练阶段沉淀下来的长程上下文检索与注意力感知结构,引发奖励崩塌或灾难性遗忘。长文本天然具有稀疏注意力结构(例如极少部分关键 token 即可决定全局语义),然而这一稀疏特性此前仅在 token 粒度被粗粒度利用,未曾深入到模型内部隐藏状态与权重的交互机制中。
从模型量化与表征机理中可以获得关键启发:在长文本处理过程中,自注意力模块的隐藏特征维度并非等权贡献,少数特定通道始终呈现出极高幅值的激活值(outliers),这些特征通道在模型量化中正是决定知识保留的支柱;干扰这些高幅值特征会直接导致长文本推理彻底崩溃为死循环重复。核心 idea:利用注意力 Query/Key 中跨序列稳定的内在固有高幅值激活模式作为结构锚点,提出显著性引导的稀疏强化学习框架 LongAct,在反向传播中仅将梯度反传至与高幅值激活通道严格对应的投影权重行,在零推理开销前提下实现高抗噪、强泛化的长上下文策略优化。
方法详解¶
整体框架¶
LongAct 采用“冷启动监督微调(SFT)+ 显著性引导长文本强化学习(RL)”的两阶段范式。在冷启动阶段,基座模型首先在格式规范的高质量 CoT 轨迹上完成基础对齐;随后在长文本强化学习训练循环中,针对采样的长文档推理任务进行策略探索。
针对当前策略网络,LongAct 在每个训练步统计自注意力 Query 与 Key 隐藏表征跨序列维度的 \(\ell_2\) 范数,捕获各注意力头内部维度的高幅值激活轮廓;接着执行头内局部 Top-\(k\) 选择,生成与高幅值通道严格对应的参数梯度掩码。在反向传播时,仅将梯度赋给 \(W_Q\) 与 \(W_K\) 的关键权重行(其余权重梯度清零冻结),\(W_V\)、\(W_O\) 及 MLP 模块则保持常规全量更新。在推理阶段完全丢弃掩码,模型维持标准稠密 Transformer 计算,无任何额外计算延迟与架构修改。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["长文本推理输入<br/>(Context c + Question x)"] --> B["前向传播与注意力计算<br/>Q, K 激活张量投影"]
B --> C["注意力激活幅值统计<br/>跨序列计算 l2-norm 矩阵"]
C --> D["头内显著性维度筛选<br/>动态选取 Top-k 激活通道"]
D --> E["权重行动态梯度掩码构建<br/>生成二值 Mask 映射 GQ, GK"]
E --> F["显著性引导稀疏强化学习优化<br/>仅更新 WQ, WK 目标行 + 规则奖励"]
F --> G["优化后推理部署<br/>掩码舍弃,标准稠密执行零开销"]
关键设计¶
1. 注意力激活幅值统计:精准量化隐状态维度的上下文承载锚点
针对长文本推理中注意力激活分布极度不均匀的特性,LongAct 放弃在序列维度做 token 筛选(分析表明跨序列位置并无稳定的全局显著特征),而是深入到隐藏特征维度识别承载长程语义的核心通道。设隐藏状态为 \(H_{in} \in \mathbb{R}^{B \times S \times d_{model}}\),Query 和 Key 的投影权重分别为 \(W_Q \in \mathbb{R}^{H_Q \times D \times d_{model}}\) 和 \(W_K \in \mathbb{R}^{H_{KV} \times D \times d_{model}}\),投影后得到的激活张量分别为 \(Q \in \mathbb{R}^{B \times S \times H_Q \times D}\) 和 \(K \in \mathbb{R}^{B \times S \times H_{KV} \times D}\)。为了提取跨长序列稳定的固有显著性模式,LongAct 在序列维度 \(S\) 上聚合平方和,并在当前 batch 上求期望,定义全局激活幅值矩阵 \(M^Q \in \mathbb{R}^{H_Q \times D}\)(\(M^K\) 同理)。对于 Query 头 \(h\) 的特征维度 \(d\),其显著性指标定义为:
这一指标直接滤除了瞬时 token 的波动噪声,精确锚定了长程关联建模中起关键支柱作用的隐藏特征通道。
2. 头内显著性维度筛选:多头结构感知的高幅值通道索引
为了避免全局全局 Top-\(k\) 选取造成不同注意力头之间的激活竞争失衡(某些敏感头可能被整体淹没或过度主导),LongAct 提出了头内局部(intra-head)Top-\(k\) 筛选策略。对于每一个特定的注意力头 \(h\),在总维度 \(D\) 中根据激活幅值降序选取前 \(k = \lfloor \lambda D \rfloor\) 个关键特征维度,构成关键维度索引集合 \(\mathcal{K}_h\):
其中超参数 \(\lambda \in (0, 1]\) 表示稀疏度比例(实验证明 \(\lambda = 0.3\) 最优)。这种头内约束不仅完好保留了多头注意力的多子空间表征多样性,也为后续参数级别的定向更新提供了严密对齐的物理映射基底。
3. 权重行动态梯度掩码构建:激活输出通道与权重行的一对一映射
针对投影权重矩阵的线性变换特性,Query 激活中某一特定头 \(h\) 的特征通道 \(d\) 的输出值,直接由权重矩阵 \(W_Q\) 中对应的某一行向量与其输入隐状态点积产生。投影权重在扁平化展开后总行数为 \(H_Q \times D\),其对应的全局行索引严格遵循映射公式:
LongAct 构建二值梯度掩码 \(G^Q \in \{0, 1\}^{H_Q \times D \times d_{model}}\)。矩阵中第 \(r\) 行仅当对应选中的高幅值激活维度时其梯度掩码才置为全 1,其余行置为全 0:
在反向传播计算梯度后,通过哈达玛积对梯度进行动态滤波:\(\nabla W_Q \leftarrow \nabla W_Q \odot G^Q\),\(\nabla W_K \leftarrow \nabla W_K \odot G^K\)。这确保了在整个强化学习训练期间,注意力子空间中与上下文知识检索紧密绑定的“承重柱”得到充分优化,而其余非关键行被完全冻结,阻断了策略更新带来的剧烈扰动。
损失函数 / 训练策略¶
LongAct 的训练流水线包含冷启动微调与策略优化两个阶段:
- SFT 冷启动(Cold Start):采用标准交叉熵损失 \(\mathcal{L}_{SFT}(\theta) = -\mathbb{E}_{(x, y) \sim \mathcal{D}_{SFT}} \sum_{t=1}^{|y|} \log \pi_\theta(y_t \mid x, y_{<t})\),在约 20k 条蒸馏自 DeepSeek-R1 的高质量长推理 CoT 样本上微调 900 步,峰值学习率 \(2 \times 10^{-5}\),上下文窗口设为 16,384,确保模型牢固掌握
<think> ... </think>和<answer> ... </answer>的显式推理格式。 - 长文本强化学习(RLVR):基于 DAPO 框架实现更稳定的组相对策略优化,批大小设为 8,每次采样 rollout 数为 16,学习率降至 \(1 \times 10^{-6}\),最大序列长度设为 32,768。训练混合了 DocQA-RL-1.6K 以及来自 MemAgent 的 1K 长上下文样本。
- 复合规则奖励设计:奖励函数定义为格式奖励与答案正确性奖励之和 \(r(y) = r_{fmt}(y) + r_{ans}(y)\)。仅当模型完整输出成对标签时 \(r_{fmt} = 1\)(否则为 0);当提取出的最终答案与标注严格匹配时 \(r_{ans} = 1\)(否则为 0)。结合组内归一化优势计算驱动策略更新。
实验关键数据¶
主实验¶
LongBench v2 涵盖 Easy/Hard 难度以及 Short (<32k)、Medium (32-128k)、Long (>128k) 三档长度,综合评估模型真实长文本推理深度。Qwen3 官方模型、基座模型、冷启动 SFT、全量参数 DAPO 与 LongAct 的评测对比如下:
| 模型 | Overall | Easy | Hard | Short (<32k) | Medium (32-128k) | Long (>128k) |
|---|---|---|---|---|---|---|
| Qwen3-8B* (Official) | 33.60 | 39.58 | 29.90 | 39.44 | 28.37 | 34.26 |
| Qwen3-8B-Base | 20.68 | 19.27 | 21.54 | 28.33 | 17.67 | 13.89 |
| Qwen3-8B-SFT | 27.04 | 28.65 | 26.05 | 32.22 | 24.65 | 23.15 |
| Qwen3-8B-SFT w/ DAPO | 32.80 | 40.10 | 28.30 | 38.33 | 28.37 | 32.41 |
| Qwen3-8B-SFT w/ LongAct | 36.73 | 38.02 | 35.93 | 41.94 | 33.37 | 34.72 |
| Qwen3-4B* (Official) | 31.41 | 34.90 | 29.26 | 35.56 | 27.91 | 31.48 |
| Qwen3-4B-Base | 17.10 | 19.79 | 15.43 | 21.11 | 13.49 | 17.59 |
| Qwen3-4B-SFT | 25.65 | 21.35 | 28.30 | 33.33 | 22.33 | 19.44 |
| Qwen3-4B-SFT w/ DAPO | 30.42 | 28.12 | 31.83 | 33.33 | 31.16 | 24.07 |
| Qwen3-4B-SFT w/ LongAct | 34.24 | 33.07 | 34.97 | 37.92 | 31.63 | 33.33 |
注:Qwen3-8B* 与 Qwen3-4B* 为 HuggingFace 官方发布的对应尺寸后训练模型。
在合成长序列评测基准 RULER(128K 与 64K 上下文)上,LongAct 在长距离多键多值检索与聚合任务中展现出优异鲁棒性:
| 模型 | Ruler-128K (Avg) | Ruler-128K (NIAH) | Ruler-128K (VT) | Ruler-64K (Avg) | Ruler-64K (NIAH) | Ruler-64K (VT) |
|---|---|---|---|---|---|---|
| Qwen3-8B-Base | 36.95 | 51.88 | 47.68 | 41.87 | 61.76 | 28.08 |
| Qwen3-8B-SFT | 44.42 | 61.64 | 51.96 | 43.65 | 62.96 | 31.00 |
| Qwen3-8B-SFT w/ DAPO | 49.63 | 57.64 | 76.56 | 45.26 | 66.13 | 32.52 |
| Qwen3-8B-SFT w/ LongAct | 51.15 | 63.70 | 75.24 | 46.37 | 69.64 | 34.96 |
| Qwen3-4B-Base | 32.15 | 46.74 | 45.64 | 44.74 | 60.55 | 56.40 |
| Qwen3-4B-SFT | 49.57 | 53.02 | 91.44 | 54.56 | 66.20 | 90.92 |
| Qwen3-4B-SFT w/ DAPO | 51.21 | 54.57 | 90.48 | 59.05 | 67.74 | 94.96 |
| Qwen3-4B-SFT w/ LongAct | 52.63 | 56.29 | 90.64 | 61.30 | 69.68 | 94.52 |
此外在 InfiniteBench 异构任务(检索、长文档摘要、跨语言 QA、多选推理)上,Qwen3-8B-SFT w/ LongAct 平均分达 49.39%(对比 SFT 46.68%、全参 DAPO 48.11%),在英文摘要 En.Sum(14.18% \(\to\) 15.83%)与多选推理 En.MC(54.15% \(\to\) 59.39%)上提升尤为显著。
消融实验¶
1. 激活特征筛选策略消融(LongBench v2)¶
对比更新高幅值维度(Massive values)、低幅值维度(Min values)以及随机采样维度(Random):
| 策略配置 | Overall | Easy | Hard | Short | Medium | Long |
|---|---|---|---|---|---|---|
| Qwen3-8B-SFT (Cold-start) | 27.04 | 28.65 | 26.05 | 32.22 | 24.65 | 23.15 |
| + Random selection | 28.63 | 30.21 | 27.65 | 28.33 | 30.70 | 25.00 |
| + Min values (更新低幅值) | 29.82 | 32.81 | 27.97 | 35.00 | 26.98 | 26.85 |
| + Massive values (LongAct, 更新高幅值) | 36.73 | 38.02 | 35.93 | 41.94 | 33.37 | 34.72 |
| Qwen3-4B-SFT (Cold-start) | 27.04 | 28.65 | 26.05 | 32.22 | 24.65 | 23.15 |
| + Random selection | 29.03 | 30.21 | 28.30 | 30.00 | 28.84 | 27.78 |
| + Min values (更新低幅值) | 30.22 | 23.96 | 34.08 | 27.78 | 31.16 | 32.41 |
| + Massive values (LongAct, 更新高幅值) | 34.24 | 33.07 | 34.97 | 37.92 | 31.63 | 33.33 |
2. 更新稀疏度比例 \(\lambda\) 消融(LongBench v2)¶
探究选择高幅值参数更新的比例对长文本推理性能的影响:
| 模型及稀疏度配置 | Overall | Easy | Hard | Short | Medium | Long |
|---|---|---|---|---|---|---|
| Qwen3-8B-SFT (Cold-start) | 27.04 | 28.65 | 26.05 | 32.22 | 24.65 | 23.15 |
| + 20% massive values | 32.41 | 39.06 | 28.30 | 39.44 | 30.23 | 25.00 |
| + 30% massive values (默认) | 36.73 | 38.02 | 35.93 | 41.94 | 33.37 | 34.72 |
| + 40% massive values | 35.98 | 40.62 | 33.12 | 38.33 | 34.88 | 34.26 |
| Qwen3-4B-SFT (Cold-start) | 27.04 | 28.65 | 26.05 | 32.22 | 24.65 | 23.15 |
| + 20% massive values | 30.42 | 30.21 | 30.55 | 29.44 | 30.23 | 32.41 |
| + 30% massive values (默认) | 34.24 | 33.07 | 34.97 | 37.92 | 31.63 | 33.33 |
| + 40% massive values | 32.80 | 31.77 | 33.44 | 41.11 | 28.37 | 27.78 |
3. 强化学习基础算法通用性验证(LongBench v2)¶
在 Qwen3-8B-SFT 与 4B-SFT 上横向验证 LongAct 策略与不同 RL 算法的兼容性:
| 算法设置 | Overall (8B) | Hard (8B) | Long (8B) | Overall (4B) | Hard (4B) | Long (4B) |
|---|---|---|---|---|---|---|
| SFT Baseline | 27.04 | 26.05 | 23.15 | 25.65 | 28.30 | 19.44 |
| + DAPO w/ LongAct | 36.73 | 35.93 | 34.72 | 34.24 | 34.97 | 33.33 |
| + GRPO w/ LongAct | 35.04 | 31.27 | 28.24 | 33.45 | 32.72 | 36.34 |
| + CLIP-conv w/ LongAct | 35.04 | 31.51 | 32.87 | 32.11 | 31.83 | 34.72 |
| + KL-conv w/ LongAct | 34.24 | 32.32 | 28.24 | 33.90 | 35.05 | 37.27 |
4. 高低激活扰动机理分析(LongBench v2 检索准确率,503 题)¶
| 扰动设置 | 预测正确数 / 总样本数 | 准确率 | 典型输出行为 |
|---|---|---|---|
| 原始 Qwen3-8B | 173 / 503 | 34.4% | 连贯思考,格式规整 |
| w/o Non High-magnitude(截断最小 30% 激活) | 108 / 503 | 21.5% | 保持逻辑连接词与有效 CoT 推导 |
| w/o High-magnitude(截断最高 30% 激活) | 0 / 503 | 0.0% | 完全崩溃,输出死循环数字(如 333333...) |
关键发现¶
- 高幅值激活是长文本连贯性的结构承重墙:扰动实验直接证实,抑制底层低幅值激活仅造成部分精度损失,但一旦破坏最高 30% 的高幅值激活,模型在 LongBench v2 上的正确率直接归零(0/503),生成陷入无休止的单字符重复死循环。这确凿地证明高幅值特征维系着注意力记忆寻址与长上下文逻辑的生命线。
- Hard 难例与长序列收益最为显著:对比全参 DAPO,LongAct 的最大优势体现在错误容易快速级联累积的 Hard 题型(Qwen3-8B 上提升达 +7.63%,35.93% vs 28.30%)以及超长序列 Long 分割上(Qwen3-4B 上长序列由 24.07% 飙升至 33.33%,提升 +9.26%)。
- 中等稀疏度(30%)达到最优鲁棒平衡:当更新参数比例从 20% 增至 30% 时性能显著跃升;但当进一步放宽至 40% 时性能反而回落(8B 上 36.73% \(\to\) 35.98%)。这说明密集更新会引入非必要特征的梯度噪声,稀疏化恰好契合强化学习在微调中仅需定向对齐“功能子网络”的内在规律。
- 兼具短文本通用推理增益:短上下文基准测试表明,LongAct 在 GSM8K(80.13% vs 全参 DAPO 78.08%)、HumanEval(73.17% vs 69.51%)与 TruthfulQA(69.52% vs 68.95%)上同步刷新最优成绩,证明该稀疏更新策略扮演了普适性抗噪优化器的角色。
亮点与洞察¶
- 将量化离群值机理逆向迁移至强化学习优化:巧妙地将注意力离群值(Outliers)在模型量化中的关键作用迁移到长序列策略梯度优化中,打破了以往长文本 RL 局限于奖励工程和外部数据合成的纯外向范式,开辟了内向表征引导策略优化的新路径。
- 零推理代价的“即插即用”训练增强:动态梯度掩码只在反向传播期间过滤梯度,正向推理完全无需保留任何掩码矩阵或专用算子,模型架构与计算延迟毫无负担,具有工业级落地与广泛适配价值。
- 多头独立的特征显著性对齐:采用头内局部 Top-\(k\) 机制,避免了全局通道幅值不均导致不同注意力功能头失衡的问题,为细粒度参数子空间的选择性更新提供了可靠模板。
局限与展望¶
- 模型规模验证受限:受限于研究团队的计算资源预算,实验主要在 Qwen3-4B 与 Qwen3-8B 规模上开展,尚未在 32B 或 70B 等超大参数量模型上检验高幅值激活稀疏更新的 Scaling 效应。
- 固定稀疏度比例的静态假设:当前所有注意力头统一采用固定的 30% 稀疏度比例,未来可探索根据注意力头深浅层差异(浅层偏局部、深层偏语义)自适应动态调整分配更新比例。
- 未覆盖 MoE 路由与 MLP 隐层特征:当前稀疏掩码仅作用于自注意力的 \(W_Q\) 和 \(W_K\) 矩阵,未来可将此类激活显著性挖掘拓展至 MoE 模型的专家路由机制以及 MLP 门控特征通道中。
相关工作与启发¶
- vs LongRLVR (Chen et al., 2026):LongRLVR 侧重于针对长文本输出的可验证性设计细粒度的上下文验证奖励函数,属于外部奖励工程;而 LongAct 聚焦于模型内部注意力表征与参数梯度更新的约束,两者正交互补,可无缝结合。
- vs AWQ / Massive-Values (Lin et al., 2024; Jin et al., 2025):量化研究揭示了注意力高幅值维度的重要性并用于量化保护;LongAct 将这一静态表征特性转化为动态反向传播梯度选择器,首次证明在 RL 训练期间仅更新高幅值关联权重能显著提升长程推理泛化性。
- vs MIGU (Du et al., 2024):MIGU 依据多任务间输出的一范数幅值隔离特定任务参数以避免灾难性遗忘;LongAct 聚焦单任务长文本内部注意力在隐空间的自然稀疏性,利用二范数统计构造头内梯度掩码以过滤策略学习中的梯度噪声。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将自注意力隐藏层高幅值激活作为长上下文强化学习的梯度导向锚点,思路极其新颖。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LongBench v2、RULER、InfiniteBench 以及短文本推理,消融覆盖多种选法、稀疏度、RL 算法和深入的扰动崩塌分析。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,数学符号形式化清晰严谨,机理阐释透彻且论据翔实。
- 价值: ⭐⭐⭐⭐⭐ 为解决长文本强化学习的训练不稳定性和灾难性遗忘提供了兼具计算高效与零推理开销的通用范式。