跳转至

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态VLM
关键词: 长文本强化学习, 固有激活模式, 显著性稀疏更新, DAPO, 序列维度降维

一句话总结

LongAct 发现长上下文处理时注意力机制的 Query 与 Key 隐藏维度存在固有高幅值异常激活,通过组内注意力头显著性动态生成梯度掩码,仅稀疏更新关键高幅值关联权重,在 LongBench v2 上带来近 8% 的推理性能增益。

研究背景与动机

强化学习(RL)已成为激发大语言模型推理潜能的关键引擎,尤其在多轮长对话理解、长文档结构化解析与长轨迹智能体等真实复杂场景中展现出不可替代的价值。然而,现有的长文本强化学习研究几乎完全将模型参数更新视作黑盒,优化探索主要局限在外部监督信号与训练课程设计上——例如构造高质量的长链合成数据、引入细粒度可验证奖励缓解反馈稀疏、或者采用渐进式上下文窗口缩放策略。这些方法依赖外部试错反馈,忽视了模型在长序列演进中内部表征空间的动态组织规律。

与此同时,大模型的复杂推导本质上依赖于隐状态空间中的连续思维轨迹,而非单纯的表层 token 逐字生成。在模型量化与注意力稀疏化研究中,学界已观察到隐层维度并非等权贡献,极少数高幅值激活(outliers)不成比例地编码了最为关键的上下文接地信息;而在长上下文场景下,信息处理天然表现出极高稀疏性,但现有工作仅在 token 序列维度上进行硬剪枝或选取,从未深入到隐层特征维度的内在结构中。经验分析表明,沿序列维度的 L2 范数并不存在统计显著的高低分化,反而在 Query 和 Key 的隐藏特征维度上,呈现出极其尖锐且头内分布不均的高幅值激活模式。

若在强化学习阶段对全部权重施加均匀更新,密集的梯度反向传播会破坏非关键通路的脆弱表征,甚至诱发分布漂移与重复崩溃。受此启发,本文提出不再对参数全盘施加均匀强化学习更新,而是从黑盒反馈转向利用模型固有的表征显著性进行引导。核心 idea:利用长上下文注意机制中 Query/Key 固有的头内高幅值激活作为结构锚点,动态构建参数行梯度掩码进行显著性稀疏更新,在零推理开销下精准加固长程上下文理解子网络。

方法详解

整体框架

LongAct 的执行流水线包含「冷启动监督微调(SFT)」与「显著性引导的长上下文强化学习(RL)」两个阶段。在进入 RL 阶段后,针对长输入序列 \(c\) 与推理问题 \(x\),策略模型 \(\pi_\theta\) 首先进行组采样生成多条带有思维链标签的候选回答。在反向传播计算梯度时,系统通过预先在批次上沿序列维度计算的 Query 与 Key 隐状态 L2 范数,提炼出头内局部显著特征索引,动态映射至注意力投影矩阵 \(W_Q\) 和 \(W_K\) 对应的权重行,构建二值更新掩码,冻结绝大多数无关行参数,仅对高幅值关键参数与后续层进行策略优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长上下文输入 c + 任务指令 x"] --> B["冷启动微调模型<br/>规范化输出格式并注入强推理先验"]
    B --> C["注意力投影激活捕获<br/>统计序列维度 L2 范数特征矩阵"]
    C --> D["头内显著特征局部筛选<br/>Top-k 提取注意力高幅值关键维度"]
    D --> E["动态梯度掩码构建与稀疏反向传播<br/>仅更新 Query/Key 关联参数行"]
    E --> F["规则化多项奖励与策略优化<br/>DAPO / GRPO 稳定驱动长程推理演化"]

关键设计

1. 头内显著特征局部筛选:跨头解耦的 Top-k 激活矩阵提取

针对全局阈值筛选极易造成多头注意力分配失衡的痛点,LongAct 放弃跨头全局 Top-k,改为在各注意力头内部独立实施特征显著性提取。对于 Query 投影矩阵 \(W_Q \in \mathbb{R}^{H_Q \times D \times d_{model}}\) 与输入隐状态 \(H_{in} \in \mathbb{R}^{B \times S \times d_{model}}\),通过序列维度 \(S\) 的平方累加计算期望 L2 范数矩阵 \(M_Q \in \mathbb{R}^{H_Q \times D}\):

\[M_{Q_{h,d}} = \frac{1}{B} \sum_{i=1}^{B} \sqrt{\sum_{s=1}^{S} (Q^{(i)}_{s,h,d})^2}\]

基于预先计算的幅值矩阵,在每个头 \(h\) 内部独立选拔前 \(k = \lfloor\lambda D\rfloor\) 个最高幅值的特征维度集合 \(K_h = \{d \mid d \in \arg k\max_{d'=0}^{D-1} \{M_{Q_{h,d'}}\}\}\),其中 \(\lambda\) 为稀疏度超参数(默认设为 0.3)。这种头内局部机制有效保护了注意力头的多样性,防止少数主导头挤占稀疏更新配额,确保各头均能保留独特的长程上下文寻址能力。

2. 动态梯度掩码构建与稀疏反向传播:行级映射与零推理额外开销

针对全量密集梯度更新在强化学习中易引入噪声扰动、破坏预训练表征结构的痛点,LongAct 建立了激活输出通道到权重矩阵行的精确映射。在注意力投影矩阵中,头索引 \(h\) 与头内局部维度 \(d\) 对应的全局权重行索引为 \(j(h, d) = h \cdot D + d\)。系统据此生成二值梯度掩码 \(G_Q \in \{0, 1\}^{H_Q \times D \times d_{model}}\):

\[G_{Q_{r,:}} = \begin{cases} \mathbf{1}, & \text{if } r \in \{j(h, d) \mid \forall h, d \in K_h\} \\ \mathbf{0}, & \text{otherwise} \end{cases}\]

在反向传播计算梯度时,梯度张量直接进行 Hadamard 积过滤:\(\nabla W_Q \leftarrow \nabla W_Q \odot G_Q\),\(\nabla W_K \leftarrow \nabla W_K \odot G_K\)。投影层中仅约 30% 关键权重接收梯度,而 \(W_V\)、\(W_O\) 及 MLP 层保持常规更新。在推理阶段,该梯度掩码直接丢弃,模型完全等价于标准密集 Transformer,完全零额外计算延迟,无需修改底层部署引擎架构。

3. 规则化多项奖励与策略优化:格式隔离与长程验证引导

针对长文本生成中推理链冗长导致外部判别模型(Critic)评估不准且计算极昂贵的缺陷,系统采用免去 Critic 的组相对策略优化框架(以 DAPO 为主干,兼容 GRPO),并配以纯规则型复合奖励函数:

\[r(y) = r_{fmt}(y) + r_{ans}(y)\]

其中格式奖励 \(r_{fmt}(y)\) 严格检验输出是否包含完整规范的 <think>、</think>、<answer> 及 </answer> 标签;答案奖励 \(r_{ans}(y)\) 则对最终抽取结果进行可验证的精确匹配评分。通过组内多条采样轨迹的归一化优势计算 \(A_i = \frac{r_i - \text{mean}(\{r_j\})}{\text{std}(\{r_j\})}\),强行拉开逻辑推理严密轨迹与低质输出的梯度差,使稀疏梯度高效聚集在主导长文本检索与归纳的关键权重之上。

损失函数 / 训练策略

训练分为两个先后阶段: 1. 冷启动阶段(SFT):在 LLaMA-Factory 框架下,基于 20k 条蒸馏自 AM-DeepSeek-R1 的高质量多轮推理指令数据,使用标准交叉熵损失 \(\mathcal{L}_{SFT}(\theta) = -\mathbb{E}_{(x,y)} \sum_{t=1}^{|y|} \log \pi_\theta(y_t \mid x, y_{<t})\) 微调,学习率采用余弦退火(峰值 2e-5,预热比例 0.03),最大序列长度 16,384,训练 900 步以对齐 <think> 标签规范。 2. 长文本强化学习阶段(RL):在 verl 框架下采用 DAPO 算法,训练混合 DocQA-RL-1.6K 与 MemAgent 抽取的 1K 样本,最大序列长度扩展至 32,768。学习率设为 1e-6,每步 rollout 采样 16 条轨迹,采样温度 1.0,最大生成长度 4096。稀疏比例 \(\lambda = 0.3\),仅对 \(W_Q\) 和 \(W_K\) 施加动态行级掩码。

实验关键数据

主实验

在代表性真实深度长文本基准 LongBench v2(包含 Easy/Hard 难度划分与 <32k、32-128k、>128k 长度划分)上的评测结果如下:

模型骨干 训练配置 Overall Easy Hard Short (<32k) Medium (32-128k) Long (>128k)
Qwen3-8B* (官方) 官方发布版 33.60 39.58 29.90 39.44 28.37 34.26
Qwen3-8B Base 基座 20.68 19.27 21.54 28.33 17.67 13.89
Qwen3-8B SFT 冷启动 27.04 28.65 26.05 32.22 24.65 23.15
Qwen3-8B SFT w/ DAPO (全量更新) 32.80 40.10 28.30 38.33 28.37 32.41
Qwen3-8B SFT w/ LongAct (本文) 36.73 38.02 35.93 41.94 33.37 34.72
Qwen3-4B* (官方) 官方发布版 31.41 34.90 29.26 35.56 27.91 31.48
Qwen3-4B Base 基座 17.10 19.79 15.43 21.11 13.49 17.59
Qwen3-4B SFT 冷启动 25.65 21.35 28.30 33.33 22.33 19.44
Qwen3-4B SFT w/ DAPO (全量更新) 30.42 28.12 31.83 33.33 31.16 24.07
Qwen3-4B SFT w/ LongAct (本文) 34.24 33.07 34.97 37.92 31.63 33.33

在长上下文合成基准 RULER(128K 与 64K 上下文窗口)下的评测数据如下:

模型设置 Ruler-128K Avg Ruler-128K NIAH Ruler-128K VT Ruler-64K Avg Ruler-64K NIAH Ruler-64K VT
Qwen3-8B-Base 36.95 51.88 47.68 41.87 61.76 28.08
Qwen3-8B-SFT 44.42 61.64 51.96 43.65 62.96 31.00
Qwen3-8B-SFT w/ DAPO 49.63 57.64 76.56 45.26 66.13 32.52
Qwen3-8B-SFT w/ LongAct 51.15 63.70 75.24 46.37 69.64 34.96
Qwen3-4B-Base 32.15 46.74 45.64 44.74 60.55 56.40
Qwen3-4B-SFT 49.57 53.02 91.44 54.56 66.20 90.92
Qwen3-4B-SFT w/ DAPO 51.21 54.57 90.48 59.05 67.74 94.96
Qwen3-4B-SFT w/ LongAct 52.63 56.29 90.64 61.30 69.68 94.52

消融实验

1. 激活选取策略与更新稀疏度消融(在 LongBench v2 上的表现)

消融维度 具体配置 8B Overall 8B Hard 8B Long (>128k) 4B Overall 4B Hard 4B Long (>128k)
基础对照 SFT Baseline 27.04 26.05 23.15 25.65 28.30 19.44
选取策略对比 + 随机行选择 (Random 30%) 28.63 27.65 25.00 29.03 28.30 27.78
选取策略对比 + 低幅值行选择 (Min Values 30%) 29.82 27.97 26.85 30.22 34.08 32.41
选取策略对比 + 高幅值行选择 (Massive Values 30%) 36.73 35.93 34.72 34.24 34.97 33.33
稀疏比例对比 + 20% 高幅值参数 32.41 28.30 25.00 30.42 30.55 32.41
稀疏比例对比 + 30% 高幅值参数 (默认设置) 36.73 35.93 34.72 34.24 34.97 33.33
稀疏比例对比 + 40% 高幅值参数 35.98 33.12 34.26 32.80 33.44 27.78

2. 激活扰动破坏实验(LongBench v2 样本正确数分析,共 503 题)

扰动测试设置 评测精度 (正确数 / 总数) 文本生成现象与逻辑特征
Qwen3-8B 原始模型 173 / 503 正常思维链推导,能准确落地最终答案
Qwen3-8B 破坏低幅值 30% 激活(置为均值) 108 / 503 思维链仍保留结构连贯性与转折词,输出正确答案
Qwen3-8B 破坏高幅值 30% 激活(置为均值) 0 / 503 推理能力彻底崩塌,退化为无意义死循环(如 333333...)

关键发现

  • 显著性维度是长程推理的支柱:将高幅值前 30% 维度钳位至均值后,模型检索正确率直接跌零(0/503),而破坏低幅值 30% 仍能做对 108 题;训练时选择高幅值更新(36.73)显著压倒选择低幅值更新(29.82)与随机选择(28.63)。
  • 极度擅长攻坚硬核难题:在 LongBench v2 的 Hard 子集上,LongAct 8B 取得了 35.93 分,相较于全量更新的 DAPO(28.30)实现高达 +7.63 的巨大提升,验证了稀疏锚点更新在对抗复杂长程误差累积时的优越稳定性。
  • 跨强化学习算法高度泛用:在 LongBench v2 8B 上,LongAct 配合 DAPO 达 36.73,配合 GRPO 达 35.04,配合 CLIP-conv 达 35.04,配合 KL-conv 达 34.24,均显著超越未采用稀疏更新的基线。
  • 正向增益反哺短文本推理:在标准短上下文基准测试中,LongAct 在 GSM8K(80.13 vs 78.08)、HumanEval(73.17 vs 69.51)以及 TruthfulQA(69.52 vs 68.95)上同步取得增益,证明其本质上强化了通用子网络的优化质量。

亮点与洞察

  • 将表征量化规律反哺强化学习:将模型量化中针对离群激活的刻画迁移至长文本 RL 的参数更新空间,打破了长上下文优化只做外部奖励与课程工程的黑盒视角。
  • 头内局部 Top-k 消除多头配额倾轧:按单头内部特征维度进行 Top-k 选择而非跨层全局截断,优雅保留了不同注意力头在多任务空间中的特化表征多样性。
  • 零推理代价的透明即插即用:所有动态掩码计算仅存在于反向传播图构建中,推理部署阶段权重完全静态融合,无任何额外内存开销与算力延迟。

局限与展望

  • 算力受限下未探索超大参数量模型:受限于 8 卡 H800 算力规模,实验仅在 4B 与 8B 参数级别验证,更大规模模型(如 70B+)的激活离群程度及稀疏扩展规律有待检验。
  • 稀疏度超参数设为静态固定值:当前对所有注意力头与层级统一固定 \(\lambda = 0.3\),未探索根据各层激活幅值方差自适应调节各层稀疏比率。
  • 仅聚焦注意力投影层更新:MLP 门控层同样存在明显的维度激活模式,将显著性稀疏拓展到 FFN 层参数更新是值得推进的潜在方向。

相关工作与启发

  • vs LongRLVR / LongDPO: 此类工作侧重于外部长文本专用可验证奖励函数设计或逐步对比批评,而 LongAct 从模型内部表征几何出发,两者在长文本强化学习训练中完全正交且可叠加集成。
  • vs AWQ / KIVI: 量化方法仅将高幅值激活视为保护低比特精度的先验权重,LongAct 则进一步证实高幅值激活是长程逻辑推理的神经子网络锚点,并将其作为引导策略梯度的动态滤波器。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 首次将长上下文内部高幅值激活特征引入强化学习参数更新策略,构思精巧。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LongBench v2、RULER、InfiniteBench、短文本基准及极其透彻的消融与破坏实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机清晰,数学符号表达严谨,分析图表极具说服力。
  • 价值: ⭐⭐⭐⭐☆ 为长文本大模型训练提供了低成本、即插即用且通用的梯度优化新范式。