跳转至

Long Document Reconstruction Unlocks Scalable Long-Context RLVR

会议: EMNLP 2026
论文: ACL Anthology
领域: 强化学习
关键词: 强化学习, 长文本理解, 文档重构, 可验证奖励, GRPO

一句话总结

本文提出了一种完全无监督的长文本可验证奖励强化学习(RLVR)框架,通过遮蔽长文档中的段落并让大模型从打乱的候选池中重构正确顺序,利用文档自身固有的篇章结构提供自动化、可验证的稠密奖励与课程学习信号,无需人工问答标注或教师模型蒸馏即可显著提升大模型的长上下文检索与综合推理能力。

研究背景与动机

在大语言模型(LLM)的后训练阶段,基于可验证奖励的强化学习(RLVR)已在数学证明、代码生成等严密逻辑推理任务中取得了突破性进展。这类方法依赖客观确定的最终答案作为真值反馈,使模型能够通过策略梯度自我探索并掌握复杂的逐步解题路径。然而,随着智能体应用的发展,模型面临的认知瓶颈正从局部短程的多步逻辑推导逐渐转移至海量长上下文的处理与综合。在数万至数十万 token 的长序列中,LLM 极易陷入“迷失在中间”(Lost in the Middle)的注意力涣散状态,难以维持全篇叙事的逻辑连贯性与跨段落的事实检索精度。

当前提升长文本能力的 RLVR 或监督微调(SFT)方法面临着严峻的可扩展性瓶颈。现存方案普遍依赖海量长上下文问答对,而这类高质量问答数据必须依靠高昂的人类专家标注,或者依赖前沿闭源教师模型(如 GPT-4 / Claude)通过复杂提示工程合成评估细则与参考答案。这种对外部监督的深度依赖不仅成本极为高昂、难以扩展到强化学习所需的数十万样本规模,还极易将教师模型的固有偏置与能力上限转移给学生模型,甚至在真实长篇章中难以覆盖多样化的长程依赖模式。

这一困境的核心矛盾在于:长上下文理解能力本身具有极强的通用性需求,但能够提供确定性奖励的监督信号却极难大规模获取。针对这一瓶颈,本文的切入视角是回归文本本身的内在结构——未受人工标注的长文档内部天然蕴含着严谨的叙事逻辑、语篇连贯性与段落先后依存关系。核心 idea:将长文本理解重构为一个段落遮蔽与恢复排序的序列决策任务,直接利用原始文档的真实排列作为完全客观、无需人工监督的可验证奖励,并通过复杂度递增的课程学习与 GRPO 算法,引导大语言模型自发内化长程结构依赖与全局叙事一致性。

方法详解

整体框架

本文提出的无监督文档重构框架端到端地将原始长文档转换为可自动化校验的强化学习环境。整体流水线主要包括三个核心阶段:长文本任务构建、带结构有效性约束的自验证奖励计算,以及基于 GRPO 的组相对策略优化。

在数据构建阶段,系统从原始长篇语料库(涵盖书籍、arXiv 学术论文与代码仓库)中提取长文档,在文中随机选取 \(K\) 个段落进行遮蔽并替换为带有编号的特殊占位符标签,同时将这 \(K\) 个原始段落随机打乱形成候选选项池;在推理执行阶段,模型接收带占位符的残缺长文档与打乱的选项列表,通过链式思考分析上下文脉络,输出完整的选项排序;在奖励与优化阶段,自动化验证器比对模型输出与真实排序,根据是否满足置换完整性以及局部匹配准确率分发稠密奖励,最后借助 Verl 分布式框架运行 GRPO 算法迭代策略网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始无标注长文档输入<br/>书籍 · arXiv 论文 · 代码语料"] --> B["长文档遮蔽与序列重构任务形式化<br/>替换占位符并打乱候选段落选项"]
    B --> C["复杂度缩放课程学习策略<br/>K 从 2 递进至 8 扩展置换搜索空间"]
    C --> D["大模型推理生成排序结果<br/>输出预测选项序列 o"]
    D --> E["结构有效性约束与稠密部分信用奖励<br/>检验置换有效性 V(o) 并计算匹配度"]
    E --> F["GRPO 组相对策略优化更新<br/>组内标准化优势驱动参数迭代"]
    F -->|策略迭代优化| D

关键设计

1. 长文档遮蔽与序列重构任务形式化:将长文本理解转化为自监督序列决策

针对传统长文本强化学习过度依赖人工设计问答题目的痛点,本文将长文本表征学习形式化为一个组合排列重构问题。设包含 \(n\) 个自然段落的长文档表示为 \(D = \{p_1, p_2, \dots, p_n\}\),系统在文档全局范围内随机挑选 \(K\) 个非重叠段落子集进行遮蔽。原文档中的被选段落被替换为特定的显式占位符 <CHUNK_i>MISSING</CHUNK_i>(其中 \(i \in \{1, \dots, K\}\) 标记被遮蔽段落在文中的相对先后位置)。与此同时,被移除的 \(K\) 个真实段落被打乱顺序,赋予选项标识(如 A、B、C、D 等)组成候选集合附在提示末尾。

这一形式化设计的巧妙之处在于,它彻底避免了开放式长文本生成的不可控性与幻觉评判难题。模型必须通读数万 token 的跨跨度上下文,理清前因后果、论据支撑、代码依赖或情节推进,才能准确判定每个占位符应当填入哪一个候选段落。整个输出被严格约束为结构化的选项序列(例如 {B, A, D, C}),既极大压缩了输出生成的 token 消耗(典型输出长度仅需几十至几百 token),又将对长文本全局叙事连贯性的深层理解转化为完全客观离散的组合决策。

2. 结构有效性约束与分段稠密奖励:兼顾全局精确与渐进探索的反馈机制

单纯采用全对才给分的稀疏二值奖励(Sparse Reward)在组合优化问题中极易导致“零奖励陷阱”,使得模型在训练初期因为搜索空间过大而无法获得任何有效梯度更新。为此,本文设计了一种带有置换有效性约束 \(\mathcal{V}(o)\) 的分段稠密奖励函数 \(R(o, g)\):

\[R(o, g) = \begin{cases} 1, & \text{if } o = g \\ \frac{1}{K}\sum_{i=1}^K \mathbb{I}[o_i = g_i], & \text{if } \mathcal{V}(o) \land o \neq g \\ 0, & \text{otherwise} \end{cases}\]

其中 \(o = (o_1, \dots, o_K)\) 与 \(g = (g_1, \dots, g_K)\) 分别代表模型预测与真实对应的选项序列,\(\mathbb{I}[\cdot]\) 为指示函数。这里的核心设计是结构有效性条件 \(\mathcal{V}(o)\):只有当模型预测的选项集合与真实候选池完全一致且没有任何重复、遗漏或格式损坏时,\(\mathcal{V}(o)\) 才判定为真。若模型输出了重复选项(如全部猜 A 试图骗取局部命中)或不符合规范的格式,奖励直接置为 0。

该分段奖励在保证严格格式规范的同时,为部分正确的置换提供了与正确位置占比成正比的渐进信用(Partial Credit)。模型即便未能完全恢复全部 \(K\) 个位置,只要找准了其中某些关键段落的位置关系,就能获得正向优势信号,从而引导策略网络平滑且持续地收敛到全局一致的重构解。

3. 复杂度缩放课程学习策略:按置换搜索空间阶乘级扩张训练难度

在重构任务中,候选段落数量 \(K\) 直接决定了组合置换搜索空间的大小(可能排列总数为 \(K!\))。例如当 \(K=2\) 时仅有 2 种排列,模型主要关注局部的因果顺序;而当 \(K=8\) 时,搜索空间激增至 \(8! = 40,320\) 种可能,模型必须具备在超长跨度内统筹全篇结构依赖的能力。

本文充分利用 \(K\) 这一天然的难度调节旋钮,构建了复杂度梯级上升的课程学习调度机制(Curriculum Learning)。在主训练过程中,将训练样本按 \(K \in \{2, 4, 6, 8\}\) 混合配比为 3:3:3:5,先从较小 \(K\) 的任务入手使模型建立稳定的段落语义匹配基准,随后逐步推进至高 \(K\) 值样本以迫使模型探索深层长程依赖。消融实验证实,相比打乱难度顺序的随机训练,这种依循置换复杂度的课程渐进策略能够显著平抑初期策略抖动,使两款基座模型的下游长文本评测得分分别取得显著优势。

损失函数 / 训练策略

  • 策略算法:采用去除了独立价值网络(Critic)的 Group Relative Policy Optimization(GRPO)。针对每个长文档重构提示 \(q\),从旧策略 \(\pi_{\theta_{\text{old}}}\) 中采样 \(G=8\) 个回答生成轨迹 \(\{\tau^{(i)}\}_{i=1}^G\),计算其奖励 \(R_{\tau^{(i)}}\),并在组内进行均值和方差归一化以估计相对优势: $\(A(\tau^{(i)}) = \frac{R_{\tau^{(i)}} - \text{mean}(\{R_{\tau^{(j)}}\}_{j=1}^G)}{\text{std}(\{R_{\tau^{(j)}}\}_{j=1}^G)}\)$ 随后使用 PPO 样式的裁剪代理目标函数约束策略更新步长: $\(\mathcal{L}_{\text{GRPO}}(\theta) = \mathbb{E}_{\tau}\left[\min\left(r_\theta A, \text{clip}(r_\theta, 1-\epsilon, 1+\epsilon)A\right)\right], \quad r_\theta = \frac{\pi_\theta(\tau \mid q)}{\pi_{\theta_{\text{old}}}(\tau \mid q)}\)$
  • 语料规模与超参数:训练集包含 14,000 篇高质量长文档(精选书籍 8,000 篇、arXiv 论文 3,000 篇、代码 3,000 篇),平均文档长度达到 49,000 token;验证集保留 500 篇监控训练动态。优化器使用 AdamW,恒定学习率设为 \(1\times 10^{-6}\),线性预热 5 步;Prompt 批大小为 128,单条提示采样 8 个输出,最大输入上下文设为 64K,最大生成响应长度为 4096。基础设施搭建在开源分布式强化学习框架 Verl 之上。

实验关键数据

主实验

评估在两项严苛的长文本基准上展开:涵盖变量追踪(VT)、高频词抽取(FWE)、通用词抽取(CWE)以及问答(QA)的多跳合成基准 RULER(32K、64K、128K 序列长度),以及面向现实长文档多项选择评测的 LongBench v2(32K、64K、128K 序列长度)。基座模型采用 Qwen2.5-7B-Instruct-1M 和 LLaMA-3.1-8B-Instruct。

主实验结果如下表所示(RULER 分数汇报 4 类子任务均值,LongBench v2 汇报总评测分):

模型基座 评测基准 序列长度 原始基线 (Base) 本文方法 (Ours) 性能提升 (Gain)
Qwen2.5-7B-Instruct-1M RULER 32K 73.83 78.38 +4.55
Qwen2.5-7B-Instruct-1M RULER 64K 68.43 72.57 +4.14
Qwen2.5-7B-Instruct-1M RULER 128K 64.35 65.65 +1.30
Qwen2.5-7B-Instruct-1M LongBench v2 综合评分 33.20 33.80 +0.60
LLaMA-3.1-8B-Instruct RULER 32K 74.16 78.78 +4.62
LLaMA-3.1-8B-Instruct RULER 64K 61.17 71.43 +10.26
LLaMA-3.1-8B-Instruct RULER 128K 40.94 51.22 +10.28
LLaMA-3.1-8B-Instruct LongBench v2 综合评分 30.10 30.40 +0.30

在与依赖 46K 条高质量教师模型监督 QA 对的 LongRLVR (SFT) 方法对比中,本文在零人工/教师 QA 标注的前提下展现出极强的竞争力:

模型基座 训练数据类型 QA 样本数 RULER-QA 均值 LongBench v2 均值
Qwen2.5-7B-Instruct-1M (SFT) 教师模型合成 QA 对 46K 64.50 33.20
Qwen2.5-7B-Instruct-1M (Ours) 无监督文档重构 0K (14K 文档) 68.30 33.80
LLaMA-3.1-8B-Instruct (SFT) 教师模型合成 QA 对 46K 64.70 31.20
LLaMA-3.1-8B-Instruct (Ours) 无监督文档重构 0K (14K 文档) 61.20 30.40

消融实验

为了剖析课程学习策略与候选复杂度配置对最终效果的影响,作者对比了训练顺序(课程学习 vs 随机打乱)以及单一固定 \(K\) 值配置下的 RULER 均分表现:

实验维度 实验配置 Qwen2.5-7B 得分 LLaMA-3.1-8B 得分 现象与说明
基线对照 原始未经 RL 微调基线 68.86 58.76 原始指令微调模型基准性能
训练调度消融 随机打乱样本 (Shuffle=True) 69.82 65.00 难度混杂增加训练方差,增益受抑
训练调度消融 课程学习调度 (Shuffle=False) 72.20 67.12 依复杂度梯度渐进,两模型均达最佳
候选数 \(K\) 敏感性 固定 \(K=2\) (5,000 样本) 64.79 63.96 任务偏简单,长程注意力未能充分激发
候选数 \(K\) 敏感性 固定 \(K=4\) (5,000 样本) 65.83 64.27 中等复杂度对较弱模型提升显著
候选数 \(K\) 敏感性 固定 \(K=6\) (5,000 样本) 64.69 64.19 难度适中,表现相对稳健
候选数 \(K\) 敏感性 固定 \(K=8\) (5,000 样本) 64.83 63.53 置换空间急剧增大导致优化难度上升

关键发现

  • 长程注意力随上下文拉长显著增强:在 64K 与 128K 超长上下文评测中,LLaMA-3.1-8B 在 RULER 上的提升幅度均超过了 10 个百分点(64K 下从 61.17 跃升至 71.43,128K 下从 40.94 跃升至 51.22),彻底缓解了原本在超长输入下急剧崩溃的“迷失”现象。
  • 稠密奖励是稳定优化的生命线:在奖励设计消融中,纯稀疏奖励(仅全对得 1 分)在 LLaMA 上勉强保持表现,但在 Qwen 模型上导致性能出现断崖式下跌;验证集监控显示,稠密部分信用奖励(Dense Reward)能够在训练早期迅速拉升正向反馈比例,有效规避了梯度消失。
  • 文本长度与数据规模具备稳健的可扩展性:对比采用最长、最短及随机文档训练,只有最长文档组合能够带来一致的跨模型性能增益;当训练样本量从 0 扩展至 14K 再进一步扩展至 30K 时,Qwen 模型在 RULER 上的综合平均得分直接提升近 10 个百分点,且未出现性能饱和平台期。

亮点与洞察

  • 将数据自身的内在结构直接转化为客观奖励:巧妙利用长文档天然存在的段落时序与因果结构,摆脱了长文本强化学习对专家标注与 LLM-as-a-Judge 的病态依赖,实现了零标注成本下高质量、完全可验证的自监督反馈。
  • 阶乘级组合搜索空间与课程学习的天然契合:通过调节遮蔽段落数量 \(K\),使得任务搜索空间严格按 \(K!\) 阶乘增长,为大模型提供了极佳的可量化难度阶梯,证明了长文本训练也可以通过任务组合复杂度实现高效的课程调度。
  • 推理与排序能力的双向迁移:实验表明,纯粹通过段落重构训练获得的长程注意力聚焦与叙事连贯性感知能力,能够无缝泛化至下游的检索合成、变量追踪与真实场景多项选择长文本问答中。

局限与展望

  • 对语料结构完整性与长度有刚性要求:该框架依赖于长度充分且具备明确篇章结构的高质量长文档;在语篇碎片化、对话杂乱或噪声较多的网页数据上,段落重构的难度定义与真值唯一性可能会受到破坏。
  • 模型架构与先验敏感性差异:在单固定 \(K\) 值的实验中,较强的 Qwen 模型在单一模式下容易出现过拟合退化,而较弱的 LLaMA 则能从中获益,说明不同预训练基座对无监督重构模式的学习容量与泛化边界存在差异。
  • 更大规模与更大参数量下的 Scaling Law 尚待验证:当前验证主要集中在 7B-8B 规模模型与 30K 级文档规模,未来可进一步探索该范式在 32B/70B 级大型模型以及百万级长篇文档强化微调中的扩展规律。

相关工作与启发

  • vs LongRLVR / LongReward 等长文本 RLVR:已有工作依靠强教师模型生成问答对或基于 Rubric 评分,成本高昂且受限于教师上限;本文完全依靠文档自身段落顺序构成真值,实现了真正意义上的自监督可验证强化学习。
  • vs 长文档持续预训练(Continual Pretraining):附录实验显示,单纯在长文档上继续进行下一个词预测(Next-token Prediction)容易破坏已对齐模型的指令遵循能力,导致评测倒退;而重构任务将长文本学习转变为目标明确的组合决策与强化探索,既保持了指令格式能力,又显著增强了全局注意力。

评分

  • 新颖性: ★★★★★ 将无标注长文档段落恢复创新性地形式化为具有可验证奖励的强化学习任务,立意极具启发性。
  • 实验充分度: ★★★★★ 涵盖 RULER 与 LongBench v2 双重严苛基准,并在奖励设计、数据长度、课程调度及数据规模上给出了详尽的消融支撑。
  • 写作质量: ★★★★★ 论证严密清晰,动机剖析精准,方法公式与流程表达层次分明。
  • 价值: ★★★★★ 为突破长文本训练数据标注瓶颈提供了一条极具可扩展性的低成本技术路线,对工业界与学术界均有极高参考价值。