跳转至

Syntactic Prediction through Reinforcement Learning

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/zhaojinm/syntax_RL
领域: NLP 理解
关键词: 句法预测, 成分句法分析, CCG超标注, 强化学习, GRPO

一句话总结

针对大语言模型在句法预测任务中因监督微调(SFT)遭遇“监督平台期”而难以超越专用神经句法模型的问题,本文提出两阶段后训练框架 Syntax-RL,先利用 80% 数据冷启动建立统一序列生成规范,再在 20% 不相交子集上利用 GRPO 强化学习直接优化括号 F1 与词元正确率等结构级目标,全面刷新成分句法分析与 CCG 超标注的 SOTA。

研究背景与动机

句法预测(如成分句法分析与组合范畴文法 CCG 超标注)是检验模型结构化语言理解能力的经典基石任务。这类任务要求模型不仅要做出局部合理的决策,还必须产出符合分层树状组织、满足非局部约束并保持全句一致性的结构化输出。然而,尽管大语言模型在众多自然语言理解任务上表现优异,以往尝试将其应用于句法预测的研究仍主要依赖提示工程或监督微调(SFT),且整体表现通常落后于专为句法预测设计的传统编码器或特定神经模型(如基于 XLNet 的解析器)。

深入探究这一性能鸿沟会发现,监督微调本质上是在教师强制(teacher-forcing)下的 token 级别自回归交叉熵目标上拟合黄金输出。实验表明,当 SFT 训练进行到一定阶段后模型性能会迅速饱和,即使在全量训练集上加大训练力度,或者在相同的第二阶段数据子集上持续进行监督微调(continued SFT),模型也无法突破瓶颈,这种现象被称为“监督平台期”(supervised plateau)。token 级别的逐词模仿无法为模型提供全局结构层面的校准信号,导致模型在处理远距离修饰语挂载、并列结构边界等长程句法依赖时极易出错。

针对这一核心瓶颈,本文认识到 SFT 能够高效赋予模型遵循格式与基础局部句法决策的先验,但结构级的全局最优需要与下游任务评估目标直接对齐的优化信号。核心 idea:提出两阶段句法后训练框架 Syntax-RL,先通过 80% 数据的冷启动 SFT 使大语言模型掌握统一的序列化句法生成格式,再在剩余 20% 不相交数据上采用基于 GRPO 的强化学习,直接针对树结构括号 F1 与超标注准确率等结构级目标进行全局策略优化。

方法详解

整体框架

Syntax-RL 针对成分句法分析与范畴文法超标注两类代表性任务,统一将其形式化为受限的文本序列生成问题。整个训练管线分为两阶段:第一阶段为冷启动监督微调(Cold-start SFT),第二阶段为基于组相对策略优化(GRPO)的结构级强化学习。

在成分句法分析中,输入句子序列 \(x = (w_1, \dots, w_n)\) 对应的短语结构树被线性化为带括号的标记序列 \(y_{\text{parse}} = (t_1, \dots, t_m)\);在 CCG 超标注中,句子中的每个词元被指派一个词汇范畴标记,统一序列化为词元与标记配对的文本序列 \(\tilde{y}_{\text{stag}} = \text{Serialize}((w_1, c_1), \dots, (w_n, c_n))\)。系统首先在 80% 的互斥训练数据上进行 SFT,使基础模型适应生成格式并提供稳定的策略初始点;随后冻结参考模型,在剩余 20% 的不相交数据上启动 GRPO 强化学习,采样候选输出并通过组合奖励直接反传结构优化信号。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    IN["输入句子 x"] --> S1["冷启动监督微调 (80% 不相交数据)<br/>建立统一句法生成格式与先验"]
    S1 --> S2["不相交数据划分<br/>80% SFT 与 20% RL 样本隔离"]
    S2 --> S3["GRPO 策略优化<br/>组采样 G=8 候选,无价值网络"]
    S3 --> S4["复合规则奖励<br/>格式有效性 + 结构级任务奖励"]
    S4 --> OUT["最优句法策略模型"]

关键设计

1. 冷启动监督微调与不相交数据划分:阻断样本过拟合以释放真实强化学习信号

SFT 阶段的目标是让未经调整的通用底座模型快速获得任务格式遵从能力与基础局部句法映射能力,避免直接对裸模型进行强化学习时因探索空间过大而导致训练崩溃。优化目标采用标准的自回归交叉熵损失 \(\mathcal{L}_{\text{SFT}} = - \sum_{(x,y)\in \mathcal{D}_{\text{SFT}}} \sum_{t=1}^{|y|} \log p_\theta(y_t \mid x, y_{<t})\)。

更关键的设计在于训练数据的划分机制。如果在 100% 数据上做完 SFT 后直接在相同全量数据上执行 RL,模型性能反而不如两阶段数据隔离方案。本文将训练集严格划分为不重叠的两部分:\(\mathcal{D}_{\text{train}} = \mathcal{D}_{\text{SFT}} \cup \mathcal{D}_{\text{RL}}\) 且 \(\mathcal{D}_{\text{SFT}} \cap \mathcal{D}_{\text{RL}} = \emptyset\),比例定为 \(|\mathcal{D}_{\text{SFT}}| = 0.8 |\mathcal{D}_{\text{train}}|\) 与 \(|\mathcal{D}_{\text{RL}}| = 0.2 |\mathcal{D}_{\text{train}}|\)。这种不相交划分防止了强化学习只是在反复记忆拟合 SFT 阶段已被教师强制记住的样本,确保第二阶段强化学习是在未见样本上学习结构级的纠错与泛化能力。

2. GRPO 策略优化:无额外 Value 网络的轻量级结构策略更新

进入强化学习阶段后,以第一阶段 SFT 的权重作为策略 \(\pi_\theta\) 的初始化并保存为参考模型 \(\pi_{\theta_{\text{old}}}\)。对于输入句子 \(x\),模型自回归采样生成一组候选输出 \(\mathcal{Y}(x) = \{y_1, \dots, y_G\}\)(实验中采样候选数 \(G = 8\))。每个候选输出 \(y_i\) 经过奖励函数计算获得标量分数 \(r_i = R(x, y_i)\)。GRPO 不依赖单独训练的 Critic/Value 网络,而是基于组内样本的统计分布估计相对优势函数:

\[A_i = \frac{r_i - \text{mean}(r)}{\text{std}(r) + \epsilon}\]

其中 \(r = (r_1, \dots, r_G)\)。策略参数通过带 PPO 裁剪因子的目标函数更新:

\[\mathcal{L}_{\text{GRPO}} = - \mathbb{E}_{x \sim \mathcal{D}_{\text{RL}}, y_i \sim \pi_{\theta_{\text{old}}}} \left[ \frac{1}{G} \sum_{i=1}^G \min\left(\rho_i A_i, \text{clip}(\rho_i, 1-\varepsilon, 1+\varepsilon) A_i \right) \right]\]

其中重要性权重 \(\rho_i = \frac{\pi_\theta(y_i \mid x)}{\pi_{\theta_{\text{old}}}(y_i \mid x)}\)。该机制极大降低了显存与训练开销,使百亿参数大语言模型能够稳定高效地进行组级探索与结构优化。

3. 复合规则奖励机制:严控括号合法性与直接对齐评测指标

为了引导生成策略既满足形式文法的合法约束,又能最大化句法结构的准确性,本文设计了由格式奖励与任务奖励线性加权的复合奖励函数 \(R(x, y) = \lambda_{\text{fmt}} R_{\text{fmt}}(x, y) + \lambda_{\text{task}} R_{\text{task}}(x, y)\)。

格式奖励 \(R_{\text{fmt}}(x, y)\) 为二值硬约束:若 \(y\) 为合法格式(对于成分句法检查括号配对与树状合法性,对于超标注检查序列化词元对齐)则赋 1,否则赋 0。任务奖励 \(R_{\text{task}}(x, y)\) 则直接对齐真实评测指标,彻底摆脱自回归对数似然代理损失的脱节问题:对于成分句法分析,采用全句预测树与真实黄金树的括号 F1 分数 \(R_{\text{task}}^{\text{parse}}(x, y) = \text{F1}(y, y^*)\);对于超标注任务,采用预测标记序列与真实标注序列的词元级准确率 \(R_{\text{task}}^{\text{stag}}(x, y) = \text{Acc}(y, y^*)\)(针对词元对齐偏差,引入最长公共子序列 LCS 算法预先对齐)。

损失函数 / 训练策略

整个管线中,SFT 阶段使用 LLaMA-Factory 在 4 张 H200 GPU 上训练 2 个 epoch,学习率设为 \(1.0 \times 10^{-5}\),采用 cosine 衰减调度与 0.1 的 warmup 比率,批大小为 32。RL 阶段使用 VERL 框架在 8 张 H200 GPU 上执行,训练批大小为 256,PPO mini-batch 大小为 64,学习率设为 \(5 \times 10^{-7}\),KL 散度惩罚系数设为 0.001,熵系数为 0,每条样本采样 \(G = 8\) 个候选。

实验关键数据

主实验

在英文 Penn Treebank(PTB)标准成分句法分析评测中,Syntax-RL 全面领先专用神经解析器与全监督微调大模型基线;在包含 40 词以下短句集(PTB< 40)上也取得最佳表现。同时在 CCGbank 与更严格的 CCGrebank 超标注基准上均刷新纪录。

数据集 / 任务 评测指标 本文 (Syntax-RL 32B) 之前最强 LLM 基线 (Bai et al. 32B) 传统最强神经模型 相比 LLM 基准提升
PTB 全部测试集 Bracket F1 96.52 96.21 96.38 (Mrini et al. XLNet) +0.31
PTB 长度<40句子 Bracket F1 96.59 96.30 95.76 (Kitaev et al. BERT) +0.29
CCGbank 超标注 Token Acc (%) 96.70 96.64 (Zhao & Penn) 96.60 (Yamaki et al.) +0.06
CCGrebank 超标注 Token Acc (%) 95.55 95.50 (Zhao & Penn) 95.48 (Yamaki et al.) +0.05
CTB 中文成分句法 Bracket F1 92.68 92.35 (Bai et al. 32B) 92.24 (Tian et al. ZEN) +0.33

在 PTB 上的详细精确率与召回率拆解显示,Syntax-RL (Qwen2.5-32B) 达到 LR 96.25、LP 96.79、F1 96.52;在 7B 和 14B 尺寸下,Syntax-RL 也分别取得 96.14 F1(原 SFT 为 95.99)和 96.36 F1(原 SFT 为 96.15),证实了强化学习增益跨模型规模的普遍性。

消融实验

为了严格厘清性能收益究竟来自强化学习本身还是额外的训练步数或数据复用,作者对比了数据分配比例、持续 SFT 与显式思维链(Thought traces)格式消融。

实验配置 / 策略 训练数据组合 标定指标 (PTB F1) 结论说明
纯全量 SFT 40k SFT 96.21 仅用监督微调无法突破性能瓶颈
阶段式持续 SFT 32k SFT + 8k SFT 96.00 在第二阶段继续跑 SFT 发生微调退化,无法超越单阶段 SFT
本文第二阶段 RL 32k SFT + 8k RL 96.52 相同第二阶段数据下,RL 优化目标带来净增益 +0.52 F1
数据重叠 RL 32k SFT + 40k RL 96.48 RL 阶段复用第一阶段 SFT 数据,效果不及 8k 不相交数据
较小 SFT 比例 20k SFT + 20k RL 96.25 SFT 冷启动不充分会损伤最终表现
显式思维:Span-based 32k SFT + 8k RL ( 跨度标注) 95.97 显式推理链带来冗余干扰,性能下降 0.55 F1
显式思维:Tree-sketch 32k SFT + 8k RL ( 粗树草图) 96.31 粗糙树草图中间步仍落后于直接输出答案 0.21 F1

关键发现

  • RL 目标打破监督平台期:由表 5 可知,在完全相同的 32k 起始模型和 8k 后续数据下,继续做 SFT 仅得到 96.00 F1,而替换为 RL 目标则大幅跃升至 96.52 F1,证明提升完全来自结构级强化学习的优化机制,而非更长的训练周期。
  • 不相交数据划分至关重要:表 4 显示,虽然 32k SFT + 40k RL 拥有全量数据的探索机会,但其 96.48 F1 依然低于 32k SFT + 8k RL 的 96.52 F1,表明在已被 teacher forcing 过度拟合的样本上执行策略强化,会产生过拟合效应与退化的梯度。
  • 句法生成不需要长思维链(CoT):表 6 表明,显式增加 <think> 阶段(无论是中间短语列举还是粗粒度树轮廓)均不如直接生成括号树(96.52 F1)。因为句法预测的目标输出本身就是形式化结构,中间推理反而引入了多余噪声。
  • 细粒度挂载与歧义消除显著改善:表 7 的 EVALB 细粒度分析表明,Syntax-RL 提升最显著的类别主要集中在对挂载高度敏感的复杂结构,包括并列结构 Coordination(召回率提升 +4.78)、从句 SBAR(+4.51)、长名词短语 Long NP(+3.18)以及介词短语 PP(+2.88)。

亮点与洞察

  • 将结构级评测指标直接内化为优化信号:传统 LLM 在句法任务上落后于专用模型的核心在于 token-level 监督目标与全局树状合法性脱节;通过将句子级括号 F1 与词元正确率接入 GRPO,用强化学习填补了生成模型与判别结构间的鸿沟。
  • 两阶段 80/20 不相交数据划分的巧妙实验设计:实验严格控制了第二阶段暴露的数据集,证明两阶段强化学习的优势绝非来自更多的数据或计算步数,而是未见过的数据在策略试错中激发出真正的结构级纠偏能力。
  • 证伪了思维链在确定性语法结构中的万能性:发现中间推理步在结构解析任务中非但无益反而有害,揭示了形式化句法输出本质上具备紧凑的结构依赖,无需人为拉长解码上下文。

局限与展望

  • 实验场景覆盖度:研究目前聚焦在成分句法分析与 CCG 超标注两个经典基准,对于依存句法分析(Dependency Parsing)以及跨领域的非投射树结构尚未完全涵盖。
  • 80/20 数据划分的资源依赖性:作者在 Limitations 中承认,80/20 的划分是在英语和中文 PTB 等高资源树库上的经验设定;在低资源语种或领域自适应场景下,模型可能需要更充分的 SFT 冷启动比例以建立合法输出分布。
  • 未来改进方向:可进一步探索强化学习在句法指导的受约束解码、以及轻量级小模型(如 1B-3B)上的自进化蒸馏。

相关工作与启发

  • vs 传统神经句法分析器(如 Kitaev et al., 2019; Mrini et al., 2020):传统方法依赖基于 CKY 的动态规划图算法或复杂的跨度注意力机制,虽然在局部约束建模上极其精巧,但受制于专用架构且迁移成本高;Syntax-RL 利用标准生成式 LLM 搭配强化学习,首次全面超越了这些专用神经 SOTA。
  • vs 监督微调 LLM 句法解析(Bai et al., 2025; Zhao & Penn, 2024):以往工作发现即便是 70B 级别的监督微调 LLM 依然难以击败小型专用解析器;本文明确指出并证实了“监督平台期”的存在,通过引入第二阶段 GRPO 结构奖励彻底破局。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 明确揭示了句法自回归生成的监督平台期,创新性地提出 80/20 不相交子集上的结构级强化学习框架。
  • 实验充分度: ⭐⭐⭐⭐⭐ 对比了全量 SFT、持续 SFT、数据重叠度、思维链格式及细粒度成分召回,控制变量设计严密扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 论点清晰,实验图表排布极具说服力,针对结构化生成任务提供了深刻的洞察。
  • 价值: ⭐⭐⭐⭐⭐ 解决了生成式通用大模型在严格语法结构任务上打不过小尺寸专用模型的长期难题,对结构化输出后训练极具指导意义。