Rubric-Aware Multi-Expert Online Policy Distillation for Chinese Elementary School Essay Writing¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/TW-NLP/MOPD
领域: 多模态VLM
关键词: 评分量规对齐, 在线策略蒸馏, 多专家融合, 逆向KL散度, 小学生作文生成
一句话总结¶
针对直接提示前沿大模型在中文小学作文生成中面临的文体路由失误、成人化语域失配以及跨维度目标冲突难题,提出 RA-MOPD 四阶段后训练框架,通过评分加权逆向 KL 散度与基于经验迁移先验的跨文体专家混合,将 4B 开源模型打造成在 8 个量规维度和语域真实感上全面领先的前沿作文生成器。
研究背景与动机¶
小学语文作文教学高度依赖明确的评分量规(Rubric)。在日常教学与范文研讨场景中,教师亟需高质量、合乎规范且契合小学生心智水平的教学示范文本。这类面向教师的范文生成任务对语言模型提出了极为严苛的多重约束:模型不仅要精准判别并路由到目标文体(如书信/通知等应用文、逻辑严谨的想象文、起承转合的记叙文或抓住特征的状物文),还必须在特定文体的两项核心量规维度上达到高水平,同时严格遵循字数边界并维持童趣、自然的年龄适应性语域(Age-Appropriate Register)。生成的范文若出现文体偏离、评分维度不达标、字数失控或语言成人化,便无法在课堂教学中作为有效的示范载体。
直接使用未经针对性训练的前沿闭源大模型(如 GPT-5.3、Qwen3-max、DeepSeek-V4-pro)进行少样本或零样本提示,在该任务的系统评测中暴露出三类系统性失效。其一为格式与文体遵从度不足:通用大模型常出现文体路由混淆或漏标输出格式,如 Qwen3-max 在 0-shot 下路由准确率仅为 64.4%,3-shot 下亦仅达 75.3%;其二为语域严重失配:前沿大模型倾向于生成词藻华丽、修辞复杂但充满成人说教口吻的文本,在小学一线教师的盲评对比中,GPT-5.3 生成的文本仅在 28.7% 的成对比较中被教师认可为符合小学生语域;其三为跨维度目标的梯度冲突:若直接采用多任务混合强化学习(如在四个文体上联合训练单个 Mix-GRPO),不同文体间的评分目标会产生严重的梯度负相消(例如应用文的格式契合度与记叙文的叙事完整性梯度余弦相似度仅为 -0.13),导致多维度联合优化的效果显著劣于单一领域的专家模型。
解决这一困境的关键在于打破单一模型联合强化学习的优化冲突,同时避免推理阶段维护多套专家所带来的数倍计算开销。核心 idea:将多文体写作能力解耦为针对性专家策略优化与面向单一紧凑学生的在线策略蒸馏,提出 RA-MOPD 框架,通过基于奖励模型扰动归因的评分加权逆向 KL 散度(RW-KL)聚焦关键量规位置,并引入无需额外参数的跨文体迁移先验专家混合(CGM),使 4B 学生模型在完全继承各领域专家精华的同时克服单一模型的目标冲突。
方法详解¶
整体框架¶
RA-MOPD 包含完整的四阶段后训练流水线。第一阶段(Stage 1)在双重标注得分均不低于 4 分的高质量儿童作文子集上对 Qwen3-4B 基础模型进行格式对齐微调(Genre-Router SFT),统一输入输出的文体声明格式;第二阶段(Stage 2)基于标注数据训练涵盖应用文、想象文、记叙文、状物文四个门类的 8 个维度专属奖励模型(Reward Models, RMs),加权 Kappa 一致性达到 0.864;第三阶段(Stage 3)以 Stage 1 模型为底座,利用 GRPO 强化学习针对每个文体分别训练独立的专业领域专家策略,奖励函数结合格式路由、文体专属量规 RM 及高斯长度惩罚;第四阶段(Stage 4,RA-MOPD 核心)将四个领域专家蒸馏进单一的 4B 学生模型中,完全依托学生自身 Rollout 产生的序列进行纯在线逆向 KL 散度优化,并结合 RW-KL 局部重要性重加权与 CGM 跨文体 Top-2 软混合策略。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["学生作文语料库<br/>6,000篇双标注作文"] --> B["Stage 1: 格式路由SFT<br/>过滤双维度>=4分样本微调"]
A --> C["Stage 2: 8维度专属奖励模型<br/>训练Qwen3-4B RM打分器"]
B --> D["Stage 3: 单文体专属GRPO专家<br/>四文体独立策略优化"]
C --> D
D --> E["Stage 4: 在线策略蒸馏 (RA-MOPD)<br/>学生Rollout无交叉熵纯逆向KL"]
C -->|扰动敏感度归因| F["RW-KL 评分加权逆向KL<br/>定位局部量规关键Token加权"]
D -->|验证集跨文体迁移矩阵| G["CGM 跨文体专家混合<br/>软性混合Top-2专家教师分布"]
F --> E
G --> E
E --> H["部署型统一作文生成模型<br/>兼顾量规达标与真实儿童语域"]
关键设计¶
1. 评分加权逆向 KL 散度(RW-KL):针对量规敏感 Token 差异化赋权 标准的在线策略蒸馏采用词级别均匀权重的逆向 KL 散度,平等对待生成序列中的每一个 Token。然而小学作文量规的得分高度依赖局部的关键结构标记:在应用文中,称呼、问候语与署名占全文 Token 比例不足 10%,却贡献了格式得分超过 40% 的权重;在记叙文中,情节转折的连词与高潮处的动作动词决定了叙事完整性得分。为将 Stage 2 奖励模型所捕获的高精量规判别力显式注入蒸馏过程,RW-KL 将学生 Rollout 生成的序列 \(\hat{y}\) 划分为 \(K=10\) 个连续文本块 \(\{c_1, \ldots, c_K\}\),通过将特定文本块替换为等长占位符构建反事实扰动序列 \(\hat{y} \setminus c_i\),利用两个对应维度的奖励模型计算零阶留一扰动敏感度: $\(\Delta_d(c_i) = \text{RM}_d(x, \hat{y}) - \text{RM}_d(x, \hat{y} \setminus c_i)\)$ 经非负截断、序列内归一化及最大值重缩放后,将块级显著度展开为 Token 级归一化权重 \(\hat{a}_g(t)\)。最终 Token 级权重定义为 \(w_t = 1 + \lambda \hat{a}_g(t)\)(实验取锐度超参 \(\lambda=2\)),在逆向 KL 优化中对量规关键位置施加定向强化梯度,有效攻克了均一权重下局部格式与关键修辞被长文本流稀释的难题。
2. 跨文体专家混合(CGM):利用经验迁移先验实现无参数教师增强 在基线多专家蒸馏中,学生针对目标文体仅模仿该文体对应的单一领域专家 \(\pi_{\phi_g}\),完全忽略了其他三个领域专家所具备的通用写作与跨文体能力(验证集热力图显示跨专家 off-diagonal 分数均不低于 3.51)。CGM 拒绝依赖参数化的可学习门控网络,而是直接利用各专家在留出验证集上的打分表现构建经验迁移矩阵 \(H \in \mathbb{R}^{4 \times 4}\)。对于给定的目标文体 \(g\),仅保留行向量 \(H_{g,:}\) 中得分最高的 Top-2 候选专家,通过带有温度参数 \(\tau=0.2\) 的 Softmax 函数构建静态先验权重: $\(\pi_{g'|g} = \frac{\exp(H_{g,g'}/\tau) \mathbb{I}[g' \in \text{Top2}(H_{g,:})]}{\sum_{g''} \exp(H_{g,g''}/\tau) \mathbb{I}[g'' \in \text{Top2}(H_{g,:})]}\)$ 在计算教师分布时,将两名顶尖专家的输出概率在概率空间进行线性凸组合 \(Q_{\text{mix}}^{(t)} = \sum_{g' \in \text{Top2}} \pi_{g'|g} \text{Softmax}(\ell_{\phi_{g'}}^{(t)})\)。该设计不仅完全不增加可学习参数和推理负担,而且为学生引入了跨文体的词汇丰富度与修辞迁移能力(如状物文受益于记叙文的生动动作描写)。
3. 纯在线逆向 KL 优化与多目标复合奖励 在策略蒸馏目标设计上,RA-MOPD 完全遵循纯在线逆向 KL 协议(Mode-Seeking Direction \(D_{\text{KL}}(P_\theta^{(t)} \parallel Q_{\text{mix}}^{(t)})\)),不混入任何离线交叉熵流(No CE stream),从而杜绝学生在离线分布下产生暴露偏差或向无法实现的教师低概率模式发散。与前序 Stage 3 GRPO 的复合奖励形成闭环呼应:GRPO 阶段通过显式文体路由奖励 \(R_{\text{genre}} \in \{0, 1\}\)、归一化量规奖励 \(R_d \in [0, 1]\) 以及高斯长度容差惩罚 \(R_{\text{len}} = \exp\left(-\frac{(L(y)-L^\star)^2}{2\sigma_L^2 (L^\star)^2}\right)\) 训练出四名高专精度专家;Stage 4 则通过加权逆向 KL 散度将这些独立专家的优势完整吸纳进统一参数空间,使得单模型无需提示词路由即可实现 97.8% 的极高文体合规度。
实验关键数据¶
主实验¶
在严格 Prompt 不重叠的 1,200 篇独立测试集上,对各系统生成作文的文体路由准确率(Acc)、8 维度奖励模型均分(8-Avg)以及闭源/人类评测指标进行量化对比。
| 模型 | 文体路由准确率 (%) | 8 维度 RM 均分 | GPT-4.1 综合评分 | BERTScore-F1 | 教师偏好率 (%) |
|---|---|---|---|---|---|
| Gold (小学生真人作文) | — | 3.48 | 3.71 | — | — |
| Qwen3-4B Base | 39.3 | 3.30 | — | — | — |
| Qwen3-max (3-shot) | 75.3 | 3.65 | — | — | — |
| DeepSeek-V4-pro (3-shot) | 58.3 | 3.66 | — | — | — |
| GPT-5.3 (3-shot) | 94.8 | 4.12 | 3.96 | 0.641 | 28.7 |
| Stage 1 SFT | 94.1 | 3.78 | 3.62 | 0.623 | 17.1 |
| Mix-GRPO (四文体联合) | 91.0 | 3.84 | — | — | — |
| 最优单文体 GRPO 专家 | 90.8 | 3.91 | — | — | — |
| 4专家 Logit 平均基线 (4×成本) | 100.0 | 4.18 | — | — | — |
| Base MOPD (纯逆向KL) | 97.5 | 4.09 | — | — | — |
| RA-MOPD (本文方法) | 97.8 | 4.21 | 4.04 | 0.679 | 62.8 |
消融实验¶
消融实验以 Base MOPD 为基准,验证核心模块对最终评分的递进增益与互补特性,并评估不同蒸馏范式的影响。
| 模型变体 / 蒸馏策略 | 8 维度 RM 均分 | 相对 Base MOPD 提升 | 文体路由准确率 (%) | 核心机制说明 |
|---|---|---|---|---|
| Base MOPD (纯单专家逆向KL) | 4.09 | — | 97.5 | 基线在线逆向 KL 蒸馏 |
| + RW-KL 独立启用 | 4.15 | +0.06 | 97.6 | 仅启用基于扰动归因的量规 Token 加权 |
| + CGM 独立启用 | 4.15 | +0.06 | 97.7 | 仅启用验证集先验指导的 Top-2 专家混合 |
| RA-MOPD (RW-KL + CGM) | 4.21 | +0.12 | 97.8 | 两项扩展正交互补,全面提升评分 |
| 离线交叉熵蒸馏 (Seq-level KD) | 3.93 | -0.16 | 94.8 | 预生成教师序列离线训练,存在暴露偏差 |
| 在线前向 KL 散度 | 4.02 | -0.07 | 96.3 | Mean-seeking 特性导致学生概率质量发散 |
| 随机第二专家混合 (CGM 对照) | 4.10 | +0.01 | 97.5 | 排除“引入任意双教师即可增益”的假设 |
| 均等权重 Top-2 混合 (CGM 对照) | 4.12 | +0.03 | 97.6 | 缺乏经验矩阵精度赋权,增益有限 |
| 参数化门控网络 (Oracle 对照) | 4.16 | +0.07 | 97.7 | CGM 以零新增参数代价逼近参数化门控上限 |
关键发现¶
- RW-KL 与 CGM 呈现精准正交互补性:RW-KL 单独贡献 +0.06,其最大增益集中在局部结构强敏感的维度(应用文格式与情境 +0.07、记叙文叙事完整性 +0.07);CGM 单独贡献 +0.06,其最大增益集中在得益于跨文体词汇与感官迁移的维度(状物文多感官与修辞 +0.08、记叙文细节与情感 +0.07)。两者联合带来严格相加的 +0.12 跨越。
- 帕累托主导(Pareto Dominance)可部署生成器:在量规达标度(RM 8-Avg)与儿童语域真实感(CRS)构成的二维平面上,闭源前沿模型 GPT-5.3 虽达到 4.12 的高量规分,但语域真实感断崖式下跌至 2.91(严重成人化);小学生真人作文语域分为 4.28 但量规分仅为 3.48。RA-MOPD 达到了 4.21 的量规分和 3.74 的儿童语域真实感,在所有可部署生成系统中实现了严格的帕累托最优支配。
- 无需微调的小模型尺度泛化:将完全相同的超参数配置直接迁移至 Qwen3-1.7B,RA-MOPD 相比 Base MOPD 依然稳定实现 +0.11 的净增益(从 3.93 提升至 4.04,路由准确率 96.3%),证明该方法无需依赖骨干网络参数规模即可保持稳定。
亮点与洞察¶
- 将离线黑盒奖励转化为在线蒸馏的逐 Token 注意力:巧妙利用 RM 的留一扰动灵敏度充当逆向 KL 梯度的显式加权项,使大模型后训练摆脱了标量序列级奖励的粗粒度反馈,让蒸馏梯度能够精准“轰炸”格式标记与转折连词。
- 以离线迁移矩阵替代复杂参数化门控:在多专家策略融合中,避免了引入复杂的 MoE 路由网络或联合微调冲突,直接通过验证集经验矩阵先验进行 Top-2 软混合,以零计算开销与零额外推理参数逼近了可学习门控的上限。
- 澄清了领域专用小模型与通用前沿闭源大模型的博弈边界:论文指出 4B 小模型在狭窄任务上超越 GPT-5.3 并不代表通用能力反超,而是源于领域微调、格式显式约束、多阶段复合梯度累积以及闭源模型缺乏垂直领域针对性 RLHF 信号的综合产物。
局限与展望¶
- 地域标准与年级分布局限:语料完全源自上海市小学 3–6 年级(且 6 年级仅占 10.1% 并多为应用文),评分依据单一城市的课程量规标准,跨地域、跨课标或跨未见文体的泛化能力尚未经过检验。
- 高阶构思维度的归因粒度粗糙:针对“想象文构思新颖度”,基于文本块替换的扰动归因一致性偏低(Kendall \(\tau=0.52\)),原因在于新颖度通常分散在全篇语义设定中,且替换占位符易受到内容与长度效应的纠缠干扰。
- 未来方向:探索基于积分梯度或注意力图的精细化连续归因机制,并将多文体单专家 DPO/ORPO 与 RA-MOPD 蒸馏进行级联探索。
相关工作与启发¶
- vs. 传统自动作文评分 (AES):早期工作(如 iflyea、BERT-AES)主要关注英文标化考试或端到端打分评估;RA-MOPD 则是首次将 8 个专业量规维度直接反哺并内化于生成模型的后训练循环中,由“判别评分”跃升至“量规自感知生成”。
- vs. 通用在线策略蒸馏 (MiniLLM / DeepSeek-V4 / MiMo-V2):经典逆向 KL 蒸馏均采用均匀权重并面向单一全能教师;RA-MOPD 针对细粒度多维度约束提出了量规加权(RW-KL)与多专家经验软混合(CGM),为垂直领域的多约束策略对齐提供了优雅的标准范式。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 创新性地将奖励模型归因转化为逆向 KL 逐 Token 权重,并构建了免参数的跨文体混合蒸馏机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6,000 篇高质量双标注数据、8 个专属 RM、6 位一线教师双盲评审以及多尺度骨干网横向验证。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严密,论证逻辑环环相扣,图表详实且坦诚探讨了评测的不对称性与局限性。
- 价值: ⭐⭐⭐⭐⭐ 为教育垂直领域的长文本生成、多属性细粒度对齐以及紧凑端侧模型的高质量部署树立了标杆。