跳转至

POLARIS: Guiding Small Models to Write Long Stories

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/rishanthrajendhran/POLARIS
领域: 自然语言生成
关键词: 长文本故事生成, 创意写作, 强化学习, GRPO, 大模型裁判

一句话总结

POLARIS 提出了一种低算力长文本创意写作强化学习配方,通过引入具备细粒度叙事准则的前沿大模型裁判与示教锚定人类参考注入(HRI),仅用 4 张 A100 GPU 和约 1.4K 篇短篇故事数据,使 Qwen3.5-9B 在 8k–12k 词超长故事写作中保持极高叙事质量与长度依从度,性能逼近 3 倍参数量模型。

研究背景与动机

近年来,强化学习(RL)在具备可验证奖励的推理与代码生成任务中取得了突破性进展,研究界随之尝试将这一范式迁移至长文本生成与创意写作任务中。然而,现有的长文本写作方案通常依赖于极端昂贵的基础设施与工程堆叠,例如动辄 32B 以上的大参数底座、大规模持续预训练、复杂的成对偏好奖励模型(RM)训练,或是动用数以万计的人工或合成标注数据。对于资源有限的开源社区与中小模型而言,缺乏高效而轻量的训练路径,导致 10B 以下的小参数模型在开放式长篇创作中面临严重瓶颈:生成内容要么字数严重不达标、在中途戛然而止,要么随着文本长度延伸而迅速退化为套话堆砌、逻辑崩塌与无意义自循环。

在开放式故事生成的强化学习中,存在两个根本性障碍。首先是奖励信号的设计困境:传统奖励模型将复杂的文学审美与情节连贯性粗暴压缩为一个不可解释的标量分数,不仅需要搭建独立的标注与训练管线,而且随着策略策略空间发生漂移,静态奖励模型极易陷入过拟合与失效;而现有的通用评测基准也缺乏针对故事创作规律的细粒度锚点。其次是探索停滞与方差坍缩矛盾:由于长篇创意写作极度发散且缺乏硬性验证反馈,策略采样的多条 rollout 随着迭代容易收敛于高度同质化的中庸输出,组内奖励方差迅速归零,导致 GRPO 等基于组相对优势的策略优化丧失向高质量叙事探索的梯度驱动力。

为了解决这两大瓶颈,研究者迫切需要一种无需预先训练奖励模型、同时能持续为探索提供高水平范文引导的轻量化 RL 配方。本文的核心切入点在于:既然前沿大模型已具备深厚的文学审美与结构化审校能力,即可将其作为免训练的在线结构化裁判;同时将高质量的人类参考文本以解耦统计的方式注入策略采样组中,作为不依赖模型自身rollout质量的稳定高分锚点。核心 idea:构建轻量化长文本写作 RL 框架 POLARIS,将基于 16 维核心叙事准则与文本引文的前沿 LLM 在线裁判作为细粒度奖赏,并在 GRPO 组内引入经温升加权的示教人类参考注入(HRI),以低算力成本激发 9B 小模型在长达 3 倍训练长度下的叙事把控与长度泛化能力。

方法详解

整体框架

POLARIS 的核心流水线围绕低算力条件下的组相对策略优化(GRPO)展开,针对长篇故事写作中策略易退化、奖励易失真的特性进行了针对性重构。整个训练过程在 4 张 A100 80GB GPU 上完成,端到端优化仅包含约 160 个迭代步。

对于给定的创意写作提示词,策略模型首先并行生成 \(k=5\) 条带有合成思考链的完整长故事候选样本;与此同时,训练集中的人类真实故事参考被格式化为相同的思考链与故事结构,作为第 \(k+1\) 个成员被示教强制(teacher-forced)接入当前组。所有 \(k+1\) 条输出均提交给在线大模型裁判,根据细粒度的故事质量评估准则(Story Quality rubric)计算多维度正向与负向得分,并结合抗重复度、长度偏差及空输出惩罚形成复合奖励。在优势计算阶段,组内均值与标准差严格仅由 \(k\) 个策略自身生成的样本计算,人类参考故事则通过温升调度系数按外生优势注入更新目标,驱动策略参数朝向专业文学质感与长程结构对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:写作提示词与人类故事参考<br/>Prompt p & Anthology Story y*"] --> B["示教锚定人类参考注入<br/>5个策略Rollout + 1个人类参考"]
    B --> C["结构化故事质量细粒度评判<br/>16维核心正负准则与文本引文"]
    C --> D["次线性长度缩放与复合门控惩罚<br/>抑制短文本虚高与重复截断门控"]
    D --> E["策略优化:解耦统计的GRPO更新<br/>仅由Rollout计算均值方差,温升调度优势A*"]

关键设计

1. 示教锚定人类参考注入:开放式写作强化学习易陷入同质化与奖励停滞,通过将高质量教师强制人类故事注入组内作为高分锚点,在解耦统计下为策略提供持续梯度牵引
在传统的无监督或软奖励 GRPO 训练中,组内所有样本均来自于当前策略 \(\pi_\theta\) 的随机采样。当模型尚不具备驾驭数千词长篇小说的能力时,组内生成的 5–6 条故事往往充斥着平庸叙事、模板套话甚至逻辑崩塌,导致组内奖励均值偏低且方差极度受限,策略优化容易陷入局部最优停滞。POLARIS 提出人类参考注入机制(Human-Reference Injection, HRI),在每个大小为 \(k=5\) 的采样组中插入 1 篇来自专业文学选集的人类故事 \(y^*\) 作为第 \(k+1\) 个成员。为了让参考文本与策略输出分布在格式上严格同构,研究者利用 Gemini 3 Flash 针对参考故事逆向构建了写作提示词与合成思考链(synthetic thinking trace),在计算时通过教师强制(teacher-forcing)获取当前策略对参考故事的对数似然 \(\log \pi_\theta(y^*|p)\)。

为了防止外生引入的高质量人类故事扭曲模型自身的探索基线,HRI 制定了三条关键准则:第一,组内基线均值 \(\mu_\pi\) 与标准差 \(\sigma_\pi\) 严格仅由 \(k\) 条策略 rollout 的奖励值计算,完全排除人类参考故事;第二,人类参考的优势值采用独立的温升调度系数 \(\alpha_t\) 进行动态缩放;第三,人类参考使用与策略生成物完全一致的复合奖励函数进行打分。形式上,策略 rollout 的优势为标准规范化值 \(A_i = (r_i - \mu_\pi)/(\sigma_\pi + \epsilon)\),而人类参考样本的优势函数定义为: $\(A^*_t = \alpha_t \frac{r^* - \mu_\pi}{\sigma_\pi + \epsilon}, \quad \text{其中} \quad \alpha_t = \alpha_{\max} \min\left(1, \frac{t}{T_w}\right)\)$ 在具体实现中,设置峰值权重 \(\alpha_{\max} = 0.4\),预热步数 \(T_w = 15\)。在前 15 步中,\(\alpha_t\) 线性从 0 攀升至 0.4 并在此后保持恒定。这种设计使得模型在优化初期避免被外生分布直接冲垮,而在中后期稳定提供显著高于组均值的高额正优势,有效维持了组内奖励梯度的方向指引。

2. 结构化故事质量细粒度评判:单一标量奖励模型缺乏可解释性且极易分布漂移,通过提示前沿大模型依据16个叙事正负维度及文本证据打分,实现免训练的高保真在线评估
以往文学生成研究依赖成对偏好微调的奖励模型,极易导致策略学习到对抗性扰动(reward hacking),产生华而不实或过度修饰(purple prose)的文风。POLARIS 弃用了专有奖励模型,转而设计了兼具叙事学理论基础与实际文学编辑工坊标准的结构化故事质量准则(Story Quality rubric),调用前沿大模型(训练期间采用 Gemini 3 Flash,评测期采用 GPT-5.4)充当在线裁判。准则包含 6 个全局正向维度(总分 100 分):提示词实现与前提融合(P1,0-15分)、叙事弧线与节奏结尾(P2,0-20分)、人物深度与能动性(P3,0-15分)、叙述声音与风格独特性(P4,0-15分)、场景实现与感官具象度(P5,0-20分)、主题与情感丰富度(P6,0-15分)。

为了精准惩处大模型写作中特有的典型病态,准则进一步确立了 10 个可定位负向惩罚维度(总惩罚上限 151 分):硬性提示违背(N1)、逻辑与视角崩塌(N2)、通用模板化套话(N3)、过度总结与感官悬浮(N4)、过度阐释与同义复述循环(N5)、中后程跑题与结构涣散(N6)、生硬同质化对话(N7)、机械与排版错误(N8)、公式化情节与俗套陈词(N9)、以及辞藻堆砌与无逻辑修辞(N10)。此外,准则还设定了各 0-8 分的未建模开放式加分项(Bonus)与扣分项(Penalty)。裁判不仅必须输出结构化 JSON 分数,还必须为所有大于 0 的负向扣分项严格提取 \(\le 12\) 词的原文片段作为证据支撑。原始裁判得分表示为: $\(s^{\text{raw}}_q = \sum_{i=1}^6 P_i - \sum_{j=1}^{10} N_j + B - D\)$ 通过将该得分除以归一化常数 \(Z = 108\),得到平滑的归一化质量分 \(\tilde{s}_q = s^{\text{raw}}_q / Z\)。

3. 次线性长度缩放与复合门控惩罚:短输出因暴露缺陷少导致奖励虚高,通过次线性长度缩放因子与重复/长度硬门控截断,兼顾长度忠实度与叙事质量防范病态退化
在实际评测中,纯粹基于细粒度维度的归一化分数存在一种隐蔽的奖励通胀缺陷:简短或未达标的输出由于篇幅短小,暴露在 N1–N10 负向扣分维度的句子极少,从而在未达到目标长度时反而斩获虚高的归一化质量分;若简单施加强烈的线性长度惩罚,又会引发梯度剧烈震荡。为此,POLARIS 引入了次线性长度缩放因子 \(\ell(n)\) 与多重辅助惩罚及硬门控机制。定义生成词数 \(n\) 与目标词数 \(n_{\text{target}}\) 的比例,采用平方根次线性缩放并设置下界保底: $\(\ell(n) = \max\left(\ell_{\min}, \left(\frac{n}{n_{\text{target}}}\right)^\beta\right), \quad \text{其中} \ \beta=0.5, \ \ell_{\min}=0.15\)$

辅助惩罚项涵盖自重复惩罚 \(r_{\text{rep}}\)(综合全局 4-gram 重复率、64-gram 滑动窗口局部重复率及重复行占比)、非对称长度偏差惩罚 \(r_{\text{len}}\)(容忍区间为下限 \(-15\%\) 至上限 \(+25\%\),超出部分进行非对称惩罚)以及空白输出惩罚 \(r_{\text{blank}}\)。最终复合奖励将正向质量项经由乘性门控 \(g\) 筛选后与加权惩罚项作差,并经由长度缩放因子缩放后进行对称截断: $\(r_{\text{qual}} = w_q \cdot \tilde{s}_q \cdot g(r_{\text{rep}}, r_{\text{len}}, r_{\text{blank}}), \quad r_{\text{pen}} = w_{\text{rep}} r_{\text{rep}} + w_{\text{len}} r_{\text{len}} + w_{\text{blank}} r_{\text{blank}}\)$ $\(r = \text{clip}\left((r_{\text{qual}} - r_{\text{pen}}) \cdot \ell(n), -c, +c\right)\)$ 其中权重设为 \(w_q = 1.0, w_{\text{rep}} = 1.5, w_{\text{len}} = 0.8, w_{\text{blank}} = 1.0\),截断阈值 \(c = 2.0\)。门控函数 \(g\) 当且仅当输出非空且自重复率与长度偏差在可接受阈值内时生效,对严重畸形或机械死循环的文本直接将正向奖励置零,彻底杜绝了模型依靠作弊规避长篇写作的捷径。

训练策略与超参数

  • 基座模型:Qwen3.5-9B。
  • 训练数据:从 100 部商业采购的英文短篇小说选集(涵盖 431 位作家,小说长度在 1,000–3,996 词之间)中提取的 1,388 对(Prompt, Story)数据。
  • 算力与环境:4 张 NVIDIA A100 80GB GPU,采用 PyTorch FSDP 分布式策略与梯度检查点(Gradient Checkpointing),有效 Batch Size 为 8 个 GRPO 组(每组 5 策略 rollout + 1 人类参考)。
  • 优化参数:学习率 \(1 \times 10^{-6}\),PPO 裁剪比率 \(\epsilon_{\text{clip}} = 0.20\),关闭 KL 散度约束与熵正则项,单组最大生成 Token 预算为 8,192。总迭代步数为 160 步,单次全量训练耗时约 48 小时。整体 GPU 算力成本约 400 美元,在线裁判调用成本约 60 美元,总计单模型开销不足 500 美元。

实验关键数据

主实验

主实验在 180 篇分布外留出测试提示词(分为 6 个目标长度区间,每区间 30 篇:1–4k 为分布内长度 ID,4–8k 为近端泛化 Near,8–12k 为远端泛化 Far)上展开,统一采用 GPT-5.4 作为评估裁判。长度依从度(Length Adherence, LR)定义为生成词数与要求词数的比率(1.00 为完美匹配)。

模型 参数量 Story Quality (All) SQ (1–4k ID) SQ (4–8k Near) SQ (8–12k Far) EQ-Bench LF (All) EQ-LF (8–12k) LR (All) LR (8–12k)
参考标准
Human – 68.7 68.1 68.2 71.4 74.2 77.1 1.00 1.00
闭源前沿模型
GPT-5.4 – 72.4 76.9 72.1 59.5 80.3 77.0 1.26 0.94
Claude Opus 4.6 – 61.8 66.4 59.5 52.7 73.4 70.4 1.15 1.09
Gemini 3.1 Pro – 57.5 58.7 55.7 57.1 67.0 64.2 0.99 0.57
Gemini 3 Flash – 48.5 52.9 39.9 52.6 63.2 59.9 0.88 0.37
开源基线模型
LongWriter-Zero-32B 32B -27.1 -16.8 -35.5 -41.2 26.1 21.4 2.21 1.03
Gemma 4 31B 31B 51.4 53.9 49.7 47.1 61.5 57.7 0.68 0.36
Qwen3.5-27B 27B 42.8 51.5 38.7 24.6 57.5 46.7 0.97 0.82
Gemma 4 26B-A4B 26B (4B act) 51.3 52.9 51.4 46.5 58.1 52.8 0.65 0.26
DeepSeek-R1-Distill-14B 14B 0.2 7.3 -4.7 -11.1 34.6 33.7 0.75 0.23
Ministral-3-8B 8B 26.1 30.2 22.0 21.8 39.1 33.3 0.52 0.23
LongWriter-Llama3.1-8B 8B -2.0 7.2 -10.5 -12.7 33.0 29.4 1.22 0.71
Qwen3.5-9B (Base) 9B 18.5 35.1 8.7 -11.8 42.6 30.3 1.01 0.88
POLARIS-9B (Ours) 9B 52.1 57.4 48.2 44.1 59.8 54.3 0.90 0.72

消融实验与多基准对比

下表汇总了基于同一 Qwen3.5-9B 底座的训练配方消融结果(包括有监督微调 SFT、标准 GRPO 以及完整 POLARIS),跨越分布内 Story Quality、独立长文本基准 EQ-Bench Longform(均一加权)、外部长篇写作基准 WritingBench (D4 英文文学艺术类,Gemini 3.1 Pro 评测)、LongBench-Write(综合分 \(\bar{S}\))及 EQ-Bench Creative。此外,右侧列出了针对 60 个长文本案例的双盲人类评估对决胜率统计。

模型 / 变体 Story Quality (All / 8–12k) EQ-Bench Longform (All / 8–12k) WritingBench (D4) LongBench-Write (\(\bar{S}\)) EQ-Bench Creative 人类对决胜率 vs. Base 9B (W / T / L) 人类对决胜率 vs. 27B (W / T / L)
Qwen3.5-9B (Base) 18.5 / -11.8 42.6 / 30.3 6.84 67.1 59.2 – –
+ SFT Baseline -60.6 / -71.2 26.0 / 24.2 2.68 37.5 26.7 – –
+ Matched GRPO (无 HRI) 49.7 / 37.7 58.2 / 51.6 7.85 82.1 69.7 – –
+ POLARIS (含 HRI) 52.1 / 44.1 59.8 / 54.3 7.90 81.2 70.3 67.5% (57.5% / 20.0% / 22.5%) 51.2% (35.0% / 32.5% / 32.5%)

关键发现

  1. 开源长文本模型的典型失效形态与 POLARIS 的克服:在面对 8k–12k 的超长生成要求时,现有开源模型展现出三类明显退化——以 Qwen3.5-9B 为代表的“字数达标但叙事质量雪崩”(8-12k 分数跌至 -11.8);以 LongWriter-Zero-32B 为代表的“严重超长且高频自我重复”(重复行比例高达 58.4%,Story Quality 崩盘至 -27.1);以 Gemma 4 31B 为代表的“字数断崖式缩水以保全局部质量”(8-12k 实际长度比例萎缩至 0.36)。POLARIS-9B 是唯一兼顾两端的模型,在 8–12k 远端泛化区间保持了 0.72 的长度依从率,且 Story Quality 达到 44.1,显著超越 27B 模型(24.6)。
  2. SFT 崩溃与 HRI 的远端增益:使用相同数据进行有监督微调(SFT)表现出彻底崩溃(Story Quality 暴跌至 -60.6),因其学会了生成无限延伸却内容匮乏的文本。相比之下,无参考的纯 GRPO 虽然能学到基本结构,但在远端 8–12k 泛化时质量下降明显;HRI 机制在分布内区间带来稳定增益,更在 8–12k 远端泛化下将 Story Quality 从 37.7 显著拉升至 44.1(提升 +6.4 分),证明人类范文锚点为外推生成注入了关键的全局叙事连贯性。
  3. 人类双盲评测结果:在由专业文字编辑执行的 60 组双盲人工评测中,POLARIS-9B 以 67.5% 的极高综合胜率(95% 置信区间 [55.0, 80.0])压倒基座 Qwen3.5-9B;在面对参数量达 3 倍之巨的 Qwen3.5-27B 时,POLARIS-9B 取得了 51.2% 的对决胜率(95% 置信区间 [41.2, 61.2]),在统计上与 27B 模型达到完全持平。评审员高度赞赏其鲜明的叙述声音(Voice)、场景纵深感与严谨的提示词遵循度。

亮点与洞察

  • 解耦统计的范文注入机制:在 GRPO 组内引入单篇高质量样本却不将其计入均值和方差,配合温升系数计算优势,既避免了外生数据冲击模型自身探索的方差分布,又在软奖励探索中构建了指向专业文学标准的稳定外力。这一设计可直接复用至其他缺乏硬性验证反馈(Non-Verifiable)的开放式生成任务(如长篇论文写作、法律文书拟定)。
  • 细粒度正负分解大模型裁判:摆脱了以往标量偏好打分黑盒,将叙事学理论转化为 6 维全局正向成就与 10 维局部负向惩罚,并强制引用原文证据。该裁判体系显著压制了强化学习中模型自发形成的紫调修辞(Overwrought Prose)与模板化废话(Generic Language),实现了无需训练专用 RM 的高保真对齐。
  • 长度自适应次线性缩放设计:采用 \(\ell(n) = \max(\ell_{\min}, (n/n_{\text{target}})^{\beta})\) 平滑惩罚短文本并对齐长篇叙事,避免了强硬长度惩罚带来的策略震荡,有效化解了生成模型通过偷工减料逃避失误的顽疾。

局限与展望

  • 局部连贯性与修辞过度负荷:人工评估指出,POLARIS-9B 有时表现出“用力过猛”的倾向,在追求独特声音时使用了过密的技术行话或生僻修辞,偶尔在段落交接处出现局部事实矛盾或突兀转折,其整体连贯性评分略逊于规模更大的 27B 模型。
  • 单领域数据与单一随机种子:训练数据完全源自出版的英文短篇小说选集,未涵盖编剧剧本、深度非虚构或书评等非虚构文体,限制了模型在泛文学领域的通用性;同时受限于算力成本,全部主干实验仅在单一随机种子上执行。
  • 长文本依从度的进一步优化:尽管在 8k–12k 目标下取得了 0.72 的长度比率,模型依然未能 100% 达成极端长度要求,未来结合规划-执行分段机制或动态自适应上下文策略有望进一步消除长度缺口。

相关工作与启发

  • vs. LongWriter-Zero:LongWriter-Zero 采用 32B 大底座与定制训练的多标量奖励模型来冲击超长文本,但在缺乏细粒度文学规范时极易陷入文本大面积自我重复与水字数;POLARIS 证明 9B 模型凭借细粒度 LLM 裁判与 HRI,以更少算力即可生成文学质感与长度泛化兼备的优质文本。
  • vs. 传统偏好对齐方法 (DPO / RLHF):传统偏好对齐将整篇文本折叠为成对胜负标签,抹杀了文学作品在情节、人物、用词层面的结构化细节;POLARIS 展现了通过大模型结构化多维度评判引导复杂创作行为的优越性。
  • vs. 离线参考引导 (LUFFY / BREAD):LUFFY 等方案主要针对数学与逻辑推理中部分前缀的离线注入;POLARIS 首次探索了完整长篇艺术文本在软奖励策略组内的端到端示教注入与温升退火。

评分

  • 新颖性: ⭐⭐⭐⭐⭐(巧妙结合细粒度叙事裁判与示教人类参考注入,攻克开放式长文本 RL 探索停滞)
  • 实验充分度: ⭐⭐⭐⭐⭐(涵盖 17 款模型、5 大评测基准、16 万组逐维度判断及严格的双盲专业人工评测)
  • 写作质量: ⭐⭐⭐⭐⭐(问题剖析深刻,数学与实验细节完整自洽,叙事学理论与工程落地结合精湛)
  • 价值: ⭐⭐⭐⭐⭐(为低算力条件下小模型长篇文本创作提供了极高性价比的标准落地范本)