跳转至

Exposía: 针对研究项目开题报告与同行评审反馈的学术写作技能教学与评估基准 (Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback)

会议: EMNLP 2026
论文: ACL Anthology
代码: https://tudatalib.ulb.tu-darmstadt.de/handle/tudatalib/4978
领域: 多模态视觉语言模型
关键词: 学术写作评测, 同行评审反馈, 细粒度量表, 大语言模型评测, 形成性评价

一句话总结

达姆施塔特工业大学 UKP 实验室提出首个贯通“初稿撰写-双源反馈-修订终稿”完整教学链条的学术写作基准 Exposía,配套 36 项开题与 24 项评审细粒度评估量表,揭示了联合提示在大模型自动化写作与评审评测中的显著优势与开闭源模型特性。

研究背景与动机

在高等教育与科学研究训练中,撰写严谨的研究项目开题报告(Exposé)与提供高质量同行评审反馈是青年科研人员不可或缺的核心素养。然而,高校教学实践表明,初涉科研的学生普遍在凝练核心研究问题、构建理论框架与设计可行实验方案等关键环节存在严重技能短板。与此同时,同行评审作为提升论文质量与促进审稿人批判性思维的重要教学手段,在高校课堂中极少得到系统性讲授与规范化评估。现有的自动作文评分(AES)基准长期局限于通识领域的议论文体,仅依赖单一全局评分或浅层语言组织标签,无法映射学术科研写作的严谨结构与跨学科论证需求。

更深层次的矛盾在于真实学术写作与反馈数据形态的严重割裂。尽管自然语言处理领域已有针对学术会议发表流程的同行评审数据集(如 PeerRead、NLPeer 等),但这些资源源于专业审稿的终审决策场景,聚焦于“接收/拒绝”的终结性筛选,缺乏教学场景下贯穿学习全周期的形成性反馈痕迹。真实的学术写作演进是一个高度动态的多阶段交互闭环,包含初稿撰写、文本局部锚定的行内批注、宏观自由评审、针对性修订以及终稿成型;而现有评测基准既缺乏跨文档修订关系的精准追踪,又缺失建立在权威教育学理论之上的细粒度准则评分体系。

为了解决科研写作与评审教学缺乏计算支持基准的困境,研究团队依托大学计算机科学系开设的“科学工作导论”核心必修课程,构建了首个将开题撰写、同行/教师双源反馈、跨版本修订与细粒度评分全面整合的公开基准数据集 Exposía。核心 idea:依托真实高校科研训练课程构建涵盖“开题初稿-行内批注-全文评审-修订终稿”的跨文档多阶段基准 Exposía,确立包含 36 项开题准则与 24 项评审准则的教育学细粒度评估量表,并建立起检验大语言模型在多维学术写作与同行反馈评分能力的评测基准。

方法详解

整体框架

Exposía 的系统流程围绕真实科研教学场景中的形成性反馈与学术写作演进设计。整个管线首先引导学生完成标准化结构的科研立项报告初稿,随后经历同行与教师的双轨评审阶段,最终基于结构化反馈完成终稿修订。在此过程中,教学团队依据严格的教育学量表独立对初稿、终稿及评审文本进行细粒度打分;评测管线则利用大语言模型(LLM)开展零样本自动化评分,并通过分箱散度度量人机对齐度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["学生研究课题与初稿撰写"] --> B["多阶段写作与多源反馈闭环架构"]
    B --> C["细粒度教学法驱动双轨评估量表"]
    C --> D["全局联合提示评测机制"]
    D --> E["分箱JS散度人机对齐度量协议"]
    E --> F["评估分数产出与终稿质量分析"]

关键设计

1. 多阶段写作与多源反馈闭环架构:脱离反馈与修订孤岛 -> 构建草稿-行内批注-总评-修订交互链条 -> 驱动高阶论证维度的实质性提升 传统的写作评测数据集通常仅包含静态终稿,丢失了写作过程中反馈与修改的动态因果关系。针对这一缺陷,Exposía 完整捕获了“初稿 (Draft) \(\rightarrow\) 反馈 (Feedback) \(\rightarrow\) 终稿 (Final)”的完整演化链条。在初稿阶段,学生围绕计算机科学前沿主题(如全息AI助手、交互式LLM教学智能体、医疗生成式AI等)按照固定规范撰写包含研究动机、相关工作、理论框架、方法论及实施周期的开题报告。进入评审阶段后,每篇草稿接收来自 2 名同行学生的双盲评审和 1 名教师指导组评审。反馈形式被解构为双层结构:第一层为锚定在特定文本跨度上的行内批注(Inline Comments),标注预定义的语义标签集合 \(Y = \{\text{Strength}, \text{Weakness}, \text{Highlight}, \text{Other}\}\);第二层为基于行内批注整合提炼的篇章级自由文本评审(Free-text Review)。学生结合两类反馈进行针对性修订并提交终稿。实证统计表明,经历该闭环后,学生报告词数从平均 528 词扩展至 649 词,且评分提升幅度显著集中在动机与核心方法等深层论证维度,充分证明了多阶段反馈闭环的数据保真度与教学有效性。

2. 细粒度教学法驱动双轨评估量表:缺乏学术写作与评审标准 -> 构建36项开题准则与24项评审准则双轨体系 -> 实现无偏且跨主题迁移的细粒度诊断 通用文章评分往往依赖主观印象,缺乏可解释性与跨学科一致性。Exposía 借鉴了德奥地区知名大学的 18 份学位论文开题指南,并结合百余篇历史开题实证经验,构建了覆盖 36 项准则的开题评估体系,归纳为 9 大类目(Rubrics):语言质量(Language/Quality,2项)、元数据(Metadata,2项)、形式规范(Form/Structure,2项)、研究动机(Motivation,7项)、研究切入(Approach,8项)、方法论(Methodology,7项)、进度计划(Schedule,4项)、参考文献(Bibliography,2项)与教师调节分(Additional points,2项)。各准则采用 \([0,1]\)、\([0,1,2]\) 或 \([0,-1,-2]\) 的离散序数刻度。在评审文本评估方面,研究团队基于 Hattie & Timperley 的前馈理论与 Narciss 的反馈成分模型,设计了 24 项评审准则,涵盖结构与清晰度(Structure/Clarity)、语言规范(Language)、目标导向(Feed Up)、现状诊断(Feed Back)、改进前瞻(Feed Forward)、内容质量(Content Quality)、事实与批注意识错误(Errors)及调节分。双轨量表均解耦了具体技术主题,确保准则聚焦于可迁移的学术论证与评议素养。

3. 全局联合提示评测机制:单准则串行推理开销巨大且割裂维度关联 -> 整合全量量表结构进行单次联合提示评分 -> 显著提升评测对齐度并削减90%以上Token开销 在利用大语言模型作为裁判员(LLM-as-a-Judge)实现自动化评分时,常见的做法是针对每个细粒度准则单独发起一次提示调用(Single-criterion Prompting,Ind)。然而,这种单准则模式不仅由于重复输入全文导致极端高昂的推理时延与计算开销,而且割裂了相关维度之间的内在逻辑协同(例如研究问题与方法论完整性之间的相互印证)。为此,Exposía 设计了全局联合提示策略(Combined Prompting,All),在系统提示词中统一定义全部量表类目、准则说明与分值语义约束,并在单次模型交互中要求大模型以标准 JSON 格式一次性输出所有维度的评分与简明理由:

[
  {
    "criterion_name": "Teaser (RQ)",
    "assigned_score": 1,
    "justification": "The proposal outlines broad research aims but lacks an explicit research question."
  }
]
实验证明,联合提示在开闭源模型上全面超越了单准则提示的人机拟合度,同时将开题评分的端到端单篇处理耗时缩短了 50% 至 75%,生成的上下文 Token 数量减少至单准则模式的十分之一以下,极为契合高校期末高峰期高并发作业评阅的实际部署约束。

4. 分箱JS散度人机对齐度量协议:传统相关性指标在标签偏斜下产生虚假对齐假象 -> 引入基于人类中位数分箱的Jensen-Shannon散度 -> 真实量化模型在评分分布上的拟合保真度 细粒度教学评分数据普遍面临严重的类别不平衡(Prevalence Skew)问题,许多基本规范准则(如是否使用模板、元数据是否完整)中正向标签占比超过 90%。在此情形下,传统的肯德尔相关系数、皮尔逊相关系数 \(r\) 或二次加权一致性系数(QWA)会产生病态失真,掩盖模型倾向于无脑预测多数类的“虚假一致性”。为此,评测管线引入了基于分箱的琴生-香农散度(Binned Jensen–Shannon Divergence, Binned JSD)评估协议。对于每个准则 \(c\),将样本按人类评分中位数划分为一致与争议分箱,并在每个分箱内计算人类评分真实分布 \(P_c\) 与模型预测分布 \(Q_c\) 之间的对称散度: $\(JSD(P_c \parallel Q_c) = \frac{1}{2} D_{KL}(P_c \parallel M) + \frac{1}{2} D_{KL}(Q_c \parallel M), \quad M = \frac{1}{2}(P_c + Q_c)\)$ 其中 \(D_{KL}\) 为 Kullback-Leibler 散度。最终通过按分箱样本权重加权的均值 Binned JSD(数值越低越好)来科学衡量模型预测分布与人类专家评估的保真对齐度,避免了传统指标在偏斜分布下的假阳性陷阱。

损失函数 / 训练策略

本研究基准核心聚焦于零样本提示评测(Zero-Shot Prompting)方案,以拟合无历史标注样本冷启动的新学期教学场景。评测涵盖 7 款主流大模型:包括闭源前沿模型 Claude Opus 4.6、Gemini 3.1 Pro、GPT-5.2,以及开源/开放权重模型 Llama 3.3 (70B)、Qwen 3 (80B)、GPT OSS (120B) 和 GPT OSS (20B)。所有模型均采用严格受控的贪婪解码或低采样温度运行,强制要求生成合规 JSON 数据格式。

实验关键数据

主实验

主实验系统评测了 7 款大模型在开题报告评分(Exposé Scoring,31 项有效准则)与学生评审评分(Review Scoring,22 项有效准则)任务上的表现,指标采用加权均值分箱 JSD(Binned JSD,越低越好)及二次加权一致性系数(QWA)。

模型类别 评测模型 开题 JSD (联合 All) ↓ 开题 JSD (单项 Ind) ↓ 开题 QWA (All) ↑ 评审 JSD (联合 All) ↓ 评审 JSD (单项 Ind) ↓ 评审 QWA (All) ↑
闭源模型 GPT-5.2 0.07 0.10 0.80 0.10 0.14 0.87
闭源模型 Claude Opus 4.6 0.07 0.08 0.80 0.05 0.09 0.90
闭源模型 Gemini 3.1 Pro 0.13 0.12 0.78 0.06 0.06 0.90
开源模型 GPT OSS (120B) 0.09 0.11 0.77 0.10 0.14 0.78
开源模型 GPT OSS (20B) 0.10 0.13 0.77 0.13 0.15 0.74
开源模型 Llama 3.3 (70B) 0.17 0.22 0.76 0.08 0.10 0.90
开源模型 Qwen 3 (80B) 0.18 0.19 0.72 0.11 0.12 0.89
基线参考 人类标注员一致性 — — 0.76 — — 0.88

消融实验

消融实验聚焦于单项提示(Ind)与联合提示(All)在开放权重模型上的运行效率、时延与 Token 消耗对比,并同步分析学生开题报告经历反馈后在各维度的实质得分演进(以第一队列 55 篇为例)。

模型名称 提示策略 单篇总耗时 (s/sub) ↓ 单次调用耗时 (s/call) 单次总 Token 消耗 输入 Token 均值 输出 Token 均值
Llama 3.3 (70B) 联合提示 (All) 182.10 (±12.79) 182.10 (±12.79) 7,181.78 5,606.69 1,575.09
Llama 3.3 (70B) 单项提示 (Ind) 284.30 (±26.54) 9.17 (±1.37) 3,228.31 3,162.76 65.55
Qwen 3 (80B) 联合提示 (All) 430.37 (±15.13) 430.37 (±15.13) 7,473.75 5,719.84 1,753.91
Qwen 3 (80B) 单项提示 (Ind) 862.02 (±36.97) 27.81 (±3.81) 3,359.56 3,275.90 83.66
GPT OSS (120B) 联合提示 (All) 258.01 (±13.74) 258.01 (±13.74) 8,227.11 5,679.85 2,547.25
GPT OSS (120B) 单项提示 (Ind) 1,133.41 (±89.76) 34.35 (±6.90) 3,383.58 3,160.07 223.51

从初稿到终稿的细粒度类目得分演化(第一队列 55 份全量样本统计): - 研究切入 (Approach):初稿均分 \(7.91 \pm 2.25\),终稿均分 \(9.40 \pm 2.06\),增量 \(+1.49\)(满分 11.00,剩余差距 1.60) - 研究动机 (Motivation):初稿均分 \(6.93 \pm 1.46\),终稿均分 \(8.09 \pm 1.01\),增量 \(+1.16\)(满分 9.00,剩余差距 0.91) - 语言质量 (Language/Quality):初稿均分 \(2.69 \pm 1.02\),终稿均分 \(3.45 \pm 0.78\),增量 \(+0.76\)(满分 4.00,剩余差距 0.55) - 方法论设计 (Methodology):初稿均分 \(4.07 \pm 1.32\),终稿均分 \(4.76 \pm 0.57\),增量 \(+0.69\)(满分 5.00,剩余差距 0.24) - 进度计划 (Schedule):初稿均分 \(4.15 \pm 0.84\),终稿均分 \(4.65 \pm 0.55\),增量 \(+0.51\)(满分 5.00,剩余差距 0.35) - 格式规范 (Form/Structure):初稿均分 \(1.96 \pm 0.19\),终稿均分 \(1.96 \pm 0.19\),增量 \(+0.00\)(已达上限)

关键发现

  • 联合提示全面占优:在所有任务和所有测试模型中,联合提示策略均取得了明显更优的人机分布对齐(更低的 JSD)。这表明将相关评测准则统一呈现在一个上下文中,不仅为模型提供了全局评分参照基准,还避免了由于多次独立调用带来的注意力偏差,同时大幅节约了端到端计算开销与网络时延。
  • 闭源模型与开源模型的性能鸿沟:商用前沿闭源模型(如 Claude Opus 4.6 与 GPT-5.2)在对齐指标上系统性优于开源模型。然而,教学部署面临着学生作业隐私合规性(GDPR/FERPA)的强制制约,迫切需要基于此基准进一步微调提升隐私友好的本地开源轻量级模型。
  • 任务异质性与模型专长分化:不同模型在开题打分与评审打分之间表现出鲜明的分化特性。GPT-5.2 在开题打分上取得最优表现(JSD 0.07),但在同行评审打分上表现欠佳(JSD 0.10);相反,Llama 3.3 (70B) 在同行评审评分中表现卓越(JSD 0.08,逼近最顶尖闭源模型),但在开题报告分析上失准严重(JSD 0.17)。仅 Claude Opus 4.6 在两项任务上均保持了极高的一致性与稳定性。
  • 反常的过高相关性假象:实验表明,若仅看 QWA 指标,大模型的 QWA(普遍在 0.75-0.90 之间)甚至显著高于人类专家间的标注一致性(开题 0.76,评审 0.88)。这是由于多数准则高度偏向高分段,模型在预测时偏好迎合多数类先验导致的统计假象,凸显了分箱 JSD 指标对于揭示真实分布偏离的核心价值。

亮点与洞察

  • 教育学严谨性与真实教学落地:该研究并非合成实验或众包标注,而是依托正规大学计算机核心课程完整采集,结合了行内定位标注与宏观文本评审,填补了自然语言处理领域长期缺失“教学级科研写作与反馈闭环”的空白。
  • 大模型评测中“分箱 JSD”诊断价值的实证确立:揭穿了大语言模型在不平衡打分任务中 QWA 虚高“超越人类”的假象,为学术写作及主观文本评价领域的大模型评测树立了更为严谨的分布对齐标准。
  • 跨文档多智能体协同评估的迁移启发:该工作提出的“草稿-批注-修改”跨文档追踪机制与细粒度准则解析框架,可无缝迁移至学术论文自动审稿助理、研究生学位论文预审以及交互式代码评审教学系统中。

局限与展望

  • 知情同意导致的样本筛选偏差:受伦理合规与知情同意协议限制,仅部分学生同意公开作业数据,导致数据集中存在未公开草稿的“孤儿评审(Orphaned Reviews)”,且学生群体可能存在潜在的自信度或隐私偏好选择性偏差。
  • 跨学科普适性有待实证扩展:当前数据主要聚焦于计算机科学与人工智能方向的立项报告,尽管量表准则设计特意去除了具体技术绑定,但其在人文学科、生物医学等其他领域的迁移有效性仍需长期多跨度实验验证。
  • 生成式反馈的安全评估留待深入:本文主要探索了评分判别任务,尚未开放端到端自动化反馈生成与交互指导,未来需围绕大模型自动批注的准确性、建设性及避免学术误导等方面开展严密的红队测试。

相关工作与启发

  • vs ASAP / ICLE++ 等传统自动作文评分 (AES):传统 AES 数据集多聚焦中学生或二语学习者的通识性议论文,采用单一黑盒打分或极少数浅层特征;Exposía 针对大学高阶科研立项场景,首创集成了 60 项深度教育学量表与行内批注修订链条。
  • vs PeerRead / NLPeer 等学术会议同行评审基准:现有同行评审基准面向成熟科研论文的发表终审,目标是去留决策;Exposía 立足于课堂教学场景下的形成性评价,注重对撰写者科研素养演进过程的追踪与指导。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立学术写作与同行反馈全闭环的高校教学数据集,填补了跨文档形成性评价的基准空白。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 7 款主流开闭源模型,对比单项与联合提示策略,并提出分箱 JSD 揭示标签偏斜下的真实人机对齐。
  • 写作质量: ⭐⭐⭐⭐⭐ 论文结构严谨、教育学理论背景深厚、附录案例极其详实、分析深入透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为推动大模型在高等教育学术写作辅导、同行评议培训以及科研辅助领域的健康落地提供了不可或缺的基准支撑。