PaperScorer: How Predictable Is Paper Acceptance?¶

会议: NeurIPS 2026
arXiv: 2610.31791
代码: https://github.com/princeton-vl/PaperScorer
领域: 其他
关键词: 同行评审预测, 科学智能评估, 多模态文档理解, 模型校准, 自动化科研

一句话总结¶

PaperScorer 构建了严格消除作者身份、格式排版等捷径偏差的百万级平衡数据集，直接从匿名论文文本及整页截图预测最终录用决策，证实纯视觉多模态模型表现显著超越前沿大模型与文本基线，且预测概率高度校准，为 AI 驱动的研究评估提供了坚实基石。

研究背景与动机¶

随着大语言模型和自主科研智能体（AI Scientist）的迅猛发展，端到端自动化科研循环（从提炼 idea、自动编写代码、运行实验到分析结论与撰写论文）正在成为现实。然而，这套自迭代闭环极度依赖可靠的评价机制。长期以来，机器学习界习惯于依靠单一 benchmark 指标评价贡献；但现实中许多重要的研究探索（如机制发现、可解释性分析、框架重构）并不存在现成 benchmark，即便有跑分基准，学术界对其权衡与代表性也常存争议，最终依然必须回到同行评审（peer review）的综合裁决体系。

问题在于，人工同行评审本身极具噪声、主观且机制模糊。以 NeurIPS 2014 和 2021 的评审一致性实验为例，同一批投稿若交由两套独立评审委员会裁定，约一半被第一个委员会录用的论文会被第二个委员会拒稿；近期大模型生成的审稿意见进一步介入审稿流程，更加深了决策信号与评审随机噪声的缠结。更严重的是，以往尝试预测论文录用的机器学习模型往往学到了危险的「作弊捷径」：例如直接利用录用后的 Camera-Ready 格式排版、致谢中的作者单位信息、代码仓库 URL 泄露、或是单纯迎合顶会普遍 75% 以上的高拒稿率。在排除所有格式与身份泄露、只保留论文自身学术内容的严谨前提下，人们完全不清楚最终的录用决策究竟在多大程度上是可以被算法预测的。

为了厘清这一科学度量问题，本文剥离了对不可靠中间评分或冗长审稿意见的拟合，直接探讨纯论文内容与最终决议之间的预测边界。核心 idea：构建严格消除身份与排版捷径的匿名双模态平衡基准，直接以端到端二分类决议为监督目标微调开源视觉/文本大模型（PaperScorer），发现结合版面图表视觉感知的多模态模型在决策准确率与概率校准上显著优于纯文本模型与前沿推理模型，揭示出论文自身外貌与结构所承载的巨大决策信号。

方法详解¶

整体框架¶

PaperScorer 的目标是从论文自身的学术内容中学习决策函数 \(f_\theta(x) \to \{\text{Accept}, \text{Reject}\}\) 以及连续录用概率估算 \(p_{\mathrm{accept}}(x)\)。为防止模型依赖元数据与排版作弊，研究设计了一套横跨 ICLR 与广泛 arXiv 论文源的严格匿名化清洗流水线，导出纯 Markdown 文本视图与整页截图视觉视图，随后采用端到端直接决策有监督微调（SFT）训练预测模型，并利用温度缩放进行事后概率校准。

整个流水线从原始论文源抓取、捷径消除与双模态预处理，到平衡监督微调与后验校准，其完整端到端架构如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始论文数据源<br/>OpenReview ICLR 与 arXiv LaTeX 源码"] --> B["消除捷径与双模态清洗<br/>剥离作者/致谢/链接/参考文献后附录"]
    B --> C["双模态论文表示<br/>Markdown 纯文本 vs 整页渲染截图"]
    C --> D["端到端二分类监督微调<br/>Qwen2.5 文本与 Qwen2.5-VL 视觉骨干"]
    D --> E["平衡先验训练与温度校准<br/>校正决策阈值与过自信偏差"]
    E --> F["下游科学应用评估<br/>LitSearch 文献检索重排与评审 Agent 先验引导"]

关键设计¶

1. 消除捷径与双模态清洗：杜绝格式与身份信息造成的伪预测

以往同行评审预测数据集（如 Deep Paper Gestalt 拿 Workshop 论文当拒稿样本、或将 OpenReview 匿名投稿与录用后 Camera-Ready 混搭）存在极严重的数据泄露，模型只需识别页面边距、行号或首页作者栏即可达到高准确率。针对这一致命痛点，本文在 ICLR 源中仅选取 Rebuttal 阶段最终匿名 PDF（彻底剔除仅有 Camera-Ready 的 ICLR 2024），并剔除所有作者栏、机构信息、致谢段落和 GitHub 外部链接；在庞大的 arXiv 库中，研究团队利用 NeMo Curator 从 43 万余篇 LaTeX 源码包中检索目标顶会模板并重新编译匿名 Review 模式 PDF，依据顶会录用清单匹配出高纯度 Accept，并将同模板但未录用论文定为弱负例 Implied Reject。所有论文均通过 MinerU 统一提取：纯文本模型截断至参考文献前（上限 24,480 tokens），视觉模型则获取各页面按 \(1280 \times 28^2\) 像素统一降采样并涂白敏感区域后的截图，保证两种输入均与评审人所见的匿名内容绝对对称。

2. 端到端二分类监督微调：绕过中间审稿文本与评分散乱的端到端学习

与以往通过多智能体模拟审稿意见（如 DeepReview、MARG）再生成最终决定的复杂多阶段管线不同，本文将任务直接简化为下一个 Token 生成预测：输入整篇文档，直接输出 Accept 或 Reject。模型采用 Qwen2.5-7B 文本大模型与 Qwen2.5-VL-7B 视觉语言模型作为基础骨干，其知识截止时间早于主要评估集决议，避免测试集记忆污染。在决策位置，提取词表中的两个核心词元概率并进行归一化：

\[p_{\mathrm{accept}} = \frac{P_\theta(\texttt{Accept} \mid x)}{P_\theta(\texttt{Accept} \mid x) + P_\theta(\texttt{Reject} \mid x)}\]

微调后概率质量几乎 100% 集中于这两个候选词元。实验证明，相比于采用 GRPO 强化学习配合思考链（Chain-of-Thought）缓慢探索单一奖励，或者利用复杂 Prompt 指导前沿大模型模拟多轮审稿，直接在平衡先验数据集上进行端到端监督微调能够以极简架构激发出最强且最鲁棒的决议排序信号。

3. 平衡先验训练与温度校准：摆脱盲目拒稿偏见与过自信分布漂移

现实会议投稿中拒稿率通常在 70%~80% 之间，若直接在自然比例下训练，模型容易收敛至极端偏向 Reject 的退化状态（在验证集原生阈值下召回率严重失衡）。为此，PaperScorer 在训练和测试集中均采用严格的 50:50 类别平衡，使得准确率能够无偏反映正反类别的综合判别力。为了让模型输出的 \(p_{\mathrm{accept}}\) 具备严格的置信度含义，团队提取决策 Log-Odds \(\ell_i = \log P(\text{Accept}) - \log P(\text{Reject})\)，并在验证集上利用温度缩放（Temperature Scaling）最小化负对数似然：

\[p_{\mathrm{cal}} = \sigma\left(\frac{\ell_i}{\tau} + \log\frac{\pi}{1 - \pi}\right)\]

其中 \(\pi\) 为目标会议的真实先验录用率（在平衡测试集上 \(\pi=0.5\)，对数修正项为 0）。经过温度缩放后，模型的期望校准误差（ECE）由 0.13 大幅降至 0.02~0.03，实现了「\(X\%\) 置信度的预测其正确率亦严格吻合 \(X\%\)」，在置信度超过 70% 时对全库覆盖率与准确率远超传统校准基线。

4. 视觉感知与文档格式压缩：整页布局与图表质感的信号捕获

传统文档理解依赖 OCR 纯文本转换，但纯文本抽取必然彻底丢失图表美观度、公式排版紧凑度、方法流向图视觉传达以及页面整洁度。PaperScorer 对比实验表明视觉模态相比纯文本在 ICLR 和 arXiv 上准确率分别取得 2.3% 和 3.3% 的显著净收益。进一步研究发现，将 10 页论文截图拼贴缩放为单张大图（Panel View），虽然视觉 Token 压缩了 63%（从 12,420 骤降至 4,590）且 OCR 文本识别保留率由 80% 跌落至 30%，但 ICLR 决策准确率仅轻微下降 2.2%（从 68.3% 降至 66.1%）。这一发现强烈印证了经典的「论文完形假说」（Paper-Gestalt Hypothesis）——即学术论文整体视觉版面与图表成熟度承载着人类评审难以言表却潜意识采纳的质量直觉。

损失函数 / 训练策略¶

有监督微调采用标准的自回归交叉熵损失，仅在最后输出的决策 Token 上计算梯度。超参数方面，批大小采用动态梯度累积，优化器为 AdamW，学习率设为 \(1 \times 10^{-5}\)，采用余弦退火学习率调度。对于 RL 探索分支，团队采用 SkyRL 框架下的 GRPO 算法，针对输出的思考块与决策答案定义二值奖励函数：

\[r(y, x) = 0.8 \cdot \mathbf{1}[d(y) = d^\star(x)] + 0.2 \cdot \mathbf{1}[\textsc{format}(y)]\]

其中 \(d(y)\) 提取答案盒中的决议，\(\textsc{format}(y)\) 约束模型必须按 <think>...</think><answer>\boxed{...}</answer> 规范作答。由于学术论文录用决策的单比特二值奖励噪声过大且信噪比低，RL 探索未达预期，最终以 SFT 模型作为核心发布基准。

实验关键数据¶

主实验¶

主实验在平衡构建的 ICLR（'25–'26 测试集，2,495 篇）和 arXiv（'24–'26 测试集，8,358 篇）上全面评测了轻量级前沿推理模型、旗舰前沿大模型、编码 Agent 工具链、审稿专家微调模型以及 PaperScorer 变体。

方法 / 模型	训练来源	输入模态	ICLR Acc (%)	ICLR AUC	ICLR \(p_A\) 偏置	arXiv Acc (%)	arXiv AUC	arXiv \(p_A\) 偏置
Gemini-3-Flash	无 (零样本)	Vision	65.6	0.672	50.1 (+0.1)	62.4	0.653	37.3 (-12.7)
GPT-5.4-Mini	无 (零样本)	Text	60.0	0.632	39.4 (-10.6)	58.6	0.635	34.0 (-16.0)
Gemini-3.1-Pro	无 (零样本)	Vision	65.1	0.690	34.4 (-15.6)	68.5	0.736	33.2 (-16.8)
GPT-5.5	无 (零样本)	Vision	63.4	0.692	73.6 (+23.6)	68.3	0.743	39.3 (-10.7)
Sonnet-4.6 (Claude Agent)	无 (交互Agent)	Both	61.2	0.711	26.6 (-23.4)	60.7	0.739	23.8 (-26.2)
DeepReview-14B	审稿数据	Text	64.9	0.667	55.3 (+5.3)	61.6	0.699	38.0 (-12.0)
Jev (决策校准模型)	外部先验	Text	63.4	0.682	67.9 (+17.9)	60.6	0.659	66.8 (+16.8)
PaperScorer-Text	ICLR	Text	66.0	0.721	46.7 (-3.3)	59.5	0.723	18.5 (-31.5)
PaperScorer-Vision	ICLR	Vision	68.3	0.736	50.9 (+0.9)	64.2	0.719	35.4 (-14.6)
PaperScorer-Vision	arXiv	Vision	60.7	0.653	41.8 (-8.2)	77.5	0.843	46.4 (-3.6)

消融实验¶

消融实验重点考察了输入视觉表征压缩、训练数据规模与模型参数量规模对决策准确率的影响。

配置与变量	实验条件	准确率 Acc (%)	AUC 指标	差异说明
全量逐页视觉输入	ICLR 测试集 (12,420 tokens)	68.3	0.736	基准配置，保留全部高分辨率逐页图表
拼贴压缩视觉输入	10页拼贴单图 (4,590 tokens)	66.1	0.704	视觉 token 减少 63%，Acc 仅微跌 2.2%
纯文本输入 (Text)	截断 Markdown (全量上下文)	66.0	0.721	较逐页视觉下降 2.3%，缺失图表视觉质量
模型参数规模缩放	3B vs 7B vs 14B (SFT)	\(\Delta \text{Acc} \approx \pm 1.0\%\)	无显著变化	Bootstrap 检验无显著差异，参数量非核心瓶颈
数据规模扩展 (arXiv)	arXiv-m (25K) \(\to\) arXiv (84K)	71.5 \(\to\) 77.5	0.825 \(\to\) 0.843	数据池扩增 3.4 倍带来高达 6.0% 的绝对提升
强化学习微调 (GRPO)	ICLR SFT 骨干 + RL 探索	55.0	0.517	单比特二值奖励使得策略梯度方差极大，表现逊于 SFT

关键发现¶

视觉感知超越文本：在严格成对且经 Holm–Bonferroni 校正的检验下，PaperScorer-Vision 相比 Text 提升显著（\(p = 0.012\) 与 \(p = 0.005\)）。图表设计、排版成熟度和版面呈现构成了论文不可忽视的隐式质量信号。
两端可测而中间混沌：将论文按真实评审得分百分位细分后发现，前沿大模型仅能较准确识别极低分的劣质论文（Clear Rejects），但在高分论文上大量错杀；PaperScorer 则在最高分与最低分两端均保持极高准确率。然而，所有模型在处于中游（40%~50% 边缘分位数）的争议论文上，准确率均暴跌至接近 50% 随机猜测水平，说明这部分论文的命运主要受制于评审人分配与主观偏好等随机外部因素。
数据红利远大过参数红利：将模型从 3B 升级到 7B 甚至 14B，决策准确率在统计学上近乎持平；反之，将严密清洗的训练集从 25K 扩展至 84K 时，准确率由 71.5% 跃升至 77.5%，证明同行评审分布学习的核心在于覆盖多领域学术样态而非大模型参数容量。

亮点与洞察¶

去捷径化的严格基准构建：论文揭露并系统测算了已有同行评审数据集中严重的「格式泄漏」缺陷（如 Camera-Ready 与 Workshop 带来的伪高分），首创利用 arXiv LaTeX 源码重编译和 MinerU 深度规范化清洗，为社区确立了纯内容预测的评测黄金标准。
验证「论文完形假说」（Paper Gestalt）：首次在完全遮蔽作者机构、格式对齐的大规模受控实验中证明，即便在激进压缩至 OCR 识别率仅剩 30% 的极低分辨率单张拼贴图下，视觉模型依然能保留 66.1% 的判别准确率，定量证实人类对科研论文的直观视觉版面评价确实具备预测有效性。
对 Agentic 评审与科学检索的强大先验赋能：在 LitSearch 文献检索任务中，将 PaperScorer 得分作为质量先验融入密集检索，使 Top-10 真实引用召回率提升 8.7%；在由 Claude Code 主导的智能体审稿实验中，以 PaperScorer 为贝叶斯先验将 Agent 审稿决策正确率从 63.0% 提升至 70.6%，且显著增强了其指责主要技术缺陷与创新不足的人类审稿一致性。

局限与展望¶

因果机制解释性匮乏：当前注意力热力图与切片编辑表明模型重点关注方法与实验章节，但单一的 \(p_{\mathrm{accept}}\) 得分属于后验统计关联，并不代表真正的科学原创性或未来十年长周期影响力，模型也无法直接给出有因果逻辑的拒稿解释。
时间轮转带来的分布漂移：实验发现无论前沿大模型还是 PaperScorer，在 2026 年最新论文上的表现均出现显著下滑，原因在于新一届会议往往带来新的方法范式、测试跑分基准及大模型辅助评审规范，导致模型必须随年份持续增量微调以对抗概念漂移。
争议中游论文的预测上限：受限于同行评审内在的随机性（贝叶斯最优上限约为 80.2%），对大量平庸或边界带上的论文，纯论文静态文本无法也不可能替代同行互动、Rebuttal 辩护与多方博弈过程。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性排除格式捷径并证明了纯论文内容（尤其是视觉模态）对同行评审决议的可预测性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 万+ 论文真实数据集、多模态对比、压缩消融、校准度量及检索/审稿 Agent 双重落地。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，实验设计环环相扣，对捷径审计与潜在记忆污染的排查极为详实。
价值: ⭐⭐⭐⭐⭐ 为自动化科研闭环提供了首个高可靠、良好校准且兼顾版面直觉的开源评审评估先验。