跳转至

ReGround: Grounding Reviewer Comments in Multimodal Evidence

会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.54/
代码: https://github.com/UKPLab/emnlp2026-reground
领域: 信息检索
关键词: 审稿意见证据溯源, 多模态检索, 科学文献理解, 证据类型路由, 跨模态互补

一句话总结

针对同行评审中缺乏细粒度原文多模态证据对齐基准的难题,ReGround 利用作者 Rebuttal 显式引用自动构建了包含 3,656 篇论文与 16,274 个审稿意见-证据对的大规模检索基准,揭示了证据类型推断瓶颈与图文模态高度互补性。

研究背景与动机

同行评审作为科学研究质量把控的基石,每年产生海量高度专业的审稿意见。随着投稿量激增,顶级学术会议正积极引入审稿辅助系统以减轻审稿人负担。此类系统乃至科学问答与事实核查的核心前置能力,是将审稿意见中提出的批评、疑问或建议,精准溯源并锚定(ground)到论文原文中的具体细节证据——无论是某处方法定义、实验数据表格、章节级论点还是折线图中的特定走势。然而,审稿意见天然具备高度概括、评估性强且常常隐式指向论文缺陷的特征,与传统面向明确信息需求的科学问答(如 QASPER、PeerQA)存在本质差异。

更为关键的是,科学论文中的证据具有高度的模态与粒度异构性,横跨单行正文、段落、完整章节、图表插图及其附带说明。现有的评审交互数据集要么仅在粗粒度文档级建模论辩结构(如 DISAPERE、APE),要么仅对齐修改稿中的修订补丁(如 ARIES),而极少数针对原文细粒度锚定的资源(如 F1000RD、CLAIMCHECK)完全依赖昂贵的人工标注,规模极其有限且局限于纯文本模态。缺乏一个大规模、覆盖多模态异构证据且锚定匿名提交原稿的标准基准,阻碍了科学文档理解系统的深入发展。

本文的破局灵感源于对学术评审机制的敏锐洞察:作者在撰写 Rebuttal 答复审稿人时,往往会显式引用论文正文中的行号、章节号、图表编号以澄清误解或列举证据,这种真实发生的反驳与解释天然构成了高质量、专家级的人工标注来源。核心 idea:利用作者 Rebuttal 中的显式正文引用作为高精度弱监督信号,通过大模型对齐与严格去噪,自动构建首个链接匿名原稿段落、章节、图表等多模态证据的大规模审稿意见检索基准 ReGround。

方法详解

整体框架

ReGround 将审稿意见锚定形式化为文档内检索任务:给定一段未包含显式正文引用的审稿意见 \(c\),目标是从该论文匿名提交原稿解析出的异构候选证据池 \(\mathcal{D} = \{d_1, \dots, d_n\}\) 中,检索出作者在 Rebuttal 中用于回应或澄清 \(c\) 的全部支撑证据单元。整个数据构建与评测流水线包含结构化文档抽取、引用检测与对齐、三级级联过滤以及多模态检索评测四个核心阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["匿名提交原稿 PDF + 审稿意见 + 作者 Rebuttal"] --> B["结构化文档与句子解析"]
    B --> C["显式正文引用检测<br/>8类正则模式覆盖行/节/图/表"]
    C --> D["审稿意见-答复句子对齐<br/>长上下文LLM抽取对应审稿跨度"]
    D --> E["三级级联降噪过滤<br/>去除抄录审稿/显式作弊/稿外新证据"]
    E --> F["解析映射至结构化候选单元<br/>生成多模态检索候选池"]
    F --> G["统一/类型感知/多模态检索基准"]

关键设计

1. 结构化文档抽取与正文引用检测:多粒度单元解析与高精度正则捕获 为了确保候选证据池的保真度与可复现性,流水线从 NLPeer v2 收集 EMNLP、COLING、NAACL 和 ACL 的匿名投稿原稿 PDF。文本层面使用 pypdf 提取行号与章节标题,并借助 GROBID 恢复精确的段落语义边界(行号引用被映射归属于其对应的段落);视觉层面利用 PDFFigures 2.0 抽取出所有图表图像及其关联标题文本。在引用捕获端,研究团队通过在 250 篇随机样本上迭代设计了覆盖 8 大类的精细正则表达式族,全面涵盖行号(如 lines 120–135)、章节(Section 3.2、§4 及标准命名章节)、图表(Figure 2、Table 1)、附录、公式、页码和脚注,从 Rebuttal 中抽取出所有承载证据的句子。

2. 基于长上下文 LLM 的审稿跨度对齐:跨文档上下文消歧 在检测到包含正文引用的 Rebuttal 句子后,必须精确定位它究竟回应了审稿报告中的哪项具体批评。作者常常在 Rebuttal 中使用结构化索引(如“W1”、“Q5”)或局部转述。系统采用具备长上下文窗口的开源大模型 gpt-oss-120b,将结构化带行号的完整审稿报告、完整 Rebuttal 全文以及目标 Rebuttal 句子一同输入,提示模型精确输出被回应的审稿跨度 ID 列表;若单句回应多个问题则保留全部对齐,无法确定对齐则直接舍弃。人工双盲抽样核验证明该对齐准确率达到 96%(Cohen's \(\kappa=0.83\))。

3. 三级级联降噪过滤机制:提纯隐式原文证据 原始对齐数据包含三种严重影响检索基准质量的噪声,流水线设计了严格的三级过滤网: - 消除审稿原文抄录(~20% 剔除):作者在 Rebuttal 开头经常逐字抄录审稿人的意见,导致引用检测误将审稿人原话中的引用当作作者证据;采用模糊字符串匹配将高度重合的抄录句滤除; - 过滤显式提及用例(~18% 剔除):为建立真正的“隐式锚定(implicit grounding)”基准,若审稿人意见中本身已指明了目标图表或章节(如“Table 2 的数值存疑”),此用例属于浅层字符串匹配即可解决的简单题,一律予以剔除; - 大模型过滤稿外新证据(~23% 剔除):提示 gpt-oss-120b 逐句检验,坚决剔除作者承诺在终稿中添加的修改、Rebuttal 期间临时补充的新实验数据、以及引用外部文献的句子,确保留存的 16,274 个证据单元全部 100% 存在于原始提交论文中。

4. 逐点似然打分与跨模态双路融合:评测协议与打分校准 基准支持文本稀疏检索(BM25、SPLADEv3)、稠密检索(BGE-M3、EmbeddingGemma、Qwen-3 Embedding)、交叉编码器(BGE-M3-Reranker)以及 LLM 逐点打分。对于 LLM 评分,给定审稿意见 \(c\) 与候选证据 \(d\),提取最终二分类决策标记(\(A\) 代表相关,\(B\) 代表不相关)的未归一化对数概率 \(\ell_A, \ell_B\),通过两类 Softmax 计算连续相关度得分: $\(p(A \mid c, d) = \frac{\exp(\ell_A)}{\exp(\ell_A) + \exp(\ell_B)}\)$ 在视觉模态(图表)检索中,评估了纯图像(Image-only)与图文拼接(Image+Caption)两种输入形态,对比了 SigLIP2、OpenCLIP、Jina-v4、ColQwen2.5 以及 Qwen-3 VL 等多模态模型,为多模态后融合提供基准。

实验关键数据

主实验

论文评测了在统一异构文本候选池(Unified Text Retrieval,涵盖段落、章节、图表标题)上的检索性能。由于候选单元长短异构且证据类型未知,统一检索极具挑战性。

模型类别 代表模型 MRR Recall@1 (%) Recall@2 (%) Recall@10 (%)
稀疏检索 BM25 7.62 3.57 5.65 14.90
稀疏检索 SPLADEv3 7.39 3.04 5.38 15.17
稠密检索 all-mpnet 9.08 4.08 6.78 19.12
稠密检索 BGE-M3 9.41 4.45 7.14 19.05
稠密检索 Qwen-3 Embedding 4B 6.92 3.26 5.03 14.59
稠密检索 EmbeddingGemma 8.78 4.17 6.64 17.68
交叉编码器 BGE-M3-Reranker 7.85 3.42 5.67 16.20
交叉编码器 MiniLM-L12 7.92 3.62 5.82 15.81
LLM 打分 Gemma-3 27B 10.12 4.68 7.74 20.34
LLM 打分 Qwen-3 30B Instruct 10.87 5.12 8.29 21.15

在已知真实证据类型的“类型感知(Oracle)”评测下,各模型的表现显著提升(例如段落级 Qwen-3 30B Instruct 的 MRR 跃升至 32.97,Recall@10 达 53.64;表格标题 MRR 达 56.17),证实类型不确定性是统一检索的核心瓶颈。

消融与分析实验:图表多模态检索表现

针对图表证据,论文对比了多模态模型在“纯图像(Image-only)”与“图像+标题(Image+Caption)”配置下的检索表现。

评估任务 检索模型 图像+标题 MRR 图像+标题 R@1 (%) 图像+标题 R@2 (%) 纯图像 MRR 纯图像 R@1 (%) 纯图像 R@2 (%)
表格检索 (Table) SigLIP2 49.60 30.04 48.94 44.54 24.40 42.56
表格检索 (Table) Jina Embeddings v4 55.67 37.19 55.92 52.80 34.46 51.70
表格检索 (Table) ColQwen2.5 v0.2 57.95 40.48 58.33 53.73 35.65 52.16
表格检索 (Table) Qwen-3 VL 32B 59.53 42.39 60.34 56.79 39.22 56.97
插图检索 (Figure) SigLIP2 47.84 27.93 46.31 44.23 24.02 42.53
插图检索 (Figure) Jina Embeddings v4 52.11 32.88 52.87 46.65 26.80 45.57
插图检索 (Figure) ColQwen2.5 v0.2 52.53 32.82 53.79 46.54 26.10 46.14
插图检索 (Figure) Qwen-3 VL 32B 56.39 37.66 58.47 50.85 30.67 51.13

关键发现

  • 全篇统一检索极度困难:即便业内顶级大语言模型打分器,在无类型提示的统一文本池中 Recall@10 也仅有 21.15%,MRR 止步于 10.87;跨编码器(如 BGE-M3-Reranker)因长文本截断和长章节处理退化,表现甚至落后于双编码器;
  • 类型路由是决定性瓶颈,但硬过滤适得其反:知晓金标证据类型后模型性能暴涨 2-3 倍。然而,如果在第一阶段用分类器进行硬类型预测过滤,Qwen-3 30B 的 Recall@10 会从 21.15% 骤降至 6.11%,原因是分类器对图表等小类预测错误直接将正样本排除在外;证据类型只能作为软重排序信号;
  • 多证据关联检索大幅崩塌:25.77% 的审稿意见对应 2 个以上互补证据单元。在多证据测试下,即便在类型已知条件下,Qwen-3 30B 的 Recall@1 仅有 12.69%,表明现有模型极难在排序顶部同时聚拢多处互补信息;
  • 图文模态高度互补而非替代:表格检索中图像检索显著优于纯标题文本(R@2 达 60.34% vs 53.29%,\(p=0.0156\)),且两者在 29.7% 的样本上出现决策不一致;这表明多模态后融合(Late Fusion)是解决图表证据定位的必由之路。

亮点与洞察

  • 将 Rebuttal 反哺为自然弱监督的绝妙构思:跳出昂贵的人工标注和失真的合成问答,巧妙利用学术博弈中作者必然“引经据典”指明原文位置的行为,低成本获得了上万条专家级精细对齐数据。
  • 揭示了“类型不确定性”对检索系统的破坏性影响:长篇文档中图表标题、局部段落与整章论述在长度与语义密度上差异巨大,传统单一打分机制会产生严重的长度和粒度偏置。
  • 为科学文献 RAG 与自动化审稿开辟了刚需评测场:证明了“给审稿意见查证原文”远比通用事实核查困难,直接为 AI 审稿辅助系统的幻觉校验与自动化反驳生成提供了基准支撑。

局限与展望

  • 依赖作者主观答复带来潜在覆盖偏差:标注数据源于作者 Rebuttal 引用的材料,体现的是作者选择反驳或解释的论据,可能无法覆盖审稿意见涉及但作者避而不谈或未察觉的全部证据;
  • 单领域与粗粒度引用噪声:当前数据受限于学术开源生态仅覆盖 NLP/AI 会议论文,且部分作者习惯引用宽泛的“Section 3”而非具体子节,引入了约 1.58% 的粗粒度标注边界;
  • 检索阶段图文仍处于割裂评测:文本检索与图像检索在评测时分设了不同的候选池,尚未构建图文一体化端到端单次联合检索与排序流水线。

相关工作与启发

  • vs QASPER / PeerQA: 传统的学术问答数据集采用人工众包的信息寻求型(Information-seeking)疑问,答案多为紧凑陈述文本;本文面向真实评审中评价性(Evaluative)且高度隐式的批评意见,且覆盖全模态图表。
  • vs ARIES / RE3: 修订类数据集关注审稿意见在后续 Camera-Ready 版本引发的正文修改轨迹,无法衡量模型在初次评审阶段对当前版本证据的溯源与检验能力。
  • vs CLAIMCHECK / F1000RD: 既有原文溯源工作规模极小(数十至百余篇)、局限于纯文本,ReGround 在保持专家精度的同时将规模提升数十倍并拓展至多模态。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [巧妙借用 Rebuttal 显式引用构建隐式证据溯源基准,视角极为独特]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 10 余种代表性检索架构,多角度深入剖析长文本、多证据与多模态消融]
  • 写作质量: ⭐⭐⭐⭐⭐ [论证逻辑严密,图表清晰,问题定义与分析鞭辟入里]
  • 价值: ⭐⭐⭐⭐⭐ [填补了多模态科学文档检索的空白,直接赋能科研助手与评审合规审计]