ReGround: Grounding Reviewer Comments in Multimodal Evidence¶
会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.54/
代码: https://github.com/UKPLab/emnlp2026-reground
领域: 信息检索
关键词: 审稿意见证据溯源, 多模态检索, 科学文献理解, 证据类型路由, 跨模态互补
一句话总结¶
针对同行评审中缺乏细粒度原文多模态证据对齐基准的难题,ReGround 利用作者 Rebuttal 显式引用自动构建了包含 3,656 篇论文与 16,274 个审稿意见-证据对的大规模检索基准,揭示了证据类型推断瓶颈与图文模态高度互补性。
研究背景与动机¶
同行评审作为科学研究质量把控的基石,每年产生海量高度专业的审稿意见。随着投稿量激增,顶级学术会议正积极引入审稿辅助系统以减轻审稿人负担。此类系统乃至科学问答与事实核查的核心前置能力,是将审稿意见中提出的批评、疑问或建议,精准溯源并锚定(ground)到论文原文中的具体细节证据——无论是某处方法定义、实验数据表格、章节级论点还是折线图中的特定走势。然而,审稿意见天然具备高度概括、评估性强且常常隐式指向论文缺陷的特征,与传统面向明确信息需求的科学问答(如 QASPER、PeerQA)存在本质差异。
更为关键的是,科学论文中的证据具有高度的模态与粒度异构性,横跨单行正文、段落、完整章节、图表插图及其附带说明。现有的评审交互数据集要么仅在粗粒度文档级建模论辩结构(如 DISAPERE、APE),要么仅对齐修改稿中的修订补丁(如 ARIES),而极少数针对原文细粒度锚定的资源(如 F1000RD、CLAIMCHECK)完全依赖昂贵的人工标注,规模极其有限且局限于纯文本模态。缺乏一个大规模、覆盖多模态异构证据且锚定匿名提交原稿的标准基准,阻碍了科学文档理解系统的深入发展。
本文的破局灵感源于对学术评审机制的敏锐洞察:作者在撰写 Rebuttal 答复审稿人时,往往会显式引用论文正文中的行号、章节号、图表编号以澄清误解或列举证据,这种真实发生的反驳与解释天然构成了高质量、专家级的人工标注来源。核心 idea:利用作者 Rebuttal 中的显式正文引用作为高精度弱监督信号,通过大模型对齐与严格去噪,自动构建首个链接匿名原稿段落、章节、图表等多模态证据的大规模审稿意见检索基准 ReGround。
方法详解¶
整体框架¶
ReGround 将审稿意见锚定形式化为文档内检索任务:给定一段未包含显式正文引用的审稿意见 \(c\),目标是从该论文匿名提交原稿解析出的异构候选证据池 \(\mathcal{D} = \{d_1, \dots, d_n\}\) 中,检索出作者在 Rebuttal 中用于回应或澄清 \(c\) 的全部支撑证据单元。整个数据构建与评测流水线包含结构化文档抽取、引用检测与对齐、三级级联过滤以及多模态检索评测四个核心阶段。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["匿名提交原稿 PDF + 审稿意见 + 作者 Rebuttal"] --> B["结构化文档与句子解析"]
B --> C["显式正文引用检测<br/>8类正则模式覆盖行/节/图/表"]
C --> D["审稿意见-答复句子对齐<br/>长上下文LLM抽取对应审稿跨度"]
D --> E["三级级联降噪过滤<br/>去除抄录审稿/显式作弊/稿外新证据"]
E --> F["解析映射至结构化候选单元<br/>生成多模态检索候选池"]
F --> G["统一/类型感知/多模态检索基准"]
关键设计¶
1. 结构化文档抽取与正文引用检测:多粒度单元解析与高精度正则捕获 为了确保候选证据池的保真度与可复现性,流水线从 NLPeer v2 收集 EMNLP、COLING、NAACL 和 ACL 的匿名投稿原稿 PDF。文本层面使用 pypdf 提取行号与章节标题,并借助 GROBID 恢复精确的段落语义边界(行号引用被映射归属于其对应的段落);视觉层面利用 PDFFigures 2.0 抽取出所有图表图像及其关联标题文本。在引用捕获端,研究团队通过在 250 篇随机样本上迭代设计了覆盖 8 大类的精细正则表达式族,全面涵盖行号(如 lines 120–135)、章节(Section 3.2、§4 及标准命名章节)、图表(Figure 2、Table 1)、附录、公式、页码和脚注,从 Rebuttal 中抽取出所有承载证据的句子。
2. 基于长上下文 LLM 的审稿跨度对齐:跨文档上下文消歧
在检测到包含正文引用的 Rebuttal 句子后,必须精确定位它究竟回应了审稿报告中的哪项具体批评。作者常常在 Rebuttal 中使用结构化索引(如“W1”、“Q5”)或局部转述。系统采用具备长上下文窗口的开源大模型 gpt-oss-120b,将结构化带行号的完整审稿报告、完整 Rebuttal 全文以及目标 Rebuttal 句子一同输入,提示模型精确输出被回应的审稿跨度 ID 列表;若单句回应多个问题则保留全部对齐,无法确定对齐则直接舍弃。人工双盲抽样核验证明该对齐准确率达到 96%(Cohen's \(\kappa=0.83\))。
3. 三级级联降噪过滤机制:提纯隐式原文证据
原始对齐数据包含三种严重影响检索基准质量的噪声,流水线设计了严格的三级过滤网:
- 消除审稿原文抄录(~20% 剔除):作者在 Rebuttal 开头经常逐字抄录审稿人的意见,导致引用检测误将审稿人原话中的引用当作作者证据;采用模糊字符串匹配将高度重合的抄录句滤除;
- 过滤显式提及用例(~18% 剔除):为建立真正的“隐式锚定(implicit grounding)”基准,若审稿人意见中本身已指明了目标图表或章节(如“Table 2 的数值存疑”),此用例属于浅层字符串匹配即可解决的简单题,一律予以剔除;
- 大模型过滤稿外新证据(~23% 剔除):提示 gpt-oss-120b 逐句检验,坚决剔除作者承诺在终稿中添加的修改、Rebuttal 期间临时补充的新实验数据、以及引用外部文献的句子,确保留存的 16,274 个证据单元全部 100% 存在于原始提交论文中。
4. 逐点似然打分与跨模态双路融合:评测协议与打分校准 基准支持文本稀疏检索(BM25、SPLADEv3)、稠密检索(BGE-M3、EmbeddingGemma、Qwen-3 Embedding)、交叉编码器(BGE-M3-Reranker)以及 LLM 逐点打分。对于 LLM 评分,给定审稿意见 \(c\) 与候选证据 \(d\),提取最终二分类决策标记(\(A\) 代表相关,\(B\) 代表不相关)的未归一化对数概率 \(\ell_A, \ell_B\),通过两类 Softmax 计算连续相关度得分: $\(p(A \mid c, d) = \frac{\exp(\ell_A)}{\exp(\ell_A) + \exp(\ell_B)}\)$ 在视觉模态(图表)检索中,评估了纯图像(Image-only)与图文拼接(Image+Caption)两种输入形态,对比了 SigLIP2、OpenCLIP、Jina-v4、ColQwen2.5 以及 Qwen-3 VL 等多模态模型,为多模态后融合提供基准。
实验关键数据¶
主实验¶
论文评测了在统一异构文本候选池(Unified Text Retrieval,涵盖段落、章节、图表标题)上的检索性能。由于候选单元长短异构且证据类型未知,统一检索极具挑战性。
| 模型类别 | 代表模型 | MRR | Recall@1 (%) | Recall@2 (%) | Recall@10 (%) |
|---|---|---|---|---|---|
| 稀疏检索 | BM25 | 7.62 | 3.57 | 5.65 | 14.90 |
| 稀疏检索 | SPLADEv3 | 7.39 | 3.04 | 5.38 | 15.17 |
| 稠密检索 | all-mpnet | 9.08 | 4.08 | 6.78 | 19.12 |
| 稠密检索 | BGE-M3 | 9.41 | 4.45 | 7.14 | 19.05 |
| 稠密检索 | Qwen-3 Embedding 4B | 6.92 | 3.26 | 5.03 | 14.59 |
| 稠密检索 | EmbeddingGemma | 8.78 | 4.17 | 6.64 | 17.68 |
| 交叉编码器 | BGE-M3-Reranker | 7.85 | 3.42 | 5.67 | 16.20 |
| 交叉编码器 | MiniLM-L12 | 7.92 | 3.62 | 5.82 | 15.81 |
| LLM 打分 | Gemma-3 27B | 10.12 | 4.68 | 7.74 | 20.34 |
| LLM 打分 | Qwen-3 30B Instruct | 10.87 | 5.12 | 8.29 | 21.15 |
在已知真实证据类型的“类型感知(Oracle)”评测下,各模型的表现显著提升(例如段落级 Qwen-3 30B Instruct 的 MRR 跃升至 32.97,Recall@10 达 53.64;表格标题 MRR 达 56.17),证实类型不确定性是统一检索的核心瓶颈。
消融与分析实验:图表多模态检索表现¶
针对图表证据,论文对比了多模态模型在“纯图像(Image-only)”与“图像+标题(Image+Caption)”配置下的检索表现。
| 评估任务 | 检索模型 | 图像+标题 MRR | 图像+标题 R@1 (%) | 图像+标题 R@2 (%) | 纯图像 MRR | 纯图像 R@1 (%) | 纯图像 R@2 (%) |
|---|---|---|---|---|---|---|---|
| 表格检索 (Table) | SigLIP2 | 49.60 | 30.04 | 48.94 | 44.54 | 24.40 | 42.56 |
| 表格检索 (Table) | Jina Embeddings v4 | 55.67 | 37.19 | 55.92 | 52.80 | 34.46 | 51.70 |
| 表格检索 (Table) | ColQwen2.5 v0.2 | 57.95 | 40.48 | 58.33 | 53.73 | 35.65 | 52.16 |
| 表格检索 (Table) | Qwen-3 VL 32B | 59.53 | 42.39 | 60.34 | 56.79 | 39.22 | 56.97 |
| 插图检索 (Figure) | SigLIP2 | 47.84 | 27.93 | 46.31 | 44.23 | 24.02 | 42.53 |
| 插图检索 (Figure) | Jina Embeddings v4 | 52.11 | 32.88 | 52.87 | 46.65 | 26.80 | 45.57 |
| 插图检索 (Figure) | ColQwen2.5 v0.2 | 52.53 | 32.82 | 53.79 | 46.54 | 26.10 | 46.14 |
| 插图检索 (Figure) | Qwen-3 VL 32B | 56.39 | 37.66 | 58.47 | 50.85 | 30.67 | 51.13 |
关键发现¶
- 全篇统一检索极度困难:即便业内顶级大语言模型打分器,在无类型提示的统一文本池中 Recall@10 也仅有 21.15%,MRR 止步于 10.87;跨编码器(如 BGE-M3-Reranker)因长文本截断和长章节处理退化,表现甚至落后于双编码器;
- 类型路由是决定性瓶颈,但硬过滤适得其反:知晓金标证据类型后模型性能暴涨 2-3 倍。然而,如果在第一阶段用分类器进行硬类型预测过滤,Qwen-3 30B 的 Recall@10 会从 21.15% 骤降至 6.11%,原因是分类器对图表等小类预测错误直接将正样本排除在外;证据类型只能作为软重排序信号;
- 多证据关联检索大幅崩塌:25.77% 的审稿意见对应 2 个以上互补证据单元。在多证据测试下,即便在类型已知条件下,Qwen-3 30B 的 Recall@1 仅有 12.69%,表明现有模型极难在排序顶部同时聚拢多处互补信息;
- 图文模态高度互补而非替代:表格检索中图像检索显著优于纯标题文本(R@2 达 60.34% vs 53.29%,\(p=0.0156\)),且两者在 29.7% 的样本上出现决策不一致;这表明多模态后融合(Late Fusion)是解决图表证据定位的必由之路。
亮点与洞察¶
- 将 Rebuttal 反哺为自然弱监督的绝妙构思:跳出昂贵的人工标注和失真的合成问答,巧妙利用学术博弈中作者必然“引经据典”指明原文位置的行为,低成本获得了上万条专家级精细对齐数据。
- 揭示了“类型不确定性”对检索系统的破坏性影响:长篇文档中图表标题、局部段落与整章论述在长度与语义密度上差异巨大,传统单一打分机制会产生严重的长度和粒度偏置。
- 为科学文献 RAG 与自动化审稿开辟了刚需评测场:证明了“给审稿意见查证原文”远比通用事实核查困难,直接为 AI 审稿辅助系统的幻觉校验与自动化反驳生成提供了基准支撑。
局限与展望¶
- 依赖作者主观答复带来潜在覆盖偏差:标注数据源于作者 Rebuttal 引用的材料,体现的是作者选择反驳或解释的论据,可能无法覆盖审稿意见涉及但作者避而不谈或未察觉的全部证据;
- 单领域与粗粒度引用噪声:当前数据受限于学术开源生态仅覆盖 NLP/AI 会议论文,且部分作者习惯引用宽泛的“Section 3”而非具体子节,引入了约 1.58% 的粗粒度标注边界;
- 检索阶段图文仍处于割裂评测:文本检索与图像检索在评测时分设了不同的候选池,尚未构建图文一体化端到端单次联合检索与排序流水线。
相关工作与启发¶
- vs QASPER / PeerQA: 传统的学术问答数据集采用人工众包的信息寻求型(Information-seeking)疑问,答案多为紧凑陈述文本;本文面向真实评审中评价性(Evaluative)且高度隐式的批评意见,且覆盖全模态图表。
- vs ARIES / RE3: 修订类数据集关注审稿意见在后续 Camera-Ready 版本引发的正文修改轨迹,无法衡量模型在初次评审阶段对当前版本证据的溯源与检验能力。
- vs CLAIMCHECK / F1000RD: 既有原文溯源工作规模极小(数十至百余篇)、局限于纯文本,ReGround 在保持专家精度的同时将规模提升数十倍并拓展至多模态。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [巧妙借用 Rebuttal 显式引用构建隐式证据溯源基准,视角极为独特]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 10 余种代表性检索架构,多角度深入剖析长文本、多证据与多模态消融]
- 写作质量: ⭐⭐⭐⭐⭐ [论证逻辑严密,图表清晰,问题定义与分析鞭辟入里]
- 价值: ⭐⭐⭐⭐⭐ [填补了多模态科学文档检索的空白,直接赋能科研助手与评审合规审计]