ReGround: Grounding Reviewer Comments in Multimodal Evidence¶
会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.54/
代码: https://github.com/UKPLab/emnlp2026-reground
领域: 多模态 VLM
关键词: 证据溯源, 多模态检索, 同行评议, 科学文档理解, 模态融合
一句话总结¶
ReGround 利用作者 Rebuttal 中的显式论文引用作为专家级监督信号,自动化构建了首个将审稿意见与原始投稿中细粒度段落、章节、图表等 16,274 处多模态证据隐式对齐的大规模基准,系统评测揭示了现有检索模型在异构长文档证据池上的严重瓶颈(最佳 LLM 仅 21% Recall@10),并证实视觉与文本信号存在显著的模态互补性。
研究背景与动机¶
随着学术论文投稿量的爆炸式增长,顶级人工智能会议已开始在官方评议工作流中试验与部署基于大模型的审稿辅助系统。然而,审稿辅助与科学文档问答系统面临一个基础却严苛的核心挑战:如何将审稿人自然提出的评价性意见精确溯源到论文原始投稿的具体上下文证据中。这些证据形态极其异构,可能是某处具体的方法参数设定、某张折线图呈现的特定消融趋势、或是某张结果表格中的对比数据。
现有的科学文档问答(如 QASPER、PEERQA)大多面向信息寻求型明确提问,且往往局限于文本段落;基于论文修订的基准(如 ARIES)记录的是修改版与审稿意见的演变,而非对原始匿名投稿的溯源;而少数探索原始论文细粒度引用的工作(如 F1000RD、CLAIMCHECK)受限于纯手工标注,规模极小且完全忽略了图表等核心视觉证据。审稿意见本质上具有强评价性、高度欠说明性(underspecified),且常常针对审稿人疏漏但原文早已记载的细节。这种高难度自然查询与长文档多模态证据之间的巨大语义鸿沟,导致基于传统语义匹配的系统几乎失效。
本文的关键洞察在于:作者在撰写 Rebuttal 时为了针对性回应审稿人的质疑或误解,往往会精确指引“参见第 3.2 节”、“见表 2 最后一列”或“见图 4 的趋势”,这构成了天然、极高精度的专家级证据对齐监督源。核心 idea:利用作者 Rebuttal 中针对审稿意见的显式论文引用作为高精度监督信号,构建端到端过滤与多层解析流水线,在大规模匿名原始投稿上自动化建立审稿意见与细粒度多模态证据(段落、章节、图表及其图像)的隐式检索基准 ReGround。
方法详解¶
整体框架¶
ReGround 将审稿意见的证据溯源形式化为异构文档检索任务:给定一条不含显式定位指示(如不含“见第 3 节”)的审稿意见查询 \(c\),检索系统需要从原始匿名投稿提取的异构候选证据池 \(\mathcal{D} = \{d_1, \dots, d_n\}\) 中召回作者所引用的真实支持/解释证据。证据池包含文本单元(段落、章节、图表标题)与视觉单元(图表独立图像)。
数据构建流水线从 NLPeer v2 收集 EMNLP、COLING、NAACL、ACL 等顶会的投稿、审稿与 Rebuttal,整体流程包含 4 个核心阶段:(1) 审稿与 Rebuttal 结构化分句;(2) 原始投稿多粒度多模态解析;(3) 引用识别与审稿意见双向对齐;(4) 三阶段高精度净化过滤。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始数据源<br/>NLPeer v2 匿名投稿 + 审稿 + Rebuttal"] --> B["多粒度文档解析<br/>GROBID 段落 + PDF 章节 + PDFFigures 图表"]
A --> C["规则分句与引用检测<br/>识别行号/章节/图表等显式定位标记"]
B --> D["审稿意见-Rebuttal 对齐<br/>LLM 上下文对齐提取对应审稿片段"]
C --> D
D --> E["三阶段噪声过滤<br/>去除引用复述 + 剔除显式匹配 + 排除投稿外证据"]
E --> F["ReGround 基准数据集<br/>10,267 意见对齐 16,274 处多模态证据"]
关键设计¶
1. 鲁棒分句与显式论文引用模式匹配
针对科技论文评议文本中频繁出现的缩写(如“Fig.”、“Sec.”、“et al.”)、行号标记及列表结构极易导致通用分句工具崩溃的问题,研究设计了保护跨度的规则分句器。分句器在受保护模式内部忽略标点,在结构边界(空行、列表项、标题冒号)强制断句。在此基础上,构建了涵盖 8 类论文元素(行号/行范围、章节编号与规范名、图、表、附录、公式、页码、脚注)的严密正则模式集,确保从 Rebuttal 句子中高精度检出所有指向论文内容的显式引用。
2. 层次化多模态文档结构解析与引用消歧
为建立精确的候选检索池,流水线利用混合工具解析 PDF 原稿:使用 pypdf 提取确定性的页面行文本与章节层级结构;鉴于 PDF 解析无法稳健还原双栏段落边界,集成 GROBID 结构化重构段落语义单元;采用 PDFFigures 2.0 定位并裁剪图表图片并提取图表标题(caption)。当 Rebuttal 引用定位到具体行号时,系统将其向上映射到包含该行的段落单元(消除排版行号的伪粒度);对章节与图表则通过编号与名称索引绑定,为图表同时生成图表视觉图像与文本标题两类候选表示。
3. 上下文感知的审稿-Rebuttal 对齐与三阶段去噪过滤
Rebuttal 句子往往通过引用标记(如“W1”、“Q3”)或语义承接回应审稿意见。该设计使用开源长上下文模型 gpt-oss-120b,结合完整审稿意见索引片段与 Rebuttal 全文,将每个含引用的 Rebuttal 句子精确映射回其对应的审稿意见片段。为确保数据集针对的是真正的“隐式溯源”挑战并消除伪相关,随后实施三阶段严格过滤: - 去除审稿复述:作者经常在 Rebuttal 句首逐字复述审稿意见,触发虚假引用检测,流水线使用模糊字符串匹配丢弃与审稿重合度高的句子(过滤约 20%); - 排除显式线索:若审稿意见本身已经明示了该图表或章节编号(如审稿人直接写“Table 1 存在问题”),字符串匹配即可轻易解出,因此直接剔除该类样本(约 18%),只保留审稿意见本身不含线索的隐式难题; - 排除投稿外部内容:利用 gpt-oss-120b 识别并剔除作者在 Rebuttal 中承诺的修改(“We will add in camera-ready”)、现场补充的新实验以及外部文献引用(约 23%)。经人工双盲验证,该过滤模块取得了 97% 的精确率与 93% 的召回率。
损失函数 / 训练策略¶
本基准将审稿意见证据溯源形式化为评估基准体系。针对点对(pointwise)LLM 排序器,给定审稿意见 \(c\) 与候选证据 \(d\),模型输出判定该证据是否回应审稿意见的二分类离散标记(Yes / No)。为得到平滑连续的相关度分数以进行重排,根据生成首个决策 token 处归一化的对数概率计算置信度分数:
其中 \(\ell_{\text{Yes}}\) 与 \(\ell_{\text{No}}\) 分别为模型在决策位置输出对应肯定与否定 token 的对数概率(log-probabilities)。对于支持长思维链思考的模型(如 Qwen-3 30B Thinking),允许推理步骤展开后提取最终判定分布。双塔密集编码器与跨模态双塔模型则采用标准的余弦相似度计算相关得分。
实验关键数据¶
主实验¶
主实验评测了覆盖稀疏检索(BM25、SPLADEv3)、稠密检索(all-mpnet、BGE-M3、EmbeddingGemma 等)、Cross-Encoder 重排器以及 LLM 逐点重排器在统一文本候选池(无证据类型先验,混合段落、章节、图表标题)上的检索表现,全面反映了真实场景下科学文档溯源的极高难度。
| 模型 | 编码器类型 | MRR | Recall@1 | Recall@2 | Recall@10 |
|---|---|---|---|---|---|
| BM25 | 稀疏词法 | 7.62 | 3.57 | 5.65 | 14.90 |
| SPLADEv3 | 稀疏神经 | 7.39 | 3.04 | 5.38 | 15.17 |
| all-mpnet | 稠密双塔 | 9.08 | 4.08 | 6.78 | 19.12 |
| BGE-M3 | 稠密多功能 | 9.41 | 4.45 | 7.14 | 19.05 |
| Qwen-3 Embedding 4B | 稠密双塔 | 6.92 | 3.26 | 5.03 | 14.59 |
| EmbeddingGemma | 稠密双塔 | 8.78 | 4.17 | 6.64 | 17.68 |
| MiniLM-L12 | 交叉编码器 | 7.92 | 3.62 | 5.82 | 15.81 |
| BGE-M3-Reranker | 交叉编码器 | 7.85 | 3.42 | 5.67 | 16.20 |
| Gemma-3 27B | LLM 逐点打分 | 10.12 | 4.68 | 7.74 | 20.34 |
| Qwen-3 30B Instruct | LLM 逐点打分 | 10.87 | 5.12 | 8.29 | 21.15 |
消融实验¶
为了正交解耦“证据检索自身难度”与“证据类型(段落/章节/图/表)不确定性带来的干扰”,论文设置了已知证据类型的 Oracle 对齐检索评测,同时评测了表格与图表在多模态(图像 vs. 图像+标题 vs. 纯标题文本)下的表现对比。
| 评测设定 / 模型 | 评测目标 | MRR | Recall@1 | Recall@2 | 说明 |
|---|---|---|---|---|---|
| 类型已知 Oracle (Qwen-3 30B) | 段落检索 (Paragraph) | 32.97 | 19.19 | 27.69 | 去除跨类型干扰后提升明显,但段落仍有挑战 |
| 类型已知 Oracle (GPT-5.1) | 段落检索 (Paragraph) | 36.26 | 21.62 | 31.34 | 最强 LLM 在段落上的上限表现 (50% 子集) |
| 类型已知 Oracle (Qwen-3 30B) | 章节检索 (Section) | 33.88 | 18.16 | 30.46 | 章节级证据的粗粒度定位 |
| 类型已知 Oracle (Qwen-3 30B) | 表格标题 (Table Caption) | 56.17 | 33.31 | 53.29 | 候选池较小,标题文本表现良好 |
| 类型已知 Oracle (Qwen-3 30B) | 图片标题 (Figure Caption) | 55.40 | 34.37 | 55.16 | 候选池较小,纯文本标题表现良好 |
| 多证据联合检索 (Qwen-3 30B) | 多证据样本 (≥2 Evidence) | 43.29 | 12.69 | 23.53 | 占 25.8% 的多目标样本上召回骤降 |
| 表格视觉检索 (ColQwen2.5) | 表格图像 (Image-only) | 53.73 | 35.65 | 52.16 | 纯图像表结构识别效果不俗 |
| 表格视觉检索 (ColQwen2.5) | 表格图像+标题 (Image+Cap) | 57.95 | 40.48 | 58.33 | 图文结合显著优于单一模态 |
| 图表多模态 (Qwen-3 VL 32B) | 图表图像+标题 (Image+Cap) | 56.39 | 37.66 | 58.47 | 超越纯标题文本 (55.16%),模态显著互补 |
关键发现¶
- 统一异构检索陷入瓶颈,Cross-Encoder 发生长度退化:在没有证据类型提示的统一检索中,即便是最强的 Qwen-3 30B Instruct 也仅达到 21.15% 的 Recall@10;更反直觉的是,Cross-Encoder(如 BGE-M3-Reranker)由于输入长度分位数 Q10(超长章节)性能归零(MRR 从 Q5 的 44.2 暴跌到 Q10 的 0.2),整体性能甚至落后于常规 Bi-Encoder。
- 证据类型推断是主要瓶颈,硬路由导致灾难性截断:一旦提供 Oracle 证据类型,段落检索 MRR 从 10 以下直接跃升至 32~36;但若尝试用模型先预测类型做硬过滤(Hard Routing),Qwen-3 30B 的 Recall@10 反而从 21.15% 暴跌至 6.11%,因为图表分类器的微小假阴性会将黄金证据全数剔除,证明类型预测更适合作为软性重排信号。
- 图文模态高度互补而非替代:在表格检索中,图像+标题检索的 Recall@2 达 60.34%,显著优于纯文本标题的 53.29%(McNemar 检验 \(p = 0.0156\)),且两者在判定正确的样本上有 29.7% 的互斥不一致率(disagreement),表明视觉布局(如行列对比、趋势)与文本标题捕捉的是完全不同的证据线索。
亮点与洞察¶
- 以作者 Rebuttal 逆向解构专家级对齐监督:巧妙地将学术同行评议中作者 Rebuttal 的反驳与澄清机制转化为高质量溯源标注,省去极其昂贵的专家手工标注,一举构建了包含 3,656 篇论文的大规模高质量基准。
- 直击审稿意见的非对称语义鸿沟:揭示了审稿意见与目标证据之间仅 0.377 的极低余弦相似度,证明审稿人评价往往是隐式、欠说明且针对疏漏点的,彻底打破了传统密集语义相似度检索的有效性假设。
- 揭示视觉与文本双模态决策的显著正交性:实验实证了图表检索中视觉特征与文本 Caption 的互补失效率高达 24%~30%,为未来科技文献智能体设计“图文晚期融合(Late Fusion)”架构提供了强有力的实证支撑。
局限与展望¶
- 依赖作者主观选择的证据边界:基准的黄金标注来源于作者在 Rebuttal 中选择呈现的证据,存在作者引用偏好(约 1.58% 的引用较粗糙地指引了整节,且可能存在未被作者提及但同样成立的其他证据)。
- 当前模态池评测仍呈分立状态:评测中将文本池(段落/章节/Caption)与视觉图像池分开隔离评测,尚未构建图文一体混合排名的全流程通用端到端检索器。
- 领域局限与多跳推理拓展:数据主要源自计算语言学与 NLP 顶会(ACL/EMNLP 系列),未来需要拓展至生物医学、化学等具有更高密度专业图形符号的学科领域,并探索支持多跳推理的迭代检索机制。
相关工作与启发¶
- vs. QASPER & PEERQA:QASPER 等面向读者主动提出的事实查询问答,答案多为局部文本片段;ReGround 面向审稿人主观评价性与批判性质疑的隐式溯源,图表在证据中占比近 20%,更贴近真实科研审查。
- vs. ARIES & RE3:ARIES 将审稿意见与最终修改稿的文本 Diff 相链接;而 ReGround 聚焦审稿当时依据的匿名原始投稿,直接服务于评审过程中的事实核查与辅助审稿。
- vs. F1000RD & CLAIMCHECK:早期溯源数据集仅包含几十到百余篇论文的手工标注且纯文本;ReGround 通过自动化流水线将规模扩大至数千篇论文与上万条跨模态图文对。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 独创性地以 Rebuttal 显式引用为切入点解构隐式多模态证据溯源,设定切合科研辅助迫切需求。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖稀疏、密集、重排、LLM 逐点打分与多模态 VLM 等丰富基准,消融与误差分析极为深入。
- 写作质量: ⭐⭐⭐⭐⭐ 问题形式化清晰,实验设计严谨自洽,对实验现象的反思深入透彻。
- 价值: ⭐⭐⭐⭐⭐ 为大模型辅助审稿、科学文献 RAG、长文档图文检索与事实核查提供了高质量且极具挑战性的评估平台。