DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding¶

会议: NeurIPS 2026
arXiv: 2605.08888
代码: https://github.com/MiliLab/DocScope
领域: VLM Reasoning
关键词: 多模态大模型, 长文档问答, 可验证推理, 证据链定位, 细粒度审计

一句话总结¶

提出了首个将长文档问答形式化为包含证据页、证据边界框、事实陈述与最终答案的四阶结构化推理轨迹基准 DocScope，揭示出即使在答案正确的样本中完整证据链比例最高也仅有 29%，证实端到端答案准确率无法替代细粒度证据链评测。

研究背景与动机¶

多模态大语言模型（MLLMs）在文档理解任务中取得了长足进步，并在实际文档密集型决策场景中广泛部署。然而，在复杂长文档问答中，模型仅输出最终答案已无法满足高可靠场景的需求。系统的可信度与可解释性变得至关重要，用户不仅要求答案正确，更要求答案能够回溯至文档的具体支撑证据，确保推理全过程可审计、可核查。

尽管近期已有针对长文档理解与多模态引文归因的研究，但现有评测方案仍存在三个关键盲区。首先，多数引文基准依赖预先检索或固定证据池，绕过了在真实长篇富视觉文档中跨多页主动检索离散证据的严苛挑战；其次，证据监督粒度过于粗糙，往往停留在文档、段落或粗粒度页面级别，无法穿透至单页内复杂的表格、图表、说明文字与混排版面区域；最后，已有长文档基准仅将证据元数据作为数据集构建辅助，不强制模型显式生成完整的结构化推理轨迹，导致模型经常凭借“虚幻猜测”或局部表面关联猜中答案，难以解耦定位、感知与推理各层级的真正瓶颈。

本文的切入角度是：长文档问答必须从单步黑盒问答演进为多阶段结构化轨迹预测任务，并在各层级间实现解耦审计。核心 idea：将长文档问答形式化为输出“证据页-证据区域框-事实陈述-最终答案”的四阶结构化推理轨迹预测问题，构建包含 1,124 个全人工精标证据链问题的 DocScope 基准，并通过阶段间解耦评测协议对模型的定位、感知与推理进行独立诊断。

方法详解¶

整体框架¶

DocScope 将长文档问答形式化为结构化推理轨迹预测任务。给定一份由 \(N\) 页组成的完整富视觉 PDF 长文档 \(\mathcal{D}=\{p_1, \dots, p_N\}\) 以及自然语言问题 \(q\)，模型不应直接给出孤立文本答案，而必须按层级输出完整的四元组结构化推理轨迹：

\[y = (\mathcal{P}, \mathcal{R}, \mathcal{F}, a)\]

其中，\(\mathcal{P} \subseteq \{1, \dots, N\}\) 显式标明支撑证据所在的页码集合；\(\mathcal{R}\) 在预测页的归一化坐标系 \([0,1]^2\) 内给出支撑证据边界框（Bounding Box）；\(\mathcal{F}\) 明确从对应视觉区域中抽取出的原子事实陈述；\(a\) 为基于上述事实综合推理得到的最终答案。任何环节发生缺失、定位偏差或事实幻觉，都判定该推理轨迹不可验证。评测协议采用阶段间解耦（Inter-stage Decoupling）机制，后续阶段仅在模型正确召回的页面集合 \(\hat{\mathcal{P}} = \mathcal{P} \cap \mathcal{P}^*\) 上评估，防止上游页面检索错误级联污染下游的区域定位与事实一致性指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长篇富视觉 PDF 页面<br/>多模态大模型与问题输入"] --> B["页面定位阶段<br/>预测证据所在页面"]
    B --> C["阶段间解耦筛选<br/>取正确召回页集合"]
    C --> D["区域定位阶段<br/>预测证据边界框"]
    D --> E["事实抽取阶段<br/>提取区域内原子事实陈述"]
    E --> F["答案验证阶段<br/>语义等价性与不可答拒答判定"]

关键设计¶

1. 结构化推理轨迹形式化与阶段间解耦评测：彻底隔离上游级联误差

传统长文档评测中，上游检索失误会导致下游区域标注或答案生成指标全盘失效，无法准确定位模型究竟是“找错页”、“框错区域”还是“读错图表”。针对此痛点，DocScope 制定了严格的四阶解耦评测逻辑。对于证据页评估，计算预测页集 \(\mathcal{P}\) 与金标页集 \(\mathcal{P}^*\) 之间的精确匹配 Precision、Recall 与 F1。对于区域定位与事实抽取，仅在正确检索的交集页 \(\hat{\mathcal{P}} = \mathcal{P} \cap \mathcal{P}^*\) 上执行评测，使得模型在单页内的视觉定位与信息提取能力不受全书检索性能的干扰。

2. 证据区域多标签判定与视觉裁判：对齐人类空间主观容差

在密集表格或长文本段落中，像素级精确边界框极其苛刻，简单的几何交并比（IoU）往往无法反映模型是否真正框中关键信息。DocScope 采用经人类一致性研究标定的多模态裁判模型（GPT-5.5），在渲染了金标绿框和预测红框的单页图像上，将每个金标区域分类为 covered、imprecise 或 not_covered。设 \(c_{q,p}\) 为覆盖数，\(m_{q,p}\) 为不精确覆盖数，\(|G_{q,p}|\) 为金标区域数，\(n_{q,p}^{\mathrm{pred}}\) 为模型预测框数，严格模式取命中数 \(h=c\)，宽松模式取 \(h=c+m\)，查全率与查准率定义为：

\[\mathrm{R}=\frac{\sum_{q}\sum_{p \in \hat{\mathcal{P}}_q} h_{q,p}}{\sum_{q}\sum_{p \in \hat{\mathcal{P}}_q}|G_{q,p}|},\qquad\mathrm{P}=\frac{\sum_{q}\sum_{p \in \hat{\mathcal{P}}_q}\min(h_{q,p},\;n_{q,p}^{\mathrm{pred}})}{\sum_{q}\sum_{p \in \hat{\mathcal{P}}_q}n_{q,p}^{\mathrm{pred}}}\]

通过将查准率分子限制为预测框数上限，有效遏制了模型通过预测超大框覆盖整页或恶意撒网密集小框的欺骗策略。

3. 原子事实陈述抽取与语义等价性评测：穿透图表与视觉幻觉

为了验证模型是否真正理解了框选区域而非凭空脑补，DocScope 要求模型输出细粒度的原子事实陈述 \(\mathcal{F}\)。评测采用经人类对齐校准的文本裁判模型（Qwen3.6-Plus），对照单页金标事实集合判断模型抽取的每个事实是否与原文证据一致：

\[\mathrm{Consistency}=\frac{\sum_{q}\bigl|\{f\in\mathcal{F}_{q}\mid\ell(f)=\texttt{consistent}\}\bigr|}{\sum_{q}|\mathcal{F}_{q}|}\]

在最终答案验证中，裁判模型同样在严格审查数值、时间、实体名称与完整列表的基础上，容忍表面文字变形，并独立评测 78 个专设的“不可回答”（Unanswerable）问题，严密评估模型的盲目幻觉率与拒绝回答能力。

实验关键数据¶

主实验¶

评测涵盖 6 款商业专有模型、12 款开源权重模型（涵盖密集模型与 MoE 架构，参数量 8B 至 1T）、2 种 Agentic RAG 框架以及 3 种端到端文档专属模型。

模型	总参数	激活参数	页面定位 F1	区域定位 Strict F1	区域定位 Lenient F1	事实一致性 Cons.	答案准确率 (全部)
Gemini 3.1 Pro	–	–	87.6	39.7	58.9	68.7	78.9
Gemini 3.1 Flash Lite	–	–	83.8	36.2	54.3	70.7	68.1
Claude Opus 4.7	–	–	86.0	42.9	63.0	77.4	76.0
Claude Sonnet 4.6	–	–	84.0	44.5	55.3	72.1	70.5
GPT-5.4	–	–	78.4	57.4	71.9	59.4	62.7
Qwen3.6 Plus	–	–	78.9	29.6	45.5	66.4	66.8
Qwen3.5-397B-A17B	397B	17B	74.1	24.3	48.8	58.7	63.8
Qwen3.5-27B	27B	27B	82.1	28.8	45.2	61.3	66.4
Qwen3-VL-235B-A22B	235B	22B	72.1	27.2	47.7	58.6	51.4
Gemma-4-31B	31B	31B	76.9	27.3	38.9	73.6	59.4
SimpleDoc (Agentic RAG)	–	–	–	–	–	–	50.5
Docopilot 8B (E2E)	8B	8B	–	–	–	–	7.4

消融实验¶

论文在答案正确的子样本中分析了证据链的完整度分布（以区域定位最强的 GPT-5.4 与其他前沿模型为例），并开展了渐进式金标证据介入（Oracle Evidence Access Study）消融分析。

评估配置 / 状态	指标 / 比例	说明
GPT-5.4 答案正确样本中：完全可靠链 (P✓ B✓ F✓)	29.06%	即使在最顶尖模型上，正确答案中完整证据链也不足三成
GPT-5.4 答案正确样本中：部分可靠链	51.92%	页面召回但区域定位或事实抽取缺失，依靠猜测得出正确答案
GPT-5.4 答案正确样本中：完全不可靠链 (P✗ B✗ F✗)	19.02%	证据页与区域完全未召回，纯属幻觉猜中正确答案
Claude Sonnet 4.6 (标准输入全文档)	70.5% ACC	基础设置，需自主检索与提取
Claude Sonnet 4.6 (注入 Oracle 金标页)	74.6% ACC (+4.1)	移除页面检索负担，准确率小幅提升
Claude Sonnet 4.6 (注入 Oracle 金标区域框)	75.8% ACC (+1.2)	移除区域定位负担，准确率增益极其有限
Claude Sonnet 4.6 (注入 Oracle 金标事实文本)	92.0% ACC (+16.2)	移除图表阅读与事实提取感知负担，准确率暴增

关键发现¶

答案正确与过程可靠深度解耦：所有测试模型在正确答案样本中，具有完整可验证证据链的比例最高仅为 29.06%（GPT-5.4），近 20% 的正确答案根本没有命中任何真实证据页，纯凭黑盒猜想。仅看答案准确率会严重高估模型在实际场景中的可靠度。
区域定位（Region Grounding）是全链路最薄弱环节：从页面定位 F1 到严格区域定位 F1，绝大多数主流模型发生了超过 40 个百分点的断崖式跌落。模型擅长翻到正确的页，但很难在复杂的视觉版面中精确定位到具体的表格行或图例。
事实感知抽取是决定性能上限的绝对瓶颈：Oracle 递进消融表明，仅提供金标页或金标框对最终答案的提振较为有限，而一旦直接提供金标原子事实，模型准确率出现巨大飞跃（Claude Sonnet 4.6 从 75.8% 飙升至 92.0%）。错误分析进一步印证，事实抽取阶段 76.5% 的错误直接源于对表格、折线图及密集文字的感知与 OCR 读错。
激活参数量决定真实能力，密集模型显著优于大 MoE：在相同模型家族内部（如 Qwen3.5、Qwen3-VL、Gemma-4），激活参数量较高的密集模型（如 Qwen3.5-27B 达 66.4% ACC）稳定碾压总参数庞大但激活参数较少的 MoE 模型（如 Qwen3.5-122B-A10B 为 63.6% ACC）。长文档推理轨迹构建高度依赖持续密集的容量支持。
证据空间分散度远比页数更能导致模型溃败：当证据跨越的相邻页间距扩大或分散成多个互不相连的章节簇时，模型准确率出现陡峭衰减，说明长距离跨页线索汇聚是当前上下文注意力机制的致命弱点。

亮点与洞察¶

四阶全流程解耦审计协议：将长文档问答严格拆解为页面定位、区域边界框、事实陈述、答案验证四个独立阶梯，并通过阶段间交集截断消除了误差级联，为长文本多模态评测树立了精细化诊断标杆。
发现“由保守到激进”的定位策略漂移：在 Oracle 实验中观察到反直觉现象——给模型限定金标页后，模型的严格区域 F1 甚至出现下滑。原因在于全文档下模型倾向于画大框进行保守兜底，而限定单页后模型尝试激进定位具体行却往往瞄准错误邻行，展现出空间感知精度的真实欠缺。
不可回答拒答能力与模型尺寸无关：拒答测试表明开源轻量模型在识别信息缺失并做出合理拒答方面的表现完全不输甚至优于前沿专有大模型，证明可靠性对齐与单纯参数规模并不挂钩。

局限与展望¶

长文档最小证据集唯一性难以绝对保证：长达数十至百页的复杂文档中可能存在多处重复出现或语义等价的事实描述，全人工标注虽保证了极高的标注质量，但难以穷尽文档中所有可能的替代证据组合。
语言范围与模态单一：当前文档源主要依托于英文富视觉 PDF，未来需扩展至多语言长篇文档，并纳入更复杂的跨模态交互与动态文档形态。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态长文档问答的四阶可验证结构化推理轨迹形式化及解耦审计协议。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大专有模型、12 款开源大模型、Agentic RAG 及专用模型，包含完整消融与人工误差分析。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，公式严密，阶段间评测逻辑与实验图表自洽完备。
价值: ⭐⭐⭐⭐⭐ 深刻揭示了长文档答案准确与证据链可靠深度脱节的行业现状，对高可信垂直领域应用具有重大指导意义。