MPDocBench-Parse: Benchmarking Practical Multi-Page Document Parsing¶

会议: NeurIPS 2026
arXiv: 2605.22100
代码: https://github.com/Tongyi-Zhiwen/Qwen-Doc
领域: 多模态VLM
关键词: 多页文档解析、跨页截断合并、标题层级树恢复、视觉内容图表抽取、端到端评测基准

一句话总结¶

针对现有评测多局限于单页、纯文本或孤立子任务的痛点，MPDocBench-Parse 构建了首个覆盖中英双语15类真实文档、3,246页的实用级多页端到端解析基准，提出涵盖文本/表格/公式识别、跨页跨栏截断合并、细粒度视觉元素抽取、阅读顺序及标题树恢复的八维评测协议。

研究背景与动机¶

文档是工业界、金融、法律与科研场景中信息流转与沉淀的核心载体。在智能体应用与大模型时代，将富视觉文档图像精确解析为机器可读的结构化格式（如 Markdown 或 JSON），不仅是大语言模型与多模态大模型预训练语料清洗的源头基石，更是知识检索增强生成（RAG）与工作流 Agent 依赖的关键外部环境接口。随着行业对文档解析系统实用化落地的要求日益迫切，评测基准必须能够真实反映工业与企业场景下的全流程复杂工况。

然而，现存的文档解析评测体系与工业实际部署之间存在显著脱节。早期的任务专用基准（如 PubLayNet、PubTabNet、SciTSR）将文档解析割裂为版面分析、文字识别、表格还原等孤立子模块，无法检验系统输出端到端可用结构化文档的全局能力；而近期的端到端基准（如 OmniDocBench、olmOCR-Bench、Fox）绝大多数局限于单页输入，且严重偏向排版规整的学术论文。当系统面对动辄数十页的真实长文档时，跨页或分栏导致的段落与表格截断合并、贯穿全文的多级标题目录层级树恢复，以及印章、流程图、富文本插图等视觉模态内容的精准保留与定位，在现有基准中完全缺乏细粒度量化考察。

填补这一空白的关键在于构建能同时衡量解析内容保真度与逻辑结构正确性的端到端多页评测体系。核心 idea：通过构建中英双语跨15种工业实用文档类型的3,246页全要素人工精标注数据集，建立涵盖跨页截断合并、细粒度图表抽取、全局标题树拓扑及阅读顺序等八维度的端到端评测协议，全面暴露现有专用解析模型与通用 VLM 在语义连续性及篇章拓扑建模上的瓶颈。

方法详解¶

整体框架¶

MPDocBench-Parse 的整体构建与评测管线由数据采集筛选、多模态分层迭代标注、以及八维端到端评测协议三大阶段构成。输入为覆盖15种实用类别的原始多页 PDF 文档图像（涵盖财报、年报、书籍、试卷、政务公文、期刊、招股书等复杂真实场景）；系统经过多模型预标注与三审人工仲裁流水线，产出版面框类别、跨页阅读顺序、截断关联关系以及父子标题层次树。评测端则将模型预测生成的单份全局 Markdown 文档与统一坐标系下的图表输出，直接对照真值进行多维客观拓扑与内容对齐打分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多页原始PDF输入<br/>15类真实场景 / 3,246页"] --> B["多模型预标注与置信度分流<br/>PP-DocLayoutV2 + Qwen-VL/PaddleOCR/MinerU"]
    B --> C["三审循环人工校准验证<br/>30类细粒度版面 + 截断/层级拓扑关系"]
    C --> D["端到端解析评测协议<br/>内容保真度 + 逻辑结构正确性"]
    subgraph E["八维量化评测体系"]
        direction TB
        F["基础内容识别<br/>文本/表格/公式: NED/TEDS/CDM"]
        G["语义连续性恢复<br/>跨页截断文本/表格合并"]
        H["视觉模态抽取<br/>9类图表印章框 0-1000 归一化 F1"]
        I["全局逻辑结构<br/>阅读顺序 NED + 标题层级树 TEDS"]
    end
    D --> E
    E --> J["综合评分与瓶颈诊断输出"]

关键设计¶

1. 多阶段混合预标注与三审验证闭环 多页复杂文档包含极高密度的人工注记项，纯人工从零标注成本极高且容易产生跨页标准不一致。为此，评测集构建设计了结构预标注与内容预标注两套独立管线：结构侧采用 PP-DocLayoutV2 预先预测版块包围盒、类别与初步阅读顺序；内容侧先将各文本块裁剪，使用 Qwen-VL、PaddleOCR-VL-1.5 与 Mineru2.5 三套异构模型并行识别，计算两两之间的归一化编辑距离（NED）一致性打分 \(Sim_{avg} = \frac{1}{3}\sum (1 - \text{NED})\)。当 \(Sim_{avg} \le 0.95\) 时直接将分歧样本强制分流至人工专家修正，若一致性高则由强视觉模型提炼复核。在人工纠错环节，标注人员明确标注版面块从属关系（parent_son）与截断关系（truncated），并必须通过自研 Python 拓扑防环脚本自动校验，最后由3位独立质检员全票赞成方可入库，确保标注零循环依赖与零悬空父节点。

2. 跨页与跨栏截断连续性评测机制 针对现实排版中文档跨栏、换页时段落被硬性拆分以及超长跨页表格割裂的问题，评测协议将离散版块重构成语义连贯逻辑单元。对于截断文本，基于真值中的 truncated 关联将多个跨页碎片拼接为完整的段落级真值单元，并与模型预测输出的段落通过二分图最优匹配（Bipartite Matching）进行对齐，计算配对编辑距离。对于跨页表格，基准将跨越2至4页的长表格合并为连通的 HTML 逻辑表格真值，再与预测的 HTML 表格通过树编辑距离相似度（TEDS）进行比对：

\[S_{\text{TEDS}}(T_a, T_b) = 1 - \frac{\text{EditDist}(T_a, T_b)}{\max(|T_a|, |T_b|)}\]

该设计彻底改变了传统基准只按单页视野割裂评估表格与正文的局限，真实量化了解析模型是否具备跨页段落拼接与跨页表头表体联合缝合能力。

3. 坐标空间归一化的细粒度视觉模态抽取 图表、公章、分子式、流程图和产品插图等非纯文本元素是富视觉文档不可替代的信息源，然而现有通用模型和专用解析器采用的内部渲染分辨率和 DPI 差异巨大，导致预测绝对像素框无法直接横向对比。基准首次将印章（Seal）、流程图（Flowchart）、图表（Chart）、富文本艺术图（Rich-text Image）等9类视觉子项纳入独立抽取评测，并将所有模型的预测包围盒与真实坐标统一归一化至 \([0, 1000] \times [0, 1000]\) 的标准整数网格坐标系中。在每页内部以 IoU 阈值进行真值与预测框匹配，计算召回率与准确率的调和均值：

\[\text{Figure}_{\text{F1}} = \frac{2 M_{\text{match}}}{M_{\text{pred}} + M_{\text{gt}}}\]

这使得端到端 VLM 输出的视觉 grounding 锚框与流水线解析系统导出的裁剪图像得以在同一度量衡下严谨评估。

4. 基于树编辑距离的全局标题层级树恢复度量 文档标题层级对于多级目录生成、分块分层 RAG 检索索引（如 BookRAG、KohakuRAG）至关重要。传统指标往往仅将标题视为普通文本或扁平分类，无法捕捉全局树状从属拓扑。基准制定了将 Markdown 语法前缀与树结构映射的形式化规则：算法从模型预测的 Markdown 中解析 # 标识符数量确定节点深度（\(level\)），通过维护回溯栈构建预测树 \(T_{pred}\)；同时从人工标注的 parent_son 关系边集合与节点属性中重建真值层级树 \(T_{gold}\)。利用 APTED 算法高效计算两棵有序标注树之间的树编辑距离 \(D\)，最终层级准确率按 \(S_{heading} = 1.0 - \frac{D}{\max(|T_{pred}|, |T_{gold}|)}\) 计算，精准衡量全局章节包含关系的组织保真度。

实验关键数据¶

主实验¶

论文对专用流水线模型（Pipeline-based）、端到端专用视觉语言模型（End-to-End Specialized VLMs）以及前沿通用多模态大模型（General VLMs）进行了全面评测，涵盖8项单项指标与整体综合得分（百分制，越高越好，其中 Text Edit 与 T-Text Edit 以及 Read Order Edit 为编辑距离，越低越好）。

模型类别	模型名称	Overall↑	TextEdit↓	T-TextEdit↓	FormulaCDM↑	TableTEDS↑	T-TableTEDS↑	FigureF1↑	HeadingTEDS↑
流水线专用	PaddleOCR-VL-1.5	80.80	0.047	0.147	87.86	83.54	83.07	75.19	46.78
流水线专用	MinerU2.5	76.70	0.059	0.328	81.01	85.87	88.14	72.44	36.90
流水线专用	GLM-OCR	74.70	0.060	0.314	85.25	82.41	63.10	71.90	44.79
端到端专用	DeepSeek-OCR2	75.64	0.070	0.284	84.31	81.07	63.01	73.25	49.53
端到端专用	dots.ocr	74.17	0.079	0.303	86.15	83.18	60.68	67.82	45.12
端到端专用	FireRed-OCR	69.32	0.041	0.178	89.96	81.65	62.62	- (0.0)	50.84
通用大模型	Qwen3-VL-235B	73.98	0.087	0.187	84.71	81.35	61.25	63.25	42.34
通用大模型	Gemini-3.1-pro-preview	71.79	0.070	0.232	88.37	81.68	61.26	59.08	26.94
通用大模型	ChatGPT-5.2-2025-12-11	65.66	0.111	0.372	84.33	78.98	58.71	30.97	37.50
通用大模型	InternVL-3.5-38B	57.01	0.133	0.515	84.30	69.86	51.69	7.97	27.01

消融实验与深度分析¶

论文深入剖析了模型在截断合并难度（页内 W-P 与跨页 C-P）、标题层级嵌套深度（Tree Depth）、以及不同图表子类别上的细粒度能力分化。

模型名称	T-Text W-P Edit↓	T-Text C-P Edit↓	T-Table C-P F1↑	Heading Depth ≤2↑	Heading Depth ≥7↑	Seal F1↑	Chart F1↑	Rich-text Img F1↑
PaddleOCR-VL-1.5	0.095	0.286	86.73	91.38	84.46	69.56	82.86	51.61
MinerU2.5	0.332	0.315	87.88	89.20	82.26	44.43	82.87	48.87
DeepSeek-OCR2	0.283	0.287	- (0.0)	90.97	83.66	52.18	86.58	48.90
FireRed-OCR	0.138	0.283	- (0.0)	85.76	77.06	-	-	-
Qwen3-VL-235B	0.147	0.295	- (0.0)	86.72	81.67	2.84	72.67	38.75
Gemini-3.1-pro-preview	0.209	0.293	- (0.0)	88.40	78.66	10.52	58.44	43.78

关键发现¶

纯文本识别已非核心瓶颈，语义连贯性遭遇断崖下跌：顶尖模型在规整文本、常规公式识别上准确率普遍超过 95%（如 FireRed-OCR 基础文本编辑距离仅 0.041），但在跨页截断合并上近乎全线溃败。绝大多数端到端 VLM 和通用大模型跨页表格合并 F1 几乎为 0；仅有 PaddleOCR-VL-1.5（86.73%）和 MinerU2.5（87.88%）通过显式的跨页启发式合并规则维持了较高可用度。
视觉图表抽取暴露定位与感知短板：通用大模型与端到端模型在轮廓规整的常规图表（Chart）上表现尚可，但在印章（Seal，Qwen3-VL 仅 2.84%、GLM-OCR 仅 2.84%）及图文交织的富文本图像（Rich-text Image，多在 40%~50%）上漏检与包围盒漂移极重。
标题拓扑深层衰减显著：随着文档章节嵌套深度从 \(\le 2\) 级加深到 \(\ge 7\) 级，所有模型的解析性能均单调衰减约 7% 至 10%，表明对长程逻辑从属关系的全局建模能力依然匮乏。
输入页数增加引发稳定性退化：随着文档页数由 \(\le 4\) 页增长到 \(\ge 17\) 页，流水线专用模型的整体性能衰减约为 3.0%，端到端专用 VLM 衰减达 4.9%，而通用通用大模型平均衰减超 6.0%，表明流水线结构在处理长文档时抗累积误差与抗遗忘稳定性更具工业优势。

亮点与洞察¶

从“单页孤立识别”到“多页篇章拓扑”的评测范式跃迁：该基准首次直面跨页换行截断合并与全局标题树重构，不再用孤立的文字提取掩盖多页场景下篇章上下文断裂的核心痛点。
跨坐标系归一化打通视觉与文本统一评测：巧妙利用 \([0, 1000]\) 整数网格归一化消除了各系统底层分辨率与渲染 DPI 的物理屏障，使传统 OCR 切图工具与端到端回归坐标的现代 VLM 能够在同一维度进行零歧义公平比拼。
端到端模型与规则流水线的互补性启示：实验结果打破了“端到端全自回归架构在全指标上必然优于模块流水线”的盲目乐观，证明在当前技术阶段，针对跨页连续性与深层树结构的显式逻辑后处理依然不可或缺。

局限与展望¶

动态复杂排版与多语种覆盖仍有扩展空间：虽然涵盖中英15种常见文档类型，但对于古代手抄古籍、多列复杂交错报纸折页以及小语种文档的覆盖率仍有待进一步扩充。
评测指标未直接衡量下游 RAG 检索收益：目前主要依赖几何与编辑距离相似度评估中间解析产物，未来若能直接接入真实 Agent 与 RAG 问答链路进行端到端效用评测，基准的说服力将更为显著。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向实用多页文档解析的跨页截断合并与全局标题树评测体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 款主流专用流水线、端到端解析器与前沿通用 VLM，多维度消融极其透彻。
写作质量: ⭐⭐⭐⭐⭐ 问题阐述清晰深刻，数据统计与附录实现细节完备规范。
价值: ⭐⭐⭐⭐⭐ 为解决大模型语料清洗及 Agent/RAG 知识解析在长文档上的现实落地痛点提供了关键基石。