Real5-OmniDocBench: A Full-Scale Physical Reconstruction Benchmark for Robust Document Parsing in the Wild¶

会议: ECCV2026
论文: ECCV 官方页面
数据集: PaddlePaddle/Real5-OmniDocBench
领域: 多模态 VLM / OCR 与文档解析
关键词: 文档解析、物理退化、配对基准、结构识别、鲁棒性评测

一句话总结¶

Real5-OmniDocBench 将 OmniDocBench v1.5 的全部 1,355 页文档各自重建为五种真实采集版本，用 6,775 个内容配对样本检验解析鲁棒性，显示数字文档上的能力不等于物理场景可靠性，且本次评测中 0.9B 的 PaddleOCR-VL-1.6 以 93.19 综合分领先所列大型通用模型。

研究背景与动机¶

文档解析不是只把字符读出来，而是把整页图像转换成保留文本、表格、公式和阅读顺序的结构化内容。 OmniDocBench 提供了跨文档类型的细粒度标注，但其主体是从数字文档直接得到的理想图像：行列清楚、页面平直，字符没有经过纸张、镜头和屏幕的再成像。实际部署时，同一张表格可能被书脊弯曲压缩，也可能在拍屏后叠加摩尔纹；字符仍然局部可辨，并不保证模型还能恢复单元格关系或多栏阅读顺序。

已有真实场景数据能展示这些失败，却不一定有同内容的干净数字参照，因此很难区分错误来自页面本身复杂，还是来自拍摄条件。只抽取部分页面做物理采集，又可能改变文档类型与难度分布，使数字集和真实集的分数差混入选样效应。本文利用 OmniDocBench 已有的完整标注，把采集成本投入到全部页面的逐一复现，而不是另建一套无法直接比较的题目；这使相同内容可以在扫描、形变、拍屏、光照与倾斜条件下反复测试。核心 idea：保持文档内容与评估目标不变，只系统改变物理采集场景，用逐页配对把一个笼统的“真实世界掉分”问题拆成可定位的识别与结构退化问题。

方法详解¶

整体框架¶

这是一篇评测基准论文，不是新的解析网络，也不提出需要训练的图像校正模块。输入是 OmniDocBench v1.5 的 1,355 页原始数字文档及 JSON 标注，覆盖学术论文、书籍、笔记、财务报告、杂志等九类文档。输出是五个各含 1,355 页的物理场景测试集合，总计 6,775 张图像；每张新图都有一个原始数字页面作为内容参照。被测系统接收图像并输出结构化解析结果，再沿用 OmniDocBench 的评估体系，分别测文本、公式、表格和阅读顺序。

构建过程包含完整配对、标准化物理采集、质量审查和一致评估四个相互衔接的设计。这里的“物理重建”是打印、扫描、手持拍摄或屏幕再拍摄，不是恢复三维网格或用渲染器合成变形图像。论文强调原始 JSON 标注零修改复用，因而比较的是同一页面应被解析出的内容与逻辑结构；这不能被理解为弯曲、透视之后的像素坐标仍与数字原图重合。该基准不包含本文新定义的训练集划分，6,775 张图像的角色是测试；作者用于筛查图像的模型委员会也不是被训练的新模型。

关键设计¶

1. 全量逐页配对：让内容难度在场景比较中保持可比

每个原始页面在五个主场景中都出现一次，而不是从原集挑一些适合拍摄的页面。这样，一份复杂财报不会只出现在倾斜组，而一张简单单栏页面只出现在扫描组；主场景间共享原始题目集合，覆盖率保持完整。原标注同时提供文本、表格、公式、版面与阅读顺序，物理版本不再独立编写一份答案，从而减少重新标注引入的差异。它的价值不是简单增加图片数量，而是允许把同一解析器面对相同语义内容时的变化与采集条件关联起来。

配对的粒度必须分清：每页有五种主场景变体，不是每页都在五类场景的每一种子条件下重拍。因此总量是 6,775，而不是把每场景五种子条件再次全部相乘。这个设计适合主场景层面的对照，也保留了原文档类型分布；但子条件的样本分配、设备分配与连续严重度并没有因此自动成为严格平衡的析因实验。同一张照片仍可能同时有形变、阴影和清晰度变化，所以“分因素诊断”应理解为有控制的场景比较，而非已隔离所有成像变量的纯因果测量。

2. 标准化物理采集：覆盖不同成像机制而非叠加统一滤镜

纸面复现使用 Canon C5840，打印与扫描设置为 1200 dpi，并根据原始页面尺寸选择 A3 或 A4，以尽量保持字号比例与版面密度。扫描场景包含标准、反复打印扫描形成的低质量、斜放、装订夹和书籍式装订条件，考察纸张纹理、数字化噪声及局部边缘问题。形变场景则用折叠、卷曲、揉皱、卷角和书脊弧面改变文字的空间关系：相较于简单旋转，这些非刚性变化会让一行内部的尺度与方向都发生改变。这种采集方式把真实材料与成像链条带入评估，避免把软件扰动能模拟的部分误当成完整物理退化。

拍屏场景覆盖办公显示器、专业显示器、笔记本、平板与手机，主要引入屏幕像素结构和相机采样耦合造成的干扰。光照场景包含低照度、阴影、偏色、手电筒局部过曝和透明介质折射；倾斜场景覆盖不同轴向、复合及极端视角，不把它等同于二维平面旋转。四类手持拍摄场景使用 Apple、Xiaomi、OPPO 设备，约按 3:1:1 配置，以纳入不同图像信号处理、传感器与镜头特征。高分辨率打印只能减少源头质量损失，不能消除手持采集相对数字原图的清晰度差；作者明确保留一般清晰度下降，因其本来就是部署时会遇到的现象。

3. 审查与重拍闭环：排除采集事故但保留有意义的困难

作者先让多个先进 VLM 对采集图像做推断，把所有委员都表现极差、例如都得到零分的样本标为异常候选。模型委员会在这里承担定位可疑图片的作用：它可以快速发现严重运动模糊、硬件过曝或取景错位，却不能直接判定一张图片应不应该属于测试集。若仅按模型低分删样本，就可能把真正有诊断价值的难例删掉，因此后续人工复核才是关键的质量边界。

人工进行三轮全量检查，核对原始页面身份、内容完整性及非预期的 90/180 度旋转；严重失焦等不可恢复问题通过重新拍摄替换。真实摩尔纹、轻微噪声和普通清晰度损失则保留下来，避免把物理基准清洗成另一份理想数字集。最终每个场景仍覆盖全部 1,355 页，但作者承认局部模糊、阴影和轻微裁角可能残留，也没有给出逐场景、逐样本的完整人类可读性量化。所以这套质检保证的是可用性与配对可靠性，不是证明任何残余错误都只能归因于模型。

4. 多维一致评估：把读错字符与读错结构分开

对已有官方成绩的基线，作者先在原始数字测试集上复现成绩，只有对齐成功才报告物理基准分数；新近模型作为补充评测，用一致协议加入。这一顺序意在避免把配置失配误认为物理退化，但本文没有完整列出所有模型的输入分辨率、提示词、解码预算或延迟，因此“一致协议”不等于已证明计算预算完全一致。文本错误 TextE 与阅读顺序错误 ROE 都使用归一化编辑距离，前者作用于文本，后者作用于顺序序列，值越小越好：

\[ \mathrm{NED}(s_1,s_2)=\frac{\operatorname{Lev}(s_1,s_2)}{\max(|s_1|,|s_2|)}. \]

公式使用字符检测匹配 CDM，分数越高越好，意在避免只比较 LaTeX 字符串对等价表达的惩罚；本文未展开其底层实现，不能据此将其描述成本文提出的新匹配算法。表格使用树编辑距离相似度 TEDS，比较预测与真值表格树的结构和内容；TEDS-Struct 则用于区分结构错误与内容识别错误，但本文展示的分场景表主要报告 TEDS。综合分只平均文本得分、表格 TEDS 和公式 CDM，后两者按百分制代入，阅读顺序不在这个平均数里：

\[ \mathrm{Overall}=\frac{100(1-\mathrm{TextE})+\mathrm{TEDS}+\mathrm{CDM}}{3}. \]

因此 Overall 不是“整页完全正确的比例”，高综合分也不能代替阅读顺序检查。例如一个系统识别了字符却打乱列顺序，不能仅凭文本项断言解析成功；同时看 ROE 才能判断输出是否仍适合后续检索或阅读。

实验关键数据¶

主实验¶

下表摘自原文表 1，均为 Real5-OmniDocBench 测试集结果；S/W/SP/I/SK 依次为扫描、形变、拍屏、光照、倾斜，各场景有 1,355 页。所有分数越高越好，参数量照原表记录；“未披露”不代表零参数，也不意味着资源开销相同。

模型	参数量	Overall	S	W	SP	I	SK
PP-StructureV3	未披露	64.45	84.68	59.34	66.89	73.38	37.98
Qwen3-VL-235B	235B	88.90	89.43	89.99	89.27	89.27	86.56
Gemini-3 Pro	未披露	89.24	89.47	88.90	88.86	89.53	89.45
MinerU2.5-Pro	1.2B	88.94	92.11	88.72	91.29	91.31	81.26
GLM-OCR	0.9B	90.32	92.67	90.68	91.75	91.12	85.39
PaddleOCR-VL-1.5	0.9B	92.05	93.43	91.25	91.76	92.16	91.66
PaddleOCR-VL-1.6	0.9B	93.19	94.74	92.48	92.78	93.28	92.66

PaddleOCR-VL-1.6 比 Qwen3-VL-235B 高 4.29 分，比 Gemini-3 Pro 高 3.95 分；这是当前模型与配置的结果，不是控制训练数据后的参数缩放实验。原文引言写“17 个模型”，表 1 实际列出 20 个模型/工具条目，笔记保留这一版本内不一致，不据引言宣称总数已经核齐。

消融实验¶

本文没有移除网络模块的训练消融；这里用原文表 2 与表 6 的场景诊断作分析，保持同一模型与原始页面集合，比较扫描和倾斜。 TextE、ROE 越低越好，CDM、TEDS 与 Overall 越高越好；这是场景对照，不是“纯倾斜强度”单变量消融。

模型	场景	Overall	TextE	CDM	TEDS	ROE
PP-StructureV3	扫描	84.68	0.094	84.34	79.06	0.092
PP-StructureV3	倾斜	37.98	0.557	44.37	25.27	0.417
Qwen3-VL-235B	扫描	89.43	0.059	89.01	85.19	0.066
Qwen3-VL-235B	倾斜	86.56	0.077	83.96	83.41	0.091
PaddleOCR-VL-1.6	扫描	94.74	0.036	93.65	94.12	0.043
PaddleOCR-VL-1.6	倾斜	92.66	0.045	91.44	91.04	0.058

关键发现¶

PP-StructureV3 从扫描到倾斜下降 46.70 分，表格 TEDS 从 79.06 降到 25.27；不能把这仅解释为字符变模糊，结构与阅读顺序也同时恶化。
PaddleOCR-VL-1.6 同一对照只下降 2.08 分，但其五场景最低分是形变的 92.48；“倾斜最难”不是所有模型都成立的定律。
专用小模型并非普遍胜过大模型：原文表 1 的 Deepseek-OCR 2 综合分为 73.01。证据支持具体训练与系统设计很重要，不支持仅用“专用”标签预测排名。
论文提供数字到物理的配对评估条件，但所示结果表没有完整逐模型的数字基准分与配对置信区间，不能从这些表精确还原所有模型的数字到物理降幅。

亮点与洞察¶

全量内容配对比单纯扩大真实图片集合更有诊断价值。它减少页面选择带来的混杂，让跨场景变化有共同参照。
保留原有结构标注，使错误分析不止停留在 OCR。表格和阅读顺序的损失能暴露“字符读对但文档不可用”的情况。
将采集事故与真实退化分开处理值得复用。难例需要人工判定是否仍可读，而不是因现有模型全都失败就直接丢弃。

局限与展望¶

作者承认：局部模糊、阴影和裁角仍可能残留，逐样本人类可读性评估尚不充分。未来可增加可读区域及内容丢失标记，区分模型失误与信息本身不可恢复。
笔记判断：五个场景不是严格正交的物理因素，设备和清晰度可能共同变化。公开子条件分配、严重度与设备元数据，才能支持更细的匹配对照。
笔记判断：参数量不能替代延迟、显存或输入预算；跨模型结果也未控制训练数据。因此作者关于专用归纳偏置和增强训练的解释应视为假设，而不是已完成的机制消融。
笔记判断：采用现有模型筛查异常可能偏向保留它们能处理的样本。独立人类可读性评测、数字与物理配对误差及置信区间可进一步增强基准可信度。

评分¶

新颖性: 4/5，全量数字与物理配对提供了明确的评测增量，但不是新的解析算法。
实验充分度: 4/5，覆盖多模型、多场景和结构子任务，缺少细粒度可读性及受控资源分析。
写作质量: 3/5，采集与指标主线清楚，模型总数不一致，部分机制归因强于实验支持。
价值: 4/5，适合评估文档解析部署风险，尤其能揭示数字榜单难以体现的结构退化。