DocPTBench: Benchmarking End-to-End Photographed Document Parsing and Translation¶

会议: NeurIPS 2026
arXiv: 2511.18434
代码: https://github.com/Topdu/DocPTBench
领域: 多模态大模型
关键词: 文档解析与翻译, 真实拍照文档, 多模态大模型, 几何畸变与光度退化, 端到端基准测试

一句话总结¶

DocPTBench 建立了首个面向真实拍照文档的端到端解析与翻译评测基准，包含 1,300+ 张高分辨率多领域图像与 8 个翻译语向，揭示出现有 MLLM 与专用解析模型在拍照退化下平均遭遇 18% 至 25% 解析性能滑坡以及 12% 翻译断崖的核心瓶颈。

研究背景与动机¶

随着多模态大语言模型（MLLMs）在文档理解任务上的快速演进，将传统的“几何校正-文档解析-机器翻译”离散级联流水线收敛为一个统一的端到端网络成为了学术界与工业界的热门方向。在移动端扫描、跨国发票处理、跨境凭证识别等日常实际落地场景中，用户通过手持设备拍摄的文档往往伴随着严重的运动模糊、透视形变、局部折痕卷曲以及不均匀阴影与反光。然而，现有的主流文档解析基准（如 OmniDocBench、olmOCR-Bench、FoxPage）与文档翻译基准（如 DoTA、DITrans）几乎完全由规整的排版原件或高精度扫描件构成，缺乏对现实拍摄复杂物理与光学干扰的真实映射。

这种基准设定的失真引发了严重的“实验室高分与现实场景失灵”的脱节。虽然近期已有工作开始关注自然场景图像（如 WildDoc），但它们主要聚焦于视觉问答（VQA）的简短问答形式，缺乏全页篇章级的细粒度结构化解析与长文本翻译标注。传统专用 OCR 模型与通用 MLLM 在面对相机拍摄的复杂形变时到底表现如何、几何矫正（Unwarping）技术能在多大程度上缓解退化、端到端翻译中的感知错误与语言瓶颈如何相互交织，此前均缺乏系统而可重复的量化评测工具。

为打破这一盲区，本文提出专门针对真实拍摄文档的端到端解析与翻译基准 DocPTBench。核心 idea：构建包含原生数字版、真实与仿真拍照版、商业级几何矫正版的三层递进评测体系，通过端到端解析与八向跨语言翻译的联合评测，解耦几何形变、光度退化与跨模态感知对模型性能的差异化影响。

方法详解¶

整体框架¶

DocPTBench 的核心评测框架涵盖数据分层构建、多任务多指标评测体系以及多策略推理流程。基准基于 OmniDocBench 精选的 981 份高质量复杂版式文档构建，并将其扩展为包含三种成像形态的递进评测集：基线原生数字图像（Original）、包含真实光学/物理退化的拍摄图像（Photographed，共 1,381 张），以及经过商业级算法矫正的展平图像（Unwarping，共 1,381 张）。在任务侧，基准统一涵盖了结构化文档解析（Markdown/HTML 排版还原）与端到端跨语言文档翻译，设计了单步直接翻译与分步思维链（CoT）两种提示范式，全面解耦视觉感知和语言翻译的错误级联效应。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始文档集合<br/>OmniDocBench 981份精选"] --> B["三阶图像分层构建<br/>Original / Photographed / Unwarping"]
    B --> C["双重标注与翻译基准构建<br/>细粒度结构标注 + 8向跨语言高精GT"]
    C --> D["端到端解耦评测范式<br/>Direct Simple vs. OCR-CoT 提示工程"]
    D --> E["双任务多维度评测<br/>Edit / TEDS 解析 与 BLEU / STEDS 翻译"]

关键设计¶

1. 三阶成像形态分层：解耦几何畸变与光度退化 为了精确厘清不同物理退化源对模型的破坏机制，DocPTBench 设计了清晰的三层递进图像体系。第一层为 981 张纯净原生数字图像（Original），提供模型在理想输入下的性能上限。第二层为 1,381 张拍摄图像（Photographed），由 981 张仿真拍摄图像与对 100 份文档在 4 种极端拍摄环境下实拍获得的 400 张实景图像复合而成，系统引入强光眩光、阴影遮挡、透视倾斜、纸张折痕褶皱与运动模糊。第三层为几何展平图像（Unwarping），利用商业级文档矫正 API 对全部拍摄集进行几何网格展平与透视变换校正。通过 Original vs. Photographed vs. Unwarping 的横向对比，能够清晰拆解几何空间畸变与光学光度退化对解析流水线各模块的单独破坏力。

2. 双任务统一标注体系：覆盖全结构解析与八向高保真翻译 针对传统基准解析与翻译割裂的痛点，DocPTBench 建立了端到端双任务联合标注标准。在解析端，继承并校验了篇章级 Markdown 结构，明确区分正文段落、复杂公式（LaTeX）、表格结构（HTML）以及严格阅读顺序。在翻译端，建立了覆盖 En-Zh、Zh-En、En-De、Zh-De、En-Fr、Zh-Fr、En-Ru、Zh-Ru 的 8 个语言对基准。标注采用“Qwen-Max 大模型高质量初译 + 人工多轮盲审精修”的半自动化清洗流程，既确保了排版标签和行文语义与源图像严丝合缝，又保证了目标语言的高保真度与术语一致性。

3. 感知与生成解耦机制：Direct 翻译与 OCR-CoT 提示工程对比 在端到端翻译任务中，为了探究 MLLM 在面对图像输入时究竟是“看不清”还是“翻不对”，设计了分层对比的推理策略。基线采用纯文本输入（Text-only），测定 LLM 核心的语言翻译能力上限。对于文档图像输入，设计了 Simple 直接提示（要求模型看图一步直接输出目标语言文档）与 Chain-of-Thought（CoT）分步提示（引导模型首先在隐空间或显式逐步解析出源语言 Markdown 结构，再执行语际翻译）。这种设计成功揭示并纠正了许多开源小模型在直接输入下退化为普通 OCR 的指令失遵缺陷，有效分离了视觉编码与跨语言对齐的误差源。

一个完整示例¶

以一张包含弯曲折痕与阴影的不规则学术论文表格照片（Photographed 场景）为例： - Direct Simple 策略：小参数开源 MLLM（如 InternVL3.5-2B 或 Qwen2.5-VL-3B）在端到端 Zh-En 翻译指令下发生指令混淆，直接忽略翻译指令，仅原样识别并输出了模糊有误的中文源文本，导致 BLEU 分数严重跌落（例如 Zh-En BLEU 低至 8.42）。 - OCR-CoT 提示策略：模型被显式引导先提取中间态源语言 Markdown，再将其翻译为目标语言，成功规避了直接映射的注意力涣散，Zh-En BLEU 显著反弹至 28.28（净增 +19.86）。 - Unwarping 前后对比：在几何校正前，PaddleOCR-VL 识别该表格由于网格弯曲将多列并作一列，Table TEDS 仅有 54.2；经 API 展平后，空间拓扑恢复规整，Table TEDS 跃升至 82.9，但仍有轻微光度字符识别杂音无法消除。

损失函数 / 训练策略¶

DocPTBench 作为无偏的黑盒评测基准，本身不引入特定训练目标，但对受测模型的评测指标体系进行了严格统一规范： 1. 文档解析评估：文本编辑距离（Text Edit）、公式编辑距离（Formula Edit）、基于树编辑距离的表格相似度（Table TEDS）、表格编辑距离（Table Edit）、全局阅读顺序编辑距离（Read Order Edit）及综合 Overall Edit。 2. 端到端翻译评估：采用 BLEU（n-gram 匹配精确度）、chrF（字符级 F-score）、METEOR（兼顾词干与同义词对齐）以及面向 Markdown 结构语义相似度的 STEDS 指标。

实验关键数据¶

主实验：文档解析在不同拍摄退化条件下的表现¶

评测涵盖 18 种主流系统，下表节选了最具代表性的专用模型（Expert Models）与通用 MLLM 在 Original、Photographed 与 Unwarping 三种场景下的综合编辑距离（OverallEdit）与表格结构识别表现（Table TEDS）：

模型分类	模型名称	场景状态	综合编辑距离 OverallEdit↓ (En / Zh)	纯文本编辑距离 TextEdit↓ (En / Zh)	表格树编辑相似度 Table TEDS↑ (En / Zh)
Expert Models	PaddleOCR-VL (0.9B)	Original Photographed Unwarping	10.5 / 12.6 37.5 (↓27.0) / 39.6 (↓27.0) 15.7 (↑21.8) / 22.0 (↑17.6)	4.1 / 6.2 29.4 (↓25.3) / 37.7 (↓31.5) 9.4 / 17.6	88.0 / 92.1 54.2 (↓33.8) / 65.3 (↓26.8) 82.9 (↑28.7) / 83.2 (↑17.9)
Expert Models	MinerU2.5	Original Photographed Unwarping	11.1 / 17.4 37.3 (↓26.2) / 47.4 (↓30.0) 17.3 (↑20.0) / 25.2 (↑22.2)	5.0 / 7.4 37.0 (↓32.0) / 53.6 (↓46.2) 13.1 / 19.1	88.3 / 89.2 54.9 (↓33.4) / 59.8 (↓29.4) 79.2 (↑24.3) / 81.1 (↑21.3)
Expert Models	DeepSeek-OCR	Original Photographed Unwarping	13.4 / 18.1 54.4 (↓41.0) / 57.8 (↓39.7) 22.1 (↑32.3) / 33.5 (↑24.3)	4.6 / 9.7 56.7 (↓52.1) / 57.6 (↓47.9) 14.9 / 29.4	82.6 / 89.0 28.0 (↓54.6) / 35.4 (↓53.6) 67.0 (↑39.0) / 75.8 (↑40.4)
General MLLMs	Gemini 2.5-Pro	Original Photographed Unwarping	14.8 / 21.2 18.2 (↓3.4) / 30.4 (↓9.2) 16.9 (↑1.3) / 27.3 (↑3.1)	5.5 / 16.8 9.8 / 27.7 9.2 / 20.8	85.8 / 86.4 81.3 (↓4.5) / 82.9 (↓3.5) 83.4 / 85.9
General MLLMs	Qwen-VL-Max	Original Photographed Unwarping	16.6 / 26.5 27.7 (↓11.1) / 42.7 (↓16.2) 19.0 (↑8.7) / 32.6 (↑10.1)	5.2 / 20.5 15.9 / 41.5 6.8 / 32.1	84.2 / 86.7 71.1 (↓13.1) / 71.6 (↓15.1) 81.3 / 83.3
General MLLMs	GLM-4.5v	Original Photographed Unwarping	25.5 / 32.0 36.7 (↓11.2) / 49.6 (↓17.6) 23.9 (↑12.8) / 36.9 (↑12.7)	16.1 / 27.7 26.2 / 47.7 13.1 / 37.7	74.0 / 77.4 58.9 (↓15.1) / 54.0 (↓23.4) 73.8 / 75.6
General MLLMs	Kimi-VL	Original Photographed Unwarping	36.5 / 38.7 69.6 (↓33.1) / 68.7 (↓30.0) 41.1 (↑28.5) / 50.7 (↑18.0)	17.2 / 22.0 66.0 / 63.5 26.3 / 38.5	57.1 / 67.8 16.4 (↓40.7) / 22.9 (↓44.9) 55.4 / 62.3

消融与分析实验：端到端翻译中的模态差距与提示策略¶

下表展示了代表性模型在纯文本基线、原生图像直接提示（Original-Simple）与思维链提示（Original-CoT）下的翻译性能，清晰量化了跨模态带来的精度崩塌与 CoT 的恢复能力：

模型分类	模型名称	输入设置	En-Zh BLEU	En-Zh chrF	Zh-En BLEU	Zh-En METEOR
Open Source	Qwen3-VL-4B	Text Baseline Original-Simple Original-CoT	49.61 32.11 (↓17.50) 36.86 (↑4.75)	56.87 40.22 (↓16.65) 45.17 (↑4.95)	50.20 28.31 (↓21.89) 34.84 (↑6.53)	64.91 40.44 (↓24.47) 48.75 (↑8.31)
Open Source	InternVL3.5-2B	Text Baseline Original-Simple Original-CoT	57.49 25.43 (↓32.06) 31.42 (↑5.99)	63.14 34.62 (↓28.52) 41.25 (↑6.63)	48.46 8.42 (↓40.04) 28.28 (↑19.86)	61.02 10.52 (↓50.50) 41.75 (↑31.23)
Closed Source	Gemini 2.5-Pro	Text Baseline Original-Simple Original-CoT	60.07 44.34 (↓15.73) 44.41 (↑0.07)	66.54 53.83 (↓12.71) 53.94 (↑0.11)	53.62 37.96 (↓15.66) 42.81 (↑4.85)	70.06 58.04 (↓12.02) 61.67 (↑3.63)
Closed Source	Qwen-VL-Max	Text Baseline Original-Simple Original-CoT	69.41 41.04 (↓28.37) 47.60 (↑6.56)	74.05 50.81 (↓23.24) 55.70 (↑4.89)	54.33 36.29 (↓18.04) 42.28 (↑5.99)	67.35 50.40 (↓16.95) 56.44 (↑6.04)
Closed Source	GLM-4.5v	Text Baseline Original-Simple Original-CoT	62.53 42.14 (↓20.39) 45.90 (↑3.76)	68.38 51.20 (↓17.18) 55.09 (↑3.89)	55.51 39.02 (↓16.49) 42.34 (↑3.32)	68.56 53.10 (↓15.46) 57.48 (↑4.38)
Closed Source	Kimi-VL	Text Baseline Original-Simple Original-CoT	67.95 38.20 (↓29.75) 42.36 (↑4.16)	72.45 47.17 (↓25.28) 50.94 (↑3.77)	60.76 32.07 (↓28.69) 42.63 (↑10.56)	73.47 44.93 (↓28.54) 55.75 (↑10.82)

关键发现¶

专用解析模型的刚性脆弱性：基于多阶段流水线的文档专用模型（如 MonkeyOCR、DeepSeek-OCR）对拍照形变极度敏感，平均解析性能下降 25%，DeepSeek-OCR 的 OverallEdit(En) 从 13.4 暴跌至 54.4。其根源在于刚性矩形边界框先验与弯曲文字区域的天然冲突。
通用大模型的内生鲁棒性优势：以 Gemini 2.5-Pro 为代表的通用 MLLM 虽然在干净数字文档上的解析上限略逊于极致调优的专用 OCR，但在真实拍照场景下展现出更强韧的抗噪能力，OverallEdit(En) 仅小幅恶化 3.4 点（从 14.8 到 18.2）。
几何展平是必要条件而非充分条件：Unwarping 能使多数模型性能大幅反弹（如 DeepSeek-OCR OverallEdit(En) 从 54.4 回升至 22.1），但仍普遍落后于 Original，证明几何拉直无法消除阴影与模糊等光度特征污染。
双重瓶颈（Dual Bottlenecks）制约端到端翻译：端到端翻译质量同时被前端视觉解析精度与后端语言翻译基座所卡死。例如 Doubao-Seed-1.6-vision 虽解析表现优良，但因纯文本翻译底座受限，导致最终端到端 BLEU 无法登顶；反之感知崩溃则会令强大语言基座无米下炊。

亮点与洞察¶

多阶成像渐进隔离法：通过 Original、Photographed 与 Unwarping 三组对齐数据的差分比对，优雅地剥离了“几何透视弯曲”与“光度噪声退化”对模型的不同维度冲击，提供了极具诊断价值的分析范式。
CoT 解耦解决小模型指令瓦解：发现小参数 MLLM 在单步图到译文任务中普遍退化为简单 OCR 的本质缺陷，并通过显式两阶段思维链提示成功拉回近 20 个 BLEU 点，为端到端视觉翻译提供了直接可落地的 Prompting 方案。
对通用与专用模型生态的颠覆性审视：打破了“专用小模型在特定垂直文档任务上必然全面碾压通用大模型”的既有刻板印象，证明通用海量杂质预训练赋予了通用大模型在现实低质量输入下的关键鲁棒性。

局限与展望¶

语言对覆盖仍集中于头部语种：目前 8 个语向主要围绕中、英、德、法、俄，尚未覆盖东南亚语系、阿拉伯语等低资源或非拉丁形态复杂排版语言。
对视频流与交互式拍摄缺乏考量：评测针对静态高分辨率图片，未扩展到移动设备连续取景流以及交互式重拍场景。
端到端原生联合训练模型的缺失：评测对象多为通用模型直接 zero-shot 适配，行业尚缺少专门针对真实拍照文档进行端到端全阶段联合微调的开源标杆架构。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次构建面向真实拍摄文档的端到端解析与跨语言翻译双任务综合基准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 个前沿专用与通用模型、8 大语向、3 种成像状态，评测与消融极其详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，实验分析深刻洞察了模态差距与几何/光度误差源。
价值: ⭐⭐⭐⭐⭐ 为推动工业界真实移动端文档智能与学术界端到端 MLLM 解析翻译落地提供了关键测试基石。