MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 文档 OCR、掩码扩散、块级注意力、置信度调度、课程学习

一句话总结¶

MinerU-Diffusion 将文档 OCR 视为从图像恢复结构化符号的逆渲染，通过块间自回归、块内扩散和两阶段课程学习，在有真实布局的 OmniDocBench v1.5 上取得 93.37 Overall，并在默认解码阈值下实现约 2.1 倍解码加速。

研究背景与动机¶

现代文档 OCR 不仅要抄出字符，还要恢复阅读顺序、表格边界与数学表达式。MinerU2.5、PaddleOCR-VL 等视觉语言系统将这些元素编码为文本序列，但逐 token 自回归生成使长文档必须经历大量串行前向计算。更重要的是，语言模型可能在视觉证据不清楚时补出语义合理的内容，而不是忠实读取页面。

作者认为，文档先存在于二维页面上，输出的从左到右次序主要是序列化约定，而非字符之间真正的因果生成关系。给定页面图像后，许多位置可以同时识别，表格与公式也主要受空间和结构约束。因此，扩散模型的任意顺序填充很适合这一任务；但直接对整篇文档反复做全注意力去噪，又会带来计算开销、位置漂移与重复输出。

本文没有完全取消生成顺序，而是在块级保留顺序、在块内释放并行性，并通过先学广泛文档分布、再修正不确定样本来稳定训练。核心 idea：让 OCR 的局部符号恢复依靠视觉条件下的并行去噪，用块边界约束长序列漂移，再以置信度决定哪些预测可以提前确定。

方法详解¶

整体框架¶

输入是文档图像和任务提示，输出是共享词表中的结构化序列，覆盖普通文字、布局标记、表格分隔符和数学运算符。这里的“扩散”发生在离散输出 token 上，不是对页面像素做去噪，也不是训练一个图像修复模型。

模型以 MinerU2.5 的其他组件为基础，将语言解码器换成 SDAR-1.7B-Chat-b32，移除 MRoPE，并使用原生尺度视觉特征作为条件。输出按固定长度分块，已完成的块提供上下文，当前块通过多轮预测恢复被掩码的位置。训练先完成基础视觉对齐和广泛 OCR 学习，再引入难例精修；下面的图将推理路径与提供模型参数的训练路径分开表示。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["文档图像与提示"] --> Blocks["块级条件去噪"]
    Blocks --> Schedule["置信度动态调度"]
    Schedule --> Output["结构化文档序列"]
    Data["多样文档与标注"] --> Curriculum["两阶段不确定性课程"]
    Curriculum -.->|训练模型参数| Blocks

关键设计¶

1. 块级条件去噪：保留跨块锚点，释放块内并行性

整篇文档一次性去噪会让局部错误影响远处结构，尤其容易在长表格上重复输出分隔符。本文将序列划为连续的块：当前块能够看到先前所有块以及视觉输入，但不能看到后续块；当前块内部使用双向注意力，各位置可以共同参与恢复。论文式 (5) 的核心分解为：

\[ p_\theta(y\mid x)=\prod_{b=1}^{B}p_\theta\big(y^{(b)}\mid y^{(<b)},x\big). \]

这里 \(B\) 是块数，\(y^{(<b)}\) 是已生成的前序块，\(x\) 是文档图像。每个条件分布再由当前块的多步离散去噪近似求解。因此，它不是“整篇文档完全非自回归”：块间仍有因果依赖，改变的是块内不再强制逐字符从左到右确定。固定的块边界提供位置锚点，避免每一轮都让整个长序列自由漂移。

这种注意力结构也让已完成前缀的 KV 缓存能够复用，减少每轮重复计算。块长在实验中固定为 32。论文给出局部注意力的复杂度讨论，但模型仍然读取前序块，因此不能把局部计算量的表达式直接等同于完整系统的端到端复杂度或延迟保证。

2. 置信度动态调度：把计算留给尚不确定的位置

当前块经过一次前向预测后，动态调度依据预测置信度选择可以确认的 token；其余不确定位置留给后续去噪。与固定每轮确认若干 token 的静态策略相比，这使清晰字符能够较快完成，而模糊符号和结构边界可以获得更多计算。已有预测也为同块其他位置提供上下文，不必等待严格的左侧前缀逐字增长。

推理阈值 \(\tau_{\mathrm{decode}}\) 控制确认的保守程度：阈值较低时一次前向可以确定更多 token，吞吐更高，但提前接受错误的风险上升；阈值很高时并行收益收缩。默认值为 0.95。该阈值不负责筛选训练难例，不能与下一个设计中的 \(\tau_{\mathrm{train}}\) 混淆。正文没有给出所有低置信度位置均未达阈值时的完整回退伪代码，笔记不补造这一实现细节。

3. 两阶段不确定性课程：先获得稳定表示，再纠正难例边界

扩散训练会随机遮盖目标中的部分 token，监督密度和条件信息随掩码变化；若一开始就集中学习高噪声、结构复杂的文档，优化容易不稳定。第一阶段使用经过整理与自动标注精修的大规模多样数据，覆盖不同布局、语言和文档风格，先建立一般解析能力。它并不要求全部标签无噪声，而是用覆盖面帮助模型获得稳定表示。

第一阶段收敛后，对无标签或弱标签样本进行 \(T\) 次带随机性的推理，再比较这些输出是否一致。布局用 PageIoU，公式用 CDM，表格用 TEDS；这些是针对相应任务的结构或内容一致性度量，并非统一的文本字符串相等判断。论文式 (10) 将任意两次输出的相似度取平均：

\[ C(x)=\frac{2}{T(T-1)}\sum_{i<j}S\big(\hat y^{(i)},\hat y^{(j)}\big). \]

这里 \(S\) 是所选任务的一致性度量。低 \(C(x)\) 表明同一图像的输出不稳定，模型据此把低于任务阈值 \(\tau_{\mathrm{train}}\) 的样本送入 AI 辅助人工标注流程。需要强调的是，一致并不保证正确；这个分数用于寻找值得复核的难例，而不是替代真实标注。

经过精修的难例与随机抽取的基础数据混合，后者帮助保留一般能力，而不是把模型完全推向异常样本分布。难例还按不确定程度加权，论文式 (14)-(15) 可合写为：

\[ \mathcal L_{\mathrm{hard}}(\theta)=\mathbb E_{(x,y)\sim\mathcal D_{\mathrm{SFT}}}\left[(1+\beta(1-C(x)))\,\ell(f_\theta(x),y)\right]. \]

其中 \(\beta\) 控制低一致性样本的额外权重。该机制同时改变训练数据质量、难度分布与监督权重，不能把所有增益归结为单独的加权公式。

一个完整示例¶

设待识别页面包含一张表格，序列化后有 64 个输出 token。这只是按论文块长构造的流程示例，不是论文中的某个测量样本：模型先处理前 32 个位置，再处理后 32 个位置，每块均以图像和已完成前缀为条件。

在第一块中，清晰的文字和分隔符可以同轮确认，难以辨认的单元格内容继续去噪；第一块完成后，其 KV 缓存供第二块使用。若这类页面在多次随机推理中反复生成不同的表格结构，训练流程就可能把它选为低 TEDS 一致性难例，经过人工精修后进入第二阶段。训练时多次运行以挖掘难例，不等于部署时每页都必须重复完整识别 \(T\) 次。

损失函数 / 训练策略¶

基础训练对目标序列随机施加掩码，在被遮盖位置计算预测损失；第二阶段在精修难例与随机基础样本的混合集合上使用上述样本权重。本文正文将其余优化细节交由补充材料说明，因此不填入未提供的学习率、批大小、训练轮数、混合比例或难例阈值。

训练数据全部来源于 MinerU2.5 数据集，总量约 7.5M，主要为中英文文档。模型先在正文所称 LLaVA-NeXT 数据集上做 VQA 微调，再开展 OCR 专项训练。SDAR 解码器名称中的 1.7B 不等于完整视觉语言模型参数量；主结果表将完整模型标为 2.5B。

实验关键数据¶

主实验¶

原文表 1，OmniDocBench v1.5。默认动态解码使用块长 32、\(\tau_{\mathrm{decode}}=0.95\)、top-k=0、temperature=1.0、top-p=1.0；Overall、Formula 和 Table TEDS 越高越好，Text 误差越低越好。GT Layout 指提供真实布局，不能与全自动结果混为一谈。

方法	GT Layout	Overall	Text	Formula	Table TEDS
MinerU2.5	否	90.67	0.047	88.46	88.22
PaddleOCR-VL	否	92.56	0.035	91.43	89.76
MinerU-Diffusion	否	88.94	0.061	86.41	86.50
MinerU2.5	是	93.44	0.025	91.98	90.84
PaddleOCR-VL	是	93.91	0.021	92.13	91.70
MinerU-Diffusion	是	93.37	0.028	91.92	91.00

真实布局使本文 Overall 从 88.94 提高到 93.37，相差 4.43 分。其有布局结果接近 MinerU2.5，但全自动解析仍落后于两项专门系统，不能据此宣称全面刷新准确率纪录。

原文表 2 还报告：本文在 CC-OCR 上的 TEDS/TEDS-S 为 73.77/82.06，在 OCRBench v2 上为 81.18/88.66；UniMER-Test 的 CPE/HWE/SCE/SPE 为 91.6/91.6/92.0/96.8。TEDS-S 侧重表格结构。上述各项均低于同表 MinerU2.5，说明并行生成并未消除专门识别精度上的差距。

消融实验¶

原文表 4 比较两阶段课程。这里保留表格的两位小数，不将正文中的更高精度数字混入同一列。

训练配置	有 GT Layout Overall	无 GT Layout Overall	有 GT Layout Table TEDS
Stage 1	92.89	86.13	90.28
Stage 2	89.33	35.71	83.29
Stage 1 + Stage 2	93.37	88.94	91.00

两阶段相对仅 Stage 1 的全自动 Overall 增加 2.81 分；仅用 Stage 2 则跌至 35.71。难例训练需要基础表示支撑，而非难例越多越好。

原文表 3 比较静态步数与动态策略。TPF 是每次前向确定的 token 数，TPS 是每秒 token 数；该表动态阈值为 0.97，不是主结果的 0.95。论文图 3 的吞吐测量环境为 NVIDIA H200、batch size 1。

解码策略	TPF	TPS	有 GT Layout Overall
静态 6 步	5.33	91.56	88.31
动态，阈值 0.97	5.18	98.32	93.34
静态 32 步	1.00	21.86	93.02
MinerU2.5	1.00	51.46	93.44

关键发现¶

图 3 与第 4.4 节报告，阈值 0.95 时为 108.9 TPS、精度超过 93%，相对约 52 TPS 的 MinerU2.5 约快 2.1 倍；阈值 0.6 时为 164.8 TPS、精度超过 90%，才对应约 3.2 倍峰值加速。它不是默认精度下的同一操作点。
表 3 中动态策略以接近静态 6 步的 TPF 获得明显更高的 Overall，说明“每轮确认哪些 token”比固定并行数量更关键；静态 32 步虽然准确，但吞吐甚至低于 AR 基线。
Semantic Shuffle 使用 FOX 的 112 张英文文档图像，打乱一定比例的词后保持相近格式重新渲染。图 7 显示扩散解码对语义破坏更稳健，但缓存没有可读的曲线数值，因此不补写具体降幅。

亮点与洞察¶

把“序列化输出”与“必须逐字生成”分开，是本文最有启发的建模选择。OCR 的强视觉条件使并行恢复比开放式文本创作更容易成立。
块边界同时承担结构锚点和缓存边界。这个设计将长序列稳定性与系统加速联系起来，而非仅减少去噪轮数。
通过破坏语言连贯性来测试是否真正读图，比只看自然文档上的分数更能暴露语义补全依赖。类似控制变量评测可用于其他图像到符号转写任务。

局限与展望¶

作者明确指出训练数据以中英文为主，没有专门评估低资源语言；112 张英文页面构成的 Semantic Shuffle 也不足以支持广泛多语鲁棒性结论。
作者将布局分析识别为主要瓶颈：有无真实布局相差 4.43 分。复杂公式和表格内容的精度仍落后于部分 AR 专门系统。
从实验设计看，完整模型为 2.5B，而 MinerU2.5 为 1.2B；架构、课程与标注精修共同变化，不能将准确率差异解释为纯粹解码因果顺序的效果。
缓存只有正文，缺少其引用的完整补充实现细节。全注意力对比使用 LLaDA-MoE-7B-A1B-Instruct 而非主模型，也主要给出示例和定性结论，不宜虚构同骨干的精确消融收益。
可进一步测量包含视觉编码、布局解析和调度开销的端到端延迟，并评估批处理与更长文档；现有 TPS 结果不等同于所有部署场景的整页加速。

评分¶

新颖性: 4/5。将块扩散、OCR 逆渲染与难例课程结合，但基础解码机制并非全新。
实验充分度: 4/5。覆盖整页、表格、公式、调度和课程消融，但多语及纯机制隔离仍有限。
写作质量: 4/5。方法和准确率吞吐权衡明确，部分实现与定量细节依赖补充材料。
价值: 4/5。为高吞吐文档转写提供实用方向，但部署仍需考虑布局与精度差距。