P-MTP: Efficient Document Parsing via Multi-Token Prediction with Progressive Depth Scaling¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5238
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/9547.pdf
作者: Le Xiang, Chenxi Zhai, Shu Wei, Jingjing Wu, Qunyi Xie, Xiao Tan, Kunbin Chen, Wei He
领域: VLM 效率
关键词: 多词元预测、文档解析、渐进课程学习、推测解码、动态草拟

一句话总结¶

P-MTP 让文档解析模型先学可靠的近距离预测、再逐步承担远距离预测，并按置信度调整推测长度，在 Qwen3-VL-2B 的 PubTabNet 实验中将原生解码延迟从 26.71 降至 5.10、加速 5.24 倍，但这一数字不能替代 vLLM 部署收益，也不能概括所有任务的精度变化。

研究背景与动机¶

视觉语言模型可以把页面图像直接变成 Markdown、LaTeX 或表格结构，但输出越密集，逐词元自回归解码的开销越明显。表格标签、公式片段和重复排版往往已有较强的图像证据，模型不一定需要每输出一个词元都重新执行完整主干。多词元预测（Multi-Token Prediction，MTP）因此很适合这类任务：用便宜的辅助模块预先草拟后续内容，再交给主模型验证，让一次昂贵计算接受多个词元。

真正的瓶颈不是“能不能多猜几个”，而是增加草拟深度后还能否稳定训练并得到可接受的预测。串行草拟依赖前面的预测路径；如果近处尚未学会，远处损失仍以同样权重反向传播，就会给主干施加不可靠的优化压力。固定衰减权重虽然缓和这个问题，却可能让远处预测永远得不到足够训练。同时，固定长度推测在简单表格标签上不够大胆，在内容转折处又产生大量无效草稿。

本文把训练与推理的控制信号统一到“路径是否可靠”：训练时看真值概率决定哪些远距离目标值得学习，推理时看候选概率决定还要不要继续草拟。核心 idea：用可随学习进展变化的双重可靠性权重扩大有效训练深度，再让同一个共享草拟模块按当前置信度伸缩预测长度，而不是盲目增加固定预测头。

方法详解¶

整体框架¶

输入是文档图像及当前已生成前缀，输出是经主模型验证后接纳的结构化文本。P-MTP 在视觉语言模型主干后增加一个可反复调用的轻量模块：训练阶段由渐进课程损失调整不同位置、不同预测深度的监督；推理阶段由置信度门控动态草拟决定本轮候选长度，再执行主模型验证。

这里的“多词元”不等于各位置完全独立并行预测。辅助模块在特征层面串行递推，但比重复运行完整解码器便宜；跨深度共享参数则让它在训练深度之外仍能继续展开。下图把训练形成的能力与推理使用该能力的阶段连起来，并不表示推理时还要计算训练损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文档图像与前缀"] --> B["VLM 主干隐藏状态"]
    B --> C["轻量共享草拟模块"]
    C --> D["渐进课程损失<br/>训练阶段"]
    D --> E["置信度门控动态草拟<br/>推理阶段"]
    E --> F["主模型验证<br/>接纳文本并继续"]

关键设计¶

1. 轻量共享草拟模块：把串行依赖保留下来，把每步代价降下来

每个草拟步骤把上一步隐藏状态与对应词元嵌入结合：先做 RMSNorm，再拼接并线性降维，最后通过带残差的 MLP，得到下一深度的隐藏状态。分类时使用共享 LM Head，而不是给每个深度配一套独立的大预测头。训练时有真值词元可供监督和对齐；推理时沿候选序列推进，误差因而会逐步积累，这也解释了后续可靠性控制的必要性。

这一结构同时回应两类基线的不足。并行预测头虽然便宜，却没有显式利用前一候选对后一候选的约束；完整 Transformer DecoderLayer 虽然表达力强，却可能把加速收益消耗在草拟本身。文档输出的规律性给轻量残差 MLP 留出了空间：它只需承担短程的特征推进，而不是再次完成整套视觉理解。论文的架构对照也表明，接受长度较高并不自动意味着延迟更低。

共享参数还有一个重要结果：训练时展开多少次，并不在结构上锁死推理次数。后续动态草拟可以超过训练深度，但这是需要实验支持的外推能力，并非共享权重本身就保证远距离预测正确。

2. 渐进课程损失：只有路径和目标都可靠，才加强远处监督

普通 MTP 给第几个预测位置设置一个固定权重；P-MTP 则把权重细化到“当前起点与预测深度”的组合。第一项是顺序路径约束：前面任意一步对真值没有把握，后面更远位置的监督就应减弱。其核心是把此前各深度给真值分配的概率连乘，而非只查看当前深度的局部置信度。

\[ \omega^{1}_{(t,k)}=\prod_{j=0}^{k-1}\hat p_t^j[x_{t+j+1}]. \]

这里 \(t\) 是起始位置，\(k\) 是向前预测深度，\(x\) 表示真值词元，\(\hat p_t^j\) 是第 \(j\) 个深度的预测分布；\(j=0\) 对应主模型的下一词元预测。乘积会放大一条路径中的薄弱环节，所以当近处预测尚不可靠时，不会强迫模型同时把远处也学好。

第二项是回溯目标约束：它不再沿同一起点追踪后续路径，而是固定同一个目标词元，考察其他预测距离对该目标的置信度。如果某个目标在较近距离都难以识别，就降低更远预测对它的训练压力。两项相乘得到最终权重 \(\omega_{(t,k)}\)，分别检查“通往这里的路径”与“这里这个目标”是否可靠。需要注意，缓存式 (7) 的求积索引与紧邻文字对“主头及较近距离”的解释存在不一致，因此这里保留机制解释，不擅自修正式 (7) 的精确索引。

按原文式 (9) 的可辨识内容整理，课程项是加权交叉熵：

\[ \mathcal L_{\mathrm{P\text{-}MTP}}=-\sum_{k=1}^{K}\frac{1}{T-k}\sum_{t=0}^{T-k-1}\omega_{(t,k)}\log\hat p_t^k[x_{t+k+1}]. \]

其中 \(T\) 是序列长度，\(K\) 是训练时的最大预测深度。学习早期，低置信度乘积把损失集中到简单、近距离位置；这些位置学好后，权重会自然抬升，让更远目标获得监督。它不是按预设训练轮数切换课程，也不是始终把远处损失压低。论文用训练中不同深度的损失占比变化支持这一解释，但没有在可读正文中明确说明权重计算是否停止梯度；复现时应核对实现，不能把某种梯度处理方式当成已知设计。

3. 置信度门控动态草拟：用整条候选路径决定何时收手

训练过较深预测不意味着每次推理都该走到同样远。P-MTP 把推理最大预算扩展为 \(H=2K\)，同时累乘已经生成的候选词元概率；当累计可靠性不再超过阈值 \(\delta\) 时终止扩展。这里使用的是候选词元概率，而不是训练阶段可见的真值概率。连续高置信度的表格标记可以走得更远，遇到不确定内容则提早返回主模型验证，避免在一条已经不可信的路径上继续付出草拟成本。

阈值并非替代验证器。它只决定值得准备多长草稿，最终候选仍要由主模型验证后接纳。因此“草拟得更长”和“真正输出得更多”是两回事，文中报告的平均接受长度才反映每轮有效推进多少词元。其基线值为 1，表示普通下一词元解码每轮只推进一个词元，不应把该指标误写成百分比接受率。

论文还根据训练收敛后的验证损失校准阈值：残余不确定性越大，门槛越保守；越接近充分收敛，门槛越接近经验基准 0.3，敏感系数通常取 2。缓存中的指数公式存在字符缺失，故不把损坏公式当成可直接实现的表达式。补充材料确实比较了阈值和预算，但这些实验支持的是所测设置下的选择，不构成任意模型上的最优停止定理。

一个完整示例¶

考虑一幅需要输出 HTML 表格结构的图像。普通解码依次输出标签和单元格内容，每轮仅前进一步；P-MTP 则从当前隐藏状态开始，反复调用共享草拟模块。遇到规律性强的闭合标签时，连续候选的概率乘积可能仍高于门槛，于是继续向前；进入不确定的单元格文字后，乘积下降，草拟提前停止，再由主模型验证这一段候选。此例说明控制流程，不代表对某个具体样本测得的词元概率。

在论文实际测量的表格配置中，训练深度 \(K=9\)、推理预算 \(H=2K\) 时，动态草拟的平均接受长度为 8.60，固定长度版本为 7.29。8.60 是多轮平均值，不是每轮恰好接受这么多词元，更不意味着预算内所有候选都会通过验证。

损失函数 / 训练策略¶

总目标保留主模型的下一词元交叉熵，再加入上述课程化 MTP 损失，既维护基础解析能力，也训练草拟模块。实验训练共 2 个 epoch：第一个只做标准监督微调，第二个加入 MTP；主干并非始终冻结，所以加速版本与原始 SFT 基线不是同一组模型参数，任务精度可以发生变化。

主实验采用 InternVL3.5-1B 与 Qwen3-VL-2B。主干峰值学习率为 1e-5，MTP 模块为 5e-5，warmup 比例 0.05，全局 batch size 为 8；优化器按正文记为 Adam，不从参考文献编号推断具体实现。公式与表格任务使用各自官方训练集，完整文档解析使用 LightOnOCR-2 的 0.42M 公共样本。计时环境是单张 NVIDIA A100 40GB，原生前向与 vLLM 分别测量。

实验关键数据¶

主实验¶

下表摘录原文表 5，比较各任务的 SFT 基线与 P-MTP，吞吐量 TPS 为每秒输出词元数，越高越好。公式任务使用 CDM、表格任务使用 TEDS、完整文档任务使用官方 Overall，均按原表“越高越好”报告；TEDS 比较预测表与真值表的结构及内容相似性。不同任务的分数尺度不可横向比较，Overall 的详细聚合定义在本文缓存中未展开。

主干 / 任务	数据集	指标	基线分数	P-MTP 分数	分数变化	基线 TPS	P-MTP TPS
InternVL3.5-1B / 公式	UniMERNet	CDM ↑	95.64	92.77	-2.87	1136	1684
InternVL3.5-1B / 表格	PubTabNet	TEDS ↑	83.40	86.26	+2.86	2475	5816
InternVL3.5-1B / 文档	OmniDocBench	Overall ↑	73.30	71.34	-1.96	1324	1822
Qwen3-VL-2B / 公式	UniMERNet	CDM ↑	95.88	94.58	-1.30	1649	2663
Qwen3-VL-2B / 表格	PubTabNet	TEDS ↑	85.09	84.78	-0.31	2774	4315
Qwen3-VL-2B / 文档	OmniDocBench	Overall ↑	86.31	81.28	-5.03	582	891

分数变化均为绝对分差，不是相对百分比。最需要保留的反例是 Qwen3-VL-2B 的完整文档任务：吞吐量增加，但 Overall 下降 5.03 分，不能笼统称为“精度无损”。

原文表 4 单独展示了 vLLM 下不同 batch size 的部署表现，其收益明显小于原生解码的 5.24 倍：

Batch size	基线 TPS ↑	P-MTP TPS ↑	加速比 ↑
4	647	1028	1.59×
16	1894	2921	1.54×
32	2774	4315	1.56×
64	3719	5638	1.52×

消融实验¶

以下均为 Qwen3-VL-2B、PubTabNet，非基线行的训练深度为 9。摘录原文表 2 与表 3；延迟越低越好，原表未在列名标注单位，故保留原数值、不额外补单位。平均接受长度 \(\tau\) 表示每轮解码平均有效推进的词元数。

配置	草拟方式	TEDS ↑	延迟 ↓	平均接受长度 ↑	加速比 ↑
NTP 基线	无草拟	85.09	26.71	1	1
等权损失	固定	82.54	7.82	5.85	3.42
静态衰减损失	固定	85.33	5.95	7.05	4.49
仅顺序路径约束	固定	84.16	6.33	6.95	4.22
仅回溯目标约束	固定	84.37	6.09	7.06	4.39
两项约束相乘	固定	84.78	5.53	7.29	4.83
两项约束相乘	动态	84.78	5.10	8.60	5.24

关键发现¶

双重约束比单独使用任一约束更有效：固定草拟下，加速比从 4.22 或 4.39 提升到 4.83，TEDS 也更高。但静态衰减的 TEDS 为 85.33，高于课程损失的 84.78，因此课程损失的优势应描述为速度与精度的取舍，而不是所有指标都最佳。
动态草拟不改变该表中的 TEDS，却把平均接受长度从 7.29 增至 8.60，并将延迟从 5.53 降至 5.10。它是在已训练草拟能力上改善推理调度，不是另一轮提升精度的训练。
更深不总是更快。补充表 10 将训练深度从 9 增至 18 后，动态版本的平均接受长度从 8.60 增至 9.00，但加速比从 5.24 降至 5.13，TEDS 从 84.78 降至 83.75。

亮点与洞察¶

课程信号取自模型当前预测，而非手工指定“第几轮学第几步”。它把远距离任务是否值得学习转化为路径可靠性问题，解释了为何简单的深度衰减可能过于僵硬。
轻量模块与动态停止必须一起看。提高候选数量不等于提高有效吞吐量；本文的价值在于把预测质量、验证接受长度和草拟自身开销放到同一条执行路径里考察。
论文同时给出原生前向与优化推理框架的结果。两组数字避免了只用慢基线夸大部署收益，阅读时也必须维持这个区分。

局限与展望¶

作者在补充材料承认公共数据设置下完整文档分数存在明显退化，并将其主要归因于数据规模和质量。改用约 1.5M 私有样本后，Qwen3-VL-2B 的 Overall 仍从 88.71 降至 87.19，TPS 从 716 增至 1437；这支持“更优数据可能改善取舍”，但不是对数据因素的严格因果隔离，也削弱了可复现性。
扩展到训练深度 18 已表现出收益饱和和精度损失；最大草拟预算也需要控制。补充表 9 中把预算从 2K 扩至 3K，接受长度只从 8.60 增至 8.75，延迟却从 5.10 增至 5.24。
可读缓存的部分公式损坏，回溯权重索引、阈值校准的精确实现和权重梯度路径需核对原始 PDF 或实现。阈值 0.3 的经验优势不能直接升级为跨模型的统计最优保证。
主实验只在单张 A100 上计时，完整任务的质量下降也说明其收益依赖内容规律性。后续验证应优先补齐精度敏感场景与不同部署负载，而非只追求更大的预测深度。

评分¶

新颖性: 4/5。双重可靠性课程与动态草拟衔接清楚，但建立在已有串行 MTP 与推测解码之上。
实验充分度: 4/5。覆盖任务、主干、模型规模和 vLLM 负载，仍缺少公共数据精度退化的严格归因。
写作质量: 3/5。整体叙事明确，但“精度影响可忽略”的概括过强，部分数学表述需要进一步核对。
价值: 4/5。对规律性强、输出密集的文档解析有实用意义，实际收益应以部署框架与质量要求共同衡量。