Table-MCR2TR: Merged-Cell-Aware Table Recognition via Reinforced Multimodal Language Models¶

会议: ECCV 2026
论文: ECCV 原文
领域: 强化学习 / 多模态VLM
关键词: 表格识别, 合并单元格识别, 强化学习, 协同对齐, 多模态大语言模型

一句话总结¶

Table-MCR2TR 针对表格识别中合并单元格难以准确解析的痛点，构建了富含复杂合并单元格的 MCT-350K 数据集，并通过多任务渐进式对齐与基于 GRPO 的三元协同奖励强化学习（M-CRL），使 3B 规模模型在多基准上超越 Gemini-2.5-Pro 等顶尖模型。

研究背景与动机¶

表格是学术文献、财务报表、保险单据及政企公文中组织半结构化数据的核心载体。现有的表格识别（Table Recognition, TR）方法主要分为传统专用小模型（如 RapidTable、PP-StructureV3）与多模态大语言模型（如 Qwen2.5-VL、InternVL3.5、Dolphin）。尽管这些方法在规则简单的基础表格上表现优异，但面对包含大量跨行或跨列合并单元格（$\text{colspan}$ 或 $\text{rowspan} > 1$）的复杂表格时，识别准确率急剧下降。合并单元格的错漏会破坏表格的拓扑层级，导致下游表格问答与信息抽取出现级联错误。

现有方案难以攻克复杂合并单元格识别的核心矛盾体现在两个层面：数据分布严重失衡与优化信号钝化。一方面，主流开源数据集（如 SciTSR、PubTabNet、FinTabNet）中超过 95% 的表格合并单元格少于 10 个，导致模型在预训练与微调中极少接触高密度合并结构。另一方面，主流多模态模型普遍采用自回归 Supervised Fine-Tuning（SFT）端到端直接生成整串 HTML 代码，在长序列解码中极易忽略局部细粒度合并标签；即使引入强化学习，学术界普遍依赖的全局树编辑距离指标 TEDS 对细粒度合并错误极不敏感——实验表明即使合并单元格预测准确率为 0%，TEDS 仍可高达 72.7%，无法提供有效的梯度反馈。

本文的切入角度是打破将表格识别视为单一自回归黑盒生成的惯性思维，将复杂的细粒度拓扑先验解耦为显式可验证的中间表征。核心 idea：将合并单元格识别作为显式上下文先验注入多模态模型以引导表格 HTML 解析，并结合包含受控合成与真实几何畸变的 MCT-350K 数据集，在 GRPO 下通过 TEDS、MCR F1 与对齐分构成的三元协同奖励进行序列级强化微调。

方法详解¶

整体框架¶

Table-MCR2TR 的处理流水线由两大核心支柱构成：一是解决高质量复杂样本匮乏的高保真数据构建管线，二是融合监督预热与协同强化学习的 MCATR（Merged-Cell-Aware Table Recognition）优化框架。在推理时，模型不再单步直接预测冗长的 HTML 序列，而是遵循类思维链的渐进式推理流程：给定输入的表格图像，模型首先在 Task 1 中显式预测合并单元格属性列表（包含跨行、跨列及对应文本三元组），随后在 Task 2 中将提取出的合并先验作为输入上下文，条件化自回归解码生成完整表格的 HTML 拓扑与内容。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    Input["输入表格图像<br/>扫描件 / 真实拍照几何形变图"] --> Stage1["高保真复杂合并数据构建<br/>MLLM受控合成 + 真实网络爬取三重校验 + UVDoc逆投影"]

    subgraph MCATR["MCATR 渐进式训练与推理范式"]
        direction TB
        Stage1 --> SFT["3任务联合监督微调 (3-task Joint SFT)<br/>TR 任务 + MCR 任务 + MCR2TR 对齐任务"]
        SFT --> Design1["渐进式 MCR2TR 对齐范式<br/>显式预测合并单元格三元组 → 上下文引导生成最终 HTML"]
        Design1 --> Design2["协同强化学习优化 (M-CRL)<br/>基于 GRPO 的序列级多假设采样探索"]
        Design2 --> Reward["三元协同奖励计算<br/>r_teds (全局树相似度) + r_f1 (MCR匹配) + r_align (跨阶段属性一致性)"]
    end

    Reward --> Output["高保真结构化 HTML 输出<br/>拓扑完整 / 单元格跨度零偏差 / 赋能下游 QA"]

关键设计¶

1. 高保真复杂合并数据构建：双流合成与三重过滤消除数据长尾匮乏

针对现有开源数据集中复杂合并表格极度匮乏的痛点，设计了兼顾结构复杂度与真实成像畸变的数据生产管线。管线包含两大来源：首先利用商业级 MLLM 结合参数化提示显式控制行跨度、列跨度与合并数量生成高复杂度 HTML，并将其渲染为扫描风格图像；其次从财报、税务、保险等领域网络爬取大量无标注表格图像，并调用多个前沿 MLLM 输出候选 HTML。

为了消除多模型伪标签中的幻觉与噪声，引入三重校验机制： - 跨模型一致性校验：计算 $K$ 个模型预测序列间的成对平均 TEDS： $$\text{TEDS}_{avg} = \frac{2}{K(K-1)} \sum_{1 \le i < j \le K} \text{TEDS}(H_i, H_j)$$ 设定阈值 $\mu_{TEDS} = 0.7$，剔除平均一致性较低的歧义样本。 - HTML 拓扑碎片化校验：将 HTML 解析为 2D 逻辑栅格矩阵，计算空置单元格占比，超过阈值 $\tau_{frag} = 0.05$ 则直接过滤。 - 合并密度过滤：统计单表合并单元格数量，保留全部超过 10 个合并单元格的样本，其余样本概率降采样，使最终构建的 35 万规模 MCT-350K 数据集中超过 20 个合并单元格的样本占比达到 16.7%。最后引入基于 UVDoc 的真实 3D 几何表面与 UV 映射，将平面扫描件逆向投影为带有光照和视角畸变的真实拍照图像。

2. 渐进式 MCR2TR 对齐范式：显式先验解耦长序列表格拓扑解析难度

常规 SFT 试图一步到位预测长达数千 token 的 HTML 字符串，模型注意力在解码后半段容易发生漂移，忽视早期的局部合并约束。MCATR 将表格建模拆分为互补的三重任务： - 基础表格识别（TR）：图像到 HTML 的端到端映射； - 合并单元格识别（MCR）：将表格中所有合并区域解析为结构化列表 $M = \{(r_i, c_i, t_i)\}_{i=1}^N$，显式输出跨行数 $r_i$、跨列数 $c_i$ 与文本内容 $t_i$； - MCR2TR 跨任务对齐：要求模型首先输出 <task1> MCR 结果序列 </task1>，再在 <task2> 中根据图像和已生成的 MCR 预测上下文生成完整 <table>...</table>。

这种分段推理机制相当于在多模态大模型的自回归解码中强制执行了显式的结构草稿与检查，显著降低了直接生成复杂 HTML 的搜索空间。

3. 协同强化微调与三元协同结构奖励：突破 TEDS 指标钝化与局部解

即便通过 SFT 获得了格式先验，token 级的交叉熵损失依然停留在局部统计相关性上，无法衡量整张表格在二维空间上的闭合连贯性。为此，引入基于 GRPO（Group Relative Policy Optimization）的协同强化微调（M-CRL），每个样本采样 8 个输出序列进行组内相对优势估计。针对 TEDS 无法对细粒度合并错误提供有效梯度的缺陷，设计了三元协同奖励函数： - 全局拓扑奖励 $r_{teds}$：基于标准化 HTML 树最小编辑距离： $$r_{teds} = 1 - \frac{\text{EditDist}(H_{pred}, H_{gt})}{\max(|H_{pred}|, |H_{gt}|)}$$ - 细粒度合并奖励 $r_{f1}$：通过二分图匹配算法比较预测集 $M_{pred}$ 与真值集 $M_{gt}$，仅当行跨度、列跨度严格相同且文本内容 ANLS 相似度超过 $\tau_{sim} = 0.5$ 时判定为匹配，输出精确的 F1 得分。离散的 MCR F1 奖励提供了高方差判别信号，极大拉开了组内采样的优势差距； - 跨阶段对齐奖励 $r_{align}$：检验最终 HTML 提取出的合并属性与 Task 1 阶段预测的 MCR 属性的一致性，防止第二阶段忽视第一阶段生成的上下文提示。最终各任务的目标奖励设为：$r_{TR} = r_{teds}$，$r_{MCR} = r_{f1}$，$r_{MCR2TR} = r_{teds} + r_{f1} + r_{align}$。

一个完整示例¶

以一张包含“跨 2 列大标题”和“跨 2 行子指标”的复杂财报表格为例： 1. 模型接收图像后，首先在 <task1> 标签中输出 Markdown 风格的 MCR 结果：

<task1>
| Rowspan | Colspan | Cell content |
| ------- | ------- | ------------ |
|    1    |    2    |   Revenue    |
|    2    |    1    |   Region A   |
</task1>

2. 模型随即基于上述输出展开 <task2> 的自回归生成：

<task2>
<table>
  <tr><th colspan="2">Revenue</th></tr>
  <tr><td rowspan="2">Region A</td><td>Q1: $10M</td></tr>
  <tr><td>Q2: $12M</td></tr>
</table>
</task2>

3. 在强化学习阶段，计算模块从 <task2> 提取出的合并单元格集合与 <task1> 中的预测核对得到 $r_{align} = 1.0$；与标注真值比较得到 $r_{f1} = 1.0$ 以及 $r_{teds} = 1.0$，协同给予策略模型最高的正向优势回报。

损失函数 / 训练策略¶

训练采用两阶段方案： 1. 全参数 3 任务联合 SFT：以 Qwen2.5-VL-3B 为基座，最大图像 token 数为 2048，总上下文长度限制为 10,800。在 2 个节点（16 张 A100 GPU）上全参数微调，有效 batch size 为 16（batch size 8，梯度累积 2 步）。 2. GRPO 强化微调：采用 MS-Swift 框架，使用 7K 张代表性表格图像在三个任务中扩展为 21K 样本。每个样本 rollout 8 个生成假设（$T=1.0, \text{top\_k}=50, \text{top\_p}=0.9$），最大输出长度 6144，KL 散度惩罚系数 $\beta = 0.04$。

实验关键数据¶

主实验¶

在 7 大公认基准（涵盖经典科研文献、金融报表及高难度拍照 OCR 数据集）上的综合对比表明，仅 3B 参数量的 Table-MCR2TR 在合并单元格识别准确率（MCR F1）与全局树还原度（TEDS）上均达到 SOTA。

模型	类型 / 参数量	SciTSR (F1/TEDS)	PubTabNet (F1/TEDS)	FinTabNet (F1/TEDS)	SynthTabNet (F1/TEDS)	CC-OCR Scan (F1/TEDS)	CC-OCR Photo (F1/TEDS)	全基准平均 AVG (F1/TEDS)
RapidTable	传统专用小模型	88.3 / 87.7	81.5 / 86.8	67.0 / 77.1	16.6 / 74.2	56.3 / 66.4	37.3 / 39.0	60.2 / 72.2
PP-StructureV3	传统专用小模型	87.5 / 82.7	68.9 / 73.1	42.9 / 58.6	13.1 / 59.3	49.7 / 65.0	35.7 / 33.6	54.3 / 63.7
Qwen2.5-VL-32B	通用开源 MLLM	80.2 / 92.9	51.2 / 78.6	49.4 / 73.6	0.5 / 61.7	53.4 / 84.8	53.1 / 79.4	51.8 / 78.8
InternVL3.5-38B	通用开源 MLLM	88.2 / 94.2	62.7 / 87.5	71.8 / 92.8	6.4 / 81.0	56.7 / 84.8	43.6 / 71.6	57.5 / 84.2
MinerU2-VLM	文档专用 MLLM	89.5 / 93.0	68.7 / 90.3	60.7 / 84.4	73.1 / 94.4	73.4 / 75.1	54.3 / 46.2	70.7 / 80.9
PaddleOCR-VL	文档专用 MLLM	90.6 / 92.7	68.1 / 87.1	59.1 / 83.5	28.1 / 79.7	62.9 / 81.3	59.2 / 74.7	65.2 / 83.6
GPT-4o	商业闭源顶尖	81.9 / 88.9	59.3 / 73.2	56.8 / 79.8	2.8 / 50.1	57.7 / 65.5	47.3 / 57.6	54.0 / 70.8
Gemini-2.5-Pro	商业闭源顶尖	91.4 / 92.9	72.9 / 90.9	79.7 / 92.8	8.7 / 54.4	69.6 / 89.4	54.6 / 82.2	66.3 / 84.2
Table-MCR2TR	本文模型 (3B)	95.5 / 97.7	80.6 / 93.7	95.7 / 97.0	87.6 / 98.7	76.6 / 90.5	71.2 / 83.0	83.9 / 92.3

消融实验¶

针对 MCR2TR 对齐任务中三元协同奖励设计的消融实验（在 CC-OCR 扫描与拍照集上评测）：

配置编号	优化阶段与奖励配置 (Align / TEDS / F1)	Scan (F1 / TEDS)	Photo (F1 / TEDS)	AVG (F1 / TEDS)	说明
1	仅 3 任务联合 SFT（无 RL 微调）	73.3 / 88.6	62.5 / 80.9	67.9 / 84.8	缺乏序列级结构探索
2	RL 微调: $r_{align} + r_{teds}$	74.9 / 89.7	66.4 / 82.2	70.7 / 86.0	缺少显式 F1 离散梯度
3	RL 微调: $r_{align} + r_{f1}$	75.5 / 89.5	69.4 / 81.9	72.5 / 85.7	缺少全局树层级约束
4	RL 微调: $r_{teds} + r_{f1}$（无 $r_{align}$）	76.0 / 90.1	70.4 / 82.6	73.2 / 86.4	跨阶段先验脱节
5	完整三元协同奖励 ($r_{align} + r_{teds} + r_{f1}$)	76.6 / 90.5	71.2 / 83.0	73.9 / 86.8	全面兼顾局部与全局拓扑

关键发现¶

SynthTabNet 上的断崖式差距揭示了通用模型的结构盲区：在高度依赖合并单元格的 SynthTabNet 上，参数量巨大的 InternVL3.5-38B 仅获得 6.4% 的 MCR F1，Qwen2.5-VL-32B 仅 0.5%，Gemini-2.5-Pro 仅 8.7%；而 Table-MCR2TR 达到 87.6%，证明端到端非对齐 SFT 对密集跨行列结构几乎失效。
离散 F1 奖励是强化学习优化的关键推力：对比消融实验 #2 与 #5，在加入 $r_{f1}$ 后 MCR F1 跃升了 3.2%（70.7% $\to$ 73.9%）。TEDS 作为连续密集的编辑距离在 GRPO 候选采样中方差极低，而基于 ANLS 判别的 MCR F1 提供了明确的胜负反馈，拉大了候选样本间的优势差值。
MCR 预测质量直接决定下游问答上限：实验证实若将真值（GT）MCR 作为前置输入，模型的 TEDS 在 CC-OCR 扫描和拍照集上分别可再涨 3.4% 与 4.6%；在 WTQ 和 TabFact 表格问答评测中，两阶段（Table-MCR2TR 解析为 HTML $\to$ Qwen3-32B 解答）以 77.6% 与 89.8% 全面超越端到端直接输入的 GPT-4o（64.5% / 79.0%）。

亮点与洞察¶

将 MCR 作为显式结构草稿而非简单损失正则：许多过往研究将跨单元格检测作为辅助分支，在推理时丢弃。本文证明在解码前期显式输出结构化三元组并作为下游提示，大幅降低了长文本 HTML 自回归生成的搜索难度。
揭穿了高 TEDS 下的“虚假繁荣”：系统性证明了树编辑距离对局部层级破坏的不敏感性，并定义了标准化的 MCR F1 评估流程，为文档智能社区树立了更严格的细粒度评测准则。
强化学习奖励设计的互补性范式：结合了密集连续型（TEDS）、稀疏离散型（MCR F1）以及任务流间一致性（Align）奖励，避免了策略模型在单一奖励下寻找对齐漏洞或忽略前置提示的退化现象。

局限与展望¶

通用多模态能力的严重退化：作者指出经过三任务密集微调和强化学习后，模型几乎丧失了通用的多模态对话与通用指令遵循能力，只能响应训练指定的表格识别提示词。
依赖文本内容匹配的奖励局限：在计算 MCR F1 时依赖 ANLS 文本内容相似度判定，当图像模糊导致 OCR 错字时，即便单元格坐标与行列跨度预测完全正确，也可能被判定为不匹配。
未来方向：探索低开销参数高效微调（PEFT/LoRA）以在保持表格专家能力的同时保留基座模型的通用常识，并将两阶段对齐范式扩展到树状目录、层次化流程图等其他复杂层级视觉结构中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将合并单元格识别解耦为显式先验并设计了三元协同强化学习对齐范式，思路清晰且针对性极强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个代表性学术与真实工业基准，包含了与 10 余个前沿开源及商业模型的全面对比，消融实验逻辑严密。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，直击 TEDS 指标盲区痛点，图表精美详实。
价值: ⭐⭐⭐⭐⭐ 不仅大幅刷新了复杂表格识别的 SOTA，而且通过结构化先验切实解决了下游表格问答的层级错位难题。