StrucTab: A Structured Optimization Framework for Table Parsing¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/VirtualLUOUCAS/StrucTab
领域: 多模态 VLM
关键词: 表格解析、结构化推理、课程学习、分解奖励、去风格化

一句话总结¶

StrucTab 让 1B 表格解析模型先数行列、再定位合并单元格、最后生成 HTML，并通过关注首个结构错误与消除内容表达风格差异的 Uni-TabRL 优化，在 TableVerse-5K 上将 SFT 模型的 TEDS 从 84.59 提高到 87.81。

研究背景与动机¶

把表格图片转成 HTML，不仅要认出文字，还要恢复行列关系与跨行、跨列单元格。传统方法分别做结构识别和 OCR，容易让上游错误传递到后续步骤；端到端视觉语言模型虽然省去了组件拼接，却常常只用最终 HTML 做监督。这样一来，模型必须从一条线性输出序列中隐式学会二维拓扑，某个早期 rowspan 或 colspan 判断错误，就可能让后续单元格整体错位。

强化学习也没有自动解决这个问题。用 VLM 判断两张渲染图是否一致，可能漏掉细小结构差异；直接比较 HTML 的 TEDS，又可能把视觉等价但写法不同的公式当成内容错误。与此同时，常见文档理解基准只含少量表格，难以覆盖拍照、手写和复杂合并结构。因此，本文同时改造中间监督、奖励和评测，而不是单纯扩大模型。

作者先做了提供行列与合并单元格提示的免训练实验，发现显式结构线索确实有帮助，再把这些线索变成模型自己需要预测的目标。核心 idea：先把二维结构教成可监督的中间能力，再让模型按固定顺序使用这些能力，并用对早期结构偏差敏感、对等价内容写法不敏感的奖励优化最终解析。

方法详解¶

整体框架¶

输入是表格图像，输出是包含行列计数、合并单元格分析和最终 HTML 的结构化回答。模型基于 HunyuanOCR，训练依次经历独立子任务预训练、顺序推理预训练、SFT 和 Uni-TabRL；推理时仍由一个模型生成回答，不需要在外部串接多个解析模型。

方法包含四个核心设计：结构子任务分解、顺序课程训练、首错结构奖励和锚点去风格化。前两个建立模型的结构能力，后两个在 RL 阶段分别改善结构与内容反馈；合法性检查与 GRPO 负责把这些反馈用于策略更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["训练图像与 HTML 标注"] --> Decompose["结构子任务分解"]
    Decompose --> Curriculum["顺序课程训练"]
    Curriculum --> Rollout["SFT 模型采样回答"]
    Rollout --> Probe["首错结构奖励"]
    Rollout --> Anchor["锚点去风格化"]
    Reference["参考 HTML"] --> Probe
    Reference --> Anchor
    Probe --> Update["合法性检查与 GRPO 更新"]
    Anchor --> Update
    Update --> Output["训练后模型<br/>计数 → 合并分析 → HTML"]

图中渲染、OCR 锚点和参考 HTML 都属于训练奖励侧，不是部署时必须执行的后处理。TableVerse-5K 则是独立的评测贡献，不参与图中的推理链。

关键设计¶

1. 结构子任务分解：把隐藏在 HTML 中的几何关系显式教给模型

行列计数提供全局约束：模型先回答表格有多少行、多少列，而不是立刻开始拼接标签。合并单元格分析提供局部约束：利用标注 HTML 的 rowspan 和 colspan，把一个合并区域写成 <merge>(r1,c1),(r2,c2)</merge>，表示从起始格到终止格的矩形范围，多个区域按固定的逐行顺序排列。这些目标直接由已有 HTML 标注派生，不要求重新人工标注中间推理过程。

两类目标不能相互替代。行列数正确，不代表跨列标题被正确恢复；每个合并区域看似合理，也不代表整张表的全局网格正确。让模型分别学习这两种结构信息，可以先建立全局尺寸和局部依赖，再用 HTML 表达文字及拓扑。它与只给模型最终答案的区别，在于关键结构判断第一次获得了显式监督。

2. 顺序课程训练：先学会独立判断，再把判断接入生成上下文

第一阶段分别构造行列计数、合并单元格分析、HTML 解析三类问答，先训练独立能力。第二阶段才把它们放进同一个回答，固定先输出计数，再输出合并关系，最后输出 HTML。这里不是额外调用一个规划器，也不是自由展开长篇思维链，而是用固定格式把可核验的结构结论放到后续自回归生成的条件中。

课程设计解决了两个不同问题：独立任务避免模型一开始就同时承担所有输出要求，顺序整合则避免辅助任务虽然学会了、最终解析却没有显式使用它们。表 3 分别比较独立多任务、直接顺序训练和完整课程，因而能检验“有结构监督”和“先分后合”是否各自有用。中间结果也是预测而非真值，测试时数错行列仍可能影响后续输出，不能把这一流程理解为保证正确的符号约束求解器。

3. 首错结构奖励：优先延长正确的结构前缀

Uni-TabRL 首先检查回答是否产生完整、有效的 HTML 表格，以及行列计数和合并分析是否正确。任一条件失败，合法性奖励为 0；否则为 1。随后，结构奖励去掉单元格文字，只保留标签和跨度属性，将预测与参考结构展平成一维单元格序列，从开头逐个比较，第一次不匹配就停止累计。

用本笔记的简写，令 \(k\) 为首个错误之前连续正确的单元格数，\(N\) 为参考表的单元格序列长度，则正文和图 5a 描述的奖励为：

\[ R_{\mathrm{structure}}=\frac{k}{N}. \]

例如参考序列有 6 个单元格，前 3 个正确、第 4 个跨度属性错误，奖励就是 \(3/6\)；后面的单元格即使重新匹配，也不会增加这个正确前缀的长度。这不是对每个 token 单独提供即时奖励，而是依据错误位置构造候选回答级分数，再交给 GRPO。相较于只评价整体树相似度，它直接鼓励模型推迟最早的结构偏差，针对的是自回归错误会向后传播的特点。

4. 锚点去风格化：先统一表达，再比较内容

同一个公式可能写成 LaTeX，也可能用 Unicode 符号表示；若直接比较字符串，视觉上相同的内容也会损失 TEDS。作者把预测 HTML 和参考 HTML 都渲染成标准化图像，再交给同一个冻结 OCR 模型重解析。统一字体、排版和解析器，使两边更可能得到同一种内容表达，然后对这两个去风格化结果计算 TEDS，作为内容奖励。

这与 VLM 裁判直接回答“是否相同”不同：冻结 OCR 模型是表达风格的锚点，最后的比较仍是规则计算。它也不是直接把两张原始表格照片送去 OCR，而是比较由两份 HTML 重新渲染出的标准化图像。正文将其解释为更稳健的内容监督，但标准 TEDS 仍含结构项，且 OCR 可能误读，因此不应将其称为严格纯语义、完全风格不变的保证。

一个完整示例¶

设一张教学示意表有 3 行、3 列，第一行第 1 到第 2 列是合并标题。这个例子用于说明执行过程，不是论文新增实验。

模型先输出 3 rows and 3 columns，再给出 <merge>(1,1),(1,2)</merge>，最后生成对应首行含 colspan="2" 的 HTML，其余单元格填写识别到的文字。计数约束了全局网格，合并区域提前提示标题不能被写成两个普通格。

在 RL 训练时，若 HTML 可解析但计数错误，合法性奖励仍为 0；若某个早期单元格跨度错误，首错结构奖励只能累计到该位置之前。对公式的两种等价写法，锚点去风格化尝试通过共同渲染和重解析减少无意义的内容扣分。部署时只运行模型的顺序回答，不再运行这些依赖参考答案的奖励步骤。

损失函数 / 训练策略¶

所有阶段都做全参数训练，实验使用 16 张 NVIDIA H20。预训练数据混合 6M 合成表格和公开数据：独立任务阶段训练 1 个 epoch，学习率为 \(4\times10^{-5}\)；随后顺序整合阶段再训练 1 个 epoch。这里的 6M 指合成样本数量，不是混合后总量。

下游高质量数据共 130K，包括 50K 公开基准样本和 80K 人工标注表格，其中 100K 用于 SFT，训练 2 个 epoch、学习率为 \(2\times10^{-5}\)；剩余 30K 用于 RL。RL 使用 GRPO：对同一图像采样多个回答，用组内归一化奖励形成优势，再通过裁剪策略比率更新模型，无需训练独立 critic。

原文式 (4) 在当前全文缓存中存在排版损坏，而正文同时提到三个权重和合法性硬门控。本笔记不猜补总奖励的加法、乘法或门控组合，也不编造权重、采样组大小及 RL 学习率；缓存未包含正文引用的附录，这些复现细节需以原始公式及附录为准。

实验关键数据¶

主实验¶

TEDS 同时衡量 HTML 树结构与单元格内容，TEDS-S 忽略文字、仅比较结构；下表按原文使用 0–100 尺度，越高越好。TableVerse-5K 包含 5,000 张中英文表格，覆盖扫描、拍照印刷与拍照手写场景，平均每表含 5.10 个合并单元格（表 1）。

下表摘录表 2 的部分基线；StrucTab 两行在缓存中排版粘连，TableVerse-5K 数值另由表 4 的独立行确认。

模型	TableVerse-5K TEDS	TableVerse-5K TEDS-S	表 2 Average TEDS
GPT-5	67.04	78.96	69.65
Gemini 2.5 Pro	79.46	87.13	81.66
TRivia-3B	78.15	85.41	80.87
HunyuanOCR	77.55	85.22	79.67
StrucTab-SFT	84.59	90.02	85.87
StrucTab	87.81	92.74	88.79

完整模型比 StrucTab-SFT 的 TableVerse-5K TEDS 高 3.22 分，比 HunyuanOCR 高 10.26 分；表 2 Average TEDS 的 SFT→RL 增益则为 2.92 分，二者不是同一统计量。表 2 的 Average 也不是四个基准分数的简单算术平均，不应将其改写为“四数据集宏平均”；表 3、4 的 Opensource Avg. 仅覆盖三个公开基准。

消融实验¶

表 3 隔离结构监督与顺序课程的作用，以下均为 RL 之前的配置。

结构训练配置	公开基准平均 TEDS	TableVerse-5K TEDS	TableVerse-5K TEDS-S
(a) 仅最终 HTML 基线	86.26	81.12	85.51
(b) 加行列计数	87.43	82.09	86.79
(c) 加合并分析	87.39	82.39	87.01
(d) 两种独立辅助任务	88.93	83.24	88.61
(e) 直接顺序训练，无独立任务课程	89.54	84.12	89.40
(f) 完整 StrucTab-SFT	90.11	84.59	90.02

表 4 从同一个 SFT 模型出发比较 RL 奖励；所有 RL 配置都使用合法性奖励。

奖励配置	公开基准平均 TEDS	TableVerse-5K TEDS	TableVerse-5K TEDS-S
StrucTab-SFT，无 RL	90.11	84.59	90.02
(a) TEDS-S + TEDS	91.29	86.45	91.67
(b) TEDS-S + VLM 裁判	90.51	85.89	91.57
(c) TEDS-S + 锚点去风格化	91.76	87.10	92.16
(d) 首错结构奖励 + TEDS	91.80	87.07	92.06
(e) 首错结构奖励 + 锚点去风格化	92.05	87.81	92.74

关键发现¶

两种辅助监督联合使用优于单独使用；在 TableVerse-5K 上，完整课程又比直接顺序训练多 0.47 TEDS 分，支持“先学独立能力，再整合”的设计，但不意味着课程是全部收益来源。
相对普通 RL，单加锚点去风格化与单加首错结构奖励分别提升 0.65、0.62 TEDS 分；联合提升 1.36 分。VLM 裁判配置反而低 0.56 分，说明裁判模型更复杂不等于反馈更可靠。
表 5 将重复生成定义为没有生成闭合 </table>、继而陷入重复。普通 TEDS + TEDS-S 奖励有 60/5,000 次、1.20%；改用 TEDS + 首错结构奖励后为 51/5,000 次、1.02%，减少但并未消除。此结果属于该奖励变体，不能直接当作完整模型的重复率。

亮点与洞察¶

结构中间标注可从已有 HTML 派生，不必先收集人工撰写的推理链。值得迁移的是“从输出标注提取可核验前置状态”的监督方式，而非要求模型输出更多解释文字。
首错结构奖励将自回归的时间顺序引入结构评分。它牺牲对错误之后局部修复的计分，换取更直接的正确前缀压力，对其他有严格序列依赖的结构化生成也有启发。
去风格化把“内容是否一致”与“字符串是否一致”拉开距离。使用共同转换器进行规范化，比直接假设编辑距离能表达所有语义等价关系更贴合公式密集表格。

局限与展望¶

本文正文未单列系统性局限分析。以下是依据方法和实验边界的判断，不冒充作者已经验证的结论。
正确前缀奖励在早期出错时不给后半段结构额外信用，合法性奖励又是二元信号；对于特别困难的长表格，是否会产生过稀疏反馈仍需分难度实验。
渲染加冻结 OCR 增加训练奖励计算成本，并依赖锚点解析质量。正文没有给出奖励吞吐、训练总时长或端到端推理延迟，1B 参数量本身不能证明完整训练流程低成本。
TableVerse-5K 由三个模型预标注、人工选择修正、再由第二人复核，覆盖中英文但不代表所有文字系统。更细的手写、公式、超长表格分层结果，有助于判断收益主要来自哪些场景。
训练使用公开基准来源数据，但当前正文不足以核查每个训练与评测切分的隔离细节；这需要进一步披露，不能据此直接断言存在数据泄漏。缺失的附录也限制了对奖励超参数和精确计算流程的复现。

评分¶

新颖性: 4/5。结构子任务并非全新，但与正确前缀奖励、OCR 锚点规范化形成了有针对性的组合。
实验充分度: 4/5。涵盖多个基准、两组分离消融与重复生成分析，但成本、分层表现及当前缺失的复现细节仍需补足。
写作质量: 4/5。动机与验证链清晰，需注意不能把回答级首错评分理解成逐 token 奖励，也不能混用不同 Average 口径。
价值: 4/5。对轻量表格解析的监督设计和 RL 奖励工程具有直接参考价值。