Read, Parse, Describe: Unified Document Parsing with Visual Element Description Generation¶

会议: NeurIPS 2026
arXiv: 2610.20335
OpenReview: https://openreview.net/forum?id=d7ESmF9Jud
领域: 其他
关键词: 文档解析, 布局分析, 无障碍图表描述, 视觉语言模型, 空间对齐适配器

一句话总结¶

提出首个融合元素定位、人类阅读顺序、文本与表格提取及视觉对象无障碍描述的统一文档解析基准 Read-Parse-Describe，并提出即插即用的空间对齐残差适配器 SARA，在冻结基座 VLM 下显著补全了视觉 token 的细粒度空间几何线索。

研究背景与动机¶

学术与技术文档蕴含高度密集的混合信息，单页内往往交错出现双栏正文、层级标题、行间公式、复杂表格、学术插图以及跨栏浮动对象。以往的文档智能（Document AI）评测范式长期处于碎片化状态：版面分析（Layout Analysis）基准如 PubLayNet、DocLayNet 仅衡量物理包围框的回归精度，OCR 与表格识别基准侧重字符转录，阅读顺序基准如 ReadingBank 仅在孤立文本块上评估序列，而可访问性或图表描述基准则把图片切片抽离出页面背景单独生成摘要。这种割裂的评测协议掩盖了一个致命问题：现有系统无法输出一个在几何位置、逻辑阅读流、转录内容与视觉语义上完全自洽且互相绑定的单页级结构化解析结果。

在实际的学术文献摄取与视障无障碍阅读场景中，割裂的多阶段流程极易发生错误级联。一旦两栏文字中的跨栏插图或题注在几何分割上产生偏差，下游阅读顺序就会彻底错乱；而通用的图像描述模型脱离了正文上下文与图表题注编号，往往沦为泛泛而谈的模板化空话，无法捕捉图表中的坐标轴、趋势与科学结论。更深层的问题在于，主流的多模态视觉语言模型（VLM）在处理高分辨率文档切片（crops）时，通常在视觉编码器之后采用粗粒度下采样或 token 压缩，导致局部空间边缘信息严重弱化。模型虽然具备极强的语言生成能力，却丢失了精准锚定文字边界与多栏分界所需的几何证据。

为了消除孤立子任务与全页可审计解析之间的鸿沟，亟需制定统一的输出契约，把每个版面元素的位置、类别、读序、文本、关联题注以及面向无障碍的可替代文本（Alt-text）绑定在同一对象中联合评估。核心 idea：建立首个强制位置、读序、图文内容与无障碍描述联合对齐的统一文档解析基准 Read-Parse-Describe，并针对 VLM 视觉压缩引起的空间退化，设计轻量级空间对齐残差适配器 SARA，通过重用浅中层编码特征并注入切片感知空间引导，在冻结基座模型下大幅提升结构化解析保真度。

方法详解¶

整体框架¶

Read-Parse-Describe 将文档解析重构为联合多模态结构化绑定任务。给定单页文档图像，模型需要生成严格按人类阅读顺序排列的元素序列 $Y = [e_1, e_2, \dots, e_n]$。序列中的每个元素均为完整绑定的字典对象：包含唯一标识符、图像坐标系绝对包围框、23类细粒度语义标签、读序索引、OCR文本或HTML表格源码、图表关联题注ID以及高质量无障碍替代文本描述。

为了解决冻结视觉编码器后原生合并 token 空间位置信息弱化的问题，本文提出了空间对齐残差适配器 SARA（Spatial Alignment Residual Adapter）。SARA 保持基座 VLM 完全冻结，通过前向钩子提取视觉编码器浅中层的隐层特征，经由通道拼接、投影层映射后，利用切片网格元数据将其对齐至与主干视觉 token 完全一致的二维分辨率，最后通过可学习门控残差连接叠加回原生视觉流，送入自回归语言解码器生成标准 JSON 格式的解析结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：文档页面图像"] --> B["多层视觉特征提取与通道投影<br/>抽取第2/5/8/11层隐状态并做MLP降维"]
    B --> C["图像切片感知网格对齐<br/>按切片坐标Reshape与2D均值池化"]
    C --> D["可学习门控残差注入<br/>通过标量门控融合至原生压缩视觉Token"]
    D --> E["自回归语言解码器<br/>统一输出按读序排序的元素记录流"]
    E --> F["输出：结构化绑定元素序列<br/>包含bbox、类别、读序、OCR/HTML与Alt-text"]

关键设计¶

1. 跨字段绑定的统一结构化解析契约：杜绝游离预测的单页审计对象 以往评测允许模块分别生成 OCR 文本流或目标框列表，导致即便 OCR 文本完整，其所属栏目或图表归属也可能是错位的。Read-Parse-Describe 强制实施紧耦合的输出规范，每个元素定义为： $$e_i = \{\texttt{id}, \texttt{bbox}, \texttt{category}, \texttt{order}, \texttt{text}, \texttt{html}, \texttt{caption\_id}, \texttt{alt\_text}\}$$ 该设计实现了四重耦合约束：一是元素身份绑定，非文本或非视觉字段在不适用的类别上置空，杜绝没有几何边界支撑的游离 OCR 或脱离实体的幻觉描述；二是几何实证绑定，$\texttt{bbox}$ 是所有文本与描述的审计依据，一旦边界框定位错误，即便模型生成了极其流畅的文字，评测时也会因 IoU 不达标直接被判定为假阳性；三是规范阅读流对齐，$\texttt{order}$ 按照人类阅读流严格递增，强制模型克服跨栏插图打断造成的序关系颠倒；四是题注与图表语义绑定，通过 $\texttt{caption\_id}$ 建立图表与题注的一对一引用指针，使无障碍替代文本聚焦于图表本身的视觉趋势，而非生硬复述题注字面内容。

2. 多层视觉特征重用与通道投影：捕捉浅中层精细几何边界 预训练视觉变换器（ViT）的高层表示往往过度向全局语义抽象收敛，而丢失了区分多栏白边、公式上下标以及细密表格线所必需的高频空间边界细节。SARA 选取预设的特征抽取层集合 $\mathcal{S} = \{2, 5, 8, 11\}$，在单次前向传播中捕获预合并（pre-merger）视觉序列隐状态： $$\bm{X}^{(l)} \in \mathbb{R}^{L_v \times d_v}, \quad l \in \mathcal{S}$$ 其中 $L_v$ 为切片前的视觉 token 长度，$d_v$ 为特征维度。SARA 将四层特征在通道维度执行物理拼接得到 $\bm{X}_{\mathrm{cat}} \in \mathbb{R}^{L_v \times 4d_v}$，并送入轻量级空间适配投影网络： $$\bm{G} = \bm{W}_2 \, \sigma\left(\operatorname{LN}(\bm{W}_1 \bm{X}_{\mathrm{cat}})\right)$$ 式中 $\operatorname{LN}$ 为层归一化（LayerNorm），$\sigma$ 为 GELU 激活函数，$\bm{W}_1 \in \mathbb{R}^{d_m \times 4d_v}$ 和 $\bm{W}_2 \in \mathbb{R}^{d_m \times d_m}$ 将高维拼接特征高效映射到视觉合并器（merger）的隐层维度 $d_m$。这一设计以极小的参数代价保留了来自网络浅层的细粒度定位线索。

3. 切片感知空间网格对齐：恢复多切片下的空间拓扑对应 现代文档 VLM（如 Qwen-VL、Dolphin）普遍采用动态图像切片机制，先将高分辨率整页划分为多个局部 crops，再通过像素反重排或池化合并操作缩减 token 数量以匹配 LLM 输入上下文窗口。这种合并打破了原始像素网格的直接对齐。为使注入特征与主干视觉 token 在几何位置上严格 1:1 吻合，SARA 对每个切片 $i$ 依据其空间网格元数据 $(t_i, h_i, w_i)$，从投影特征 $\bm{G}$ 中截取对应的片段 $\bm{G}_i$，恢复为其二维网格空间后执行自适应均值池化： $$\bm{G}_i^{\prime} = \operatorname{Pool}_{2\mathrm{D}}\left(\operatorname{Reshape}(\bm{G}_i), (h_i/2, w_i/2)\right)$$ 随后将所有切片池化后的特征展平并重新拼接为整体空间引导矩阵 $\bm{G}^{\prime} \in \mathbb{R}^{L_m \times d_m}$。由此，$\bm{G}^{\prime}$ 在序列长度 $L_m$ 与通道维度 $d_m$ 上与原生合并后的视觉 token $\bm{T}$ 达到完全同构。

4. 可学习门控残差注入：无损基座知识的渐进式空间增强 为防止新增的空间适配结构破坏基座大语言模型已对齐的多模态语义表征，SARA 采取非侵入式的残差门控结构。将对齐后的空间引导矩阵 $\bm{G}^{\prime}$ 线性缩放后直接叠加到原生视觉 token 流： $$\hat{\bm{T}} = \bm{T} + \lambda \bm{G}^{\prime}$$ 其中 $\lambda$ 为可学习的标量门控参数，初始值显式设定为 $1.0$。在整个训练过程中，基座 VLM 的视觉编码器与语言解码器参数全部保持冻结，梯度仅反向传播更新轻量投影器与门控系数 $\lambda$。在推理阶段，注入后的混合 token $\hat{\bm{T}}$ 直接喂入自回归解码器，无需改变生成词表或后处理流程即可输出符合统一契约的 JSON 文本流。

损失函数 / 训练策略¶

训练阶段将标注的有序列元素字典直接序列化为标准文本字符串，输入大语言解码器。模型训练采用标准的自回归下一个词元交叉熵损失： $$\mathcal{L}_{\mathrm{NTP}} = - \sum_{t=1}^{T_{\mathrm{seq}}} \log P(y_t \mid y_{<t}, \hat{\bm{T}})$$ 在反向传播期间，基座 VLM 完全保持冻结（例如在 Qwen3.5-2B 上仅训练 83.99M 参数），极大降低了全量微调所需的显存开销与过拟合风险。在数据集构建阶段，针对视觉对象的 Alt-text 标注采用了严苛的三阶段分流质检机制：首先由 Gemini 3 Pro 生成初稿，Gemini 3 Flash 依据无障碍五级评分标准（准确性、完整性、约束遵守）严格打分；对得分低于 4 分的样本全部转入人工精细重写与核验，使五星高质量率由初始的 66.2% 飙升至 98.1%，确保监督信号在事实性与技术术语表达上的高度可靠。

实验关键数据¶

主实验¶

在统一 Read-Parse-Describe 测试集上，对比通用闭源与开源大模型、专业文档解析器及微调 VLM 的综合性能。各系统预测输出均映射至统一契约后评测。

模型类别	模型名称	可训练参数量	版面 F1 ↑	mIoU ↑	OCR Acc. ↑	读序 RO ↑	Alt-text METEOR ↑	Alt-text BERTScore ↑
Zero-shot	GOT-OCR 2.0	--	--	--	0.8652	0.5330	--	--
Zero-shot	Dolphin-v2	--	0.9124	0.9265	0.9307	0.8221	--	--
Zero-shot	MinerU (Pipeline)	--	0.7171	0.9151	0.9671	0.6757	--	--
Zero-shot	ChatGPT-5.6	--	0.7489	0.7781	0.9448	0.8967	0.3793	0.9004
Zero-shot	Gemini 3.1 Pro	--	0.7421	0.8551	0.9633	0.8337	0.3785	0.8961
Full FT	Qwen3.5-2B	1881.83M	0.7336	0.8350	0.9408	0.9628	0.3741	0.8928
Full FT	Dolphin-v2	3085.93M	0.9826	0.9588	0.9751	0.9857	0.3396	0.8838
Full FT	DeepSeek-OCR	2937.36M	0.9644	0.9492	0.9679	0.9825	0.3998	0.8968
Adapter	Qwen3.5-2B + LoRA	48.37M	0.7004	0.6845	0.9673	0.9304	0.3586	0.8652
Adapter	Qwen3.5-2B + SARA (本文)	83.99M	0.9189	0.8919	0.9636	0.9774	0.3834	0.8946
Adapter	Gemma4-E4B + SARA (本文)	158.82M	0.9437	0.9136	0.9474	0.9288	0.3009	0.8746

消融实验¶

基于 Qwen3.5-2B 基座对 SARA 的核心模块与特征抽取层进行消融分析：

实验类型	配置变体	训练参数量	版面 F1 ↑	mIoU ↑	OCR Acc. ↑	读序 RO ↑
组件消融	全量微调（Full FT 参照）	2218.4M	0.7336	0.8350	0.9408	0.9628
组件消融	仅网格对齐（Grid align only）	81.67M	0.7541	0.8440	0.9566	0.9762
组件消融	仅投影层（Projector only）	35.96M	0.6830	0.8139	0.9134	0.9262
组件消融	SARA 完整方案（Grid + Projector）	83.99M	0.9189	0.8919	0.9636	0.9774
层级选取	浅层特征 $\{2, 5\}$	--	0.6855	0.7682	0.9076	0.9372
层级选取	深层特征 $\{16, 18, 20, 22\}$	--	0.7221	0.8175	0.9256	0.9412
层级选取	浅中平衡特征 $\{2, 5, 8, 11\}$	--	0.9192	0.8968	0.9602	0.9736

关键发现¶

SARA 结构解析性能飞跃：在 Qwen3.5-2B 上，SARA 仅通过微调 83.99M 参数（基座冻结），版面 F1 从全量微调的 0.7336 跃升至 0.9189（+0.1853），mIoU 提高至 0.8919（+0.0569），相比经典 LoRA 适配微调在 F1 上更有超过 21 个百分点的显著优势。
空间网格对齐是关键使能机制：消融表明若去掉切片网格对齐（Projector only），F1 骤跌至 0.6830，甚至不及全量微调；而当且仅当网格对齐与特征投影协同工作时，浅层几何先验才得以准确反哺合并后的视觉流。
浅中层特征是空间定位的最佳源泉：仅重用深层隐状态 $\{16, 18, 20, 22\}$ 时 F1 仅 0.7221，而跨越浅中层的 $\{2, 5, 8, 11\}$ 配置达到 0.9192 F1，验证了文档版面分析高度依赖低层边缘与几何细节的假设。
流水线模型与大模型各有盲区：流水线模型（如 MinerU）具备很高的 OCR 精度（0.9671）和边界框 mIoU（0.9151），但因缺乏图文语义联合推理，读序得分严重落后（RO 仅 0.6757），且完全缺失 Alt-text 生成能力；反观通用 VLM 擅长语言与描述，但缺乏物理空间定位的适配训练。

亮点与洞察¶

统一结构契约的设计范式：将 OCR、读序、布局以及无障碍 Alt-text 整合进单页级强绑定 JSON 模式，有效暴露出传统分割多任务评测无法衡量的“文本识别准确但阅读顺序颠倒”、“图表描述生动却贴错包围框”等实际缺陷。
低成本非侵入式空间增强：SARA 不修改任何基座 VLM 的预训练权重，不改变语言生成词表与推理流程，仅依靠钩子提取特征并在视觉拼接层进行轻量残差注入，就解决了通用模型微调中“几何退化”与“遗忘通用生成能力”的平衡难题。
数据质量驱动的双流无障碍标注：针对无障碍文本极易出现主观臆断和空泛幻觉的难点，制定了严格的 1-5 分审计准则，引入先进闭源模型初筛与打分，对低分样本强制人工精修，实现了 98.1% 的五星真值可信度。

局限与展望¶

学术领域与前八页覆盖偏置：当前数据全部源自 ACM 计算机及相关交叉学科文献，且由于过滤单调参考文献的考量仅截取前八页，对于长篇附录、双盲评审样式或非学术领域复杂文档（如商业研报、法律合同）的覆盖度仍显不足。
密集图表与无界复合图的解析瓶颈：实验误差分析指出，当页面出现多子图紧密拼接且无明显边框的复合大图时，图表与子题注间的归属容易产生漂移；密集大型表格序列化时，自回归长文本输出易出现尾部截断。
未来方向：探索支持全开闭源端到端统一模型在更长文档跨页关联上的空间对齐，并引入显式图表结构（如交互式表格树、SVG节点）到端到端联合训练流程中。

评分¶

新颖性: ⭐⭐⭐⭐☆ [构建了首个涵盖无障碍 Alt-text 的全页统一多模态解析基准，并提出了简单高效的切片感知空间残差适配器]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖多类主流闭源大模型、开源 VLM 及流水线解析器，多维度评测了版面、OCR、读序与描述生成]
写作质量: ⭐⭐⭐⭐⭐ [任务建模严谨自洽，契约定义清晰，消融与失败案例分析扎实透彻]
价值: ⭐⭐⭐⭐⭐ [对学术文献结构化摄取、数字图书馆无障碍化升级以及文档基座模型的空间感知演进具有重要参考价值]