DocLayout-VL: A Foundational Model for Hierarchical, Open-set, and Promptable Document Layout Segmentation¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://doclayoutvl.github.io/
领域: 语义分割
关键词: 文档版面分析, 层次化分割, 开放词表分割, 提示驱动定位, 基础模型

一句话总结¶

DocLayout-VL 将文档版面分析重构为提示驱动的开放词表层次化分割任务，结合 VLM 生成带标记的版面树、层次化定位上下文器（HGC）建模父子兄弟约束以及 SAM 解码器输出像素级掩码，在 8000 万掩码预训练数据支持下实现了显著超越传统检测模型与多模态大模型的 SOTA 性能。

研究背景与动机¶

文档版面分析（Document Layout Analysis, DLA）是解析文档视觉与文本区域结构组织的核心基石，其质量直接决定了下游信息抽取、文档问答、合规核验与图文检索等复杂系统的可靠性。长期以来，主流文档版面分析方案几乎全部退化为封闭标签集合下的轴对齐边界框（Bounding Box）目标检测，依赖预先硬编码的扁平分类空间。然而真实世界文档充斥着弯曲表格、异形图表、手写标注与倾斜印章等复杂非矩形几何区域，且文档结构天生具备深度的层级嵌套关系（如报纸中的主栅格包含专栏、专栏包含标题、正文、图片与副标题），扁平边界框既无法避免空间重叠与几何失真，也无法表达逻辑阅读顺序与嵌套语法。

这种范式局限的核心矛盾在于：现代下游文档智能应用（如 RAG、隐私红线脱敏与交互式抽取）需要高度开放的语义词表、灵活的提示词驱动与精准的像素级边界，但现有 DLA 系统仍被束缚在静态、孤立且粗粒度的扁平检测框架中。通用多模态大模型（VLM）虽然具备泛化常识与自然语言交互能力，但通常仅能以自回归文本坐标形式预测粗糙方框，缺乏密集的像素级对齐能力；而直接套用自然场景的 SAM 架构又因文档域剧烈分布偏移与密集文本排版而频繁失效，且无法天然建模父子/兄弟层级依赖。

针对上述瓶颈，本文将文档版面理解彻底重构为提示驱动的开放词表层次化分割（Promptable, Open-Set, Hierarchical Segmentation）范式。模型不仅要输出任意开集词表的标签，还要联合输出树状解析图与像素级无歧义掩码。核心 idea：将多模态大模型（VLM）的符号化树形解析能力与 SAM 的像素级掩码生成解耦并深度融合，提出层次化定位上下文器（HGC）在隐空间注入父-子-兄弟结构注意力，并施加背景排除与层级包含/非重叠几何正则，构建端到端的文档版面基础模型。

方法详解¶

整体框架¶

DocLayout-VL 的整体推理流水线包含三个紧密协同的核心阶段：多模态大模型（VLM）骨干网络自回归生成序列化版面树、层次化定位上下文器（HGC）对区域 token 隐状态进行结构化上下文蒸馏，以及轻量级分割模块（SM）融合视觉密集特征与提示向量预测像素级掩码。

输入文档图像 $d$ 与用户提示词 $P$ 首先馈入 VLM 骨干网络（如 Qwen3-VL 或 InternVL3.5）。VLM 在自回归生成版面结构树的同时，为每个叶子节点或复合容器节点插入特殊的定位锚点 token [LAY]。随后，系统解析输出字符串构建出显式拓扑树 $\hat{T} = (\hat{V}, \hat{E})$，并抽取所有 [LAY] token 对应的隐藏层向量 $\tilde{h}_i$。HGC 模块依据拓扑树结构构建动态稀疏注意力掩码，仅允许节点与自身的父节点、子节点和兄弟节点进行自注意力交互，输出富含层级几何上下文的表示 $h_i$。最后，视觉编码器提取的高分辨率图像特征图与经 Prompt Encoder 投影后的 $h_i$ 一起送入 Mask Decoder，并行生成高保真二值像素掩码 $\hat{M}_i \in \{0, 1\}^{H \times W}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["输入文档图像 d + 自然语言提示词 P"] --> VLM["VLM 骨干网络自回归生成<br/>生成版面层级序列与 [LAY] 锚点 token"]
    VLM --> HGC["层次化定位上下文器 HGC<br/>提取 [LAY] 隐藏态并施加树约束局部注意力"]
    VLM --> PARSE["拓扑树解析与构建<br/>生成显式版面拓扑树 T=(V, E)"]
    PARSE -.->|构建父子兄弟稀疏掩码| HGC
    HGC --> PE["提示编码器 Prompt Encoder<br/>将上下文向量映射为空间提示表示 pi"]
    IN --> VE["SAM 图像视觉编码器<br/>提取多尺度密集几何特征图 z"]
    PE --> DEC["掩码解码器 Mask Decoder<br/>融合密集特征与层级提示并行解码"]
    VE --> DEC
    DEC --> OUT["最终输出<br/>显式版面树 + 像素级精确掩码 + 文本解释"]

关键设计¶

1. 序列化树解析与 [LAY] 空间锚点交织生成：统一语义拓扑与区域表征

传统版面检测方法将检测框预测与后处理层级规则构建割裂开来，导致误差级联。DocLayout-VL 借助 VLM 强大的符号生成能力，将树状层次结构直接线性化为带括号标签的文本序列。例如复合区域表示为 <header> child_1[LAY] ... child_k[LAY] </header>[LAY]，叶子节点直接输出为 label[LAY]。每一个 [LAY] token 的生成位置严格对应拓扑图中的一个语义节点 $v_i \in \hat{V}$。通过自回归解码过程，VLM 隐状态不仅凝聚了开集标签的语义描述，还捕获了上下文阅读流顺序，建立了语义符号与底层几何区域的一对一投射桥梁。

2. 层次化定位上下文器（HGC）：动态树约束稀疏上下文注意力

直接使用 VLM 输出的原始隐藏状态 $\tilde{h}_i$ 作为分割提示，极易忽略宏观版面与子微观结构之间的几何包含与互斥依赖。HGC 是一个轻量级多层 Transformer，其核心是层次化上下文注意力（Hierarchical Contextual Attention）。给定已解析的生成树 $\hat{T} = (\hat{V}, \hat{E})$，HGC 动态生成拓扑注意力掩码矩阵：对于任意节点 $v_i$，其注意力感受野被严格限制在自身的结构邻域内——即仅能关注其直接父节点（Parent）、所有子节点（Children）以及处于同一父节点下的兄弟节点（Siblings）。这种结构局部性先验阻断了文档无关遥远区域的语义噪声干扰，同时在隐空间强力约束了层级语义的自洽传递，输出结构化上下文特征 $h_i$。

3. 结构感知几何几何对齐损失（Structural & Background Losses）：杜绝溢出与层级重叠

为了确保像素掩码与生成的树拓扑严格吻合，模型在传统的文本交叉熵损失 $\mathcal{L}_{lm}$ 与分割 Dice+BCE 损失 $\mathcal{L}_{seg}$ 之上，引入了显式几何空间约束： - 背景排除惩罚 $\mathcal{L}_{bg}$：针对全局前景区域并集 $M_{fg} = \bigvee_{v \in V} M_v$，惩罚掩码扩散至无意义留白区域： $$\mathcal{L}_{bg} = \frac{1}{|V|} \sum_{v \in V} \frac{\sum_{m \in \Omega} \hat{M}_v(m) [1 - M_{fg}(m)]}{\sum_{m \in \Omega} \hat{M}_v(m) + \epsilon}$$ - 层级空间结构损失 $\mathcal{L}_{struct} = \lambda_{contain}\mathcal{L}_{contain} + \lambda_{overlap}\mathcal{L}_{overlap}$：对于所有父子边 $(u, v) \in E$，子节点掩码 $\hat{M}_v$ 必须严格内嵌于父节点真值 $M_u$ 内；而对于共享相同父节点的所有兄弟对 $(v, w) \in S$，两者的预测掩码禁止出现几何交叠： $$\mathcal{L}_{contain} = \frac{1}{|E|} \sum_{(u, v) \in E} \frac{\sum_{m \in \Omega} \hat{M}_v(m) [1 - M_u(m)]}{\sum_{m \in \Omega} \hat{M}_v(m) + \epsilon}$$ $$\mathcal{L}_{overlap} = \frac{1}{|S|} \sum_{(v, w) \in S} \frac{\sum_{m \in \Omega} \hat{M}_v(m) M_w(m)}{\sum_{m \in \Omega} \hat{M}_v(m) + \epsilon}$$

损失函数 / 训练策略¶

DocLayout-VL 采用端到端联合训练方案，总损失定义为： $$\mathcal{L}_{total} = \lambda_{lm}\mathcal{L}_{lm} + \lambda_{seg}\mathcal{L}_{seg} + \lambda_{bg}\mathcal{L}_{bg} + \lambda_{struct}\mathcal{L}_{struct}$$ 其中超参数配置为 $\lambda_{lm}=1.0, \lambda_{seg}=2.0, \lambda_{bg}=0.5, \lambda_{struct}=0.5, \lambda_{contain}=1.0, \lambda_{overlap}=1.0$。

模型基于包含 250 万页、8000 万掩码的 HOPLay-Docs-80M 数据集开展三阶段渐进式课程训练： 1. Stage 1（扁平开集定位，FlatLay-Docs-25M）：所有版面元素退化为同级兄弟，HGC 采用全密集注意力。冻结 VLM 视觉编码器，训练 LLM、HGC、SAM 视觉编码器、提示编码器及掩码解码器，建立开集标签到空间区域的基础映射。 2. Stage 2（层次化拓扑学习，HierLay-Docs-40M）：激活父子嵌套文档样本，HGC 切换至树结构稀疏约束注意力，全面激活结构损失项 $\mathcal{L}_{struct}$，强化嵌套几何表征。 3. Stage 3（交互式提示微调，PromptLay-Docs-15M）：引入 500 万问答对进行交互对齐。由于底层分割概念已成熟，冻结 SAM 图像编码器与提示编码器，仅微调 LLM 与掩码解码器，专注于复杂语义寻址（如“提取表格左侧的图片”或“脱敏身份证号”）。

实验关键数据¶

主实验¶

在涵盖开集扁平（FB）、层次化解析（HB）、非规则曲线（CB）与交互式提示理解（PB）的 HOPLay-Docs-Bench 基准上，DocLayout-VL-8B-it 取得了全方位的断层式领先：

模型类型	模型	FB: Open mIoU (Om)	HB: Open mIoU (Om)	HB: mST	CB: Open mIoU (Om)	PB: cI	PB: g-eval (GE)	综合得分 (OS)
管线层级方法	Dolphin [20]	19.4	2.6	7.4	7.8	1.4	5.8	6.6
开源小模型	Qwen3-VL-8B-it [74]	63.9	18.6	12.7	36.0	20.7	62.7	31.6
开源超大模型	Qwen3-VL-235B-it [74]	61.3	20.0	13.2	35.6	16.6	74.1	31.5
闭源前沿模型	Claude Sonnet 4.6 [3]	68.4	12.1	11.2	38.7	11.7	68.7	30.5
闭源前沿模型	Gemini 3 Pro [22]	72.2	6.9	11.1	40.3	28.9	77.6	37.2
微调对比基准	Qwen3-VL-8B-ft	72.1	32.5	40.3	39.7	42.4	74.3	45.8
本文方法	DocLayout-VL-4B-it	79.6	69.5	71.7	83.6	57.5	73.1	71.8
本文方法	DocLayout-VL-8B-it	86.7	77.5	79.2	87.9	70.2	87.2	79.4

在十个传统封闭集基准（如 D4LA, PubLayNet, DocLayNet, M6Docs, IndicDLP 等，指标为 mAP@50:95）的全零样本（Zero-Shot）迁移评测中，DocLayout-VL 表现出了极强的跨域鲁棒性：在多语言多格式复杂的 M6Docs 上达到 76.9（DocLayout-YOLO 难以直接评估，传统模型最好仅 70.0），在多语种 IndicDLP 上达到 77.5（传统专有模型 IndicDLP-YOLO 仅 55.0，Gemini 3 Pro 仅 50.6）。

消融实验¶

消融实验系统性验证了骨干网络选择、网络架构组件以及几何结构损失对模型各项能力的具体贡献：

配置设置	FB: Om	FB: OA	HB: Om	HB: mST	CB: Om	PB: cI	PB: GE	闭源集: IDLP
完整模型 (DocLayout-VL-Q, 8B)	86.7	61.0	77.5	79.2	87.9	70.2	87.2	77.5
替换骨干网络: DocLayout-VL-I (InternVL3.5)	82.4	52.9	71.3	73.6	84.4	65.4	76.5	67.1
去除 HGC 模块 (VLM + SAM)	85.1	58.4	58.3	71.4	86.8	63.5	87.1	72.9
去除 SAM 与 HGC (Base VLM 自回归预测)	72.1	26.7	32.5	40.3	39.7	42.4	74.3	58.3
去除结构损失 $\mathcal{L}_{struct}$	87.2	61.1	72.3	74.2	86.5	65.9	86.7	74.5
同时去除背景与结构损失 ($\mathcal{L}_{bg} + \mathcal{L}_{struct}$)	84.8	57.8	69.2	71.5	84.1	63.1	86.6	72.8

关键发现¶

HGC 是层级建模的核心支柱：从完整模型中剥离 HGC 模块后，层次化版面分割指标发生剧烈坍塌，HB Om 从 77.5 骤降至 58.3（相对下降近 25%），树编辑距离度量 mST 从 79.2 跌至 71.4，证明简单的扁平全局注意力无法处理多级嵌套拓扑。
纯文本坐标自回归在密集文档域存在本质上限：退化为 Base VLM（仅靠自回归文本坐标输出方框）时，非规则曲线区域分割 CB Om 仅为 39.7（完整模型为 87.9），开集精度 OA 仅 26.7（完整模型为 61.0），说明 SAM 驱动的密集像素解码是打破传统 DLA 瓶颈的决定性要素。
模型架构创新与课程学习的收益大幅压倒单纯数据堆砌：在 25% 预训练数据下引入 HGC 模块的 HB Om（59.8）即可超越无 HGC 在 100% 全量数据下的表现（58.3）；且采用三阶段渐进式训练相较一次性混合训练（联合微调）在最终层次指标上高出 8.8 个百分点（77.5 vs 68.7）。

亮点与洞察¶

拓扑注意力与显式树结构的优雅绑定：HGC 将离散的树拓扑（Parent-Children-Sibling）转换为连续自注意力矩阵的动态稀疏掩码，既保留了 Transformer 跨区域特征融合的灵活性，又在隐空间硬性注入了层次结构的局部性归纳偏置。
几何结构损失函数构建了自洽的包含与互斥先验：通过显式惩罚子节点掩码溢出父节点边界（$\mathcal{L}_{contain}$）与同级兄弟区域重叠（$\mathcal{L}_{overlap}$），无需启发式后处理几何修正即可直接在端到端训练中保证版面树的物理空间有效性。
打破“定位与推理割裂”的统一大一统范式：不仅能作为无需微调的万能 DLA 零样本迁移至十余个闭集基准，还能以自然语言交互完成“隐私脱敏”、“跨实体相对空间关系查询”等高阶智能任务。

局限与展望¶

单页独立假设制约跨页长文档推理：模型当前仅在单页文档尺度进行解析，缺乏对学术论文或多页报告中跨页表格、连续章节或断流正文的全局连贯建模。
长序列自回归生成的计算延迟瓶颈：对于包含成百上千微小图元或密集单元格的极端复杂文档，序列化树与大量的 [LAY] token 会导致上下文解码序列显著拉长，单页 602ms 的延迟在极高吞吐场景仍有优化空间。
未来方向：探索并行化拓扑生成解码机制以替代完全自回归展开，并扩展至端到端的多页跨文档阅读图分析。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将 DLA 升华为开集、层级化与提示驱动的像素级分割任务，HGC 拓扑注意力设计极具开创性]
实验充分度: ⭐⭐⭐⭐⭐ [构建 8000 万掩码预训练集与高质量评测基准，横跨 14 个基准与数十种主流模型进行了极其详尽的对比与消融]
写作质量: ⭐⭐⭐⭐⭐ [动机层层递进、逻辑自洽严密，方法与架构图对应精确，问题陈述与数学表达规范]
价值: ⭐⭐⭐⭐⭐ [为下一代文档智能与多模态 RAG 解析树立了全新的基础模型范式，开源数据与评测具有里程碑意义]