DocAtlas: Long-Document Understanding as Mutable-State Interaction¶
会议: NeurIPS 2026
arXiv: 2608.07527
领域: 多模态VLM
关键词: 长文档理解, 多模态智能体, 可变状态交互, 端到端强化学习, 树状分层索引
一句话总结¶
将长文档理解建模为智能体与外部可变环境的交互过程，通过在探索中动态向分层文档树写回证据与结构化笔记，结合端到端强化学习，彻底摆脱传统静态检索与提示词工程的瓶颈。
研究背景与动机¶
现实世界中的长文档（如长篇财务年报、复杂法律合同、科研论文及政府归档）往往跨越数十乃至数百页，且高度混合了自由文本、多级复杂排版、大跨度表格、信息密集型图表等异质模态元素。在这类文档上回答自然语言问题，不仅需要精确定位分散在多页中的微弱线索，还必须跨越遥远物理章节与异构模态整合证据链。当前主流做法直接将全文档喂入大视觉语言模型（VLM），但极易撞上有效上下文窗口极限，即使勉强容纳，海量无关背景也会引起严重的注意力稀释，造成关键事实丢失与幻觉。
为此，多模态检索增强生成（RAG）与基于提示词编排的多轮工具调用智能体应运而生。然而，既有 RAG 系统的索引完全是离线预先计算的静态结构，无法在探索过程中根据模型当前搜寻到的阶段性线索反哺检索；现有的文档智能体则大多高度绑定闭源私有大模型，完全依赖手写提示词驱动刚性的工具调用流，且阅读工具常依赖外部独立黑盒模块，缺乏端到端策略学习机制。一旦探索涉及数十步长程决策，多模态上下文的飞速膨胀便会彻底击垮智能体的显存与推理预算。
本文的切入角度是打破“文档作为只读静态文本/图像集合”的传统认知，将长文档交互重构为一个由外部 Harness 承载的可变状态动态环境。核心 idea：将长文档理解建模为带状态变更的信息搜寻马尔可夫决策过程，智能体通过解耦的检索与多模态精读持续向分层文档树写回带源证据并沉淀归档笔记，既实现自进化的增量导航与长程上下文主动压缩，又首度支持紧凑型开源 VLM 的端到端强化学习。
方法详解¶
整体框架¶
DocAtlas 将文档交互抽象为由环境状态 \(\mathcal{S}^{(t)}\) 与工具动作集 \(\mathcal{T}\) 构成的闭环系统。给定包含 \(N\) 页的文档 \(\mathcal{D}\) 与查询 \(q\)，系统维持一个由文档本体、离线构建的语义层次树 \(\mathcal{G}^{(t)}\)、结构化笔记库 \(\mathcal{M}^{(t)}\) 及已探索页码集合 \(\mathcal{H}^{(t)}\) 组成的四元环境状态 \(\mathcal{S}^{(t)}=(\mathcal{D}, \mathcal{G}^{(t)}, \mathcal{M}^{(t)}, \mathcal{H}^{(t)})\)。智能体单步动作 \(u_t\) 可自由且无序地调用搜索（Search）、多模态阅读（Read）、笔记记录（Note）与证据复审（Review）四大工具，并在掌握充分证据时执行终止动作 Finish 输出最终答案。
在整个交互链路中，Search 负责在层次树上进行宽泛、高召回的候选定位，但并不直接向模型注入页面全量细节；Read 赋予模型显式自主权，按需调取指定页码的全页排版图、结构化 Markdown 及局部图表切片；Note 则将精读抽取到的证据实体精准写回到层次树的细粒度节点中，同时转入工作记忆；Review 在长程推演面临上下文预算枯竭时，通过按需检索轻量笔记卡片实现低成本事实激活。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询与初始分层文档树"] --> B["自进化分层检索<br/>结合探索历史与动态线索定位候选"]
B --> C["细粒度多模态精读<br/>全页图+Markdown+局部切片按需输入"]
C --> D["结构化证据归档与状态反哺<br/>提炼带源证据并动态注回树节点"]
D --> E{"证据是否充分"}
E -->|需要回顾早期线索| F["轻量笔记卡片按需复审<br/>解耦工作记忆与大体积观察"]
F --> B
E -->|线索不足继续搜寻| B
E -->|证据确凿完成闭环| G["终止交互并输出最终答案"]关键设计¶
1. 自进化分层检索与证据反哺：解耦静态索引并实现闭环更新
传统向量检索基于扁平、固定的稠密嵌入，完全丢弃了长文档严密的章节拓扑与上下文树形脉络。DocAtlas 在离线阶段首先由 VLM 对全书排版、图表标题及层级标题进行一次性无监督解析，构建初始语义树 \(\mathcal{G}=(V, E)\)，每个树节点 \(v\) 维护包含章节标题、起始页码区间 \([p^v_s, p^v_e]\)、章节摘要以及可变发现列表 \(findings_v\)。当执行 Search 时，辅助模型综合考虑当前子查询、已探索页码集合 \(\mathcal{H}^{(t)}\) 及树节点历史批注进行层级分支路由：
更为关键的是证据反哺机制：当智能体通过 Note 工具记录抽取的证据集合 \(evidence_t = \{(e_j, p_j, \text{type}_j)\}\) 时，环境会自动锁定覆盖该源页 \(p_j\) 的最细粒度叶子节点 \(v^*=\arg\min_{v:\,p_j\in[p^v_s,p^v_e]}|p^v_e-p^v_s|\)，将带有抽取轮次、模态类型和正文规范化事实的批注非破坏性地追加至 \(findings_{v^*}\) 中：
该设计确保后续的检索动作能直接观察到前期精读沉淀下的局部关键实体，实现信息搜寻路径的自进化增益，而原始章节骨架与摘要保持不变。
2. 检索与阅读解耦的异构多模态精读：兼顾全域感知与高分辨率细节
大部分智能体系统强制绑定检索与内容消费，导致检索命中一个跨越十余页的长章节时模型上下文瞬间被挤爆。DocAtlas 实行“检索仅作提议，阅读严格按需受控”的解耦机制，模型根据粗筛候选集合自主挑选精确子集 \(P \subseteq [1, N]\) 调用 Read(P)。环境为选定的每一页 \(p \in P\) 组装三重异构视图：
其中 \(x^{\text{img}}_{p}\) 为全页布局渲染图像，保留宏观排版与跨图文空间拓扑；\(x^{\text{md}}_{p}\) 包含由解析引擎提炼的结构化 Markdown 文本，确保关键字符和连续正文的高保真可搜索性；\(x^{\text{sub}}_{p}\) 则为图表、复杂流程图与插图的高分辨率局部裁剪。这种两级多模态输入消除了盲目喂入全书高分辨率大图导致的显存激增，又彻底避免了纯 OCR 文本提取在丢失空间关系后产生的语义断裂。
3. 主动工作记忆与轻量卡片复审：突破长程交互的显存预算瓶颈
随着交互轮次推进，反复调用 Read 会使多模态图像 token 累积逼近预算上限 \(B\)。DocAtlas 设计了主动结构化笔记工具 Note，其产出由三元组构成：
其中 \(\texttt{found}\) 概括阶段性结论，\(\texttt{evidence}\) 严格提取带页码与模态标签的归一化证据片段，\(\texttt{plan}\) 明确记录未解缺口。一旦开启归档模式，历史交互中庞大的旧 Read 多模态输入即刻被轻量占位符原位替换，仅保留数百 token 的紧凑历史 \(\hat{h}_t\)。当模型后续需要综合跨章节复杂多跳事实时，无需重新调用昂贵的重读，而是触发 Review(q_v)。辅助模型将笔记库中的条目投影为仅含元数据的轻量笔记卡片 \(c_i=(\texttt{id}_i, \texttt{step}_i, \texttt{found}_i, \texttt{pages}_i)\)，按相关性挑选后精确注入上下文，既控制了上下文爆炸，又规避了灾难性遗忘。
4. 轨迹级端到端强化学习：优化紧凑型开源端智能体的决策策略 不同于过度依赖提示词先验与特定商用闭源大模型的旧方案，DocAtlas 的固定环境协议使其能充当开源小模型端到端策略训练的高质量模拟器。在固定树环境、工具执行器与辅助子程序的前提下，仅将单个紧凑型 VLM 视作策略 \(\pi_\theta(u_t \mid h_t)\)。采用基于结果奖励的 GRPO 算法进行无监督探索强化：
训练采用不对称 DAPO 裁剪（\(\epsilon_{\text{low}}=0.1, \epsilon_{\text{high}}=0.3\)），并在 LongDocURL 上通过 pass@16 筛选中等难度轨迹（剔除全对与全错样本），促使模型学会自主根据当前信息熵压制盲目 Search 调用，转向高收益的 Read、精确 Note 沉淀与主动 Review 动作。
损失函数 / 训练策略¶
RL 训练直接以环境产出的最终回答精确度作为标量奖励，非标准格式回答直接判定 \(r=0\)。使用 8 个并行采样 rollout，结合分组归一化优势（Group-normalized advantages）与 token 级 KL 散度正则惩罚（\(\lambda_{\text{KL}}=0.01\)）。训练过程中启用上下文主动归档策略，防止多模态观察在探索后期导致显存剧烈震荡崩溃。
实验关键数据¶
主实验¶
在涵盖异构复杂文档的长文档基准 MMLongBench-Doc、金融多模态基准 FinRAGBench-V 及长文档理解定位基准 LongDocURL 上的核心评估结果如下（LasJ 表示大模型裁判打分，* 表示超过人类专家基准）：
| 模型 / 交互架构 | MMLongBench-Doc Acc | MMLongBench-Doc F1 | MMLongBench-Doc LasJ | FinRAGBench-V LasJ | LongDocURL LasJ |
|---|---|---|---|---|---|
| GPT-5.4 (Direct Input) | 62.4 | 59.4 | 63.4 | 55.1 | 66.9 |
| Claude-4-Sonnet (Direct Input) | 53.4 | – | – | 33.8 | – |
| DocLens (w/ Gemini-2.5-Pro) | 67.6* | – | – | 70.4 | – |
| DocAtlas (w/ Qwen3.5-4B) | 61.0 | 58.7 | 63.5 | 67.9 | 72.5 |
| DocAtlas (RL w/ Qwen3.5-4B) | 63.7 | 62.4 | 67.9 | 71.7 | – |
| DocAtlas (RL w/ Qwen3.5-9B) | 64.4 | 63.1 | 69.6 | 72.6 | – |
| DocAtlas (w/ GPT-5.4) | 71.4* | 70.3 | 74.6 | 75.6 | 78.8 |
| 人类专家评测参考 | 65.8 | – | – | – | – |
消融实验¶
在 MMLongBench-Doc 上对 DocAtlas 核心组件进行全量剥离消融（基准主模型采用 GPT-5.4，完整方案 Acc 为 71.4%，F1 为 70.3%）：
| 配置 / 变体 | 总体准确率 (Acc) | F1 综合得分 | 影响说明 |
|---|---|---|---|
| 完整 DocAtlas 系统 | 71.4 | 70.3 | 完整的多模态可变状态系统 |
| 移除 Read 工具 (直接消费搜索结果) | 67.2 | 66.1 | 检索与阅读未解耦，丢失上下文过滤精细度，暴跌 4.2% |
| 移除 Note 工具 (无结构化笔记) | 68.0 | 66.9 | 缺乏抽取式事实沉淀，长程交互遗忘严重，跌 3.4% |
| 移除 Review 工具 (无法按需复审) | 67.9 | 66.4 | 无法按需调取历史知识卡片，复杂推演受阻，跌 3.5% |
| 移除 全页排版图 (w/o layout image) | 65.7 | 64.9 | 跌幅最大（-5.7%），证明排版与全局空间关系对长文档至关重要 |
| 移除 局部高分辨率切片 (w/o sub-image) | 67.2 | 65.8 | 图表、细密表格细节丢失，跌 4.2% |
| 移除 树节点证据反哺 (w/o tree annotation) | 68.3 | 67.4 | 检索无法感知已读发现，后续召回效率降低，跌 3.1% |
关键发现¶
- 视觉排版感知的决定性价值：去掉全页排版图导致准确率从 71.4% 骤降至 65.7%，在复杂图表与插图细分维度上下滑最为剧烈，表明纯文本 OCR 或局部片断无法取代宏观视觉版面理解。
- 强化学习显著重构交互行为而非仅扩充计算量：对 Qwen3.5-4B 策略的工具调用统计显示，RL 仅使总调用次数增加 10.5%，但引发了结构性转变——高开销且盲目的 Search 调用下降了 28.0%，而更具深度的 Read、Note 和 Review 分别猛增 28.3%、66.7% 和 320.0%，说明策略真正掌握了“深读-做笔记-复审”的高级认知模式。
- 辅助模型的鲁棒性与脱敏能力：将 Search/Review 内置辅助路由模型从 GPT-5.4 替换为开源 Qwen3.5-35B-A3B 仅微降 0.3-0.4%，完全使用智能体自身（Self 模式）也保持在 62.0%（4B）与 63.2%（9B），证明框架增益源于可变状态机制本身，而非暗中依赖外部商业级黑盒能力。
亮点与洞察¶
- 将文档环境化与可进化设计：突破了传统检索增强中将索引视为不可变只读实体的思维定势，利用精读产出的带源事实增量富化树节点，使后期搜索自动站在前序探索的肩膀上。
- 精准的上下文生命周期管理：通过轻量笔记提取与大图占位符替换机制，彻底化解了高分辨率多模态输入与长上下文显存开销之间的致命对立，使得在受限预算下进行数十步长程推演成为可能。
- 具备通用价值的跨任务迁移性：其将底层环境作为 MDP 并利用结果稀疏奖励直接优化紧凑模型的模式，可直接迁移至复杂代码库理解、长视频长程时序推理及跨库复杂数据分析。
局限与展望¶
- 离线构树的初始开销：在未见过的复杂长文档上，构建高精度的图文多模态分层语义树依赖前置的版面分析与大模型解析流水线，对于极长文档库具有不可忽视的冷启动计算与时间成本。
- 复杂图表精细交互颗粒度受限：当前的 Read 工具主要依靠启发式检测并切出静态图片块，若图表包含极端微小的局部标记或密集折线，模型尚无法通过连续无级缩放或坐标级可微操作进行动态聚焦。
- 未来方向：探索端到端的动态多分辨率注视机制（Active Foveation），以及将离线构树过程一并纳入在线可交互环境流，实现自适应层次树构建。
相关工作与启发¶
- vs M3DocRAG / MDocAgent: 传统多模态 RAG 依靠一次性向量召回与静态上下文拼接，面对超长文档与长程分散证据时命中率低下；DocAtlas 引入分层树与持续更新的可变状态，通过闭环多轮交互将准确率提升数倍。
- vs DocAgent / DocLens: 现有文档智能体仅把文档大纲当作静态导航骨架，且大多以固定 Prompt 驱动闭源黑盒大模型；DocAtlas 允许笔记证据写回索引，并提供了完全支持紧凑开源 VLM 端到端 RL 训练的统一交互 Harness。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将长文档理解严格定义为可变状态交互过程，提出了树节点证据动态富化与笔记卡片复审机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 在三大主流长文档评测基准上进行了详实的端到端、多模态、消融及辅助模型鲁棒性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 体系完备，公式与形式化建模严谨，系统图与消融图表设计清晰直观。
- 价值: ⭐⭐⭐⭐⭐ 成功将 4B 紧凑模型提升至超越直觉 baseline 9.3 个百分点，为开源端侧文档智能体的高效交互与自主训练指明了路径。