Doc-REFRAG: Rethinking Multimodal Document Retrieval-Augmented Generation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Collab-Gen/Doc-REFRAG
领域: 信息检索/RAG
关键词: 多模态文档RAG, 视觉Token压缩, 强化学习选择器, 粗细粒度重构, DocLongRAG
一句话总结¶
针对多图像多模态文档 RAG 中视觉 token 爆炸与检索噪声问题,Doc-REFRAG 提出先粗压缩再由轻量 RL 选择器按问题动态扩展关键 chunk 的机制,并构建含硬负例的大规模数据集 DocLongRAG,在大幅降低首字与跨字延迟的同时全面超越 11 个基线模型。
研究背景与动机¶
多模态大语言模型(MLLMs)在文档理解任务中取得了显著进展,但其参数化知识固定且容易产生幻觉。将检索增强生成(RAG)引入多模态文档问答,能够从外部富文本图像库(如 PDF、PPT 幻灯片、学术海报等)中检索相关图文证据以扩展事实边界。然而,现有多模态文档理解模型大都基于单图或篇幅受限的闭卷连贯文档(如 Doc-750K、OpenDocVQA)进行训练;一旦进入开放域真实检索场景,系统检索出的数十页候选文档图像往往呈现出跨来源、语义异构、冗余甚至相互矛盾的特征,强烈的分布偏移使常规 MLLM 推理性能急剧退化。
更为严峻的瓶颈在于多图像输入引发的视觉 token 爆炸。常规密集型视觉编码器处理数十页高分辨率文档图像时会产生数以万计的视觉 token,带来灾难性的显存占用和 prefill 延迟。现有的视觉 token 压缩方法(无论是基于注意力的训练免调裁剪还是基于投影器的静态下采样)普遍采用"问题无关"的设计假设:盲目依赖视觉复杂度或文本密集度来保留 token,而把空白或稀疏区域丢弃。在 RAG 场景中,视觉复杂的文本块极可能是与问题毫不相干的噪声干扰项,静态裁剪既无法减少问题无关计算,又容易永久丢失细粒度答案证据。
要打破多模态文档 RAG 的计算墙与噪声瓶颈,模型不能依赖静态丢弃,而需要建立以问题语义为引导的动态复原能力。核心 idea:将多图视觉压缩重构为「粗粒度 chunk 全局压缩 + 问题引导的强化学习轻量选择器动态扩展」机制,结合模拟真实检索噪声的大规模数据集 DocLongRAG 与三阶段递进式训练,以极低的 token 预算和推理延迟实现高精度的多模态跨文档推理。
方法详解¶
整体框架¶
Doc-REFRAG 由四大核心模块构成:基于 DocOwl2 的文档专用视觉编码器、两层 MLP chunk 投影器 \(\phi\)、参数量小于 1M 的轻量级 RL 动态选择器 \(\pi_\theta\),以及 7B 规模的仅解码器大语言模型。整个推理 pipeline 采用"压缩-选择-扩展"的三步闭环:检索出的 \(n\) 张候选图像首先被切分为互不重叠的局部 chunk 并投影为粗粒度向量;轻量选择器以单次前向推理联合评估问题与所有 chunk 的相关性,在严格的 token 预算内挑选出最关键的 chunk 还原回原始细粒度视觉 token;最终混合序列与问题拼接后交由冻结的语言模型生成最终答案。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
A["检索候选文档图像 (n 张) + 用户问题 q"] --> B["阶段 1:二维光栅 chunk 粗粒度压缩<br/>每张图 324 tokens 划分为 L 个 chunk (k=3) 过 MLP 降维"]
B --> C["阶段 2:轻量 RL 选择器预算化动态决策<br/>2 层 Transformer 计算相关性,按预算 p=0.2 预测二值标记 δ"]
C -->|δ=1 命中| D["阶段 3:问题相关关键 chunk 细粒度扩展<br/>恢复为原始 k 个细粒度视觉 token"]
C -->|δ=0 未命中| E["保留粗粒度 chunk 向量<br/>作为全局低开销上下文垫底"]
D --> F["混合上下文拼接与答案生成<br/>输入 7B 语言解码器生成最终回答"]
E --> F
关键设计¶
1. 二维光栅 chunk 粗粒度压缩:保持局部空间拓扑与语义压缩
针对直接处理多张检索图像导致的 token 膨胀,Doc-REFRAG 避免了不可逆的激进丢弃,而是将视觉编码器生成的 \(m = 324\) 个视觉 token 序列按照光栅扫描顺序划分为 \(L = m / k\) 个互不重叠的局部 chunk \(G(i) = \{C_1^i, \dots, C_L^i\}\),默认设定 \(k = 3\)(对应每张图像 \(L = 108\) 个 chunk)。由于视觉编码器输出的 token 本身已经聚合了二维页面的局部区域与全局注意力上下文,光栅顺序下连续的 token 在物理页面上严格空间相邻。随后,两层 MLP 投影器 \(\phi\) 将每个 chunk 中的 \(k\) 个视觉 token 投影为一个 \(d\) 维嵌入向量:
这一映射既将单图的视觉 token 数量压缩至原始的 \(1/k\),又完整复用了编码器底层的二维版面拓扑关系,为后续的按需恢复保留了确定的空间锚点。
2. 轻量 RL 选择器预算化动态决策:以任务精度为奖励的端到端扩展决策
为了从海量粗粒度 chunk 中精准挑出包含答案所必需的关键信息,Doc-REFRAG 设计了一个轻量级策略网络 \(\pi_\theta\)(两层 Transformer 编码器,隐藏层维度 256,8 个注意力头,参数量小于 1M)。不同于 ColQwen 等基于 patch 级复杂相似度聚合且耗时高达 9.3s 的稠密检索器,该选择器接收问题嵌入 \(t\) 和所有粗粒度 chunk 嵌入 \(\{c_j^i\}\),仅通过单次前向传播直接输出二值扩展决策 \(\delta_j^i \in \{0, 1\}\),推理延迟仅需 3.7s。为了防止扩展后序列再次发生 token 爆炸,策略施加严格的扩展预算约束:
其中 \(p \in (0, 1]\) 控制扩展比例(训练期间在 \([0.1, 0.3]\) 间均匀采样以提升预算鲁棒性,推理时固定为最优值 \(p = 0.2\))。只有 \(\delta_j^i = 1\) 的前 \(T\) 个关键 chunk 会被还原为原始的 \(k\) 个细粒度 token,其余保留粗嵌入 \(c_j^i\)。该选择器采用 GRPO 架构进行强化学习训练,完全以冻结解码器输出答案的准确率为奖励信号,利用组内相对优势 \(A_i = r(i) - \frac{1}{G} \sum_{g=1}^G r(g)\)(采样组大小 \(G=8\))与截断 PPO 目标进行端到端优化,摆脱了启发式规则对视觉显著区域的偏见。
3. 三阶段递进式训练与 DocLongRAG 硬负例驱动:从单图重构到长程混合对齐
将粗细混合的视觉 token 序列与大语言模型平滑对齐极为困难。Doc-REFRAG 设计了三阶段训练策略以保证语义不发生漂移:第一阶段为单图重构,在 DocStruct4M 上冻结解码器,专门训练编码器对齐层与 MLP 投影器完成文本解析(Text Parsing)与文本定位(Text Localization)双任务,确保 chunk 投影无损压缩文本语义;第二阶段为多图持续预训练(CPT),基于 ColQwen 提供的几何对齐伪标签,在 OpenDocVQA(单图扩展前 20%)、Doc-750K(多图每页扩展 20%)和 DocLongRAG(多图扩展 10% 并随机激活无关 chunk)上采用 LoRA(rank=64)微调 7B 解码器,循序渐进培养模型跨页聚合粗细混合上下文的推理能力;第三阶段则固定解码器,在 DocLongRAG 上通过 GRPO 强化学习端到端训练选择器策略。
配套构建的 DocLongRAG 是专为多模态 RAG 定制的大规模基准数据集,包含 343,474 个图文问答对和 330 万页文档图像。与此前仅包含单文档连贯页面的数据集不同,DocLongRAG 过滤了不依赖上下文的常识题与无法回答的无事实样本,并引入语义硬负例挖掘机制:利用文档检索器召回 top-k 相似图像,剔除最前部仍可能包含答案的 top-3 页面后,在第 4 名及之后均匀抽取 \(m \in [20, 30]\) 页高度语义混淆但缺乏关键答案事实的页面交错排布,使每道题目平均关联多达 37.4 张检索图像。这种构建策略让模型在预训练阶段就直面真实 RAG 中的长程冗余与冲突干扰。
损失函数 / 训练策略¶
在 Stage 1 单图重构与 Stage 2 多图持续预训练中,模型均以预测文本 token 的标准交叉熵损失进行优化。在 Stage 3 强化学习阶段,策略网络 \(\pi_\theta\) 的更新采用带有 KL 散度正则化约束的 PPO 剪切损失函数:
其中 \(\rho(\delta) = \frac{\pi_\theta(\delta)}{\pi_{\text{ref}}(\delta)}\) 为重要性采样比率,剪切阈值 \(\epsilon = 0.2\),KL 惩罚系数 \(\beta = 0.1\),参考策略 \(\pi_{\text{ref}}\) 初始化自监督热身权重。训练全程在 8 张 NVIDIA RTX 3090 GPU 上完成,Stage 2 耗时占主要计算量,而 Stage 1 与 Stage 3 均极轻量,大幅降低了多模态长文本对齐的硬件门槛。
实验关键数据¶
主实验¶
在六大多模态文档理解基准(ChartQA、SlideVQA、InfoVQA、DUDE、ViDoRe-v2、MMDocIR)上,利用业界顶尖的 Jina-Embeddings-V4 为每道问题检索 top-20 候选图像作为统一输入,评估各模型的问答准确率(Accuracy)、首字延迟(TTFT)与字间生成延迟(TTIT):
| 模型 | 参数量 | 平均视觉Token/图 | ChartQA | SlideVQA | InfoVQA | DUDE | Vidore | MMDocIR | 平均准确率 (%) | TTFT (s) | TTIT (s) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| InternVL3.5 | 8B | ~2,304 | 56.8 | 53.1 | 48.1 | 45.8 | 42.1 | 51.5 | 49.5 | 2.78 | 0.92 |
| LLaVA-OneVision | 8B | ~1,920 | 52.1 | 50.9 | 46.3 | 47.2 | 42.7 | 49.0 | 48.0 | 4.03 | 0.05 |
| MiniCPM-V-2.6 | 8B | ~576 | 54.8 | 52.3 | 48.5 | 46.4 | 41.1 | 48.8 | 48.6 | 5.80 | 0.12 |
| Qwen3-VL | 8B | ~512 | 58.2 | 59.2 | 55.7 | 52.5 | 43.5 | 52.4 | 51.3 | 5.91 | 0.05 |
| MQT-LLaVA† | 7B | 256 | 35.7 | 39.3 | 33.4 | 40.5 | 37.4 | 34.2 | 36.7 | 3.43 | 0.05 |
| EPIC† | 7B | 256 | 39.7 | 41.1 | 42.7 | 32.4 | 33.3 | 38.2 | 37.9 | 3.42 | 0.06 |
| LLaVA-Mini† | 7B | 144 | 35.4 | 38.5 | 44.6 | 37.5 | 39.1 | 40.2 | 39.2 | 2.67 | 0.06 |
| Docopilot | 8B | ~2,304 | 58.7 | 56.6 | 49.4 | 48.6 | 45.7 | 46.5 | 50.9 | 1.81 | 2.25 |
| VDocGenerator | 3B | ~1,920 | 53.3 | 42.8 | 43.2 | 37.9 | 34.6 | 36.8 | 41.4 | 9.20 | 6.40 |
| DocOwl2† | 7B | ~324 | 57.5 | 53.2 | 45.2 | 44.7 | 47.5 | 45.2 | 48.9 | 3.94 | 0.07 |
| TokenPacker† | 7B | 144 | 46.4 | 39.9 | 41.3 | 33.5 | 36.7 | 35.9 | 37.5 | 4.43 | 0.05 |
| Doc-REFRAG (本文) | 7B | ~150 | 61.2 | 60.8 | 58.7 | 53.2 | 57.3 | 54.9 | 57.5 | 2.57 | 0.07 |
(注:† 表示使用了视觉 token 压缩机制的模型。)
消融实验¶
通过对比不同 chunk 选择策略、训练阶段设置以及 chunk 尺寸 \(k\) 的配置,评估各组件对精度与延迟的实际影响:
表 1:不同 Chunk 选择策略的效果与延迟对比 (8×RTX 3090)
| 选择策略 | ChartQA | SlideVQA | InfoVQA | DUDE | Vidore | MMDocIR | 平均准确率 (%) | 决策延迟 (s) |
|---|---|---|---|---|---|---|---|---|
| Random (随机选择) | 39.4 | 42.5 | 48.3 | 33.2 | 38.6 | 30.8 | 38.8 | - |
| Perplexity (困惑度启发式) | 46.5 | 48.3 | 47.2 | 39.6 | 40.4 | 40.3 | 43.7 | 20.7 |
| ColQwen (密集检索重排序) | 56.6 | 54.0 | 59.5 | 49.8 | 53.5 | 52.3 | 53.6 | 9.3 |
| RL 选择器 (本文) | 61.2 | 60.8 | 58.7 | 53.2 | 57.3 | 54.9 | 57.5 | 3.7 |
表 2:训练任务阶段消融实验 (准确率 %)
| 模型变体 | Vidore | MMDocIR | DUDE | 平均准确率 (%) | 说明 |
|---|---|---|---|---|---|
| Doc-REFRAG (完整方案) | 53.2 | 57.3 | 54.9 | 55.1 | 完整三阶段训练 |
| w/o 单图重构 (Stage 1) | 20.2 | 16.5 | 22.5 | 19.7 | 缺少重构对齐导致语义崩塌,跌幅高达 35.4% |
| w/o 课程学习 (Stage 2) | 24.5 | 22.8 | 25.4 | 24.2 | 随机打乱输入顺序训练,准确率跌落至 24.2% |
| w/o 两者均去掉 | 7.2 | 8.5 | 8.4 | 8.0 | 完全丧失混合 token 解析能力 |
关键发现¶
- 单图重构是语义保真度的基石:消融数据显示,移除 Stage 1 单图重构任务后,平均准确率从 55.1% 暴跌至 19.7%。这证明未经重构引导的 MLP 投影器无法保证压缩 chunk 忠实映射到 LLM 嵌入空间,导致下游微调出现严重语义崩溃。
- RL 决策大幅超越传统启发式与稠密检索:在选择策略对比中,RL 选择器达到了 57.5% 的准确率,远超 Random(38.8%)和 Perplexity 启发式(43.7%)。虽然 ColQwen 在个别数据集(如其训练集重合度较高的 InfoVQA)上表现优异,但其基于 patch 相似度聚合耗时长达 9.3s;而轻量 RL 选择器仅需 3.7s 便完成决策,实现了 2.5 倍的速度提升与更高的全集准确率(57.5% vs 53.6%)。
- \(k=3\) 达成最优性能-开销折中:当 chunk 颗粒度由 \(k=2\)(194 tokens/图)变为 \(k=3\)(150 tokens/图)时,准确率反而从 55.5% 提升至 57.5%,表明适当的粗粒度建模能有效过滤冗余视觉噪声;而过度压缩至 \(k=6\)(108 tokens/图)时,准确率显著跌落至 52.3%,说明关键细粒度文本与结构信息遭到了不可逆破坏。
亮点与洞察¶
- 以问题为导向的动态重构,打破视觉显著性错觉:以往压缩模型普遍将高对比度、密集文本块视为重要区域,忽视了检索场景中大部分高密度图文均为无关干扰项的事实。Doc-REFRAG 通过问题引导的强化学习选择器只复原与答案强相关的局部区域,真正做到了按需计算。
- 将稠密检索能力内化为单次轻量级前向推理:传统级联架构需要先由大模型耗时逐页重排(如 MonoQwen2 单图约 0.63s,总耗时超 15s),而 Doc-REFRAG 将候选筛选和动态特征展开收敛于一个不足 1M 参数的 Transformer 模块内,端到端 RAG 耗时仅需 6.1s,超越了传统的检索-重排-生成流水线。
- 真实检索噪声的课程预训练范式:DocLongRAG 明确排除了易导致假阴性干扰的 Top-3 检出图,构造跨页交错的 Hard Negatives 并按 37.4 页长程排布,使模型在进入正式微调前便习得抗干扰长文本推理能力,可无缝迁移至各类密集文档问答与重排任务中。
局限与展望¶
- Chunk 尺寸 \(k\) 为固定超参数无法动态自适应:当前框架中的 \(k=3\) 在初始化时设定,面对超过 4,000 字符的极高密度排版页面时,解析指标会有约 5% ANLS 的滑落。未来亟需支持多分辨率或跨尺寸自适应 chunking 的统一选择器。
- 奖励信号仅依赖下游最终准确率:RL 策略仅以答案标量准确率作为标量奖励,缺乏对具体命中局部区域的细粒度可解释性归因。错因分析显示 64% 的失败案例集中在跨段落多跳复杂推理,引入 chunk 级密集过程奖励是未来值得探索的方向。
- 合成负例与语种局限:DocLongRAG 目前主要以英文文档为主,在汉字等信息熵更高的 CJK 表意字符场景中,更小的 chunk 划分可能更为适配;同时训练阶段的负例为算法构造,与特定工业垂直域的真实长尾分布仍存差距。
相关工作与启发¶
- vs DocOwl2 / TokenPacker: 传统文档压缩模型通过固定的下采样或层级池化将全部页面做不可逆的均质化降采样;Doc-REFRAG 采取"粗编码垫底 + 问题相关局部精准展开"的弹性架构,保留了关键答案证据的高保真空间细节。
- vs SparseVILA / IVTP: 现有的指令引导压缩方法依赖注意力得分启发式剪枝或解码阶段的全局 KV Cache 缓存搜索,缺乏端到端训练优化;Doc-REFRAG 将块扩展决策建模为强化学习策略,通过 GRPO 对齐下游答案准确率,决策速度与精度显著更优。
- vs MonoQwen2 级联重排系统: 常规流水线先用 Cross-Encoder 逐篇打分重排后再送入下游,处理 20 张图像需要 15.4s 且易产生截断误差;Doc-REFRAG 直接将 20 张候选图像进行粗编码并由内部轻量选择器端到端处理,准确率从 53.2% 提升至 57.5%,延迟下降至 6.1s。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙重构了多模态 RAG 中的视觉压缩范式,将不可逆剪枝改为 RL 引导的预算化动态扩展。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大文档基准、11 个强基线对比、系统级延迟测试与详尽的因子分解消融。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,软硬件配置与复现细节交代清晰,图表数据自洽。
- 价值: ⭐⭐⭐⭐⭐ 显著降低了长文档多模态 RAG 的推理成本与响应延迟,具备极高的实际部署与工程落地价值。