E2E-VisRAG: End-to-End Visual Retrieval-Augmented Generation with Differentiable Retrieval¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Vmyosotis/E2E-VisRAG
领域: 多模态 VLM
关键词: 视觉检索增强生成、端到端联合训练、可微Top-K选择、门控残差融合、文档视觉问答
一句话总结¶
E2E-VisRAG 摒弃 OCR 序列化与全局向量粗粒度池化,基于原生视觉 patch 编码与 MaxSim 细粒度交互,利用直通估计器实现可微 Top-K 检索并将下游生成梯度反传至检索器,配合门控残差融合自适应抑制噪声,实现了检索与生成的真正端到端联合优化。
研究背景与动机¶
检索增强生成(RAG)是突破大语言模型知识边界与缓解幻觉的关键技术,但在面向图表、排版复杂、富含非文本视觉线索的高价值文档时遇到了严重瓶颈。传统系统依赖 OCR 将版面转录为扁平文本后进行检索,不仅破坏了空间几何布局与阅读顺序,彻底丢失图表、流程图及手写批注等非文本语义,而且 OCR 解析本身的延迟与错误会在整个流水线中级联放大;即便引入额外的视觉模型生成图片描述(Caption),也往往丢失坐标轴刻度、单元格精细数值等核心证据。
随着视觉语言模型(VLM)的发展,多模态检索逐渐受到重视,但主流实践依然面临着粗粒度匹配与架构割裂的双重制约。以 CLIP 或 SigLIP 为代表的全局图像向量检索,通过平均池化将整页文档压缩为单一密集向量,抹煞了定位在表格单元格或局部图例中的微观局部线索;而像 ColPali 这类基于 patch 级后期交互(MaxSim)的方案虽然实现了更强的单页检索召回,其检索器与下游生成器依然处于各自为战的级联割裂状态。由于传统的离散 Top-K 选取操作阻断了梯度反向传播,生成器无法直接向下游反哺监督信号,检索器只能以代理相关性(Proxy Relevance)为目标进行单边优化,无法适应生成器最终回答对特定细粒度证据的真实诉求。
面对模态转换丢失、粗粒度表征及检索-生成断层这三大核心矛盾,必须在保持高分辨率原生视觉 patch 输入的同时打破离散采样的阻碍,将检索与生成统一在可微梯度流之中。核心 idea:直接在原生视觉 patch 空间中执行细粒度 MaxSim 晚期交互,引入基于直通估计器(STE)的序列化可微 Top-K 选取机制打通生成到检索的端到端梯度回传,并通过自适应门控残差融合模块动态平衡原始视觉保真度与检索增强特征。
方法详解¶
整体框架¶
E2E-VisRAG 包含三大核心阶段:原生视觉编码阶段(Visual Encoding)、可微检索阶段(Differentiable Retrieval)与门控生成阶段(Gated Generation)。模型直接输入未经过 OCR 处理的高分辨率文档图像与查询文本,在保持冻结视觉编码器与主干语言模型的前提下,通过针对检索与生成的轻量化 LoRA 适配器及门控残差连接完成整体信息交互。
在推理与训练前向过程中,文档图像首先切分为 patch token 序列并由多模态投影器投影;检索 LoRA 适配器对文档与查询进行上下文建模;可微检索模块计算所有候选页面的 token 级 MaxSim 晚期交互相似度,通过迭代掩码与直通估计器完成连续松弛化的 Top-K 文档加权聚合;最后,选出的 Top-K 文档表征通过门控残差模块与原始未经检索适配的视觉特征进行受控融合,与系统提示词、查询向量拼接后由生成 LoRA 适配器自回归解码输出答案。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询与原始文档图像<br/>免 OCR / 原生 Patch 划分"] --> B["原生 Patch 级视觉编码<br/>ViT + 投影器 + Retrieval LoRA"]
B --> C["MaxSim 细粒度晚期交互<br/>Token 级最大内积相关性打分"]
C --> D["序列化可微 Top-K 选取<br/>迭代 Softmax 掩码 + 直通估计器 STE"]
D --> E["门控残差融合<br/>层归一化 + 投影变化 + 学习型标量门控"]
E --> F["联合解码生成<br/>拼接提示词与查询 + Generation LoRA"]
F -.->|端到端任务梯度反传| D
D -.->|指导检索空间对齐| B
关键设计¶
1. 原生 Patch 级视觉编码:消除 OCR 语义折损与全局池化瓶颈 针对 OCR 序列化破坏图表空间结构以及全局平均池化压缩导致微观证据湮灭的问题,本设计完全规避任何 OCR 环节,直接将文档图像 \(I_i\) 输入冻结的视觉 Transformer(ViT),通过多模态投影器将其投射为初始多模态视觉 patch 嵌入 \(H_{\text{orig},i} \in \mathbb{R}^{S \times D}\),其中 \(S\) 为视觉 token 数量,\(D\) 为隐藏层维度。为了赋予通用视觉特征面向跨模态匹配的能力,模型在冻结的语言主干上配备可训练的检索 LoRA 适配器(Retrieval LoRA),产出具有检索特异性上下文信息的文档表征 \(H_{\text{raw},i} \in \mathbb{R}^{S \times D}\)。文本查询 \(q\) 经过相同的检索 LoRA 得到查询 token 序列 \(Q = \{q_1, \dots, q_m\}\)。这种设计既完全保留了每个局部 patch 在二维空间中的细粒度几何排列,又构建了支持精准语义定位的表征基础。
2. MaxSim 细粒度晚期交互:实现局部微观证据与查询词的精细对齐 针对长文档或多模态页面中证据高度局部化(如密集表格中的某个单元格数值、折线图的某处微小拐点)的痛点,模型摒弃单一余弦距离,采用逐 token 的晚期交互机制。对于查询中的每一个 token \(q_k\),在候选文档 \(d_i\) 的全部视觉 patch 表征 \(h_j\) 中寻找最大内积相似度,并累加所有查询 token 的最优匹配得分,得到该文档的综合相关性得分: $\(s(q, d_i) = \sum_{k=1}^m \max_{j=1}^S q_k^\top h_j\)$ 该机制使得查询中的具体实体、数值关键词可以各自去匹配图像中特定区域的视觉 patch,避免全局平均向量造成的信号稀释,计算出整个候选文档集上的打分向量 \(s = (s_1, \dots, s_N)\)。
3. 序列化可微 Top-K 选取:利用直通估计器打通端到端生成梯度流 传统 RAG 中离散硬 Top-K 取模操作的不可微性阻断了梯度反向传播,导致检索器与生成器陷入独立割裂。为此,本文设计了基于直通估计器(Straight-Through Estimator, STE)与连续迭代掩码的序列化可微选择机制。首先将相关性得分经温度参数 \(\tau_{\text{sel}}\) 缩放为 \(z = s / \tau_{\text{sel}}\)。在共计 \(K\) 轮的选取中,第 \(j\) 轮引入累积掩码 \(M^{(j-1)}\)(已选中项赋为 \(-\infty\),未选中项为 \(0\)),计算剩余候选文档的软选择概率分布 \(p^{(j)} = \text{softmax}(z + M^{(j-1)})\)。在前向传播中,严格执行离散的 argmax 硬选择选取最优文档索引 \(i^*\);而在反向传播中,构造 STE 权重向量: $\(W^{(j)} = K^{(j)}_{\text{hard}} + p^{(j)} - \text{sg}(p^{(j)})\)$ 其中 \(\text{sg}(\cdot)\) 为截断梯度算子(Stop-Gradient)。通过加权聚合 \(H_{\text{ret}}^{(j)} = \sum_{i=1}^N W_i^{(j)} H_{\text{raw},i}\) 获得第 \(j\) 轮检索到的文档表征。这一设计确保了前向传播时送入生成器的仍然是精确的确定性文档,而反向传播时下游自回归语言建模损失的梯度能够沿着软概率 \(p^{(j)}\) 顺畅回传至检索打分与检索 LoRA 参数中,使得检索器的特征空间能够被最终生成目标直接塑造。
4. 门控残差融合:自适应调控检索增强信息并压制下游噪声 如果将经过可微检索加权聚合得到的特征直接拼接输入生成模型,未经校准的扰动和检索噪声极易导致生成训练震荡发散(DNC)。门控残差融合(Gated Residual Fusion, GRF)通过残差学习机制实现受控注入。对于第 \(i\) 个被检索文档,先分别对原始视觉特征 \(H_{\text{orig},i}\) 与检索特征 \(H_{\text{raw},i}\) 进行独立层归一化得到 \(\tilde{H}_{\text{orig},i}\) 与 \(\tilde{H}_{\text{raw},i}\),提取二者差值增量 \(\Delta H_i = \tilde{H}_{\text{raw},i} - \tilde{H}_{\text{orig},i}\),经可学习投影矩阵 \(W_p \in \mathbb{R}^{D \times D}\) 映射为 \(\Delta H'_i = W_p \Delta H_i\)。最终融合表征由可学习门控向量 \(\gamma \in \mathbb{R}^D\) 动态调控: $\(H_{\text{input},i} = H_{\text{orig},i} + \sigma(\gamma) \cdot \Delta H'_i\)$ 门控初始值标定在 \(\sigma(\gamma) \approx 0.2\)(初始化 \(\gamma = -1.3863 + \mathcal{N}(0, 0.02)\)),使得模型在训练初期主要依赖高保真的原始视觉表征保持稳定收敛,随后逐步、按需地吸纳检索适配器带来的结构化增强线索,有效滤除噪声干扰。
损失函数 / 训练策略¶
训练采用两阶段递进策略。在整个训练过程中,ViT 视觉编码器、多模态投影器与语言骨干网络参数全程冻结,仅微调轻量适配参数: - Stage 1(检索表征预热):仅微调检索 LoRA 适配器。采用 InfoNCE 对比学习损失函数建立 patch 级别的检索语义空间: $\(\mathcal{L}_{\text{retrieval}} = -\log \frac{\exp(s(q, d^+) / \tau_{\text{cl}})}{\sum_{d' \in \mathcal{B}} \exp(s(q, d') / \tau_{\text{cl}})}\)$ 其中 \(d^+\) 为标注的正例文档,\(\mathcal{B}\) 为包含正例与同 batch 负例的集合,对比温度系数设为 \(\tau_{\text{cl}} = 0.07\)。 - Stage 2(端到端联合微调):同时微调检索 LoRA、生成 LoRA 以及门控残差融合模块(\(W_p\) 与 \(\gamma\))。损失函数为双任务联合加权: $\(\mathcal{L} = \lambda_r \mathcal{L}_{\text{retrieval}} + \lambda_g \mathcal{L}_{\text{generation}}\)$ 其中自回归生成损失 \(\mathcal{L}_{\text{generation}} = -\sum_t \log P(y_t \mid y_{<t}, H_{\text{final}})\),权重系数设为 \(\lambda_r = 0.1, \lambda_g = 1.0\)。生成梯度通过可微 Top-K 与门控残差融合模块反向流经整个检索通路,实现了检索与生成的真正协同闭环。
实验关键数据¶
主实验¶
在代表性多模态长文档基准 Vidore(涵盖 Infographic-VQA、arXiv-QA、DocVQA、TAT-DQA、PDF 五大视觉场景,测试集 500 个问答对)与 MMLongBench-Doc(涵盖 135 篇复杂长文档、838 个有效问答对,平均单篇 48.3 页)上展开评测。所有基线与本文方法生成器均基于 Qwen2.5-VL-3B-Instruct(部分对比列包含 7B 生成器容量),生成回答通过 GPT-4o-mini 进行五次独立评测并取均值。
| 方法 | 生成器容量 | Vidore R@1 (%) | Vidore R@5 (%) | Vidore Acc@1 (%) | Vidore Acc@5 (%) | MMDoc R@1 (%) | MMDoc R@5 (%) | MMDoc Acc@1 (%) | MMDoc Acc@5 (%) |
|---|---|---|---|---|---|---|---|---|---|
| OCR + BM25 | 3B | 31.00 | 44.60 | 25.30 | 29.20 | 21.20 | 44.00 | 11.20 | 14.40 |
| OCR + BGE | 3B | 60.20 | 71.40 | 38.40 | 39.10 | 35.20 | 62.80 | 15.40 | 21.10 |
| OCR + Cap + BM25 | 3B | 47.40 | 62.60 | 32.80 | 35.60 | 31.20 | 57.50 | 13.70 | 18.20 |
| OCR + Cap + BGE | 3B | 62.60 | 75.80 | 43.00 | 46.00 | 40.00 | 66.60 | 19.80 | 23.40 |
| SigLIP | 3B | 25.80 | 39.20 | 22.50 | 29.80 | 24.30 | 53.40 | 15.30 | 23.10 |
| ColPali | 3B | 78.80 | 90.60 | 58.40 | 58.90 | 45.30 | 73.70 | 24.80 | 30.10 |
| E2E-VisRAG (Ours) | 3B | 83.60 | 94.40 | 61.60 | 62.44 | 46.10 | 74.10 | 26.63 | 30.79 |
消融实验¶
为了严格验证各核心模块对系统性能的单独增益,论文在 Vidore 与 MMLongBench-Doc 上对端到端联合训练(E2E)、可微 Top-K 模块以及门控残差融合(GRF)进行了细致消融:
| 变体配置 | Vidore R@1 (%) | Vidore R@5 (%) | Vidore Acc@1 (%) | Vidore Acc@5 (%) | MMDoc R@1 (%) | MMDoc R@5 (%) | MMDoc Acc@1 (%) | MMDoc Acc@5 (%) | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| Full Model | 83.60 | 94.40 | 61.60 | 62.44 | 46.06 | 74.10 | 26.63 | 30.79 | 完整模型 |
| w/o E2E | 82.60 | 93.80 | 60.84 | 60.32 | 45.53 | 74.08 | 26.21 | 29.16 | 移除 Stage 2 端到端联合优化,生成与检索完全割裂 |
| w/o Diff. Top-K | 83.20 | 93.80 | 61.40 | 61.20 | 45.58 | 73.80 | 26.01 | 29.12 | 使用标准离散硬 Top-K 选择,切断反向梯度传播 |
| w/o GRF | NA | NA | NA | NA | NA | NA | NA | NA | 移除门控残差连接,直接拼接检索特征导致训练发散 (DNC) |
此外,在证据跨页范围分析(Single-Page vs. Multi-Page)中,在极具挑战的多页推理场景下(MMLongBench-Doc Multi-Page),E2E-VisRAG 的 Acc@1 达到 19.62%,相比 ColPali3B 的 11.28% 取得了高达 +8.34% 的显著跃升,表明端到端优化大幅改善了复杂分散证据与生成推理的跨页交互能力。
关键发现¶
- 端到端回传直接淬炼检索表征:对比 w/o E2E 发现,引入生成监督后不仅 Vidore Acc@5 提升了 2.12 个百分点(60.32% \(\to\) 62.44%),就连脱离了生成阶段的纯检索指标 Vidore R@1 也从 82.60% 进一步增长至 83.60%(在 DocVQA 上单独提升高达 +3.1%),实证验证了下游生成语言建模信号能有效反向校准多模态检索空间。
- 可微连接是梯度的生命线:若仅采用传统不可微的离散硬 Top-K(w/o Diff. Top-K),由于缺乏生成任务对检索器的反向塑造,MMLongBench-Doc 的 Acc@5 从 30.79% 下滑至 29.12%,R@1 从 46.06% 下滑至 45.58%,证明了 STE 机制在弥合检索与生成鸿沟上的必要性。
- 门控残差连接是训练稳定的基石:消融实验直接证明,去掉门控残差机制(w/o GRF)而采用朴素特征拼接会导致模型无法收敛并发生训练发散(DNC),初值为 0.2 的轻量级残差门控成功兼顾了原始视觉语义保真与检索信息的平滑吸纳。
- 计算延迟与准确率优势并存:在单查询推理时延测试中,OCR+BGE 耗时高达 3,420 ms(OCR 解析占 2,491 ms),而 E2E-VisRAG 端到端总时延仅 1,562 ms,在大幅超越 OCR 性能(Acc@5 62.44% vs. 29.20%)的同时,相比传统文本 RAG 提速超过 50%。
亮点与洞察¶
- 直通估计器巧破离散采样坚冰:巧妙地将 STE 与序列化迭代掩码机制引入 RAG 领域,在前向推理保持精确离散文档选取的同时,反向以软概率矩阵流动梯度,为检索-生成一体化联合训练扫清了底层架构障碍。
- 免 OCR 视觉原生范式的彻底胜利:在图表密集型场景中,OCR+BM25 在 DocVQA 上的 R@1 仅为 14.91%,而 patch 级视觉匹配一举攀升至 67.70%,彻底终结了“图像转录为文字方可检索”的传统迷思。
- 残差增量投影控制特征注入风险:在融合模块中没有生硬堆叠复杂的跨注意力网络,而是计算层归一化后的特征残差并通过零均值小方差初始化的门控进行渐进式渗透,以极小参数量杜绝了深层表征偏移与训练发散。
局限与展望¶
- 候选集显存消耗限制超大语料扩展:可微 Top-K 算子在反向计算时需要保留批次内所有候选项的显存图谱,计算与显存复杂度随候选项呈 \(\mathcal{O}(N)\) 线性增长,在百万级全库检索部署时必须结合近似最近邻(ANN)或外部检索 Memory Bank。
- 视觉 Token 预算放大的二次开销:当单页视觉 patch 预算从 784 增加到 1024 时模型精度持续提升,但 MaxSim 与生成序列长度随之骤增,未来亟需探索自适应分辨率或视觉 Token 动态剪枝方案。
- 评测语言与版面域受限:目前实验完全集中于英文基准数据集,在低资源语言、复杂手写体文字以及非拉丁字母文档上的端到端鲁棒性仍有待进一步验证。
相关工作与启发¶
- vs OCR-based RAG (BM25 / BGE / Captioning): 传统路线采用两阶段“文档转文本 \(\to\) 文本检索”,不仅受困于高昂的 OCR 运行时代价,更无法挽回被抹杀的空间拓扑与非文本图形图表;E2E-VisRAG 保持全流程视觉 patch 原生输入,准确率和推理吞吐量全面领先。
- vs SigLIP 全局向量检索: SigLIP 将整页图像压缩为单一密集全局向量,无法捕捉局部密集排版下的微小证据(SigLIP 在 DocVQA 上 R@1 仅 8.70%);E2E-VisRAG 基于 token 级 MaxSim 晚期交互,具备卓越的局部精确定位能力。
- vs ColPali: ColPali 确立了视觉 patch 晚期交互检索的强大性能,但检索与生成依然是相互独立的脱节流水线;E2E-VisRAG 借助可微 Top-K 与门控残差机制,真正打通了二者联合微调的梯度闭环,实现了超越两阶段离线预训练的更强检索-生成协同。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向原生视觉 RAG 的可微 Top-K 与端到端梯度联合优化架构,突破了离散检索断层的长期难题。
- 实验充分度: ⭐⭐⭐⭐⭐ 详尽覆盖了不同文档域、单页/多页证据范围、细粒度模块消融及端到端延迟分析,对比基线严密完备。
- 写作质量: ⭐⭐⭐⭐⭐ 框架设计逻辑严谨清晰,数学表达简洁规范,实验问题切中痛点。
- 价值: ⭐⭐⭐⭐⭐ 为多模态文档问答、富视觉智能体交互提供了崭新的一体化基础范式,工程复用与理论演进价值兼备。