Efficient Iterative Retrieval with Heterogeneous Batching¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/illinoisdata/Orthrus
领域: 信息检索/RAG
关键词: 迭代检索, RAG系统, 异构批处理, 增量池化, 批内调度
一句话总结¶
针对迭代式检索与生成(Iterative RAG)中嵌入(计算密集)与生成(内存密集)负载交替导致的资源失衡与计算气泡,ORTHRUS 在单一推理引擎内通过分块嵌入、增量池化与按剩余Token量动态配比的批内调度算法,实现了单次前向传播中的高效异构批处理。
研究背景与动机¶
现代检索增强生成(RAG)系统正从单次“检索-生成”转向多轮交替的迭代式检索(Iterative Retrieval)。以复杂多跳问答或澄清型检索为例,系统首先将用户初始 Query 编码为向量并在向量数据库中搜索候选文档;若召回文档信息不充分或存在歧义,生成模型会根据已有上下文生成后续子查询,再次调用嵌入模型检索补充文档,循环交替直到收集到完整证据。在这一链条中,嵌入请求与生成请求紧密交织,共同构成了端到端 Serving 的混合负载。
然而,现有的 LLM Serving 系统(如 vLLM)通常将嵌入和生成任务完全隔离,执行同构批处理(Homogeneous Batching)。如果采用多 GPU 静态粗粒度切分(例如部分 GPU 专门负责嵌入、其余 GPU 专门负责生成),在迭代检索这种动态比例波动的场景下极易产生计算气泡:生成阶段密集时嵌入 GPU 严重闲置,而嵌入突发时又成为瓶颈,且动态重划分涉及高昂的模型重载开销。更底层的矛盾在于两者的硬件计算特征天然互补——嵌入请求对整个序列做一次性前向传播并聚合特征,属于计算密集型(Compute-Bound);生成请求在自回归解码阶段每步仅读写庞大的 KV Cache 预测单 Token,属于访存密集型(Memory-Bound)。直接在单卡上启动两个独立 Serving 进程不仅存在进程间显存竞争,也无法打破各自的硬件瓶颈。
面对这一矛盾,本文切入的角度是:能否将同构执行彻底重构成统一的异构执行循环,让同一张 GPU 在单次前向传播中同时打包嵌入分块与生成解码 Token。核心 idea:构建统一推理执行器(Unified Runner),利用分块嵌入(Chunked Embedding)将长文本编码切分为细粒度 Token 块,配合增量池化(Incremental Pooling)流式累积向量,并由批内调度器(Intra-Batch Scheduling)根据两类队列积压的 Token 总量动态按比例交替打包,在零重训练的前提下彻底消除静态划分气泡并打满硬件算力与显存带宽。
方法详解¶
整体框架¶
ORTHRUS 针对共享骨干网络(Shared-Backbone,如通过 LoRA 微调的嵌入与生成统一底座)的混合负载场景,设计了统一的推理循环。系统在迭代级别(Iteration-Level)运作,每次调度迭代分为三个严格对齐的阻塞阶段:调度(Schedule)、前向计算(Forward)与输出分发(Emit)。在调度阶段,系统将生成请求的解码 Token、预填分块与嵌入请求的输入分块混编入同一个批次;在前向计算阶段,所有请求无差别通过 Transformer 骨干层的注意力与 FFN 计算;在输出分发阶段,张量按类型连续切片并流向各自的输出核函数,生成请求执行采样,嵌入分块执行增量累积。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["混合请求队列<br/>生成队列 Qg + 嵌入队列 Qe"] --> B["批内调度器 (IBS)<br/>优先在飞解码 + 剩余Token按比例配额"]
B --> C["连续内存张量打包<br/>类型连续排列避免 Gather 开销"]
C --> D["统一骨干网络前向传播<br/>Transformer 共享权重 Attention + FFN"]
D --> E{"并行输出分发"}
E -->|生成切片| F["Token 采样器<br/>生成下一 Token / 更新 KV Cache"]
E -->|嵌入切片| G["增量池化器<br/>跨 Chunk 累积和与权重"]
G -->|最终 Chunk| H["归一化输出向量"]
关键设计¶
1. 分块嵌入与增量池化:将长输入离散化以平衡单步计算量
传统的文本嵌入执行是一个完整的单次前向传递,当输入序列较长时,其巨大的计算量会直接阻塞轻量级的单 Token 生成解码步,破坏调度响应性并诱发严重的气泡。针对这一痛点,ORTHRUS 借鉴数据库中的在线聚合(Online Aggregation)机制,提出了分块嵌入(Chunked Embedding)。对于长度为 \(n\) 的长文本输入,系统将其划分为 \(K\) 个大小至多为 \(C\) 的分块 \(c_1, c_2, \dots, c_K\)(满足 \(\sum_{k=1}^K c_k = n\))。在第 \(k\) 次调度迭代中,模型仅处理大小为 \(c_k\) 的分块,产生局部隐藏状态 \(H^{(k)} \in \mathbb{R}^{c_k \times d}\)。
为了在无须保留全序列隐藏状态的前提下准确计算最终向量,增量池化器(Incremental Pooler)在流式处理中维护紧凑的跨分块状态。对于工业界最常用的均值池化(Mean Pooling)与加权均值池化,池化器仅需维护 \(O(d)\) 的显存状态,并在每个分块到达时迭代累加隐藏状态加权和与权重总和:
初始状态满足 \(S^{(0)} = 0, W^{(0)} = 0\)。当最后一个分块 \(K\) 执行完毕时,池化器直接发射最终嵌入向量 \(S^{(K)} / W^{(K)}\)。对于 CLS 池化仅需保留首块的首个向量,最后 Token 池化仅需保留尾块的末尾向量。该设计在代数上严格等价于单次全量前向池化(仅存在浮点加法结合律带来的可忽略误差),但赋予了调度器自由切分、组装计算负载的弹性空间。
2. 连续内存张量排布:消除异构输出阶段的显存数据重排开销
在单次前向传播中混杂多类任务时,若不同请求类型的隐藏状态散落在 Batch 张量的随机位置,输出阶段就需要执行代价昂贵的索引收集(Gather)操作或显存碎片拷贝。为消除内核调用开销,ORTHRUS 调度器在组装 Batch 时,严格将同类请求在内存中连续排列(按解码 Token、预填分块、嵌入分块的次序分块连续)。在前向计算输出隐藏状态张量 \(H\) 后,各专用算子(增量池化核、解码采样核)直接操作张量在其维度上的连续切片(Slice),实现零内存搬运的流式发射。
3. 批内调度算法(IBS):基于剩余 Token 工作量的无饥饿比例分配
由于迭代检索任务唯有在所有嵌入与生成请求全部处理完毕后才算完成,固定比例调度(如硬编码 1:2)在面对输出长度高度随机的生成任务时极易失效,而简单的 FCFS 队列调度又会导致短嵌入被长生成严重阻塞。ORTHRUS 提出了批内调度算法(Intra-Batch Scheduling, IBS),同时满足比例分配、类型内先到先服务(Per-type FCFS)与无队头阻塞(No Head-of-Line Blocking)三大准则。
IBS 的执行逻辑分为两级:首先,调度器严格优先保留容量给正在解码的生成请求(In-flight Decode),沿用 vLLM 的 PagedAttention 机制避免 KV Cache 的非必要换入换出;其次,对于剩余可用的 Token 配额预算 \(B\),调度器不按请求的个数统计,而是以队列中所有待处理请求的剩余 Token 总量计算工作负荷。设嵌入队列与生成队列的剩余 Token 和分别为 \(w_e = \sum_{r \in Q_e} \text{tokens}(r)\) 和 \(w_g = \sum_{r \in Q_g} \text{tokens}(r)\)。算法维护在多次迭代间持久存在的信用累加器 \(a_e\) 与 \(a_g\)。在向 Batch 中填充请求时,两累加器分别累加对应权重,调度器优先选取累加值较大的一方填充一个分块或请求,并扣减总量 \((w_e + w_g)\):
当某队列排空时对应的信用归零。这种机制确保两类任务被调度的 Token 配比在动态窗口内严格收敛到其实时需求比 \(w_e : w_g\),且保证任何非空队列在有限轮次内必定获得调度机会,彻底杜绝了队头阻塞。
损失函数 / 训练策略¶
ORTHRUS 是纯粹的系统层 Serving 架构,完全不需要对底层模型进行重新训练或微调。它直接复用已有的开源权重与微调好的 LoRA 适配器(例如基座模型 Mistral-7B 搭配用于文本检索的 e5-mistral-7b-instruct LoRA,或统一全能检索生成模型)。对于使用独立 Backbone 的异构模型(如分别运行 OPT-1.3B 生成模型与 GTR-T5-XL 检索模型),ORTHRUS 通过同卡多模型显存池化管理与 IBS 统一队列调度提供支持。
实验关键数据¶
主实验¶
评估在 4 张 NVIDIA A100-40GB GPU 上展开,选用 Mistral-7B 作为统一基座,配合 e5-mistral-7b-instruct LoRA 提供嵌入能力。测试涵盖两种场景:(1) 控制比例的合成混合负载(128-token 嵌入,128-prefill / 512-decode 生成);(2) 真实多跳迭代 RAG 基准测试 Iter-RetGen 在 2WikiMultihopQA 数据集上的端到端吞吐量与尾部延迟(平均 500-token 输入,平均 3000-token 解码输出,每查询检索 1–10 篇文档)。
对比基线包括: - Dedicated:按任务静态切分 GPU(如 Dedicated1:3 表示 1 卡负责嵌入,3 卡负责生成); - Disagg-PD:将生成任务的 Prefill 与 Decode 拆到不同 GPU 池,嵌入在 Prefill GPU 上执行池化; - Unified-Homo:单卡同驻但批次严格同构(同一前向仅跑纯生成或纯嵌入); - Unified-Hetero:单卡异构批处理,但采用朴素 FCFS 调度; - ORTHRUS:单卡异构批处理 + 统一执行器 + IBS 调度。
下表汇报了在 Iter-RetGen 基准上随 GPU 数量扩展的端到端系统吞吐量(req/s):
| 方法 (Method) | 1 GPU (Embed / Gen) | 2 GPUs (Embed / Gen) | 4 GPUs (Embed / Gen) | 4卡总吞吐提升 (vs. Dedicated) |
|---|---|---|---|---|
| Dedicated | N/A / N/A | 0.080 / 0.110 | 0.119 / 0.141 | 基准 (0.260 req/s) |
| Unified-Homo | 0.067 / 0.080 | 0.126 / 0.148 | 0.252 / 0.296 | +110.8% (0.548 req/s) |
| Disagg-PD | N/A / N/A | 0.118 / 0.140 | 0.276 / 0.327 | +131.9% (0.603 req/s) |
| ORTHRUS (本文) | 0.075 / 0.088 | 0.142 / 0.166 | 0.288 / 0.336 | +140.0% (0.624 req/s) |
在 4 卡配置下,ORTHRUS 的聚合吞吐达到 0.624 req/s,相较静态切分的 Dedicated 配置提升达 2.40×(0.624 vs. 0.260),且在单卡无法做解耦切分的场景下依然具备完整的运行能力。
消融实验¶
针对分块嵌入(Chunked Embedding)对批次填充率及独立任务开销的影响,论文在不同实验切片下进行了严格消融:
表 1:分块调度模拟器中的 Token 预算填充率与吞吐对比(Token 预算 \(B=256\),分块上限 \(C=64\))
| 配置 (Config) | Token 预算填充率 (%) | 生成吞吐 (req/s) | 嵌入吞吐 (req/s) | 总吞吐 (req/s) | 说明 |
|---|---|---|---|---|---|
| 原子执行 (Atomic,不分块) | 8.8% | 93.3 | 25.5 | 118.8 | 嵌入输入必须整包塞入,严重浪费残差预算 |
| 分块执行 (Chunked,分块嵌入) | 85.7% | 93.3 | 26.9 | 120.2 | 预算填充率提升近 10 倍,零损耗利用碎片 Token |
表 2:增量池化等价性验证(不同分块大小 \(C\) 下与单次全量前向池化的输出误差)
| 池化方式 (Pooling) | 分块大小 \(C\) | 余弦相似度 (Cosine Sim) Min | 余弦相似度 Mean | 相对 L2 误差 Mean | 相对 L2 误差 p99 |
|---|---|---|---|---|---|
| Mean Pooling | 256 | 0.9999512 | 0.9999844 | 0.005527 | 0.008995 |
| Mean Pooling | 512 | 0.9999555 | 0.9999861 | 0.005176 | 0.009478 |
| Mean Pooling | 1024 | 0.9999484 | 0.9999877 | 0.004820 | 0.008156 |
| CLS Pooling | 512 | 0.9999837 | 0.9999887 | 0.004908 | 0.005479 |
| Weighted Mean | 512 | 0.9999339 | 0.9999887 | 0.004493 | 0.009927 |
关键发现¶
- 吞吐与延迟全面超越:在受控合成负载中,ORTHRUS 相比静态切分部署实现了 1.28×–4.52× 的吞吐提升;在 Iter-RetGen 端到端 4 卡测试中,p99 延迟降低多达 55.8%(从 Dedicated 的 1342.0s 骤降至 593.4s)。
- 彻底消除队头阻塞:在先提交 1000 个生成再提交 1000 个嵌入的极端场景下,ORTHRUS 的生成 p99 延迟降低 9%,嵌入 p99 延迟降低 16%,且高解码负载下(解码长度从 256 增加至 4096),生成 p99 飙升 11 倍的同时嵌入 p99 波动小于 7ms,展现出极强的延迟隔离性。
- GPU 资源充分打满:在包含 1:9、5:5、9:1 三阶段的工作负载漂移中,静态划分的平均 GPU 利用率仅为 38%,而 ORTHRUS 维持了 79% 的平均利用率,任务完成速度加快 43%。
- 算法严格保真:数值实验表明增量池化与全量池化的余弦相似度均大于 0.9999,相对 L2 误差小于 1%,精度差异纯粹由 GPU 浮点规约顺序引起,对检索准确度无影响。
亮点与洞察¶
- 互补硬件瓶颈的异构搭桥:将计算密集的 Prefill/Embedding 与访存密集的 Decode 打包进同一张 GPU 的同一个 Forward Pass 中,巧妙实现了计算单元(Tensor Core)与显存带宽的高效重叠,在系统层消解了“计算气泡”。
- 增量式计算化解分块壁垒:分块预填在生成模型中已有应用,但嵌入模型通常依赖全局池化;论文通过数学上等价的流式加权状态累积,打破了嵌入任务必须“全序列输入、一次性输出”的假设。
- Token 权重视角的无饥饿公平调度:摆脱了传统的“请求数”统计视角,以底层真实的计算负荷(剩余 Token 数)作为动态信用基准,既能实现吞吐最大化的负载均衡,又杜绝了队头阻塞。
局限与展望¶
- 未支持多卡模型切分(Tensor/Pipeline Parallelism):当前原型为每张 GPU 独立运行一个完整模型副本(Data Parallelism),尚未适配超大规模模型(如 70B+)必须跨卡张量并行或流水线并行的通信同步模式。
- 评测模型规模上限:测试主要集中在 10B 以下的开源权重模型(Mistral-7B、Qwen2-7B、LLaMA-3.1-8B),超大模型下计算与访存的比例及 KV 显存开销会发生变化,异构增益的比例仍需进一步验证。
- 多适配器调度开销:当嵌入与生成使用不同的 LoRA 适配器且并发种类繁多时,不同 Adapter 切换在批次内可能引入额外显存跳转与内核开销。
相关工作与启发¶
- vs vLLM / Orca / Sarathi-Serve: 传统 Serving 系统侧重纯生成任务的 Chunked Prefill 和迭代级调度,无法同时处理不需要解码的嵌入流;ORTHRUS 将分块思想拓展至嵌入并完成统一异构打包。
- vs DistServe / Mooncake (PD 分离系统): 将 Prefill 与 Decode 物理拆分到不同 GPU 集群;ORTHRUS 指出在迭代检索这类交织流中,物理拆分会导致跨网络传输 KV Cache 的昂贵开销与严重的资源比例失调,而在单卡内 Heterogeneous 混部收益更高。
- vs SLoRA / Punica: 聚焦多租户 LoRA 调度,但均假设任务全为生成请求;ORTHRUS 提供了混合 LoRA 及跨模型异构任务批处理的系统级新思路。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次打破嵌入与生成的 Serving 物理隔离,实现统一推理循环内的异构批处理与增量池化。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖控制变量合成实验、真实多跳 RAG 基准、跨模型/LoRA Rank 泛化、单卡独立模型扩展及严格的数值保真度验证。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻,系统设计逻辑层层递进,算法流程与状态演化极其清晰。
- 价值: ⭐⭐⭐⭐⭐ 对现代 RAG 基础设施、知识增强 Agent 系统落地具有极高、极具启发性的工程与学术参考价值。