Efficient Iterative Retrieval with Heterogeneous Batching¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/illinoisdata/Orthrus
领域: LLM效率
关键词: LLM serving, 迭代式RAG, 异构批处理, 批内调度, 增量池化
一句话总结¶
针对现代迭代式 RAG 中 Embedding 计算密集与 Generation 内存密集的互补特性,提出面向单推理循环的异构批处理 serving 系统 ORTHRUS,通过分块嵌入、增量池化与按剩余工作量动态调度的批内调度机制,消除 GPU 静态切分与同构批处理的计算气泡,实现 1.28×–4.52× 的吞吐提升与至多 55.8% 的端到端 p99 延迟降低。
研究背景与动机¶
现代检索增强生成(RAG)范式正迅速从单次检索生成演进为多轮交互的迭代式检索(Iterative Retrieval-Generation),系统需要反复在向量检索与语言生成之间交替以补充信息差并澄清歧义。然而,现有主流大模型推理服务框架(如 vLLM)本质上均假定纯生成或纯嵌入的同构执行模式,将两类模型在运行时完全割裂。在多 GPU 部署中,业界通常采用粗粒度的静态资源切分(例如将若干 GPU 分配给 Embedding、其余分配给 Generation),或者在单 GPU 上启动两个独立的操作系统进程。这种割裂的架构在面对动态波动的混合负载时极其脆弱:静态资源比例无法自适应负载倾斜且重分区需要耗费高昂的模型重新加载成本,双进程并发又会因 GPU 显存竞争与上下文切换导致极低的资源利用率。
造成这种吞吐瓶颈与 GPU 欠载的核心矛盾,在于两类任务完全相反的硬件计算特性:嵌入任务在单一密集的前向传播中并行处理完整文本序列并通过池化输出定长向量,计算强度极高,属于典型的计算密集型(Compute-Bound)任务;而自回归生成任务的解码阶段每步仅生成一个新 token,需要从高带宽显存频繁搬运庞大的 KV Cache,算术操作极少,属于极度受限于显存带宽的内存密集型(Memory-Bound)任务。如果直接将两者同构批处理或粗粒度切分,轻量级的解码步必须等待重型的全序列嵌入完成,必然在 GPU 计算单元或显存通道上产生大量计算气泡(Bubbles)。
针对这一瓶颈,本文的核心洞见在于:计算密集型的嵌入与显存密集型的生成在底层硬件资源需求上天然互补,若能在同一个执行循环内将两者有机融合,就能在流水线层面互相填充闲置的计算与带宽资源。核心 idea:构建统一的异构执行引擎 ORTHRUS,将长嵌入序列拆解为细粒度分块并结合增量池化(Chunked Embedding with Incremental Pooling),配合感知剩余 token 负载的批内比例调度器(Intra-Batch Scheduling),实现在单次前向传播中无缝共调度嵌入分块与解码 token,兼顾高吞吐与低尾部延迟。
方法详解¶
整体框架¶
ORTHRUS 的核心设计是在单一推理执行引擎(Unified Runner)中打通嵌入与生成的屏障,将它们抽象为统一的模型前向执行通路。系统在运行时维护独立的嵌入等待队列 \(Q_e\) 与生成等待队列 \(Q_g\)。每个调度迭代包含三个紧凑的阻塞阶段: 1. 调度阶段(Schedule):调度器根据当前在飞(in-flight)请求状态及双队列的动态积压情况,从 \(Q_e\) 和 \(Q_g\) 中挑选出嵌入分块(Embedding Chunks)、预填分块(Prefill Chunks)与解码 token(Decode Tokens),组装成一个批次。所有同类型请求在显存中连续排布以规避张量重排开销。 2. 前向阶段(Forward):组装好的异构批次通过共享的 Transformer 层进行单次联合前向计算(联合自注意力和 FFN 计算)。 3. 输出阶段(Emit):前向计算结束后,系统根据请求类型分流处理隐藏状态:生成请求的解码 token 进入采样器(Sampler)生成下一个 token;嵌入分块则送入增量池化器(Incremental Pooler)就地累加中间池化状态,若某序列最后一个分块完成则输出最终嵌入向量。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["混合请求到达<br/>嵌入队列 Qe 与生成队列 Qg"] --> B["批内调度 IBS<br/>按队列剩余 token 负载分配批次算力"]
B --> C["批单元构造<br/>连续内存排布: 嵌入分块 + 预填分块 + 解码 token"]
C --> D["统一 Transformer 前向计算<br/>共享权重与 Attention/FFN 内核执行"]
D --> E{"请求类型分流"}
E -->|生成解码| F["采样器 Sampler<br/>生成下一 token 并追加 KV Cache"]
E -->|嵌入分块| G["增量池化器 Incremental Pooler<br/>流式累加隐藏状态 / 输出向量"]
关键设计¶
1. 分块嵌入与增量池化:打碎重型嵌入计算以匹配轻量解码节奏 传统的嵌入请求必须在单次前向中完整吞吐整条文本序列,这种原子化执行模式导致其无法与每次仅需单 token 计算的解码请求有效拼批:一旦剩余批次 token 预算小于整条嵌入长度,该请求就无法被接纳,从而在批次内留下大量未利用的填充空隙。ORTHRUS 借鉴增量计算思想,将长度为 \(n\) 的长输入序列切分为 \(K\) 个大小至多为 \(C\) 的分块(Chunks)\(c_1, c_2, \dots, c_K\)(其中 \(\sum_{k=1}^K c_k = n\))。在每个调度迭代 \(k\) 中,前向传播仅计算分块隐状态 \(H^{(k)} \in \mathbb{R}^{c_k \times d}\)。针对最广泛使用的均值池化(Mean Pooling)与加权均值池化,增量池化器在流式计算中维护加权隐状态累加和 \(S^{(k)}\) 与权重累加和 \(W^{(k)}\):
在最后一个分块 \(K\) 处理完毕时,系统直接计算 \(S^{(K)} / W^{(K)}\) 并输出最终向量。对于 CLS 池化或尾 token(Last-Token)池化,系统仅需保留第 1 个分块的首向量或最后分块的尾向量,内存开销为极低的 \(O(d)\)。分块计算使得嵌入能够在算术上严格等价于单次全序列计算(差异仅来自于浮点数累加的非结合律微小扰动),同时赋予调度器以极高粒度填充批次残余算力的自由度。
2. 批内调度算法(Intra-Batch Scheduling, IBS):感知实际 token 工作量的动态比例分配 同构批处理或简单的先来先服务(FCFS)在混合场景下极易引发队头阻塞(Head-of-Line Blocking)——短小轻量的嵌入请求经常被深陷长文本生成的请求严重卡顿;而硬编码的静态调度比例(如 1:2)在输出 token 数动态变化的实际负载下极易失效。IBS 确立了三项原则:按工作量比例分配容量、同类型内严格先进先出(Per-type FCFS)、消除跨类型饥饿。IBS 首先优先保留已分配 KV Cache 的在飞解码请求的算力配额,避免频繁换入换出显存。对于剩余的 token 预算 \(B\),调度器计算两队列各自未完成的实际剩余 token 总量:
调度器为两队列维护跨迭代持久化的调度信用积分 \(a_e\) 与 \(a_g\)。在每一步选择中,积分分别按权重增加 \(a_e \leftarrow a_e + w_e\) 和 \(a_g \leftarrow a_g + w_g\),调度器优先从积分更高的队列中取出一个请求(或其下一个 token 分块),被选中的队列扣减积分 \(w_e + w_g\)。该信用积分机制确保了嵌入与生成在批次中的调度配额精确收敛于其实际剩余工作量之比 \(w_e : w_g\),在队列排空时重置积分,既保证了细粒度比例分配,又杜绝了调度引起的饥饿现象。
3. 连续内存排布与同向内核优化:消除异构张量重排开销 在同一个执行批次中混入三种不同计算粒度的单元(嵌入分块、生成预填分块、生成解码 token)时,如果朴素地在张量中随机交错排列,前向传播后将隐藏状态分发给各个下游处理模块(采样器、池化器、KV Cache 管理器)就需要昂贵的张量 gather、scatter 或显存拷贝操作。ORTHRUS 的调度器在输出最终批次时,强制对请求按类型进行局部排序(排序顺序:生成预填 \(\to\) 嵌入分块 \(\to\) 生成解码),确保相同类型的隐状态在显存缓冲区中形成物理连续的内存切片(Contiguous Slice)。下游的增量池化核、解码采样核和 KV Cache 写入逻辑均可直接基于对应切片指针零拷贝原地调用 CUDA 内核,完全消除了中间缓冲与内存搬移的开销。
实验关键数据¶
主实验¶
论文基于 4 张 NVIDIA A100-40GB GPU,采用开源基座模型(Mistral-7B、Qwen2-7B、LLaMA-3.1-8B,搭配 e5-mistral-7b-instruct LoRA 嵌入适配器)及真实多跳问答检索基准 Iter-RetGen(2WikiMultihopQA 数据集,平均 prompt 500 tokens,解码长达 3000 tokens)进行了全方位对比评测。
主对比配置包括:Dedicated(任务专用静态 GPU 切分)、Disagg-PD(预填/解码解耦集群架构)、Unified-Homo(单 GPU 同构批处理轮转)、Unified-Hetero(异构批处理配合 FCFS)、ORTHRUS(异构批处理配合 IBS 调度)。
| 评测场景 / 模型配置 | 核心指标 | ORTHRUS (本文) | 强基线 (Dedicated / Unified-Homo) | 相对增益 / 优势 |
|---|---|---|---|---|
| 4×A100 真实 RAG (Iter-RetGen) | 端到端请求吞吐 (req/s) | 0.624 (Emb 0.288 / Gen 0.336) | Dedicated: 0.260 / Unified-Homo: 0.548 | 吞吐相比 Dedicated 提升 2.40× (+140%) |
| 4×A100 真实 RAG (Iter-RetGen) | 端到端 p99 延迟 (s) | 593.4 | Dedicated: 1342.0 / Unified-Homo: 700.6 | p99 延迟降低 55.8%(对比 Dedicated) |
| 1×A100 真实 RAG (Iter-RetGen) | 端到端 p99 延迟 (s) | 573.9 | Unified-Homo: 673.4 (Disagg 无法单卡) | 单卡 p99 延迟降低 14.8% |
| 合成动荡负载 (三阶段比例切换) | 平均 GPU 算力利用率 | 79.0% | Dedicated1:3: 38.0% | GPU 利用率绝对值提升 +41 pp,完成提速 43% |
| 控制负载 5:5 (Mistral-7B) | 吞吐 (Emb / Gen req/s) | 25.32 / 26.24 | Dedicated: 12.54 / 11.97 | 吞吐全面翻倍 (2.02× / 2.19×) |
| 控制负载 9:1 (Mistral-7B) | 吞吐 (Emb / Gen req/s) | 58.80 / 7.00 | Dedicated: 15.64 / 1.49 | 嵌入吞吐提升 3.76×,生成提升 4.70× |
消融实验¶
消融实验重点验证了:(1) 分块嵌入对批次填充率的影响;(2) 增量池化在不同池化头下的数值精确等价性;(3) 独立双模型下的异构协同效果。
| 实验配置 / 模块消融 | 评测指标 | 观测数值 / 表现 | 分析说明 |
|---|---|---|---|
| 调度批次填充:原子嵌入 (Atomic) | 批次平均填充率 / 嵌入吞吐 | 8.8% 填充率 / 25.5 req/s | 嵌入无法拆分,剩余预算不足以接纳完整序列,严重浪费算力 |
| 调度批次填充:分块嵌入 (Chunked C=64) | 批次平均填充率 / 嵌入吞吐 | 85.7% 填充率 / 26.9 req/s | 填充率大幅提升近 10×,生成吞吐保持 93.3 req/s 丝毫不受损 |
| 增量池化等价性:均值池化 (Mean) | 最小余弦相似度 / 相对 L2 误差 | CosSim \(\ge\) 0.999948 / L2 \(\le\) 0.0095 | 与单次全序列前向完全数学等价,仅有浮点累加结合律微量扰动 |
| 增量池化等价性:CLS / 尾 Token 池化 | 最小余弦相似度 / 相对 L2 误差 | CosSim \(\ge\) 0.999983 / L2 \(\le\) 0.0055 | 状态保持无损,数值稳定性优于加权池化 |
| 调度机制消融:FCFS vs. IBS | 嵌入 p99 延迟 (1000 Gen+1000 Emb) | IBS: 73 s vs. FCFS: 87 s | IBS 彻底消除队头阻塞,嵌入尾部延迟改善 16%,生成 p99 改善 9% |
| 异质独立双模型 (OPT-1.3B + GTR-T5) | 单卡吞吐增益 / 延迟优化 | 嵌入吞吐 +22.9%,生成吞吐 +20.2% | 显存限制下即使无法共享权重,协同调度仍全面优于 2×独立 vLLM 实例 |
关键发现¶
- 双重计算特性的互补红利:纯嵌入仅能榨干 GPU 算力(85.3% Compute),显存带宽占用极低(36.5% Memory);纯生成解码则高度受制于显存带宽(90.5% Memory),算力出现空闲。异构批处理成功将二者融合,在不互相挤占硬件瓶颈的前提下,将整体 GPU 利用率从 38% 跃升至 79%。
- 分块粒度与预算解耦:分块大小在 \(C \in [128, 1024]\) 与 token 预算在 \(B \in [2048, 8192]\) 范围内变动时,系统总吞吐波动低于 1%,说明系统对超参数具有极强鲁棒性,无需精细微调即可部署。
- 长解码场景下的尾部延迟隔离:当生成任务的解码长度从 256 激增到 4096 tokens 时,生成 p99 延迟由 7.06s 飙升至 79.68s(增长超 11×),而嵌入请求的 p99 延迟在 IBS 的弹性信贷调节下牢牢稳定在 53.09ms 至 59.92ms 之间(波动 \(<7\text{ms}\)),展现出优秀的 SLA 隔离能力。
亮点与洞察¶
- 无缝嵌入既有架构的极简实现:ORTHRUS 仅修改了调度决策与前向传播后的后处理钩子,完全不修改 vLLM 底层的 PagedAttention 显存管理机制与模型核心权重定义,更无需对模型进行重训,工程侵入性极低。
- 流式累加打破 Transformer 序列执行边界:通过增量池化将长序列嵌入转换为分块流式迭代,为调度器打开了类似 CPU 分时操作系统的细粒度时间片调度窗口,使计算密集型任务可以作为“填缝剂”随时消化显存碎片算力。
- 自适应信用积分实现理论无饿死:IBS 基于未处理 token 权重的持久化信用积分机制,数学上保证了滞后队列在有限步骤内必定获得调度权,摆脱了启发式经验参数的脆弱性。
局限与展望¶
- 跨多卡分布式张量并行扩展性待验:作者承认当前测试采用单 GPU 单副本架构,仅扩展至 4 卡多实例。当面对 70B+ 大模型需要使用 Tensor Parallelism (TP) 或 Pipeline Parallelism (PP) 时,节点间集合通信与同步屏障可能对细粒度异构批处理引入新的干扰。
- 模型共享架构的依赖性:系统性能增益最大化依赖于 Embedding 与 Generation 共享基座(如基于相同 LLM backbone 的 LoRA 适配器架构)。尽管针对不同模型也验证了收益,但无法在单一前向 pass 中合并矩阵运算,增益略有收窄。
- 向量检索与模型推理的端到端解耦:当前系统专注于模型侧的 Serving 优化,未将向量数据库(ANN Search)的检索流水线内联协同,未来可探索检索核与前向核的更深层重叠执行。
相关工作与启发¶
- vs vLLM / Orca / Sarathi-Serve: 现有先进 Serving 系统专注在自回归生成场景下的迭代级调度与 Chunked Prefill,但在处理知识密集型多轮工作流时将嵌入拒之门外;ORTHRUS 首次将嵌入操作内化为统一推理循环的一等公民。
- vs DistServe / Mooncake (PD 分离架构): PD 分离通常通过网络跨机器传输 KV Cache 来解耦 Prefill 和 Decode,但在单卡或小规模集群上硬件代价过大;ORTHRUS 在单 GPU 内部利用嵌入分块与解码的互补特性消化资源,在单卡及 4 卡上取得了大幅超越 PD 分离的延迟与吞吐表现。
- vs SLoRA / Punica: 多租户 LoRA 系统专注在不同生成适配器之间的高效合并与切换,假定纯生成负载;ORTHRUS 证明了通过 LoRA 共存实现 Embed-Gen 跨范式共调度不仅可行,而且在系统级能产生巨大的算力互补效益。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次打破嵌入与生成的同构 Serving 屏障,提出分块增量池化与异构批处理新范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模型、真实 Iter-RetGen 任务、吞吐/延迟/显存利用率剖析及完备的参数敏感性实验。
- 写作质量: ⭐⭐⭐⭐⭐ 系统架构清晰明了,软硬件瓶颈机理分析透彻,图表呈现扎实严谨。
- 价值: ⭐⭐⭐⭐⭐ 对当前蓬勃发展的高性能 Agentic RAG 与多轮自省式检索系统提供了极具产业落地价值的 Serving 蓝图。