⚡ LLM 效率¶
💬 EMNLP2026 · 5 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (79) · 📷 CVPR2026 (8) · 🔬 ICLR2026 (169) · 💬 ACL2026 (23) · 🧪 ICML2026 (48) · 🤖 AAAI2026 (9)
🔥 高频主题: LLM ×2 · 推理 ×2
- Compressing Sequences in the Latent Embedding Space: K-Token Merging for Large Language Models
-
本文提出一种针对大语言模型输入的隐空间软提示词压缩方法 K-Token Merging,通过均值初始化残差 MLP 将连续 \(K\) 个词嵌入融合成单个压缩向量并配合 LoRA 微调,在保持自回归解码词表不变的前提下实现高达 75% 的输入长度削减与 27.8% 的吞吐量提升,且精度损失极小。
- Efficient Iterative Retrieval with Heterogeneous Batching
-
针对现代迭代式 RAG 中 Embedding 计算密集与 Generation 内存密集的互补特性,提出面向单推理循环的异构批处理 serving 系统 ORTHRUS,通过分块嵌入、增量池化与按剩余工作量动态调度的批内调度机制,消除 GPU 静态切分与同构批处理的计算气泡,实现 1.28×–4.52× 的吞吐提升与至多 55.8% 的端到端 p99 延迟降低。
- SpecSteer: Synergizing Local Context and Global Reasoning for Efficient Personalized Generation
-
针对个性化生成中端侧模型推理能力不足与云端大模型隐私泄露的核心冲突,SpecSteer 提出非对称端云协同投机解码框架,由端侧私有小模型生成草稿、云端大模型通过无私有数据的似然比率完成非对称验证,并在拒绝时执行无损引导恢复,在显著提升生成质量的同时取得 2.36× 的端到端推理加速。
- Spexis: Speculative Lookahead Scheduling for LLM Inference
-
Spexis 提出了投机并行(Speculative Parallelism)这一全新的多 GPU 调度维度,将自投机草稿生成与流水线后续阶段的验证在时间上无缝重叠而不增加额外 KV Cache 显存,配合基于置信度的选择性投机与剩余长度预测的前瞻调度策略,有效打破了张量并行与流水线并行的扩展瓶颈,在单机与跨机配置下取得高达 34% 的推理服务加速。
- Survival-Guided Length Control for Efficient Reasoning
-
本文提出一种面向掩码扩散语言模型(DLM)的免训练、即插即用型生存引导长度预测方法,将生成长度重构为序列终止符的离散时间生存过程,仅凭单次前向传播的 EOS 概率即可闭式估计期望输出长度,在主流数学推理与代码生成基准上取得最高达 7 倍的端到端解码加速且保持精度无损。