⚡ LLM 效率¶
🧠 NeurIPS2026 · 79 篇论文解读
📌 同领域跨会议浏览: 📷 CVPR2026 (8) · 🔬 ICLR2026 (169) · 💬 ACL2026 (23) · 🧪 ICML2026 (48) · 🤖 AAAI2026 (9) · 🧠 NeurIPS2025 (34)
🔥 高频主题: LLM ×15 · 扩散模型 ×9 · Agent ×3
- A Statistical Theory of Gated Attention through the Lens of Hierarchical Mixture of Experts
-
本文首次将多头自注意力与门控注意力形式化为三层分层混合专家模型(HMoE),通过统计学视角严格证明了门控机制将专家估计的样本复杂度从标准注意力的指数阶彻底降至多项式阶 \(\mathcal{O}(\epsilon^{-4})\),并揭示了门控置于值投影或 SDPA 输出处能消除退化偏微分方程耦合的内在数学机理。
- Accelerating Diffusion Language Models via Structured Suffix Modeling
-
针对扩散语言模型块级去噪时后缀注意力计算冗余与表征静态重置问题,本文提出免训练的结构化后缀建模(SSM),将后缀划分为局部、中部与尾部三区域差异化分配保留预算,并引入软后缀嵌入混合上步去噪信号,实现最高 72.81× 的端到端推理加速且维持或提升生成精度。
- Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models
-
ADAS 在不训练模型、不改变基础采样器停止规则的前提下,用候选位置对本轮已选位置的注意力及后者的不确定性动态折扣置信度,在低去噪调用次数条件下改善并行解码质量;两种模型的任务与方法平均收益分别为 9.11 和 10.46 个百分点。
- Block Sparse Flash Attention
-
BSFA 在 FlashAttention-2 内先精确计算所有因果可见的 QK 分数,再用离线校准的块最大值阈值跳过低分块的 V 读取、PV 和 softmax 状态更新,在 Llama-3.1-8B 的 LongBench 上以 39.78% 对比稠密基线 40.24% 的分数,获得最长 10 个样本上 1.13× 的端到端预填充加速。
- Communication-Efficient LLM Adaptation over Decentralized GPU Meshes
-
本文提出了一种去中心化 LLM 后预训练微调系统,通过将 GPU 网格解耦为快速掩码训练通路与异步慢速无掩码锚点通路,并结合频域谱校正优化器滤除激活掩码带来的各向同性噪声,在维持全精度模型微调与持续预训练效果的前提下实现了超 40 倍的训练吞吐量加速。
- CommunityKV: Efficient Long-Context Decoding via Graph Partitioning
-
本文将训练无关的稀疏注意力检索建模为注意力图上的社区发现问题,利用预填充阶段天然产出的注意力分数构建融合直接交互与共注意力的稀疏图并运行 Leiden 算法聚类,在解码时通过常数时间局部增量更新实现亚线性复杂度的语义连贯 KV 块动态检索。
- CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection
-
CompactAttention 针对大语言模型分块预填充(Chunked Prefill)中查询远短于上下文导致的稀疏内核低效与显式 KV 拷贝开销,提出将 2D 块稀疏掩码通过查询块并集与组内并集降阶为 GQA 友好的 KV 块表,并结合 KV-head-major 内存布局实现就地零拷贝分页注意力加速。
- Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse
-
针对同家族不同尺寸大语言模型级联推理时接收端需从头预填充的问题,本文提出基于逐头闭式岭回归的跨模型KV Cache迁移框架,通过剥离RoPE与跨层贪婪选择,在无需反向传播训练的情况下实现2.7–25倍的Prefill加速与73–98%的精度保留。
- D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting
-
针对基于块扩散的单前向并行投机起草模型在训练时采用固定位置衰减权重无法反映真实接受瓶颈的问题,本文通过对期望接受长度的可微代理求导推导出动态位置感知交叉熵损失 D-PACE,在仅引入 2.3% 训练开销且不改变推理架构的前提下显著提升发射长度与端到端解码加速比。
- DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
-
针对单源细粒度混合专家模型(MoE)稀疏复用时路由坍塌导致性能降至接近随机的病态问题,DivMoE 提出了跨领域专家初始化与硬性多样性约束路由机制,在双基座模型与 15 个评测基准上严格超越稠密基模型并刷新六大复用基线。
- Dooly: Configuration-Agnostic, Redundancy-Aware Profiling for LLM Inference Simulation
-
针对现有大模型推理模拟器硬编码算子且全量重复剖析的瓶颈,Dooly 利用单次 dummy 提示推理结合污点传播标记张量来源,并复用推理引擎上下文隔离有状态算子,实现无配置绑定与跨架构算子去重的极速剖析,在保证模拟误差 <8% 的同时削减 56.4% 的剖析 GPU 时。
- Dual Dimensionality for Local and Global Attention
-
针对自回归语言模型中所有历史 token 均采用同等 KV 表征维度的冗余问题,提出距离自适应表征(DAR)架构,在局部上下文窗口内保留全维度表征,而在窗口外采用低维瓶颈表征,在 70M 至 410M 预训练及 1B 微调尺度上均以大幅更低的远端维度比肩乃至超越全维度基线。
- Dynamic Delayed Tree Expansion for Improved Multi-Path Speculative Decoding
-
针对多路径投机解码中已有最优传输(OT)验证算法在根节点过早分叉导致算力浪费的缺陷,本文提出延迟树扩展与轻量级神经动态决策器,首次实现 OT 验证算法超越 Traversal Verification,平均端到端吞吐提升约 5%。
- Dynamic Expert Sharing: Decoupling Memory from Parallelism in Mixture-of-Experts Diffusion LLMs
-
针对 MoE 扩散语言模型在多 token 并行解码时因独立路由引发的“专家爆炸”与内存墙瓶颈,提出动态专家共享(DES),通过序列级协同投票与核心集约束,将独立专家激活数减少 55% 以上且推理延迟降低至多 38%,同时保持 99% 的原始精度。
- Efficient Serving for Dynamic Agent Workflows with Prediction-based KV-Cache Management
-
针对动态多智能体工作流中请求序列不确定导致传统 LRU 与静态图缓存策略失效的问题,本文提出了预测式 KV-Cache 管理系统 PBKV,通过融合全局调用拓扑、工作流执行历史与 Prefill 语义向量联合预测多步智能体调用概率,并配合分层驱逐与保守预取策略,在动态工作流上实现了最高 1.85× 的端到端加速与 2.55× 的缓存命中率提升。
- Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation
-
针对领域微调导致目标模型输出分布漂移并大幅削弱投机微调接受率的难题,本文提出参数与数据高效的草稿模型自适应框架 EDA,通过解耦共享/专用门控专家、目标模型领域自生成监督与基于表征漂移的免训练样本筛选,以极低训练开销恢复并提升投机解码加速比。
- Elastic Spectral State Space Models for Train-Once Budgeted Inference
-
针对传统序列模型无法低成本跨算力预算部署的难题,提出基于汉克尔谱滤波算子分解的 ES-SSM,结合自适应通道门控与对数预算丢弃(Budget Dropout)实现单次训练即可通过前缀截断直接导出任意紧凑模型。
- Emo: Pretraining Mixture of Experts for Emergent Modularity
-
Emo 提出一种无须预定义人工领域标签的自监督 MoE 预训练目标,利用文档边界约束各 token 共享专家池,使得模型在全量容量相当的同时自发涌现高阶语义模块化,仅激活 12.5%–25% 专家即可无损部署于特定领域。
- Fast and Stable Triangular Inversion for Delta-Rule Linear Transformers
-
针对带Delta-Rule的线性Transformer在分块并行更新中三角矩阵求逆成为关键性能瓶颈且对低精度浮点误差极度敏感的问题,本文系统分析了直接与迭代求逆算法的稳定性与硬件复杂度,提出融合微块Cayley-Hamilton幂运算与展开式Bunch-Hopcroft递归的混合递归算法(MXR),在华为昇腾NPU上取得最高4.3倍算子加速和2.5倍GDN整层加速,并完全保持了大模型的端到端生成精度。
- Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction
-
针对长上下文大模型推理中 KV cache 显存暴涨与现有逐出算法在压缩开销与性能保真度间的两难权衡,本文提出 Fast KVzip,通过冻结模型权重并训练轻量级 Sink-Attention 门控模块直接预测 KV 特征重要性,以极低计算与显存开销在 Prefill 与 Decoding 阶段实现驱逐高达 70% 的 KV cache 且保持近乎无损性能。
- Fingerprinting Inference Systems of Large Language Models
-
通过精心构造针对预填充、分块预填充、KV 缓存复用和自回归解码等计算阶段的黑盒提示词,利用底层浮点非结合性导致的微小数值偏差,在无 logits 访问权限下精确识别大模型背后的推理引擎、注意力后端与 GPU 硬件平台。
- FLARE: Diffusion for Hybrid Language Model
-
FLARE 提出了首个面向混合注意力(Softmax 与 Gated DeltaNet 线性注意力)大模型的扩散转换框架,通过因果/双向 token 平衡双流目标、寄存器级硬件状态调度核函数以及统一推理架构,仅用 10B token 微调就在 2B/4B/9B 尺度上保留了 Qwen3.5 原生能力,单卡并发吞吐较开源 dLLM 基线最高提升 4.8 倍。
- Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
-
Flash-dLLM 提出面向扩散语言模型(dLLM)的 IO 感知无训练推理加速框架,通过 SRAM 融合算子消除 KV 缓存冗余访存,结合高权重注意力动态追踪与模型自验证的双视角因果掩码并行解码,在数学与代码任务上实现最高 148.2 倍的端到端吞吐提升。
- FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
-
FlashMask-3 揭示了列稀疏掩码的零通信跨节点裁剪位移特性,结合 Hopper 架构的三角色 Warp 专职化微流水线与拓扑感知的计算-通信双重重叠调度,实现了表现力丰富且高效的超长序列分布式掩码注意力。
- Fractional State Space Transition for Long Sequence Modeling
-
Frac 用共享几何时间尺度上的有限指数模式近似分数阶长记忆,再加入逐 token 控制和独立读写路由,在保持有界递归状态的同时将 1.3B 模型的 LongBench 平均分从 GDN 的 16.0 提高到 17.9,但并非所有任务或速度指标都领先。
- From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs
-
本文提出将自回归到扩散模型的迁移过程形式化为块级扩散(Block-Diffusion)框架下的平滑演进,通过上下文因果注意力、单次前向并行训练矩阵、辅助 AR 引导损失与渐进式块扩展策略,成功以极低成本将开源自回归大模型改造为支持 32K 长程推理的高效扩散模型 NBDiff-7B。
- Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
-
针对 Delta-rule 循环线性注意力中 Key 侧擦除与 Value 侧写入共用单一标量门控的结构约束,Gated DeltaNet-2 引入通道级擦除门 \(\bm{b}_t\) 与写入门 \(\mathbf{w}_t\) 彻底解耦二者,并推导了吸收通道衰减的非对称 WY 分块并行训练算法与门控感知反向传播,在多键值长文本检索和语言建模上全面超越 Mamba-2、KDA 与 Mamba-3。
- Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice
-
针对大语言模型自回归生成中 KV 缓存随时间累积呈现的时空二维动态几何特征,提出最小体积优先(SVF)与极轻量 1-bit SVF 在线调度算法,建立收敛于 3 的最坏情况近似比理论界,并在 vLLM 真实系统中显著降低平均和长尾延迟。
- HACO: Hedged Agent Computing for Reliable LLM Systems
-
针对长程多智能体系统在现实动态运行环境中因网络波动与服务故障导致的绑定失效问题,HACO 提出将角色调用建模为兼顾认知能力、物理可靠性与延迟代价的对冲子集选择,以自适应冗余和在线经验沉淀实现高可靠低开销执行。
- HAPS: Hierarchical LLM Routing with Joint Architecture and Parameter Search
-
针对传统大模型路由将候选模型视为固定黑盒且仅做离散架构选择的局限,HAPS 提出了联合搜索架构与连续参数的分层路由框架,通过共享骨干的超网络按需生成实例级 LoRA 权重,并借助奖励增广强化学习联合优化,在显著降低调用成本的同时全面超越现有路由基线。
- HYVE: Hybrid Views for LLM Context Engineering over Machine Data
-
针对机器数据中深层嵌套与高频冗余导致的上下文膨胀和幻觉,HYVE 结合数据库管理理念,构建请求级轻量内存数据库与混合行/列视图,配合延迟查询与模板回填,在降低 50%–90% Token 消耗的同时显著提升大模型的结构化生成与范围推理能力。
- Interleaved Head Attention
-
针对标准多头注意力因头间隔离导致的线性表达瓶颈,本文提出交错头注意力(IHA),通过在注意算子前将各头线性组合生成伪头并交错排布,使单头诱导多达二次方的注意力模式,在多跳推理与长程检索任务中显著降低参数复杂度并提升准确率。
- Intrinsic Selection and Particle Resampling for Inference-Time Scaling Beyond Domain Verifiability
-
针对非验证与困难领域中外在验证器成本高昂或不可用的瓶颈,提出利用样本集内在尾部熵统计量进行候选排序(iS)、步级粒子重采样(iPF)与特权蒸馏引导(dPF),实现了完全无需奖励模型或真值验证器的自适应推理时扩展。
- It's All Training: A Fully Synthetic Single-Stage Recipe for LLMs
-
Synth 把有来源的百科种子扩写为多任务指令与推理数据,使最终 Baguettotron 学生模型从随机初始化经一个训练流程获得指令和事实能力;600M 型号在种子实体上的可核验事实精度为 79.3%,但这一结果不代表广泛知识覆盖,也不包含免费获得教师和数据生成的假设。
- LaCache: Robust Semantic Caching for LLM Serving
-
针对大语言模型服务中语义缓存易遭受对抗性查询碰撞攻击的致命缺陷,LaCache 提出将完整性校验从不可控的输入 Query 转移到输出 Response 端,通过前瞻性验证 \(k\) 个推测解码前缀 Token,在近乎零延迟开销下将攻击命中率降至接近零并保留 90% 以上良性缓存效用。
- LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models
-
针对基于强化学习的大语言模型在强化推理时盲目生成超长思维链(Overthinking)的痛点,LEAD 提出了基于潜在尺度不稳定性(PSI)的在线动态奖励权重调度与基于正确采样均值的样本级自适应对称效率奖励机制,在显著压缩推理 Token 的同时实现了 SOTA 准确率与准确率-效率综合得分。
- Learn from the Gap: Differential-Aware Advantage Pruning with Adaptive Rollout Sampling for GRPO
-
针对基于群体相对策略优化(GRPO)强化学习中多采样轨迹计算开销大及同质化梯度拖累学习效率的问题,本文提出 FastRL,通过优势驱动的最大差异剪枝(MDAP)消除冗余梯度计算并结合历史剪枝动态自适应调节采样规模(ARS),在实现 2.07×-2.22× 训练加速的同时显著提升了推理性能与策略熵稳定性。
- Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
-
本文提出可学习低秩多项式草图(LLoPS),通过理论证明最优多项式草图并采用 CP 低秩分解将其解耦为轻量投影与逐元素乘积,以 \(O(ndmtp)\) 的线性复杂度实现了严格优于现有方法的逼近误差与性能。
- Learning Evidence Highlighting for Frozen LLMs
-
提出 HiLight 框架,通过训练轻量级 Emphasis Actor 在无损原始上下文的前提下注入极简高亮标记,以弱监督任务级奖励解耦证据抽取与推理,显著提升冻结 LLM 在高噪声长上下文下的推理与推荐效果。
- Learning Subspace-Preserving Sparse Attention Graphs from Heterogeneous Multiview Data
-
针对利用多样化预训练模型提取异构多视图特征时子空间结构破坏与密集连接噪声问题,提出稀疏注意力图学习方法(SAGL),通过双线性不对称注意力分解、动态稀疏门控与基于 \(\alpha\)-entmax 的概率单纯形投影,构建严格保持块对角子空间结构的稀疏有向图并执行残差稀疏信息聚合,在无需高开销迭代求解器的情况下实现高精度的无监督知识迁移。
- Load Balancing Mixture of Experts with Similarity Preserving Routers
-
针对传统 MoE 负载均衡损失强制专家均匀分布导致专家知识冗余的问题,本文提出相似度保持路由器(SimBal),通过对路由器权重施加软正交性正则化,在防止专家坍缩的同时保持输入语义几何结构,实现训练收敛加速 36% 并显著降低专家冗余。
- MARS: Enabling Autoregressive Models Multi-Token Generation
-
MARS 提出一种无需改动架构与额外参数的轻量微调方法,通过在因果注意力与右移 Logits 下联合优化干净流与块掩码流,使标准自回归模型在保持单 Token 生成能力的同时获得可调节的多 Token 并行生成能力,实现高达 1.71× 的端到端推理加速。
- Mean-Field Parallel Decoding for Discrete Diffusion Language Models
-
针对离散扩散语言模型(dLLM)在并行解掩码时因边缘独立贪心更新造成的联合不一致与词元冲突问题,本文提出一种免训练的单次前向均场并行解码框架,利用预测分布间的 JSD 散度显式构建成对交互抑制场,通过变分不动点迭代自适应协同并行提交决策。
- Memory Inception: Latent-Space KV Cache Manipulation for Steering LLMs
-
本文提出免训练的隐空间 KV 缓存导引方法 Memory Inception (MI),通过离线校准自动筛选关键层与注意力单元并将提示文本编码为紧凑的隐式 KV 记忆槽,在保持推理控制力与长程持续性的同时避免全层文本缓存膨胀,实现 6 到 118 倍的导引状态显存压缩。
- MobileMoE: Scaling On-Device Mixture of Experts
-
针对端侧算力与 DRAM 严苛约束,提出首个亚十亿激活参数的端侧混合专家模型家族 MobileMoE,通过软硬件联合约束缩放定律确立“适度稀疏 + 细粒度专家 + 共享专家”最优架构,结合四阶段训练与 ExecuTorch 融合算子,在匹配 INT4 内存下实现比密集基线快 1.8-3.8 倍的端侧预填和 2.2-3.4 倍的解码加速。
- More Value per Key: Asymmetric Sparse Attention for Faster LLM Decoding
-
针对稀疏注意力下概率-值乘法开销锐减而查询-键乘法成为新瓶颈的计算不对称性,提出解耦键头与值头数量的 SAGA 架构与近似 Top-N 稀疏解码算法 Atop-N,在保持长文本精度的同时实现超 2 倍的端到端解码加速。
- MulCLIP: A Multi-level Alignment Framework for Enhancing Fine-grained Long-context CLIP
-
针对传统 CLIP 依赖简短标注且缺乏细粒度对齐、而现有长文本方法依赖昂贵外部区域提议(如 SAM / YOLO)的痛点,MulCLIP 提出了一种无需目标分割的端到端多层级对齐框架,通过全局图文对比、局部校准下的词-图像块重构以及子句聚合匹配,在降低计算与部署门槛的同时显著提升长短文本图文检索与细粒度属性感知精度。
- Multi-Token Residual Prediction
-
本文提出多词元残差预测(MRP),利用扩散语言模型相邻去噪步间输出分布高相似度的特性,以轻量级模块直接预测步间对数概率残差,在静态去噪下实现高达 1.4 倍的无损投机加速,在动态低阈值去噪下通过重掩码机制恢复多达 22.6 点的下游任务准确率。
- N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation
-
N-vium 将自回归 Transformer 重新形式化为混合退出(Mixture-of-Exits)架构,在多个深度悬挂轻量预测头并学习 token 自适应路由权重,通过两步采样直接从联合混合分布中严格无损采样,并利用“捎带并行解码”(Piggybacking)在后续 token 前向传播中批量补算跳过层的 KV 缓存,在 1.5B 规模下实现高达 57.9% 的端到端真实生成加速且无困惑度损失。
- Neural Garbage Collection: Learning to Forget while Learning to Reason
-
提出神经垃圾回收(NGC),将 KV 缓存驱逐建模为语言模型采样的离散动作,直接使用基于任务正确性的结果奖励通过策略梯度端到端联合优化推理生成与记忆遗忘,在 2-3 倍峰值缓存压缩下大幅超越启发式驱逐基线。
- Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
-
Orthros 提出了一种阶段感知异构注意力机制,将效率分配从层间混合转向推理阶段解耦:在全序列执行线性复杂度的滑动窗口注意力构建 KV 缓存,仅在负责预测新 token 的位置并行执行全量交叉注意力,在长上下文下实现高达 21.9 倍的 Prefill 加速且无损召回能力。
- Orthrus: Memory-Efficient Parallel Token Generation via Dual-View Diffusion
-
Orthrus 在冻结的自回归大模型中注入轻量扩散注意力头,首创完全共享单套 KV Cache 的双视角架构,通过扩散单步并行投影与自回归共识验证,以 \(O(1)\) 显存增量实现高达 7.8 倍的严格无损推理加速。
- PatchKV: Weight-Space Compensation of KV Cache
-
PatchKV 提出在单上下文多次查询场景下,利用上下文派生的参考序列构建闭式岭回归,将激进压缩导致的 KV Cache 信息损失转化为模型 MLP 输出投影的局部权重补丁,实现零额外推理开销的精度补偿。
- PithTrain: A Compact and Agent-Native MoE Training System
-
针对生产级 MoE 训练系统代码庞大、重度隐式解耦导致 AI Coding Agent 理解与拓展代价极高的问题,PithTrain 提出了“紧凑精简、Python 原生、无隐式间接层、内置智能体技能”四大 Agent-Native 原则,在维持工业级吞吐的同时将 Agent 任务轮数最高降低 62%、GPU 调试时间减少 64%。
- Positional LSH: Binary Block Matrix Approximation for Attention with Linear Biases
-
本文从局部敏感哈希(LSH)视角重新审视带位置偏差的注意力机制,证明了 ALiBi 线性位置偏差矩阵严格等价于基于随机分箱特征生成的二进制连续对角块掩码的数学期望,由此推导出近线性时间复杂度的均匀注意力近似算法,消除了长序列下 ALiBi 的二次方计算瓶颈。
- Prism Attention: Proposal-Refined Index Sharing Mechanism for Efficient LLMs Inference
-
Prism Attention 针对现有跨层索引共享在深层注意漂移导致的精度衰减痛点,提出“粗选提案-局部细化”范式,以 INT2 量化打分构建扩展候选池并在后续层做与长度解耦的轻量重排,在 128K 上下文实现 3.4 倍端到端解码加速且精度匹敌全注意力。
- Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
-
Proteus 针对固定容量循环记忆在序列早期过度拟合、后期严重干扰与覆盖的痛点,提出在上下文推进过程中逐步激活记忆参数与前馈权重的渐进激活范式,以零额外参数与计算开销显著增强长上下文检索与泛化性能。
- Qrita: High-performance Top-k and Top-p using Pivot-based Truncation and Selection
-
Qrita 针对超大词表下传统排序采样内存显存开销过大以及拒绝采样无法保留全量候选集的问题,提出结合高斯 \(\sigma\)-截断与四分法支点搜索的精确 Top-k/Top-p 采样算子,在显存占用减半的同时将端到端吞吐提升高达 1.4 倍并保证输出完全确定性。
- Reformulating KV Cache Eviction Problem for Long-Context LLM Inference
-
针对长文本大语言模型推理中的显存瓶颈与传统注意力启发式驱逐策略的局部性缺陷,本文将 KV Cache 驱逐重构为层级矩阵乘法近似优化问题,提出了显式建模注意力分布与投影后值状态乘积交互的 LaProx 准则,并通过跨层归一化实现了无需离线标定的全模型统一全局驱逐。
- RheoSampling: Resolving the One-Hot Dilemma in Stochastic Dynamic-Tree Speculative Decoding
-
RheoSampling 针对随机解码下动态树推测解码将投机分布退化为 one-hot 概率导致接受率骤降的难题,提出将树构建代理概率与验证真实采样概率解耦的双重身份机制,结合最优传输验证算法与稀疏截断,在严格保持数学无损性的前提下实现动态树结构与随机探索的双赢。
- Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts
-
论文揭示了稀疏混合专家(SMoE)中路由器与对应专家之间由反向传播链式法则内生诱导的「几何耦合」机制,指明传统辅助负载均衡损失会引入全局干扰梯度并导致路由器几何坍缩,并基于此设计了无需可学习参数的在线 K-Means 质心路由器。
- RubiConv - Efficient Boundary-Respecting Convolutions
-
针对大规模训练中变长文档拼接引发的跨边界表征污染与循环卷积环绕假象,本文提出 RubiConv 算法,基于块对角 DFT 与自适应旋转因子在单个并行 GEMM 流水线中实现严格保边界的长卷积,在长序列下达到与 Splash Attention 匹敌的吞吐并彻底消除了跨样本干扰。
- SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
-
针对后训练注意力稀疏化中离散 Top-K 截断阻断梯度并导致蒸馏排序失准的问题,本文提出 SAS,将轻量选择器的连续分数以归一化对数门控形式注入注意力 Softmax 中,直接由语言建模损失端到端优化上下文排序,在极低注意力预算下显著提升推理与长程任务表现。
- SEED: Self-Speculative Decoding via Implicit Encoder–Decoder
-
SEED 把原有解码器模型的末两层训练成草稿生成器,复用上轮完整模型验证留下的深层 KV 缓存,在任务专属微调与自适应树验证设置下,使 Qwen3-1.7B/4B 的平均解码速度达到 AR 基线的 2.6/2.7 倍,同时保持或提升任务质量。
- Short-Context dominance: How Much Local Context Natural Language Actually Needs?
-
本文提出并系统验证了自然语言的“短上下文主导假说”,发现75%–80%的序列仅需最后32–96个token即可准确预测下一个token,并据此设计出免标注长短上下文检测指标LSDS与纠偏解码算法TaBoo,在长程问答任务上显著超越传统核采样与CAD对比解码。
- SimSD: Simple Speculative Decoding in Diffusion Language Models
-
SimSD 提出一种即插即用且无需训练的扩散语言模型投机解码方案,通过构建配对数据-掩码布局、时间因果注意力掩码及 RoPE 位置对齐,使目标模型能在单次前向传播中并行验证草稿模型的多个候选 token,实现高达 7.46 倍的解码吞吐加速且保证生成质量。
- SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning
-
针对传统 LoRA 全局截断奇异值导致长尾有效谱方向丢失的缺陷,SMoA 将预训练权重重排为对齐的谱块,并在块内结合阿达马调制低秩分支,以仅 \(1/K\) 的参数预算实现了超越常规 LoRA 的有效秩容量与微调性能。
- Sparse Attention as Compact Kernel Regression
-
本文建立了稀疏注意力与紧支撑核回归之间的形式化理论映射,证明 normalized ReLU、sparsemax 及 \(\alpha\)-entmax 分别对应固定与自适应带宽下的 Epanechnikov 与整流多项式核,并提出消除分母退化且具备动态裕度稀疏特性的 \(r\)-ReLUmax 注意力机制。
- SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting
-
提出兼顾单次多位置前向与严格路径依赖的块迭代投机解码框架,结合层级隐状态传递、秩预测头动态构树、有效前缀曲率训练与服务期成本感知自适应,在削减一半起草开销的同时超越 EAGLE-3 的推理加速比。
- STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs
-
针对预训练大语言模型线性化中位置路由丢失全局长程依赖与可学习映射扭曲特征模长的问题,STILL 提出局部自显著性评分筛选显著 token 维持 Softmax 注意力、模长保持特征映射(NP-Map)消除表征强度失真,并借助块级延迟选择实现了常数级显存占用与长上下文无损保留。
- Tackling the Data-Parallel Load Balancing Bottleneck in LLM Serving: Practical Online Routing at Scale
-
针对大模型推理服务中张量/专家并行跨副本集体通信引入的步级同步屏障,本文提出 BalanceRoute 在线路由算法族,通过分段线性 F 分数刻画安全裕度与溢出惩罚的强不对称性,并结合短视界前瞻分类器,在毫秒级开销下大幅降低数据并行负载失衡并提升端到端吞吐。
- TALON: Confidence-Aware Speculative Decoding with Adaptive Token Trees
-
针对现有树状投机解码固定宽高结构难以适应上下文难度变化的缺陷,TALON 提出了一种免训练的全局预算驱动树扩展机制,通过根层 Top-K 鲁棒初始化与深层置信度门控,在低熵确定情境自适应生成“深且窄”分支、高熵不确定情境生成“浅且宽”分支,在多模型多任务上取得最高 5.16× 端到端加速。
- Test-Time Speculation
-
针对现有投机解码草稿模型在长文本生成中接受长度严重衰减至接近 1 的分布偏移问题,TTS 利用目标模型验证阶段免费产生的完整输出分布作为在线蒸馏信号,在测试时实时调整草稿模型,将平均接受长度提升 41%。
- To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals
-
针对投机采样中上下文复制草稿机制易因偶发性词频共现造成误触发的痛点,SwitchSD 通过在大模型注意力后中间隐层训练无偏线性探测器提取内生复制意图信号(AUC > 0.99),实现上下文复制与神经草稿模型(如 EAGLE3)的高精度自适应切换,在 LLaMA-3 与 Qwen-3 系列上取得最高 15% 的额外吞吐收益。
- TokenRouter: Efficient Serving System for Token-Level LLM Routing
-
TokenRouter 针对 Token 级大模型路由服务中严重的步间失步与批次准入延迟瓶颈,提出了“请求中心编程、模型中心执行”架构,结合解耦三循环异步执行、状态切换恢复机制与基于离散马尔可夫链建模的延迟批处理调度,在保持单模型系统兼容接口的同时实现了 2.01–64.15 倍的解码吞吐提升。
- TreeGraft: Adaptive Multi-Drafter Grafting for Tree-Based Speculative Decoding
-
TreeGraft 打破了树状投机采样单一草稿模型的范式,通过扩展嫁接位置选择、非破坏性嫁接及离线价值蒸馏驱动的在线调度器,让低开销与高能力草稿模型协同构建共享候选树,在 10 组模型对与 6 项基准上相较最优单草稿端点平均提升 15.1% 的加速比。
- UniVer: A Unified Perspective for Multi-step and Multi-draft Speculative Decoding
-
UniVer 将投机推理中的树状验证形式化为条件最优传输(Conditional OT)问题,利用前缀接受概率作为动态缩放因子统一了横向多候选与纵向多步验证,在保证严格无损分布的前提下显著提升了接收长度与吞吐量。
- ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding
-
ValuSpec 提出一种即插即用的验证前候选分支价值评估与剪枝机制,利用离线校准集上目标模型的确定性贪婪轨迹确立置信度转移阈值,在送入昂贵的目标验证器前快速剔除低质量候选分支,在严格保证输出与目标模型贪婪解码等价的前提下,显著减少无效验证开销并提升端到端吞吐。
- Verification-Aware Training for Speculative Decoding
-
VAT 在训练时实时模拟目标模型的序列验证,用轻量验证头学习 token 是否在首个拒绝前存活,并将逐位置损失衰减动态重锚定在首个拒绝位置,即插即用提升 EAGLE-3 与 DFlash 的接受长度与端到端吞吐。