📦 模型压缩¶
💬 EMNLP2026 · 72 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (205) · 🎞️ ECCV2026 (97) · 📷 CVPR2026 (111) · 🔬 ICLR2026 (242) · 💬 ACL2026 (59) · 🧪 ICML2026 (116)
🔥 高频主题: 压缩/编码 ×14 · LLM ×13 · 模型压缩 ×13 · 对齐/RLHF ×3 · 扩散模型 ×2
- A^3: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving
-
针对长文本推理中跨请求 KV Cache 重用因位置错位与注意力缺失导致的性能衰退,提出基于浅层 Query 注意力引导重计算的 \(A^3\) 融合算法,在保持 2 倍首字延迟加速的同时实现近乎无损的任务准确率。
- Accelerating Neural Architecture Search with Code Semantics
-
提出首个面向神经网络架构搜索的代码语义转移评估器 ECO-SCE,通过建模父代到候选架构的代码演化效用与风险感知路由,在进入昂贵评估前安全过滤低收益突变,零样本迁移下平均节省 70.88% 的 GPU 搜索开销。
- AdaCode: Adaptive Lossless Compression for BFloat16 KV Cache
-
针对长文本推理中 KV Cache 显存线性爆炸且量化不可避免引入精度损失的问题,本文发现 BFloat16 的阶码(exponent)具有极高的统计集中性,并提出 AdaCode 无损压缩框架——对高频阶码采用基于最小代价优化的短定长码编码、稀疏离群值显式保留,配合离线校准与异步 CPU 调整器,在完全不损失精度(Bit-Exact)的前提下实现平均 71.78% 的 KV Cache 显存压缩率。
- Adaptive Layer Allocation for Efficient Transformer Fine-Tuning
-
本文基于道德基础理论(MFT)探究大语言模型内部潜空间是否存在跨中英通用的道德路径,提取出具备因果干预能力的道德向量(Moral Vectors),并提出自适应道德融合(AMF)推理时动态干预机制,在几乎不损失通用推理能力的前提下大幅降低 HarmBench 越狱攻击成功率并抑制 XSTest 过度防御。
- HLoRA: Hierarchical Regularization on Combined Parameter Space for LoRA Fine-Tuning
-
针对传统持续学习正则化在 LoRA 低秩分解因式分解歧义性下失效的问题,HLoRA 提出在合并增量参数空间 \(\Delta W = BA\) 上累积路径积分重要性,并结合元素级与层级动态自适应正则化,在显著抑制灾难性遗忘的同时将重要性计算耗时降低 20 倍、显存开销降低 85%–90%。
- Small Models, Fewer Heads, More Forgetting: Sparse Attention Fine-Tuning for SLM Continual Learning
-
针对小语言模型(SLM)因注意力头数量稀少导致任务表征空间早熟挤占并加剧灾难性遗忘的结构性瓶颈,本文提出免增添参数的稀疏微调方法LightLoRA,融合LoRA增量SVD原始重要性与历史梯度方向正交冲突惩罚,仅更新高贡献且低冲突的关键注意力头,显著提升持续学习适应与记忆保持能力。
- Advantageous Parameter EXpansion Training Makes Better Large Language Models
-
针对大语言模型中高激活优势参数主导模型性能而大量参数未被充分利用的现象,本文提出了优势参数扩展训练(APEX),通过多阶段将优势参数空间扩展并融合至劣势参数空间,在不改变模型架构与参数总量的前提下显著提升模型能力并降低训练开销。
- ADWIN: Adaptive Windows for Horizon-Aware On-Policy Distillation
-
针对在策略蒸馏(OPD)受制于全轨迹生成高开销及后期状态师生漂移的问题,ADWIN 提出将展开长度重构为在线准入决策,通过短前缀同步更新结合异步长轨迹探针审计,在数学与代码推理任务上将端到端训练计算量降低达 4.1 倍,同时保持甚至超越全轨迹蒸馏精度。
- All for 1-Bit: Towards Genuine 1-Bit Post-Training Quantization for LLMs
-
AF1(All for 1-Bit)提出零空间感知二值分解(NABF)与分层 Shapley 预算分配(HiSA),首次在目标线性层实现严格 1.0 有效 BPW(bits per weight)且无额外元数据开销的真 1 比特大模型训练后量化,在大幅缩小模型尺寸的同时取得超越以往二值 PTQ 基线的精度与 2.5 倍解码加速。
- AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention
-
针对多模态大语言模型(MLLM)在下游任务微调过程中易覆盖预训练核心表征导致灾难性遗忘的难题,AWARe 通过在校准集上分析自注意力投影与多模态投影层的激活强度来评估输出通道显著性,并全局冻结前 30% 最关键神经元权重,仅更新约 17.5% 参数即实现了高适应性与通用知识保留的双赢。
- Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
-
本文提出面向大模型不确定性量化的数据自适应下秩自适应方法 DALorRA,将贝叶斯变分推断从密集权重空间转移至轻量级 LoRA 秩维度,在几乎零显存开销与比标准 LoRA 更快训练速度下显著抑制模型过自信。
- Beyond: Better-than-Full-Precision KV Caches via Learnable Non-Uniform Quantization as Implicit Regularization
-
Beyond 颠覆了传统以局部重建误差为目标的 KV 压缩范式,在冻结主干权重下直接面向语言模型下一词负对数似然(NLL)端到端联合学习量化表征电平与判决阈值,借助半波整流 STE 伪梯度使 4-bit 离散化扰动充当抑制错误路径的隐式正则化,在节省 3.2× 显存的同时超越全精度基线。
- Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity
-
针对传统无数据层级混合精度量化(LMPQ)仅依赖单维度数值异常值统计而忽视层内功能模块异构性与结构表达能力的问题,本文基于机械可解释性将层内权重解构为检测器(Detectors)与写入器(Writers),提出数值脆弱性(NV)与角色感知结构表达力(SE)的双重敏感度评估框架 NSDS,通过 MAD-Sigmoid 鲁棒归一化与 Soft-OR 聚合实现完全免校准数据的精细比特分配。
- Beyond Task Boundaries: Instruction-Level Parameter Isolation for Supervised Fine-Tuning
-
针对异质指令微调中传统任务级/阶段级参数隔离因粗粒度标签无法对齐真实参数需求而导致的梯度冲突与负迁移,本文提出指令级参数隔离框架(IPI),通过多视图能力表征与轻量低秩路由器预测指令级稀疏更新掩码,并借助恒等变换重参数化在保持密集前向计算的同时向基座反向传递稀疏梯度和向路由器传递任务损失显著性信号,在多种主流大模型上显著抑制破坏性梯度交互并全面超越现有隔离基线。
- Beyond Tokens: Semantic-Aware Speculative Decoding for Efficient Inference by Probing Internal States
-
针对传统投机采样因逐 token 严格词元匹配而频繁误拒语义等价草稿的瓶颈,本文提出 SemanticSpec 框架,通过探测大模型内部隐藏状态预测语义概率,实现了序列级的语义等价投机解码,在保持模型高精度的同时在 DeepSeek-R1-32B 与 QwQ-32B 上分别实现 2.7 倍与 2.1 倍的推理加速。
- Beyond Top-k : Mass-Aware Support Sampling for On-Policy Distillation
-
针对大语言模型 on-policy 知识蒸馏中截断 top-k 逆向 KL 带来的尾部 token 忽略与支持集概率质量失配两大理论缺陷,本文提出随机支持集采样(SSS)配合教师概率质量重加权(TMR),在维持相同常数 token 显存与反传开销的前提下,在 Qwen3 困难数学上提升 +1.4 分、Llama-3.1 代码上提升 +2.8 分。
- Calibrated Tree-Structured Speculative Decoding: Mitigating Overconfidence via Path-Level Calibration
-
针对树状投机解码中草稿模型严重过度自信导致深层错挤有效路径、浅层误扩废弃子树的问题,本文提出双层置信度校准框架 CATS-SD,在词元级排序对齐基础上引入训练期动态建树与负样本路径级校准,结合 APC 评估指标,显著提升接受长度与端到端推理加速比。
- Calibrated Tree-Structured Speculative Decoding: Mitigating Overconfidence via Path-Level Calibration
-
针对树状投机解码中草稿模型严重过度自信导致无效分支展开与错误剪枝的瓶颈,提出 CATS-SD 训练框架,通过深度加权的路径级树状校准损失与双向差分损失联合优化,并在评估端提出 APC 皮尔逊相关指标,实现了最高 11.3% 的接受长度提升与 2.71× 端到端加速。
- CentralKV: Compressing Long-Context LLMs via Attention-Graph Centrality
-
本文提出免训练的 CentralKV,通过将注意力矩阵构建为动态因果稀疏图并设计常数级更新的 Stream-Influence 最大影响路径中心性算法,在极低算力开销下精准识别并保留低频高连接的结构桥接 Token,显著提升受限显存下的长上下文多步推理能力。
- Clustering-Based Balanced Sampling and Allocation with Data Parallelism for High-Performance Fine-Tuning
-
针对长尾异构指令微调在大批次数据并行训练下频繁出现样本冗余与梯度方差大的问题,本文提出基于梯度代理聚类与双层覆盖平衡采样的 CluSTER 框架,在保持原数据分布的同时最高减少 69.6% 训练时间且几乎无精度损失。
- Cognitive Chunking for Soft Prompts: Accelerating Compressor Learning via Curvature Alignment
-
受人类工作记忆认知分块与软提示压缩空间专业化现象启发,本文提出并行迭代压缩(PIC),通过在单次前向中施加块状因果掩码显式约束记忆槽位与局部文本块的单射映射,在消除串行压缩延迟的同时显著降低全局注意力优化难度,以仅 33% 的预训练时间刷新了多项 RAG 与 ICL 任务表现。
- Cognitive Chunking for Soft Prompts: Accelerating Compressor Learning via Block-wise Causal Masking
-
针对软提示压缩器因全局注意力难以收敛与训练不稳定的痛点,受人类工作记忆认知分块启发提出并行迭代压缩(PIC),通过块状因果注意力掩码显式施加局部序列归纳偏置,在保持单次前向无额外延迟的同时提速收敛并大幅提升下游问答与推理能力。
- Complexity-Aware Routing: Detecting and Allocating Dynamic Compute for Efficient Mixture-of-Experts Large Language Models
-
针对传统 MoE 固定 Top-k 路由造成的计算浪费与欠拟合难题,CAR 提出将离线双信号(香农惊异度与预测熵)感知与动态离散专家分配解耦,在冻结主干下使 Qwen3-30B-A3B 在激活参数降低约 10% 的同时实现 GSM8K 提升 1.57 点。
- Compressing Sequences in the Latent Embedding Space: K-Token Merging for Large Language Models
-
针对传统硬性裁剪破坏密集信息和词表扩展引发长尾爆炸的问题,本文提出K-Token Merging,在输入端利用均值残差初始化的轻量MLP编码器将每K个连续Token嵌入合并为一个连续向量,配合LoRA适配,以极低性能代价实现高达75%的Prompt长度压缩。
- OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training
-
针对多领域/跨语言持续预训练中数据混合比例预设刚性且搜索成本极其高昂的核心痛点,本文提出 OptiMer 框架,将数据混合选择从训练前决策重构为训练后连续分布向量的事后融合优化,借助 TPE 贝叶斯优化仅需数分钟即可确定最优权重,不仅以 15–35 倍更低的搜索成本全面超越混合预训练与传统模型平均基线,更实现单向量池面向不同目标的高效即时定制。
- CoQuant: Joint Weight-Activation Subspace Projection for Mixed-Precision LLMs
-
针对现有基于子空间的混合精度 LLM 量化仅依赖激活统计量而忽略权重扰动的缺陷,CoQuant 建立了线性层输出误差的一阶联合量化模型,推导出结合激活与权重协方差的加权 PCA 闭式解,在 Llama-3.2 和 Qwen2.5 全系列上显著降低量化扰动并刷新困惑度与零样本推理精度。
- Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following
-
针对多约束指令遵循中教师模型联合分布导致的“约束稀释”问题,本文提出反事实约束条件在线蒸馏(CC-OPD),通过对同一学生生成轨迹进行留一法反事实教师评分,提取逐约束、逐 token 的对数似然差异作为密集塑形奖励,无需外部验证器即可显著超越强基线,使 1.5B 学生在多维基准上反超 7B 教师。
- CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing
-
针对长上下文大语言模型自注意力预填充阶段计算开销巨大的瓶颈,CRISP 指出传统动态路由在 JSD 计算上的多余矩阵开销,并形式化证明了固定累积覆盖阈值在后 Softmax 质量悬崖下面临的 \(O(n)\) 噪声累积与汇聚折叠失效,提出基于物理锚点的常数级路由指标 \(C_{\text{struct}}\) 与动态剥离汇聚质量的本底噪声阈值,在 512k 极长序列下取得高达 5.30 倍注意力加速且全面超越此前稀疏预填充基线。
- Cross-Decoder Retargeting of Soft Compressor for Long-Context Compression
-
针对软文本压缩器训练后深度绑定特定解码器、无法跨模型复用连续压缩向量的问题,本文系统研究了解码器接口可移植性,揭示出软压缩向量本质上是解码器条件化的连续输入而非通用语义编码,并通过可训练重定向映射与生成器端到端微调恢复了大部分原生重构性能。
- DART: Low-Latency Parallel Drafting with Continuity-Aware Tree Pruning for Speculative Decoding
-
DART 针对自回归投机采样草稿阶段延迟高的瓶颈,提出基于目标模型多层隐状态和单层解码器的并行错位 Logit 预测架构,并结合基于 N-gram 的连续性感知树剪枝算法,在单次前向内以极低延迟构建高质量候选树,实现 2.03×–3.44× 的端到端无损推理加速。
- Do Benchmarks Measure the Same Thing? Evaluation-Free Calibration for Compressed Models
-
本文提出基于稀疏自编码器(SAE)特征覆盖的无评测诊断与校准框架,以内部单义特征重叠作为行为等价性的免评测代理,在无需运行昂贵模型评测的前提下量化单基准样本冗余度与跨基准能力重叠,实现近乎零方差的高代表性子集压缩与评测套件精简。
- Draft-OPD: On-Policy Distillation for Speculative Draft Models
-
针对传统草稿模型在离线目标轨迹上监督微调(SFT)快速达到性能瓶颈的问题,本文提出 Draft-OPD,通过目标辅助推演生成高质量序列并记录验证暴露的错误位置,回放草稿前缀并结合接受敏感的双向 KL 蒸馏损失,实现草稿模型在自身推理分布下的在线蒸馏,在 Qwen3 系列模型上达成最高 5.60× 的端到端无损推理加速。
- E^3-Pruner: Towards Efficient, Economical, and Effective Layer Pruning for Large Language Models
-
针对大语言模型结构化剪枝中性能受损严重、掩码搜索代价高昂以及端到端加速受限的三重挑战,本文提出两阶段剪枝框架 E^3-Pruner,通过可微 Gumbel-TopK 采样器联合渐进调度实现精确经济的层掩码搜索,并结合基于 Token 熵重加权且预存 Teacher Top-K Logits 的自适应知识蒸馏恢复模型能力,在 0.5B token 超低预算下显著刷新 SOTA 表现。
- EarlySelectKV: Anticipatory KV Selection via Cross-Layer Query Proxies
-
针对长文本动态稀疏 KV 选择因必须等待目标层 Query 而阻塞注意力关键路径的痛点,EarlySelectKV 提出一种免训练的前瞻性代理机制:利用前序隐状态提取代理 Query 提前计算选块索引,在保持 LongBench/RULER 任务精度近乎无损(差异 \(\le 0.018\) 分)的同时,使路由与计算高度重叠,在 CPU 卸载下取得最高 12.4% 的端到端吞吐提升和 11.1% 的 GPU 显存节省。
- ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding
-
ECHO 针对无草稿模型投机采样中草稿候选快速衰退与目标模型全层验证计算墙瓶颈,提出双循环分层协同编排框架,将推理划分为浅层敏捷树状探索内循环与深层权威验证外循环,并引入非对称 Bonus Logits 动态锚定与扩展草稿树,在无需额外部署参数的前提下实现了 2.4× 至 3.01× 的无损推理加速。
- Enabling KV Caching of Shared Prefix for Diffusion Language Models
-
针对自回归共享前缀 KV 缓存技术直接迁移到扩散语言模型会导致精度骤降至近乎归零的难题,本文提出首个面向扩散语言模型的双向共享前缀缓存方案 BICACHE,利用浅层跨请求高相似性与深度受前缀比例调控的规律,结合浅层跨请求复用与深层周期性刷新,在吞吐量提升 36.3%–98.3% 的同时将精度损失控制在 0%–1.8% 以内。
- Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors
-
提出 LingComp 框架,通过离线 LLM 引导的进化搜索发现多层级语言学确定性规则组合,实现无需神经网络前向传播、仅凭 CPU 端 spaCy 解析即可达到媲美神经压缩模型的硬提示词压缩。
- Frequency Matters: Fast Model-Agnostic Data Curation for Pruning and Quantization
-
针对后训练模型剪枝与量化依赖昂贵前向传播筛选校准集的痛点,本文提出基于齐普夫定律的无模型贪心词汇多样性采样策略 ZipCal,在保证下游任务精度持平或超越 SOTA 模型感知方法(如 COLA)的同时,实现 150×–400× 的筛选加速。
- Garbage Attention in Large Language Models:
Sink Heads and Sink-Aware Pruning -
针对大语言模型深层存在结构性冗余却缺乏可解释判别准则的问题,本文揭示深层注意力头将大量注意力权重倾倒至非语义首词(
<BOS>)作为“数值垃圾桶”的机制,提出基于<BOS>汇聚得分的免微调结构化剪枝方法,在 Gemma-3、Llama-3.1 与 Qwen3 上以极低精度损耗实现显著的参数削减与推理加速。 - Gradient Starvation in Low-Rank Language Model Pretraining
-
本文通过系统性的表征动力学分析证实,低秩预训练语言模型的性能与表征落后并非源于初始化,而是由于优化过程中梯度有效秩受限产生的"梯度饥饿"(Gradient Starvation)所维持,并首次揭示了困惑度优化与表征对齐的显著解耦。
- HEAL: Latent Head Alignment for Post-Training Quantization of Large Language Models
-
针对传统大模型 PTQ 块级重构因不同注意力头误差方向相反相互抵消而掩盖单头表征畸变的问题,本文提出基于变分证据下界的潜在注意力头对齐框架 HEAL,结合停止梯度机制与随机 token 窗口校准,显著降低了低比特权重-激活量化下的困惑度并提升了零样本下游精度。
- HLoRA: Hierarchical Regularization on Combined Parameter Space for LoRA Fine-Tuning
-
针对传统持续学习方法在 LoRA 分解矩阵上独立评估参数重要性存在不可靠的问题,本文提出 HLoRA,在组合权重更新空间中基于路径积分计算参数重要性,并实施元素级与层级分层自适应正则化,在显著缓解灾难性遗忘的同时带来近 20 倍的计算加速与 85% 以上的存储开销削减。
- InfoQuant: Shaping Activation Distributions for Low-Bit Weight-Activation Quantization in LLMs
-
InfoQuant 从信息论视角剖析低比特均匀量化误差与激活分布形状的内在联系,提出无需端到端重训的峰值抑制正交变换(PSOT)、自适应异常 token 筛选(ASOT)与可学习激活裁剪(LAC),在 W4A4KV4 极低比特下保留了浮点基线平均 97% 的精度。
- Is Knowledge Distillation Actually Greener? A Case Study in Machine Translation
-
本文将机器学习生命周期评价(MLCA)引入神经机器翻译知识蒸馏,系统解构了教师训练、蒸馏开销与下游推理在运行及硬件内含层面的全周期碳排放,揭示出知识蒸馏并非天然环保,其摊薄平衡点高度依赖部署批处理配置且可偏移数个数量级。
- Jasper-Flash: Elastic Token Compression and Progressive Distillation for Inference-Scalable Text Embedding Models
-
针对长文本嵌入检索中自注意力机制计算复杂度随序列长度二次增长的瓶颈,Jasper-Flash 提出了基于 MLP 与一维自适应平均池化的弹性标记压缩模块(ETC),并结合解耦的四阶段压缩自适应渐进式蒸馏策略(CAPD),在保持双语表征质量的同时将 1024 标记长文本的编码延迟由 24.24 ms 压缩至最低 4.48 ms。
- KV Admission: Learning What to Write for Efficient LLM KV Cache Compression
-
提出 Write-Gated KV (WG-KV) 准入机制,在写入 KV Cache 前通过轻量门控网络预测 token 长期效用,结合滑窗局部缓存与分页全局缓存,在极高稀疏度下实现长上下文无损推理并带来数倍墙钟加速。
- Last But Not Least: Boundary Attention CalibratiON for Multimodal KV Cache Compression
-
针对多模态KV缓存压缩中观测窗口平均注意力容易稀释稀疏关键视觉证据的缺陷,本文提出即插即用的边界注意力校准方法BACON,利用Prompt最后一个查询捕捉临界证据,并通过层内邻域一致性与层间因果持久性滤除孤立噪声,在极低预算下显著挽救关键Token并大幅提升推理精度。
- LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction
-
LKV 将大模型长文本推理中的 KV Cache 驱逐重构为端到端可微优化问题,通过轻量级全局头部预算学习(LKV-H)与免注意力矩阵计算的自生重要性评分(LKV-T),在仅保留 15% KV 缓存下达成接近无损的长文本性能并取得最高 3.19× 解码吞吐提升。
- LongFlow: Efficient KV Cache Compression for Reasoning Models
-
针对长思维链推理模型在长输出场景下的显存爆炸与带宽受限问题,LongFlow提出一种基于单当前Query的零历史依赖重要性评估指标,直接复用注意力中间结果,并结合融合注意力与驱逐的Triton自定义算子及静态显存布局,在保留几乎全部数学与推理精度的同时实现80%的KV Cache压缩与高达11.8倍的端到端吞吐提升。
- MAPLE: Masked Adapter Prototype Learning for OOD generalization
-
针对多 LoRA 专家动态混合(MoErging)在分布外(OOD)泛化时原型表征包含共享噪声子空间、导致域内域外路由熵无差异的瓶颈,MAPLE 提出在原型微调中显式掩蔽目标任务的专属 LoRA,迫使路由器剥离共享噪声表征并学习真正具判别力的跨专家特征,显著提升多任务与代码/推理基准上的零样本 OOD 性能。
- Mitigating Model Merging Conflicts via Knowledge-Aware Task Vector Purification
-
PAVE 提出通过少量下游样本前向激活的协方差矩阵引导上下文奇异值分解(CO-SVD),将微调权重投影到知识感知子空间中并截断冗余奇异方向以净化任务向量,结合跨模型贪心谱秩分配策略,在无需额外训练的前提下即插即用地缓解了多任务模型合并时的参数冲突。
- MoARa: Module-Aware Rank Allocation and Structure-Preserving Decomposition for Low-Rank LLM Pre-training
-
针对低秩梯度投影预训练中各模块敏感度异质性被忽略以及幅值与方向联合压缩导致局部尺度信息丢失的痛点,MoARa 提出了静态对齐敏感度驱动的模块感知秩分配策略与结构保持的块级幅值方向解耦机制,在保持总秩预算不变的前提下使 Llama 2 7B 预训练步数减少 37%、训练时间加速 34%。
- NestedKV: Nested Memory Routing for Long-Context KV Cache Compression
-
NestedKV 从嵌套学习(Nested Learning)的连续记忆视角切入,构建跨越稳定全局、情节局部与滑动窗口的三时间尺度键锚点,结合头级自适应先验与惊异门控路由,实现极低缓存保留率下长文本检索与推理性能的近无损保留。
- NOSA: Native and Offloadable Sparse Attention
-
针对传统训练无关 KV 缓存卸载所导致的训练-推理不一致,以及可训练稀疏注意力因访存无序导致 PCIe 通信瓶颈的难题,NOSA 提出了首个具备原生卸载约束的可训练稀疏注意力机制与专用推理系统 NOSI,将解码吞吐提升至最高 5.04 倍且无损长文本推理质量。
- OCGQuant: Outlier-Companion Grouping for NVFP4 Quantization
-
针对新一代GPU原生微缩放量化NVFP4中激活离群值主导块缩放因子的瓶颈,OCGQuant提出离群-伴随分组机制,自适应将离群通道与低模长伴随通道绑定为16元素量化块,并在算子内部融合重排与连续段快速加载,以零推理附加开销和近乎无损的精度逼近FP16基线。
- One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache
-
DynaKV 是首个基于后训练的自适应低秩 KV Cache 压缩框架,通过可微软掩码与 PCA 谱空间映射动态为不同语义重要性的 token 分配保留维度,在单 GPU 上实现极高压缩率并大幅超越均匀截断基线。
- OUTLETS: Output-Length Prediction from Speculative Decoding Backbones
-
OUTLETS 揭示了投机推理前瞻表征与序列终结预测之间的内在结构联系,将轻量级对数空间回归头挂载于共享的投机解码骨干网络上,在维持投机接受率的同时实现高精度输出长度预测,使分离式推理集群短请求 P99 延迟降低 34.8%。
- Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models
-
针对扩散语言模型在长上下文下每轮去噪需全量二次重算前缀的计算瓶颈,提出无须训练的 Prefill-Decode 解耦架构 Prefilling-dLLM,通过一次性分块预填充、自信息与伪标签双重预测评分筛选 Top-K 核心块及块内稀疏压缩,在 8K–32K 长度下斩获 9.1–28.0× 端到端加速并有效消除 lost-in-the-middle 现象。
- PrimeTTT: Priming Test-Time Training for LLMs via Meta-Learned Initialization
-
针对传统测试时训练在现代大模型上收益微弱且受限于冷启动与目标不匹配的问题,PrimeTTT 提出利用紧凑超网络结合 MAML 二阶元学习生成 prompt 特异性 LoRA 初始化,仅增加 2% 推理开销即可大幅提升长文本问答与推理能力。
- PRISM: Private Rank-Invariant Subspace Memory for Federated Continual Fine-Tuning under Local Differential Privacy
-
提出固定秩持续适配框架 PRISM,将 LoRA 总容量划分为历史记忆与活跃塑性子空间,结合边界残差投影、噪声基底收缩门控及秩调度,在严格记录级 LDP 下兼顾新域适配与旧域抗遗忘,并减少 42.5% 上行通信量。
- PRKV: Page Restructed KV Cache for High Accuracy and Efficiency LLM Generation
-
针对长上下文大语言模型在显存卸载场景下KV检索“页面粗粒度估计不准”与“数据搬运通信开销巨大”的核心矛盾,PRKV提出了算法与系统软硬件协同优化的页面重组框架,通过动静混合检索与在线自适应切分保证注意力召回率,结合HND连续内存索引与锁页内存批处理传输,实现了最高6.75倍的解码加速并维持无损精度。
- Routing-Free Mixture of Experts
-
彻底移除集中式路由器、Softmax 与 TopK 机制,让每个专家依托内部低秩投影自主决定激活,并结合双轴软插值与动态步长负载均衡,实现更优的语言建模困惑度、自发涌现的层间异构稀疏模式与低延迟专家并行扩展。
- Rubric-Aware Multi-Expert Online Policy Distillation for Chinese Elementary School Essay Writing
-
针对小学语文作文具有细则驱动、体裁路由敏感与语域适龄等特点,本文提出 RA-MOPD 四阶段框架,先用 GRPO 训练分体裁专家,再通过细则加权逆向 KL 散度与跨体裁专家迁移先验混合,将多个专家蒸馏至单个 4B 学生模型,在兼顾 97.8% 体裁路由准确率的同时实现了 4.21/5.00 的细则达标得分与逼真的儿童语域。
- RW-TTT: Batched Serving for Request-Owned Test-Time Training State
-
针对测试时训练(TTT)中模型权重在解码阶段随请求动态读写而破坏静态权重批处理假设的难题,RW-TTT 通过形式化读写 TTT 服务契约,显式追踪请求拥有者、状态版本与读写效应,实现了阶段兼容的安全批处理调度,在单 GPU 上达成 9.31 倍于串行路径的吞吐恢复并完美保持长文本性能。
- Scaling Laws for Mixed Quantization
-
提出了首个面向大语言模型后训练混合精度量化(PTQ)的统一缩放法则,将量化诱导的困惑度损失劣化建模为模型参数量、低精度参数比例与量化块大小的可分乘积函数,揭示了大模型对高低精度比例更具容忍度以及细粒度分块收益随规模递减的核心规律。
- SUGAR: Spectral and Geometry-Aware Alignment for Matryoshka Representation Distillation
-
SUGAR 首次形式化定义了俄罗斯套娃表示蒸馏(Matryoshka Representation Distillation)任务,通过在宏观层面引入有效秩匹配与格拉斯曼流形子空间几何对齐,并在微观层面结合点对点保真度与正交扩展带正则化,使轻量学生模型能够完美继承大模型的嵌套多尺度多维截断弹性。
- TableCache: Primary Foreign Key Guided KV Cache Precomputation for Low-Latency Text-to-SQL
-
针对Text-to-SQL场景中数据库Schema超长上下文导致的Prefill高延迟及表排列多变引发的前缀缓存失效难题,TableCache通过构建主外键拓扑引导的离线表级KV Cache、Table Trie在线检索匹配、位运算查询重排以及计算-传输解耦流水线,在精度近乎无损(准确率差距≤1%)的前提下实现了最高3.62倍的TTFT首字延迟加速。
- Towards a Comprehensive Scaling Law of Mixture-of-Experts: A Unified Frontier Perspective
-
本文针对混合专家模型(MoE)中多因子耦合与非单调性能响应难题,系统解耦了数据量、总参数量、激活参数量、激活专家数和共享专家比例五个关键因子,通过450组受控实验构建了高精度的联合 MoE 缩放法则,并在闭式解推导中揭示了激活专家数与共享比例的尺度无关性及激活比例随总参数扩张渐进变稀疏的核心规律。
- TRACER: An Information Entropy-Grounded Framework for Efficient Large-table Semantic Annotation
-
针对大规模关系型表格语义标注中全表编码开销巨大与粗暴过滤损伤判别性线索的核心矛盾,提出基于信息熵的无监督行级证据压缩框架 TRACER,通过条件熵最小化与混合压缩策略保留高判别力行并大幅降低推理时延。
- Train Overcomplete, Deploy Compact: Scaling Recovery Capacity for Structured LLM Pruning
-
针对结构化剪枝中恢复模块容量与被剪知识复杂度不匹配的容量-知识不对称性痛点,本文提出 OverRep 框架,在训练期临时构建超完备恢复模块吸收原始模型知识,再通过退火激活函数平滑过渡并代数折叠合并为紧凑架构,实现推理零额外开销的高质量恢复。
- W2T: LoRA Weights Already Know What They Can Do
-
提出 W2T(Weight-to-Token)框架,通过轻量 QR-SVD 分解消除 LoRA 低秩更新矩阵在 \(GL(r)\) 重参数化下的内在因子歧义,并用分层 Transformer 学习规范奇异分量的权重空间表征,在无需原始数据或基座模型前向推理的条件下高精度完成适配器属性分类、性能预测与跨任务检索。
- Who Speaks for the Pruned? Visual Token Pruning as Coverage Optimization
-
针对传统VLM剪枝仅关注“哪些Token最重要”而导致信息冗余与关键细节遗漏的问题,CoverPruner从需求侧将视觉Token剪枝重塑为表示覆盖最大化(RCM)子模优化问题,在LLM投影空间中结合首层轻量注意力探针贪心选取最具代表性的原始Token,以极低开销在极限压缩下实现大幅领先的跨基准性能。