跳转至

📦 模型压缩

🧠 NeurIPS2026 · 205 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (97) · 📷 CVPR2026 (111) · 🔬 ICLR2026 (242) · 💬 ACL2026 (59) · 🧪 ICML2026 (116) · 🤖 AAAI2026 (61)

🔥 高频主题: 模型压缩 ×47 · 压缩/编码 ×36 · LLM ×20 · 推理 ×10 · 扩散模型 ×10

A Composite Activation Function for Learning Stable Binary Representations

本文提出由 Sigmoid 与 Tanh 复合构成的重尾激活函数(HTAF),通过参数解耦实现在原点附近保持大梯度以精准逼近 Heaviside 阶跃函数、同时在尾部区域保持极慢指数衰减以消除梯度消失,无需替代梯度即可端到端稳定训练 SNN、BNN 与深度阶跃网络,并衍生出免概念标注且不损精度的隐式概念瓶颈模型(ICBM)。

A Free Lunch in LLM Compression: Revisiting Retraining after Pruning

针对大语言模型剪枝后全局微调开销过大而无自适应剪枝精度受损的困境,本文系统评估了以稠密模型中间激活为对齐目标的局部重构方法,揭示了只要重构窗口包含非线性子模块即存在性能不随窗口大小衰减的“免费午餐”现象,并证明自适应使得模型规模放大时复杂剪枝准则相比简单基线的优势急剧消失。

A Self-Evolving Framework for Efficient Terminal Agents via Observational Context Compression

TACO 提出了首个面向终端 CLI Agent 的自进化观测上下文压缩框架,通过任务内隐式反馈与跨任务全局规则池的自监督演进,在不依赖人工规则或模型微调的前提下,过滤冗余终端输出并精准保留任务关键证据,在 6 个基准上显著降低 12%–27% 的 Token 消耗并提升决策准确率。

AC/DC on a Budget - Alternating Sparse Phases

本文深入揭示了交替稀疏-稠密训练(AC/DC)中稠密阶段的核心收益源自被掩码参数接收到的大梯度所驱动的掩码重布线与权重符号翻转,进而提出了零初始化、缩短稠密窗口以及仅更新高梯度非活动权重的 ARC(交替重布线压缩)方法,在显著降低训练计算量(FLOPs)的同时匹配甚至超越了基线性能。

Active Learning for Conditional Generative Compressed Sensing

本文提出面向条件生成式压缩感知的提示词驱动克里斯托弗主动采样理论与框架,显式解耦真实信号、采样设计与重建先验三类提示词,证明了采样与重建提示词失配下的稳定恢复误差界与样本复杂度惩罚。

AdaPreLoRA: Adafactor-Preconditioned Low-Rank Adaptation

针对 LoRA 生成映射雅可比矩阵秩亏导致权重空间预条件子无法直接拉回因子空间的根本阻碍,AdaPreLoRA 将现有优化器统一为带约束仿射逆解框架,采用低开销 Adafactor 对角 Kronecker 预条件子并在其赋范度量下求解因子不平衡最小化投影,以 \(\mathcal{O}((m+n)r)\) 显存闭式实现了全权重预条件更新的最优低秩逼近。

Adaptive Mass-Segmented KV Compression for Long-Form Reasoning

AMS 不替换 token 重要性评分器,而是先用注意力质量分布自适应切段并分配保留配额,再在段内评分筛选,从而缓解长推理中连续区域被清空的问题;Math500 上 AMS-Expected 在 256-token 缓存预算下比 AdaKV-ExpE2 高 16.0 个百分点。

AdvJudge-Zero: Binary Decision Flips in LLM-as-a-Judge via Adversarial Control Tokens

AdvJudge-Zero 提出利用大模型判别器自身的条件分布进行零种子束搜索,高效发现能反转二值裁决的低困惑度对抗控制词元,并据此构建基于 9 分类机制分层的加固微调策略,在 GRPO 强化学习中彻底消除奖励作弊导致的策略崩溃。

Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation

揭示了大模型 KV Cache 低比特量化会在困惑度几乎不变的情况下使安全对齐产生剧烈的静默崩溃,提出了基于激活通道几何特性的通道级减少率(PCR)诊断框架与两轴故障分类,仅需 20 条校准提示词即可在 35 分钟内自适应指导免训练防御,恢复高达 97% 的安全对齐能力。

Amortized-Precision Quantization for Early-Exit Vision Transformers

针对低比特量化噪声扰动早期退出决策导致过早退出掉点或过晚退出低效的矛盾,本文提出摊销精度量化(APQ)范式与 MAQEE 双层优化框架,联合优化退出阈值与层级比特分配,在维持全精度性能的同时降低高达 95% 的 BOPs。

ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling

针对深层神经网络中后层常退化为恒等映射且未被充分利用的问题,提出自适应神经连接重分配(ANCRe),从理论上证明残差拓扑可导致指数级收敛差距,并通过极低开销的数据驱动入度归一化动态重构跨层残差连接,显著加速大模型预训练与深层表示利用。

AR1-ZO: Topology-Aware Rank-1 Zeroth-Order Queries for High-Rank LoRA Fine-Tuning

针对高秩 LoRA 在零阶优化(ZO)微调中因摄动维度爆炸与有限差分信噪比(FD-SNR)塌缩的悖论,AR1-ZO 提出交替秩-1匹配原子查询并引入拓扑感知缩放 \(\gamma = \alpha r\),在严格保持单步两次前向传播预算下实现了与秩无关的测量信噪比并彻底激活了高秩容量。

ASAP: Assembly-Source Aligned Pseudocode Refinement for Binary Decompilation

针对传统反编译器伪代码易丢失底层细节、且大模型易产生伪代码注意力偏差的难题,ASAP 提出汇编-源码对比语义对齐与 Q-Former 压缩表征,配合随机伪代码掩码和相对汇编优势损失,将平均重执行率从 64.7% 提升至 71.9%。

ASAP: Attention Sink Anchored Pruning

将注意力汇流(Attention Sink)重塑为马尔可夫链的概率吸引子,以汇流为几何原点在累积转移概率流形上计算扩散距离,实现单步自适应背景压缩与重要前景保留,完全无需训练即可加速达 48%。

AsyncOPD: How Stale Can On-Policy Distillation Be?

针对长思维链推理任务中在线策略蒸馏(OPD)受制于串行生成等待的系统瓶颈,本文揭示了有限教师分数缓存下逆向 KL 对陈旧策略极度脆弱的机制,提出基于当前策略无截断优势与多样本蒙特卡洛(Multi-Sample MC)的异步 OPD 估计器,在保持推理准确率无损的前提下实现 1.6× 至 3.8× 的训练吞吐加速。

Attention Sinks and Outliers in Attention Residuals

针对 AttnResidual 双重 Softmax 归一化诱发注意力汇聚(Attention Sink)、激活离群值与低比特量化崩塌的病态问题,本文提出 OASIS 框架,通过在 Token 级与深度级引入 Softmax1 显式空路由,并以 Token 级空后验证据自适应调减高空行为分支的深度路由分值,在零训练目标修改下大幅恢复量化精度。

Attention Transfer Is Not Universally Effective for Vision Transformers

本文系统重审了注意力迁移(Attention Transfer)在视觉 Transformer 中的有效性,揭示出注意力迁移并非普遍有效:在跨 11 个家族的 20 个教师模型评测中,有 4 个家族发生持续性迁移失效(表现低于随机初始化从头训练基线最多 5.1%),其根源在于教师与标准学生模型之间的“架构不匹配”,仅需在学生侧补齐教师特有的架构组件(如 LayerScale、PreLayerNorm)即可彻底逆转失效。

AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals

针对自蒸馏中单一特权视角易引入分布偏移与不可泛化伪元的问题,AVSD 通过几何共识目标锁定跨视角一致的更新方向,并结合对齐度与幅度自适应门控动态融合算术边缘残差信号,显著提升大语言模型在数学与代码推理任务上的在线自蒸馏表现。

Balancing Image Compression and Generation with Bootstrapped Tokenization

提出自启动图像标记器 SelfBootTok,将图像标记显式解耦为紧凑的全局语义标记与多粒度局部标记,通过自监督自启动机制与最优传输对齐从全局标记直接预测局部细节,使得下游生成模型仅需建模 64 个全局标记即可达到 1.56 gFID,同时节约约 40% 的训练算力。

Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models

针对现有深度压缩方法仅限于相邻层或贪心逐层剪枝、忽视跨层冗余的缺陷,本文提出基于图谱社区发现的层融合框架 FCM,全局聚类非相邻功能等价层并保留最高块影响度代表层,在 2× 压缩比下于 13 个主流大模型上普遍取得优于 ShortGPT 与相邻层剪枝方法的困惑度与下游推理表现。

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation

针对大语言模型微调中全参数微调与低秩自适应(LoRA)在不同任务上表现优劣不一的权衡困境,本文提出了 MoLF(Mixture of LoRA and Full Fine-Tuning)及其显存优化变体 MoLF-Efficient,在优化器层面利用动量统计量计算预期预条件下降(EPD)得分,动态对物理权重更新进行局部稀疏路由。

Beyond Masked Sparsity: SNACK Enables Truly Sparse Neural Networks on GPU

本文提出针对 GPU 的真稀疏网络层算子库 SNACK,通过基于 COO 格式重构的小批量-流式多处理器(SM)映射 SpMM 算子、支持任意非零拓扑的稀疏外积反向传播以及无需实例化稠密矩阵的均匀拓扑初始化器,实现了在训练与推理全流程中彻底不实例化稠密权重矩阵,在消费级 GPU 上显著削减内存并加速端到端计算。

Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging

针对传统参数算术合并因稠密扰动破坏输出分布、诱发灾难性生成重复与输出混乱的瓶颈,提出基于逆向KL散度度量重要性并自适应截断的稀疏互补融合方法(SCF-RKL),在完全免训练且无需验证集的前提下实现了跨模型能力的无冲突注入与稳定生成。

BLADE: Scalable Bi-Level Adaptive Data Selection for LLM Training

针对大语言模型海量预训练中样本选择面临的影响函数二阶逆Hessian计算爆炸及静态参考模型超额损失表征漂移难题,本文提出了基于拉格朗日罚函数单层重构的无Hessian双层自适应数据选择框架 BLADE,通过动态同步参考模型与无记忆随机块坐标 Frank-Wolfe 在线 token 级掩码选择,实现了严格的一阶收敛保证并显著超越了现有数据选择基线。

Block Sphere Vector Quantization

针对基于随机旋转的向量量化方法多依赖逐坐标标量码本而割裂球面几何结构的问题,本文统一分析了 EDEN、RabitQ 与 TurboQuant 的理论边界,并提出基于真实超球边缘分布构造质心的块球面量化方法(BlockQuant),在重构均方误差与内积失真上均严格超越现有基准。

\(\boldsymbol{f}\)-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control

针对大语言模型长程交互后训练中异步在线策略蒸馏(On-Policy Distillation, OPD)面临的陈旧性失配与策略崩溃问题,本文从理论上将目标差异严格解耦为学生采样漂移与教师监督漂移,并提出了结合样本级新鲜度评分、新鲜度加权、采样锚定正则化与自适应刷新的 \(f\)-OPD 框架,在保留异步并行高吞吐优势的同时完全恢复了同步优化的模型精度与训练稳定性。

f-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Importance Weights

针对大语言模型长程在策略蒸馏(OPD)中异步执行吞吐虽高但陈旧样本引发严重训练崩溃的问题,本文将目标偏差分解为学生 rollout 漂移与教师监督漂移,提出端到端新鲜度评分加权、rollout 锚定正则化与自适应重置三位一体的 \(f\)-OPD 框架,在基本保留异步吞吐的同时完全消除了训练崩溃并逼近同步蒸馏精度。

Bound-Conditioned Latent Inference for Progressive Image Compression

将渐进式三值平面编码重构为收缩区间约束下的连续潜变量序贯推断框架,通过自回归联合精炼高斯熵参数与潜变量重构值,在显著降低参数量与解码时延的同时取得 SOTA 率失真性能。

Bounding Global and Local Compression Error of Signal Parameterizations

基于最优误差曲线的单调性、离散凸性及有限参数零误差三大结构特性,提出一种无需真实信号(Ground Truth)即可计算的可微信号参数化全局与局部压缩误差理论界与校准预测方法。

Breaking the Group Size Barrier: Parameter-Efficient Group Dance Generation with Spatial-Temporal Guidance

针对群体舞蹈生成中联合生成导致的舞者人数固定与身份混淆难题,ChainDance 将多舞者生成重构为舞者链式条件分解,在冻结单人扩散骨干上引入轻量角色与运动图编码器及免训练推理噪声优化,实现参数高效且任意人数无缝扩展的群体舞蹈合成。

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Visual Models

C-LoRA 发现标准单 LoRA 持续学习遗忘的根本原因在于均匀权重下的梯度放大破坏了关键子空间,通过在单个固定秩适配器中引入基底与增量解耦的路由矩阵以及重要性感知的细粒度门控,无需参数扩增或推理路由即可有效抑制灾难性遗忘。

Can Model Merging Improve Aggregation in DiLoCo?

本文首次从数学上揭示了分布式低通信训练(DiLoCo)的伪梯度聚合与任务算术模型合并在结构上的严格等价性,并提出基于谱均衡各向同性矫正与 Nesterov 动量的聚合算法 IsoLoCo,显著缓解了多节点与大局部步数下的负干扰性能退化。

CASS: Contribution-Aware Structured Sparsity for Model Merging

CASS 用无标签任务样本识别贡献突出的注意力头和 FFN 神经元,再过滤任务向量或约束微调梯度,以减少模型合并干扰,例如将 ViT-B/16 上 Task Arithmetic 的 20 任务平均准确率从 65.02% 提升到 69.99%。

ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning

ChunkFT 提出了一种按字节预算动态切分与轮换激活的轻量全参数微调框架,通过子张量粒度的反向传播算子仅对激活块物化梯度与优化器状态,在单卡 RTX 4090 上实现 Llama 3-8B 全参数微调,显存与运行效率比肩甚至超越现有 MEFT 基线。

Closed-Form Linear-Probe Dataset Distillation for Pre-Trained Vision Models

针对预训练冻结特征下的线性探测场景,本文提出闭式线性探测数据集蒸馏(CLP-DD),利用样本空间核岭回归精确求出合成集诱导的闭式分类器,并将其作为特征空间类锚点,在无数据增强和内层展开的情况下逼近或超越轨迹匹配方法,同时实现约 14 倍加速与内存下降至八分之一。

Co-Evolving Policy Distillation

针对混合数据 RLVR 的能力冲突与传统静态多专家在线策略蒸馏(MOPD)中师生行为漂移导致的吸收效率低下问题,本文提出协同进化策略蒸馏(CoPD),让多个能力分支在并行探索自身领域强化学习的同时交替进行双向相互在线策略蒸馏,将师生行为距离始终维持在高效吸收区间,打破了统一模型无法超越专家的传统天花板。

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

本文提出面向 Transformer 的 GPU 算子抽象 CODA,将非注意力计算通过代数重参数化重写为固定 GEMM 主循环与可组合 Epilogue 原语程序,消除中间张量的显存反复搬运。

Codebook-Guided Cross-Modal Knowledge Distillation for Structurally Heterogeneous Features

针对音视频、图文等中间特征缺乏清晰单元对齐关系的结构异构难题,提出基于向量量化码本与任务相关性-学生兼容性双重评估的跨模态蒸馏框架,在分类与分割多基准上显著超越同类方法。

Collaborative Reasoning Distillation via Cross-Feedback and Coherent Curation

提出协同推理蒸馏框架 CRD,通过跨模型交互反馈纠错、细粒度步骤质量打分与保真连贯性动态规划缝合,仅用 50K 样本即让小模型在 MATH-500 和 AIME'25 上取得超越大参数模型的推理能力。

Communication-Efficient Personalized Adaptation via Federated-Local Model Merging

针对联邦大模型微调中跨客户端任务异构导致的知识冲突与通信瓶颈,本文提出基于线性模式连通性与 Fisher 方差迹上界最小化的闭式加权模型合并框架 Potara,在显著降低通信轮数的同时实现全局通用能力与局部个性化知识的最优权衡。

Compact SO(3) Equivariant Atomistic Foundation Models via Structural Pruning

针对 SO(3) 等变原子基座模型高阶张量计算开销极大的瓶颈,本文提出一种按不可约表示完整块剪枝并结合能量-力敏感度准则的结构化剪枝与微调框架,在严格保持物理旋转等变性的同时实现最高 4 倍参数压缩与 2.7 倍推理加速,精度超越从头训练的官方同尺寸小模型。

Conflict-Aware Logit Adapters for Utility-Preserving Anti-Distillation

针对黑盒推理轨迹易被小模型通过监督蒸馏窃取的问题,提出训练时冲突感知 Logit 适配器(CALA),通过轻量残差适配器与虚拟代理学生升步引导,在保证教师模型可用性与自然流畅度的同时大幅抑制下游蒸馏仿冒。

ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs

ConQuR 提出将归一化激活向量与内接超立方体顶点对齐的几何目标,将抑制离群点的正交旋转校准转化为闭式正交 Procrustes 更新,并在逐 mini-batch 在线校准中感知量化漂移,无需离线存储激活值或进行端到端反向传播训练。

Continuous-Time Distribution Matching for Few-Step Diffusion Distillation

针对传统分布匹配蒸馏受限于离散时间锚点和积分截断漂移的问题,本文提出连续时间分布匹配(CDM),通过动态连续时间步调度与速度驱动的外推对齐目标,在无需 GAN 或奖励模型辅助的前提下实现了高质量 4 步文生图合成。

Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation

本文首次系统揭示了在线策略蒸馏(OPD)中高损失且难以收敛的“Rock Tokens”现象,通过因果干预证明其绝大多数为缺乏功能贡献的格式残差,提出选择性冻结策略实现 1.7 倍训练加速且保持推理性能无损。

CORP: Closed-Form One-Shot Representation-Preserving Structured Pruning for Transformers

针对 Transformer 结构化剪枝中未修正的表征累积误差导致精度崩溃的问题,CORP 提出无需梯度、微调或二阶 Hessian 迭代反演的单遍后训练压缩框架,通过无标签校准数据推导 MLP 通道与注意力 Q/K 维度的闭式岭回归补偿解并直接折叠进模型权重,在 DeiT-Huge 移除 50% MLP 和注意力结构下仅损失 1.7% Top-1 准确率并实现 1.64 倍实际吞吐加速。

Crowded in B-Space: Calibrating Shared Directions for LoRA Merging

本文发现 LoRA 独立微调适配器之间的合并干扰主要非对称地富集在输出矩阵 \(B\) 的少数高频共享方向上,据此提出无数据前置校准方法 Pico,在合并前自适应衰减过共享方向并在合并后恢复尺度,显著提升下游合并效果。

D\(^2\)Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs

针对大语言模型在低于 4-bit 极端低比特权重量化中精度严重劣化的困境,D2Quant 通过在权重侧引入可无损折叠的双尺度量化器(DSQ)优化下投影瓶颈,并在激活侧提出偏移感知校正(DAC)消除后注意力层归一化的系统性均值偏移,实现了零额外比特与零推理开销下的高性能仅权重量化。

D2Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs

针对大语言模型在低于 4-bit 训练后仅权重量化中精度暴跌的问题,本文从权重与激活双重视角提出 D2Quant,通过针对 Down-projection 的可吸收双尺度量化器(DSQ)与针对 LayerNorm 均值偏移的偏差感知校正(DAC),在零额外推理开销下大幅提升极低比特量化精度。

DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence

DC-SAE 提出解耦双流自编码器架构,结合预合并冻结语义分支与可学习像素分支,并配合解码端空间解并模块(Spatial DeMerger),在 \(32\times\) 极致空间压缩下兼得高保真图像重建与扩散模型极速收敛。

DD-Ranking: Rethinking the Evaluation of Dataset Distillation

针对近年数据集蒸馏(DD)依靠复杂软标签与强数据增强人为虚标测试准确率的乱象,本文提出了统一解耦评测基准 DD-Ranking,引入标签鲁棒性得分(LRS)与数据增强鲁棒性得分(ARS),揭示出真实合成图像质量往往甚至落后于随机采样的严峻现状。

DDMS: Discriminative Distillation of Multi-view Foundational Features into Single-view Models

本文提出 DDMS,通过几何引导残差融合将冻结多视图几何大模型的中间特征注入 2D 基础特征构建教师,结合判别式排序与语义锚定损失将其蒸馏至单视图学生模型,在保持语义泛化性的同时显著提升几何一致性与局部可区分度。

Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression

本文提出可微位宽学习框架 DBW,将 SVD 奇异值组件的剪枝与量化统筹为包含 0 比特精度的组件级与矩阵级双层位宽可微分配问题,配合奇异值熵最小化损失与混合精度 GEMM 内核,在极端 1.61 bpw 极低比特压缩下显著超越现有分步与 PTQ 基线。

Differentially Private Model Merging

针对现实部署中差分隐私(DP)需求动态变化的痛点,提出无需访问原始数据和重新训练的随机选择(RS)与线性组合(LC)两种轻量后处理模型合并机制,并基于 Rényi 差分隐私(RDP)与隐私损失分布(PLD)给出了严格且紧致的隐私损失审计理论。

diffusion fine-tuning with rewarded moment matching distillation

提出 Rewarded Moment Matching Distillation (RMMD),通过将中间去噪分布的矩匹配损失转化为对齐正则项并在策略生成轨迹上做单步反传,在保留多步蒸馏生成质量的同时高效最大化任意可微下游奖励,将气象预报大模型 GenCast 加速 7.5 倍并在 93% 变量上超越教师。

DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling

针对掩码离散扩散语言模型独立解码假设忽略Token间强相关性导致的多Token并行解码质量崩溃痛点,本文提出了结合语义正则化连续隐空间与MeanFlow轨迹自蒸馏的混合扩散框架DiLaDiff,仅需5步隐空间生成即达成200步教师模型性能,并在保持文本高质量的同时实现7倍推理加速。

DiRotQ: Rotation-Aware Quantization for 4-bit Diffusion Transformers

DiRotQ 通过时间平均 PCA 将 DiT 激活解耦为高方差高精度子空间与残差子空间,并对残差子空间引入正交旋转均衡通道方差、离线融合逆变换至权重中,辅以 GPTQ 权重补偿与自研 Triton 算子,在 PixArt-Σ、FLUX.1-dev 和 SANA-1.6B 上实现了无损级 W4A4 极低比特推理与最高 9.2 倍端到端加速。

DiRotQ: 扩散 Transformer 的旋转感知 4 比特量化

针对扩散 Transformer(DiT)在激进 4 比特量化下因激活离群值与时间步剧烈漂移导致的严重画质恶化,DiRotQ 提出以 PCA 主成分旋转隔离高方差子空间保留高精度、残差子空间正交旋转均衡后 4 比特量化,并离线融合逆变换至静态权重,首次在 FLUX.1-dev 等模型上实现无损级别的 W4A4 极致加速与内存节省。

Distillation of Foundation Models for Time-dependent PDEs

针对时间依赖偏微分方程(PDE)大模型推理开销极高且缺乏物理归纳偏置的瓶颈,提出教师演化延伸框架 TREX,通过带周期性高斯噪声的自回归演化扩增下游低数据样本,蒸馏出参数量降低超 3000 倍且具备平移等变性的轻量学生模型。

Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs

针对传统GNN到无图MLP蒸馏忽略拓扑几何导致的稀疏图谱欠拟合与稠密图谱过拟合问题,本文提出基于Ollivier-Ricci曲率自适应加权的Wasserstein几何蒸馏框架G2MLP,在保持纯MLP高速推理的同时显著超越图教师与基线蒸馏模型。

Distilling LLM Feedback for Lean Theorem Proving

针对传统强化学习(如 GRPO)在形式化定理证明中面临的稀疏奖励与模式坍塌难题,本文提出反馈蒸馏(Feedback Distillation),让模型在自身采样的轨迹上逐 token 拟合条件化特权大模型反馈的教师分布,在保持高策略多样性的同时实现高效策略热启动。

Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models

CaRE-KD 按教师与学生的相对置信度逐 token 选择前向或反向 KL,并用 MC-dropout BALD 拒绝教师不确定而学生较确定的监督,在所测模型上改善蒸馏质量,达到 MBPP 62.4、GSM8K 73.9,但收益并非每个任务都成立,训练开销也明显增加。

Distribution Matching Distillation without Fake Score Network

针对少步生成中分布匹配蒸馏(DMD)依赖辅助网络估计生成分布分数的显存与优化开销,本文提出 FSF-DMD,利用流映射生成器固有的端点伪速度作为无需辅助网络的假样本速度代理,结合流映射一致的反向模拟与自教师机制,在少步生成与从头训练中均取得优于传统 DMD2 的效果。

Distributionally Robust Mixture-of-Experts Training

提出分布鲁棒混合专家训练(DRMoET),将各层专家视为内生鲁棒性分组并采用激活加权信用与熵正则镜像上升优化高损失路由结果,在不改动前向路由开销的前提下显著缓解偶发误路由带来的性能退化。

dMoE: dLLMs with Learnable Block Experts

针对扩散大语言模型在块并行解码时因逐 token 独立路由导致的激活专家数暴涨与显存受限瓶颈,dMoE 通过汇聚块内 token 路由分布并利用自适应 Top-\(p\) 截断选拔专家核心集,在保持单 token 激活专家数不变的前提下将去重激活专家数从 69.5 骤降至 16.5,显存占用降低超 74%,实现最高 2.04 倍的端到端推理加速且几乎无损精度。

DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction

针对长上下文大模型KV Cache驱逐在最小化输出扰动时面临的NP-hard组合优化困境,DropKV提出基于残差输出扰动解耦的逐token打分框架,在锥条件下具备常数倍近似保证,并结合无显式注意力矩阵物化的融合Triton算子实现近20倍打分加速与近乎无损的超高压缩比性能。

Dynamic Model Merging Made Slim

针对动态模型合并中参数在共享与专家组件间严重失衡的问题,提出 DiDi-Merging 框架,通过可微分秩选择联合分配共享与专家模块的低秩容量,并利用无数据参数空间优化重构任务向量,在多模态与多任务下以极低存储开销逼近独立微调精度。

Dynamical Adapter Fusion: Constructing A Global Adapter for Pre-Trained Model-based Class-Incremental Learning

本文提出动态适配器融合(DAF),基于 PAC-Bayes 泛化界与拉格朗日乘子法闭式求解最优融合系数,将当前任务适配器、先验鲁棒初始化与历史全局适配器动态融合为一个单一全局适配器,彻底摒弃测试期检索开销与历史模块存储负担,在四大增量基准上显著超越现有 SOTA。

DyRA: Dynamic Residual Approximation for Efficient Matrix Multiplication in DNNs

针对传统结构化权重矩阵近似在激活输入调制下误差严重放大的痛点,DyRA 通过在推理期利用单步交替最小二乘法(ALS)动态估计并补偿输出残差,以极低在线开销在同等计算预算下大幅降低精度损失,并在 DINOv3 上实现 1.5× 端到端 GPU 加速。

Exact Instance Compression for Convex Empirical Risk Minimization via Color Refinement

针对凸经验风险最小化求解在大规模数据集上计算开销巨大的瓶颈,本文基于图同构中的颜色细化算法提出了严格无损的实例与特征聚合压缩框架,在保留凸性与全局最优解保证的同时显著削减问题维度并实现端到端训练加速。

Exact Unlearning via Quantized Sufficient Statistics

提出量子化充分统计量(QSS)框架,将模型解耦为小规模冻结模式与可加法分解的量化累加器,把精确遗忘转化为常数时间算术减法,并在保留率 \(\rho=0.5\%\) 下取得逼近 SISA 的准确率与最高 483 倍遗忘加速。

FacePhys: State of the Heart Learning

FacePhys 提出一种基于神经控制微分方程离散化的时空状态空间对偶架构,将复数振荡先验嵌入对角状态转移矩阵,实现了仅需 3.6 MB 内存与 9.46 ms 逐帧延迟的高精度实时 rPPG 生理信号监测。

FeatCal: Feature Calibration for Post-Merging Models

针对模型合并后多任务表现相比独立微调专家存在明显性能缺口的问题,本文提出基于前向逐层特征漂移分解的无迭代特征校准方法 FeatCal,通过少量校准样本和线性模块的闭式岭回归更新,在无需梯度下降和不引入任何推理外挂模块的前提下显著恢复多任务准确率。

Few-Step Diffusion Language Models via Trajectory Self-Distillation

针对掩码扩散大语言模型在步数压缩时因标记独立分解假设导致的质量塌缩,本文提出轨迹自蒸馏框架 T3D,通过拟合教师完整去噪轨迹并结合基于反向 KL 的直接判别优化(DDO)与早期标记路径一致性正则,在极少步数下实现了高保真推理并大幅缩小与全步数扩散解码的性能差距。

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance

FiLoRA通过将LoRA更新分解为功能对齐的子模块并引入自然语言指令条件门控,在保持任务目标与底层表征冻结的前提下,实现了对多模态内部特征计算路径的细粒度可控调制。

Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models

针对传统结构化稀疏状态空间模型生成输入依赖转移矩阵时面临的 \(\mathcal{O}(LN^2)\) 显存与计算瓶颈,Flash PD-SSM 提出离散字典选择机制配合退火直通估计器,将矩阵生成复杂度骤降至 \(\mathcal{O}(LN)\),并通过专用三阶段分块 CUDA 内核达到超过 Mamba2 的训练吞吐量,在合成有限状态机模拟、超长多变量时间序列和混合大语言模型推理中展现出优异的状态追踪精度。

Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference

提出基于半倍频程(\(2\sqrt{2}\))网格的分数次幂二量化(FPoT),结合 1-adder 近似硬件网格量化与通道缩放校准,在保持均匀整型激活的同时实现了纯移位累加的无乘法器 LLM 4-bit 推理,性能几乎无损逼近均匀 INT4 基线。

From Experts to Sub-experts: Fine-grained Parameter-Efficient Fine-Tuning for MoE LLMs

针对MoE模型专家内部通道激活极度稀疏的问题,提出NSFT框架将微调粒度从整专家细化为子专家(通道组),并引入学习率缩放与动态梯度缩放,以显著更少的训练参数实现了超越整专家稀疏微调与LoRA的领域适应精度并兼顾通用能力。

From “Weak” Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

针对高质量标注匮乏痛点,本文提出 PDA 框架从多个同族“弱-更弱”模型对中提取偏好差分微调 LoRA adapter,并设计基于格拉斯曼流形正交 Procrustes 变换的 GAM 消除子空间几何干涉,实现跨模型互补能力的无冲突组合。

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

针对传统微调与LoRA忽略预训练几何结构、噪声梯度破坏核心特征的问题,FuRA通过块张量列分解将更新投影至预训练列空间并注入谱预条件,以LoRA级别的参数量(约1.46%)和显存开销实现了全秩权重自适应,在常识推理、强化学习与多模态微调中全面超越全参数微调。

GeneZip: Region-Aware Compression for Long-Context DNA Modeling

针对长上下文 DNA 建模计算开销大且传统均匀降采样破坏基因功能特征的缺陷,GeneZip 提出基于基因结构注释的区域感知比率损失(RAR)与有界动态路由机制,训练时引导模型将 token 预算向高信息密度的启动子与功能区倾斜,在推理期脱离任何生物注释实现高达 137.6 BPT 的高保真压缩,并在 DNALongBench 多个长程预测任务上斩获第一。

GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression

针对后训练压缩中传统跨层参数共享粗暴合并激活协方差与局限相邻层配对的问题,提出几何保持的交替最小化跨层分解框架 GeoPair,通过闭式广义西尔维斯特方程精确保留单层白化几何、利用全局带权图匹配实现结构兼容配对并结合 HTP 稀疏化,在无需微调的前提下在语言、视频与音频大模型上达到 SOTA 压缩保真度。

GeoSPRINT: Geometric Redundancy-Aware Step Pruning for Inference in Diffusion Trajectories

GeoSPRINT 是一种无需训练的扩散模型推理加速框架,通过高维隐空间超平面几何测试量化去噪轨迹的局部曲率与冗余步,并融合 log-SNR 误差分布构建非均匀采样步长调度,以一阶 DDIM 求解器在显著降低计算步数的同时取得了超越二阶 DPM-Solver++ 的生成质量。

Grid Games: The Power of Multiple Grids for Quantizing Large Language Models

本文提出面向大模型 4-bit 微缩放量化的多网格选择机制(PO2),在理论上证明了小分组下自适应双网格的优越性及其在大分组极限下的渐近消失性,并给出了开箱即用且适配当前 TensorCore 的平移网格三元组 SFP4 与残差优化网格对 PO2(Split87)。

GRINQH: Graded Input-Based Quantization Hierarchy for Efficient LLM Generation

针对大模型在批大小为 1 的自回归解码中遭遇的 DRAM 显存带宽墙,提出面向解码阶段的动态输入感知量化框架 GRINQH,依据运行时激活幅度按输入通道分配 0 到 8 位阶梯精度并结合分层位平面交织存储,在等效 2–3 位超低位宽下刷新帕累托前沿,解码吞吐相比 4-bit MARLIN 提速高达 28%。

Hestia: A Hessian-Guided Differentiable Quantization-Aware Training Framework for Extremely Low-Bit LLMs

针对极低比特 LLM 量化中直通估计器(STE)导致的硬量化梯度不匹配与死区停滞问题,Hestia 提出温度控制的 Softmax 可微松弛算子与动态压力延续路径,并利用轻量化 Hessian 迹自适应调控张量级退火速率,在 10B token 训练下显著缩小了三值化模型与全精度模型的性能差距。

HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization

HiLoRA 提出了一种基于秩一分量(ROC)解耦的免训练分层路由框架,在序列级通过高斯似然自适应确定激活 LoRA 子集与 ROC 预算,在词元级依据降投影响应动态筛选高信息量分量,实现了高效且具理论保证的领域泛化。

Hybrid-LoRA: Bridging Full Fine-Tuning and Low-Rank Adaptation for Post-Training

针对强化学习后训练中全参数微调显存开销巨大而传统低秩自适应(LoRA)存在明显性能折损的痛点,本文提出 Hybrid-LoRA 框架,基于一阶梯度加权敏感度构建 Hybrid-LoRA Score 评估各模块对低秩更新的适配度,在固定预算下将极少数不易被低秩适配的线性模块分配给全参数微调、其余分配给 LoRA,以仅约 10% 的微调开销逼近甚至超越全参数微调效果。

Importance-Aware OBS Pruning for Diffusion Models

本文把提示词相关的空间重要性注入 OBS 的逐层重建目标,在不微调的情况下改善高稀疏率扩散模型的主体保真度,但全局掩码系数消融与给出的精确公式存在未解释的一致性问题。

Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms

针对向量搜索与神经网络权重中频繁出现的内积计算需求,本文形式化了最坏情况与平均情况内积感知量化目标,证明了标准随机舍入的最优性与硬度边界,并提出了比现有 SOTA 提速 2–10 倍的可证明快速且自适应算法。

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

本文提出了衡量本地端侧智能系统能效的统一基准指标“每瓦特智能”(Intelligence per Watt, IPW),通过在 20+ 款端侧大模型、8 款主流硬件加速器和 100 万真实推理负载上的大规模实证分析,揭示了端侧模型两年来 5.3 倍的能效提升以及端云混合路由削减 60%–80% 能耗与成本的巨大潜力。

KL for a KL: On-Policy Distillation with Control Variate Baseline

针对在线知识蒸馏(OPD)中单样本蒙特卡洛估计梯度方差过大导致的训练不稳定,本文将 OPD 形式化为强化学习策略梯度问题,推导出 OPD 价值函数的闭式解即为每步负向逆向 KL 散度,提出无需额外 Critic 网络且保持无偏的控制变量基线方法 vOPD,并引入 top-\(k\) 截断近似以极低计算开销达成全词表 KL 的稳定效果与卓越性能。

KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation

针对超低位宽(0.5–2 bpd)下现有 KV 缓存压缩方案固定头级别超参数的瓶颈,KV-COBRA 提出在校准期联合优化各注意力头的保留秩与量化位宽,并引入注意力 KL 导向的基底重排序与 Hadamard 方差均衡,在零推理开销下实现无损级别的长文本生成质量。

KV-COBRA: 基于协同优化比特-秩分配的 KV Cache 压缩

针对极端低比特下 KV Cache 压缩精度骤降的问题,KV-COBRA 揭示出核心瓶颈在于跨注意力头的预算分配而非量化算子本身,通过在校准期协同优化各注意力头的保留秩与量化位宽并引入 Query 感知的注意力 KL 散度重要性重排,在无推理开销的前提下实现了 0.5–2 bpd 极致压缩下的鲁棒性能。

Label-Efficient Dataset Pruning via Semi-Supervised Pseudo-Labeling

SemiPrune 提出一种利用微量标注样本(如 10% 甚至 1%~5%)进行半监督学习生成目标域自适应伪标签的数据集剪枝框架,突破了传统无标签剪枝严重依赖预训练特征几何、在域漂移与长尾分布下失效的根本瓶颈。

LAMP: Look-Ahead Mixed-Precision Inference of Large Language Models

本文提出面向复合算子的前瞻混合精度推理方法(LAMP),基于严格的局部舍入误差界自适应筛选被后续非线性算子放大的敏感中间分量并进行高精度重算,在仅增加约 1% 重算开销下使大模型注意力推理精度提升达两个数量级。

LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss

针对大推理模型在长链思维解码下量化精度大幅崩塌的问题,本文提出无额外运行时开销的逐层 lookahead 量化算法(LAQuant),通过单层前瞻损失实现隐式跨层协同优化以保护 KV 缓存保真度,并结合对齐推理分布的 Hessian 校准集,在保持原生硬件核高吞吐的同时显著刷新了低比特推理基准。

LARK: Learnability-Grounded Trajectory Selection for Efficient Reasoning Distillation

针对推理蒸馏中仅凭表面质量或学生似然度筛选教师思维链轨迹的启发式缺陷,LARK 从优化理论出发,提出基于初态梯度流损失衰减率的前向无反向代理评分 \(\hat{g}_k\) 与带闭式解的 \(\chi^2\) 正则化预算加权规则,实现高效且泛化保真的推理监督选择。

Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks

针对全二值神经网络在深层网络中随深度加剧退化甚至崩溃的难题,本文揭示了二值激活导致的“梯度阻断”机制,提出了输入至输出的逐层随机掩码渐进冻结算法(StoMPP),在完全不依赖直通估计器(STE-free)以及与 STE 结合(StoMPP+STE)的两种模式下均显著拉平了深度退化曲线。

layerwise progressive freezing a training scaffold for depth-scalable binary net

针对全二值神经网络(BNN)因直通估计器(STE)前后向不匹配导致网络加深时性能严重崩溃的痛点,提出了从输入到输出逐层硬化二值参数与激活值的 StoMPP 渐进冻结框架,彻底消除了激活值引发的梯度阻断并实现了可深度扩展的二值网络训练。

Learning from the Self-future: On-policy Self-distillation for dLLMs

针对扩散语言模型任意顺序非自回归生成的特性,本文提出首个专用在策略自蒸馏框架 d-OPSD,通过后缀条件注入模型自生成的未来经验构建自教师,并引入步级散度监督替代传统的自回归前缀与token级监督,仅用 RLVR 约 10% 的优化步数即在数学推理和规划任务上达到更优性能。

Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-Tuning

系统性审计 64 篇先进 LoRA 变体并展开多维网格搜索,证明只要针对性调优学习率,经典原始 LoRA 即可达到与各类前沿变体相差不到 1%–2% 的峰值性能,其最优学习率差异由损失 Hessian 最大特征值直接决定。

Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling

FLARE 利用 Whisper 声学特征作为教师信号进行随机投影量化离散蒸馏,并结合面部-唇部双流 ConvNeXt 前端与改进 Conformer 架构,在显著减少对海量标注/无监督数据依赖的同时实现了业界顶尖的视觉语音识别鲁棒性。

Learning What to Remember: Test-Time Training via Context Distillation

针对传统测试时训练(TTT)与循环注意力架构在有限容量下缺乏对历史信息“未来效用”建模的瓶颈,本文提出测试时上下文蒸馏(TTCD),以长短窗口两路视图的表征残差作为自监督信号更新 MLP 快速权重,以极低开销实现了对远端关键信息的定向记忆与高效检索。

Leech Lattice Vector Quantization for Efficient LLM Compression

本文提出基于 24 维 Leech 格点的无码本矢量量化框架 LLVQ,结合多壳层球面搜索、层次化双射编解码与保模长 Spherical GPTQ,在超低 2-bit 权重量化下显著超越现有 SOTA 并实现免旋转预处理。

LensVLM: Selective Context Expansion for Compressed Visual Representation of Text

LensVLM 提出将文本渲染为低分辨率图像实现高倍压缩全局粗扫,并在推理中通过后训练学习到的 Expand 工具按需自适应展开关键图像为无损文本,在 4.3× 有效压缩比下近乎无损逼近全文本精度上限。

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration

针对 RoPE 位置编码扩展引发的注意力漂移与短文本精度坍塌,LinearARD 提出对齐顶层注意力头 Q/K/V 自关系分布的自蒸馏框架,并设计 IO 感知的线性显存 KL 融合算子,仅用 4.25M tokens(基线的 1.6%)便恢复 93%~94% 原生精度并具备强劲的长文本鲁棒性。

locking pretrained weights via deep low-rank residual distillation

针对开源权重模型极易被恶意微调或越狱篡改的难题,本文提出 DLR-Lock,利用自动微分在推理与训练时的显存不对称性,将预训练模型中的宽 MLP 替换为等参数量的深度低秩残差网络,在保持前向推理能力与 FLOPs 几乎不变的前提下,使反向传播激活显存呈深度线性增长、优化曲率恶化且反向计算严重减速,从而实现抗自适应攻击的模型锁定。

LOFT: Low-Rank Orthogonal Fine-Tuning via Task-Aware Support Selection

LOFT 提出了将正交参数高效微调解耦为「适应支撑子空间选择」与「子空间内变换」的统一正交微调框架,通过一阶梯度动力学分析推导出任务感知的最优支撑子空间选择准则(SkewGrad),在严格保持预训练几何结构的同时,在下游任务上显著超越传统依赖预训练权重的正交微调方案。

LoRaQ: Optimized Low Rank Approximation for 4-bit Quantization

针对扩散 Transformer 在 4-bit 激进量化下生成质量严重退化的问题,本文提出无需校准数据的 LoRaQ,直接将量化误差塑造成低秩结构,并首次实现低秩分支与主干全流程 sub-16 bit 混合精度量化,在同等甚至更优计算与显存开销下超越 SVDQuant。

LoRASpace: A Pool-Wide Shared Substrate for Static and Dynamic Multi-LoRA Composition

针对多LoRA组合中静态合并画质受损与动态复合推理开销线性增长的权衡,LoRASpace利用LoRA池在全局低秩空间中的高重叠度,构建免训练的全池共享基底,以单次前向开销实现复合级画质与最高6.1倍动态加速。

LOTION: Smoothing the Optimization Landscape for Quantized Training

针对低比特量化训练中量化算子分段常数导致的梯度消失与直通估计器(STE)不稳定性,LOTION 提出在随机舍入噪声的期望下直接平滑量化损失函数,证明其保持原始量化全局极小值并导出等价于对角高斯-牛顿曲率正则的连续可微目标,在 150M/300M 语言模型 INT4/FP4 训练中显著优于传统 QAT。

LowRankArena: A Standardized Evaluation Platform for SVD-Based LLM Compression

针对基于SVD的大模型低秩压缩领域基准分裂与端到端效率失真问题,本文提出了标准化评测平台LowRankArena,统一任务规范、全精度对齐预算与vLLM部署通道并开源3+ TiB检查点,全面揭示了SVD方法的架构敏感性与解码阶段效率瓶颈。

LSVD: Loss-Aware Low-Rank Approximation for Efficient Low-Precision Vision-Language Models

针对视觉语言模型低精度部署中计算与内存受限的难题,LSVD 提出曲率加权的损失感知低秩分解、基于校准梯度的跨层秩分配以及混合低秩量化 FFN,在维持极高精度的同时实现 2.3× 至 4.7× 的解码加速。

Making LoRA Identifiable: Orthogonal Alignment for Continual Learning

针对单一 LoRA 适配器在持续学习中因低秩分解不可辨识性导致的坐标系错位与知识混叠,本文提出 SOAR 框架,通过在训练期将输入矩阵约束在 Stiefel 流形上收敛参数自由度至正交旋转群,并结合正交 Procrustes 旋转对齐与按秩保留门控,在恒定内存下实现无冲突知识巩固。

MemCoRe: Recovering Evidence from Progressively Compressed Factual Knowledge for Agent Memory

针对大语言模型智能体记忆在长程交互中面临的“过度保留掩埋证据与激进压缩丢失证据”的根本权衡困境,本文基于信息瓶颈理论提出 MemCoRe 框架,通过构建由结构化笔记、关键词与主题群组成的渐进压缩分层体系,结合门控融合与三通道迭代检索,实现了证据的高效压缩与精准恢复。

MetaCluster: Enabling Deep Compression of Kolmogorov-Arnold Network

MetaCluster 提出一种结合元学习流形塑形与权重共享的三阶段 KAN 压缩框架,通过训练轻量元学习器将高维基函数系数约束在低维聚类友好流形上,随后执行系数向量聚类并剪除元学习器进行码本微调,在视觉与方程建模任务中分别取得高达 80× 与 124.1× 的参数量压缩且完全无精度损失。

Minimax Rates and Spectral Distillation for Tree Ensembles

本文从谱视角建立了自适应随机森林在特征空间核算子特征值多项式衰减下的极小化极大最优收敛速率,并据此提出利用轻量多层感知机拟合核矩阵或平滑矩阵主谱方向的谱蒸馏方法 SCATE,在微控制器级别的严苛内存预算下实现高达数个数量级的模型压缩。

Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models

针对状态式微调缺乏跨层协同与基于预训练块的跨层方法计算内存开销巨大的矛盾,本文提出 Mixture-of-Control(MoC),将各层低秩控制器视为控制专家并通过跨层稀疏路由混合局部与全局控制信号,在保留状态微调极低内存优势的同时实现泛化性能与训练吞吐的大幅提升。

Mixture-Trained Merging for Unified Multi-Objective Models

针对直接合并单目标硬专家导致的多领域精度陡降与思考/非思考模式崩塌问题,提出混合训练合并(MTM),通过在目标偏置的数据混合上训练软专家分支,并结合多目标贝叶斯优化在合并评估与基座提升间迭代演进,实现兼具多领域专家级精度与行为模式分离的统一模型。

MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM

针对传统后训练量化跨位宽泛化失效与异常值迁移难题,MoBiQuant 提出基于递归残差切片的 MoBiSlice 结构与动态标记级路由器 MoBiRoute,在统一校准参数下实现免重新打包、零内核重启的高吞吐动态任意精度推理。

MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM Inference

针对静态后训练量化跨精度泛化差与现有任意精度量化硬件效率低下的矛盾,MoBiQuant 提出基于残差位切片分解与 token 自适应门控路由的统一量化框架,在单套校准参数下实现无缝运行时精度切换与显著吞吐提升。

MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs

针对长上下文稀疏 MoE 模型在激进 KV 缓存逐出下表征扰动引发专家路由崩溃的瓶颈,MoEZip 提出基于路由分布 Fisher 信息矩阵迹的闭式脆弱性度量,结合指令注意力构建自适应路由锚点保护机制,在保留 10% KV 预算时相比现有 SOTA 实现 2.3 倍至 4.9 倍的性能提升。

MPQ: A Message-Passing View of Post-Training Quantization

针对训练后量化(PTQ)贪心求解器过早固定离散码字导致误差累积的瓶颈,本文将逐行量化重构建模为离散码本上的 Gibbs 后验推断,提出融合有限温度向量近似消息传递(VAMP)与精确块坐标下降(CD)的 MPQ 求解器,在激进低比特(2-bit/3-bit)大模型量化中显著超越现有贪心与随机搜索基线。

NADS: Navigator-Guided Data Selection for Mitigating Catastrophic Forgetting in Fine-Tuning

针对无原始预训练数据时大语言模型微调出现的灾难性遗忘问题,提出利用无正则化目标微调得到的导航者模型预测漂移量化遗忘风险,并通过高扩展性的白化对角化 DPP 算法从冗余合成数据池中高效筛选高价值且多样的约束样本,结合知识蒸馏在保证新任务性能的同时有效保留模型通用能力。

Next-Latent Prediction Transformers Learn Compact World Models

提出 NextLat(Next-Latent Prediction)自监督学习框架,在自回归 Transformer 中引入下一隐状态预测与自蒸馏辅助目标,促使注意力表征收敛为紧凑的信念状态世界模型,在零架构改动下实现高达 3.3× 的变长自推测解码推理加速。

Normalized Architectures are Natively 4-Bit

本文证明将权重与表征约束在单位超球面上的 nGPT 架构天生具备 4 位量化鲁棒性,无需随机阿达马变换与动态逐张量缩放即可在 Blackwell 硬件上实现端到端稳定的 NVFP4 训练,其鲁棒性根源于超球面约束促使信号项在点积累加中产生相干正相关放大,而非抑制单点量化噪声。

Not All Layers Need Tuning: Selective Layer Restoration Recovers Diversity

针对后训练导致大模型输出重复单调的模式坍塌问题,本文提出无需重新训练且零推理开销的选择性层恢复(SLR),通过设计的离散约束随机字符(CRC)代理任务快速搜索帕累托最优层区间并将选定层重置为预训练参数,在创意写作、开放问答与多步推理任务上大幅恢复生成多样性。

Not All Tasks Quantize Equally: Fisher-Guided Quantization for Visual Geometry Transformer

FGQ 在 VGGT 的逐块训练后量化中,用各几何任务的归一化平方梯度给通道重建误差加权,使有限的校准能力优先保护敏感特征;W4A4 下,7-Scenes 的平均完整性误差由 QuantVGGT 的 0.085 降到 0.059,但并非所有指标都恢复到 FP16。

NP-LoRA: Null Space Projection for Subject-Style LoRA Fusion

提出免训练的零空间投影框架 NP-LoRA,通过将内容 LoRA 投影到风格 LoRA 的互补零空间并引入软投影闭式解,在消除非正交重叠子空间参数冲突的同时保留主体细节,实现了高质量的主体-风格解耦合成。

NPUsper: Eliminating Redundant Computation for Real-Time Whisper on Mobile NPUs

针对 Whisper 流式推理中为抑制幻觉导致的沉重 Padding 开销以及动态自回归与移动端 NPU 静态图执行的不匹配,NPUsper 提出了基于交叉注意力时序一致性的在线幻觉检测机制与基于分块静态图的受控展开(Controlled Unrolling)解码架构,在保持高识别准确率的同时大幅削减冗余计算与推理功耗。

NuMuon: Nuclear-Norm-Constrained Muon for Compressible LLM Training

针对 Muon 优化器全秩正交化更新在高压缩率下性能急剧恶化的问题,本文提出在谱范数 LMO 基础上引入核范数预算的 NuMuon 优化器,通过闭式 top-\(k\) 奇异向量截断显式约束更新秩,在保持预训练收敛速度的同时将权重低秩可压缩性提升高达 55.8%。

OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under Optimal Squared Error Quantization

针对长上下文大模型与生成模型在推理阶段的 KV Cache 显存及带宽瓶颈,OCTOPUS 提出了基于带符号沃尔什-哈达玛旋转的三元组八面体参数化联合量化机制,通过解析推导的非均匀比特分配与局部 \(3\times 3\) 联合舍入,在无需数据校准的情况下全面超越现有旋转量化方案。

On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference

On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference

本文提出 LoRA-Curve 分段贝塞尔曲线子空间推断框架,首次系统证明并构建了 LoRA 权重空间中的连续低损失流形,在无需高昂采样或离散集成开销的前提下实现了平滑的功能多样性遍历与优异的贝叶斯不确定性估计。

Overcoming Kernel Redundancy for Scaling Logic Gate Networks

针对可微逻辑门网络在宽度扩展中因逻辑核冗余导致性能饱和的问题,本文提出基于布尔路由的动态逻辑核(DLK)及专注底层异构性的早期动态逻辑核(EDLK),在保持纯布尔推理的同时显著提升了模型的容量利用效率与表征多样性。

PACE: Pareto-Adaptive Compression for Efficient Native MLLMs

针对无外置ViT编码器的原生多模态大模型(Native MLLMs),提出首个利用Native-RoPE多轴解耦特性的非对称空间显著性估计(SDIE)与多目标Pareto自适应调度算法(PACS),在仅保留25%–50%视觉Token下实现近无损甚至超越全量模型的性能,并将FLOPs降低约2倍。

PATCH: Learnable Tile-Level Hybrid Sparsity for LLMs

PATCH 提出了一种块级混合稀疏框架,在冻结模型权重的前提下将权重矩阵划分为硬件友好的分块,通过 Gumbel-Softmax 可微学习为每个分块自适应分配密集或 2:4 稀疏模式,实现了 0% 至 50% 连续可控的全局稀疏率与实测 1.18×–1.38× 的端到端推理加速。

PermuQuant: Lowering Per-Group Quantization Error by Reordering Channels for Diffusion Models

针对低比特扩散模型分组量化中异常值主导共享缩放尺度的痛点,PermuQuant 提出基于联合二阶矩准则的通道重排策略与校准接受准则,并将置换离线吸收到前驱算子中实现无额外运行时开销的超低比特高效量化。

PerQ: Inverse Generative Modeling for Neural Image Compression via Quantization Error Compensation

PerQ 将图像生成式重建约束在由量化步长决定的有界量化胞腔内,通过速率条件流匹配补偿器在冻结的多速率失真优化骨干网络后插拔增强,在单模型支持宽码率与极速解码的同时兼顾了生成级感知真实度与 VVC 级别的像素保真度。

PGSB: Pretrained-Guided Shared Basis for LoRA Model Merging

本文提出预训练引导的共享基底框架(PGSB),先通过紧凑SVD提取LoRA多任务共享子空间,再利用预训练权重几何耦合与奇异值加权精炼合并坐标系,在极低计算开销下显著降低坐标级合并冲突并提升多任务与迁移性能。

Polestar: Drift-Aware Cache Calibration and Token Commitment for Efficient Inference of Diffusion LLMs

针对扩散大语言模型(dLLM)因双向注意力机制导致 KV 缓存难以复用且并行解码置信度不稳定的双重瓶颈,Polestar 首次提出以注意力分布的 KL 散度表征「表示漂移(Representation Drift)」作为统一物理信号,联合驱动局部稀疏 KV 缓存动态校准与漂移突跃前瞻 Token 提交,在无需重训练的前提下实现最高 3.7 倍吞吐加速与 3.67 步均解码并行度。

POP: Online Structural Pruning Enables Efficient Inference of Large Foundation Models

针对传统结构化剪枝在自回归解码期沿用静态掩码导致长程生成性能严重退化的问题,POP 提出分区引导的在线结构化剪枝框架,通过在预填充阶段粗粒度界定保留区、剪枝区与候选区,并在解码阶段仅对局部候选区进行逐步轻量动态掩码,无需任何离线标定或训练,以低于 4% 的 FFN FLOPs 开销显著恢复生成精度并实现 1.14×–1.38× 端到端端推理加速。

Precision As You Need: Stochastic Computing Is a Dense Adaptive Quantizer

将随机计算 (Stochastic Computing) 重新诠释为通过位流长度连续调控精度的密集自适应量化器,配合轻量级动态逐行混合精度策略与 GPU 级融合 Triton 算子,在无需重训下使多种现代 Vision Transformer 达到接近全精度的表现。

Predicting Quantization Price for Selecting PTQ Configurations Before Deployment

针对训练后量化(PTQ)在部署前无法预知全局漂移的难题,本文将权重空间 PTQ 重构为以输出误差协方差与下游曲率定价为核心的配置选择问题,在校准期利用极轻量 trace 指标实现高效预算搜索。

Prediction Under Imperfect Compression: A Theory of Approximate MDL

本文首次形式化建立了近似最小描述长度(Approx-MDL)理论框架,证明加性松弛在正则化参数 \(\lambda \ge 1\) 时能保持有限累积均方预测误差,并揭示了弱正则化(\(\lambda < 1\))下的点态过拟合以及乘性松弛导致泛化彻底崩溃的理论分界。

Procedural Memory Distillation: Online Reflection for Self-Improving Language Models

针对可验证奖励强化学习(RLVR)与自蒸馏仅依赖单轮局部反馈、无法积累跨轮经验的问题,本文提出程序性记忆蒸馏(PMD),在训练期构建经验-洞察-行为三级记忆并与策略协同演化,通过自教师将反思知识逆向KL蒸馏入模型权重,实现推理期零外部记忆依赖的原生自提升。

Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

针对小语言模型智能体在多轮长程交互中频繁陷入无效死循环的进度停滞问题,本文提出感知进度的蒸馏方法(ProD),通过自适应边距度量学生与教师轨迹间的停滞差距并动态惩罚,大幅降低停滞率并显著提高任务完成率与交互效率。

Pruning and Distilling Mixture-of-Experts into Dense Language Models

首个将训练好的 MoE 语言模型系统化转换为标准密集(Dense)架构的压缩与蒸馏框架,通过基于 Gram 对数行列式的 D-最优多样性专家打分与无平均纯剪枝拼接,搭配前向 KL 蒸馏,在相同参数量与显存占用下显著超越传统密集到密集剪枝。

RA-CFGCache: From Branch-Level Criteria to Guided-Risk Control under Classifier-Free Guidance

针对分类器无关引导(CFG)下双分支独立缓存带来的分支-引导失配与局部-终态传播失配问题,本文提出无需重训练的风险对齐缓存框架 RA-CFGCache,通过几何引导风险合成与时步传播重缩放统一决策双分支联合复用,在保持原采样轨迹不变的同时显著提升生成质量与推理加速权衡。

RaZeR: Pushing the Limits of NVFP4 Quantization with Redundant Zero Remapping

RaZeR 针对 Blackwell 架构原生的 NVFP4 量化格式,挖掘 FP8 块缩放因符号全正与权重容差所产生的冗余比特,将 FP4 原码表示中浪费的冗余负零自适应重映射为高精度特殊量化值,在完全零额外内存开销下使困惑度损失降低 31%~35%,并协同设计了高性能 GPU 算子与低开销专用 Tensor Core。

Re-examining Low Rank adaptation for private LLM fine-tuning

揭示了差分隐私(DP-SGD)中各向同性高斯噪声会膨胀梯度奇异值并破坏其天然快速衰减特性,进而严重拖慢收敛这一根本瓶颈;提出利用随机矩阵理论(RMT)的最优谱去噪结合有限维相变阈值与分块范数校正,在每步微调中单调提升梯度余弦对齐度,在严格保护隐私的前提下实现 15.6%–75.0% 的训练加速并显著节约隐私预算。

Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck

本文将大模型思维链推理重新表述为带侧信息的条件信息瓶颈(CIB)有损压缩问题,通过引入基于预训练语言模型惊异度的语义先验奖励,从信息论层面统一了预算强约束方法,在大幅压缩推理长度的同时实现了帕累托最优的推理精度。

Rebellious Student: Reversing Teacher Signals for Reasoning Exploration with Self-Distilled RLVR

针对自蒸馏在正确轨迹上抹杀模型自主推理的弊端,本文提出 RLRT 算法,反向利用教师信号在正确样本上放大模型独立探索的高价值 token,在数学推理多基准上显著超越 GRPO 与传统自蒸馏。

Recovery Guarantees for Posterior Sampling of One-Bit Compressed Sensing

针对含噪单比特压缩感知中先验几何复杂度未知与极度量化信息损失的难题,本文首次从分布视角给出了任意球面数据先验下后验采样的样本复杂度上下界,证明了近似覆盖数 \(\log \mathrm{Cov}_{\eta, \delta}(R)\) 的核心支配地位及其在 Wasserstein 先验失配下的鲁棒性,并提出了基于扩散先验的分裂吉布斯即插即用采样算法 PnP-OneBit,在严苛压缩率下显著超越现有确定性点估计与优化方法。

Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs

针对大语言模型在多变部署环境下需维护多个独立精度权重文件的痛点,本文提出了递归残差量化(RRQ),将权重解耦为超轻量低比特基底与多级量化残差修正,仅凭单套检查点即可无校准数据极速重构出2/4/6/8-bit多精度表示。

ReSET: Accurate Latency-Critical NVFP4 Reasoning via Step-Aware Temperature Scaling

针对低比特NVFP4量化在长链推理中符号token易错采样及小batch解码硬件利用率崩溃两大瓶颈,ReSET提出结合全局基线与步骤级相对熵的动态温度调节机制,并配合专为极小Batch设计的CUDA-core NVFP4 GEMV算子,在B200上实现推理精度全面超越PTQ基线并取得最高2倍端到端解码加速。

Resource-Aware Parameter-Efficient Model Adaptation for Onboard High-Dimensional Data

针对低轨卫星高光谱模型在轨更新面临的极低上行带宽与复杂图谱非线性特征挑战,提出融合 GELU 非线性辅助分支与矩阵级差异化训练的参数高效微调框架 NE-LoRA,在保持轻量上行传输开销的同时显著超越标准 LoRA 并逼近或超越全量微调。

Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?

通过在统一协议下系统横向评测7种SOTA数据集蒸馏方法与3种子集选择方法,揭示现有蒸馏方法的高性能主要源于软标签监督等评估技巧,在真实硬标签和大尺度设定下不仅性能落后于核心子集选择(AUM/Concepts),还承受着随IPC线性增长的极端构建开销与严重的模态多样性坍塌。

Rethinking Layer-wise Model Merging through Chain of Merges

针对传统层级模型合并忽略层间依赖所引发的合并协变量偏移(MCS)问题,本文提出 Chain of Merges (CoM),通过逐层前向更新激活统计量并结合特征相关性加权与归一化,实现了闭式解下的高一致性模型无损融合。

Rethinking LoRA Initialization for Robust Asymmetric Learning Rates

针对 LoRA+ 非对称学习率微调时易受初始随机投影放大而导致训练崩溃的问题,本文提出了极简的 Init[A^2] 初始化方案(将降采样矩阵方差缩放至 \(\sigma_A^2 = \Theta(n^{-2})\)),在理论上将初始化噪声能量压制 \(1/n\) 倍,在保持初始零输出的同时彻底消除了大比值性能崩溃并显著拓宽了超参稳定搜索区间。

Rethinking On-Policy Self-Distillation for Thinking Models

揭示了基于特权上下文的在策略自蒸馏(OPSD)会严重损害思考模型(Thinking Models)的长思维链推理性能,其根本机制在于特权教师对思维分叉点(Forking Positions)施加负向惩罚,导致模型丧失了回溯、自纠错与探索等关键测试期搜索能力(分叉抑制)。

Revisiting On-Policy Adversarial Black-Box Distillation: Calibrating Groupwise Re-Ranking

针对在线对抗黑盒知识蒸馏中判别器 Bradley-Terry 损失倾向于造成学生样本组内奖励坍缩、破坏 GRPO 优势估计的几何失配问题,本文提出组级奖励几何调控(GRGC),通过判别器侧高斯最优传输校准与策略侧组幂变换调制,在仅增加约 0.1% 开销的前提下显著提升蒸馏质量与优势鲁棒性。

Reviving Stale Updates: Data-Free Knowledge Distillation for Asynchronous Federated Learning

针对异步联邦学习中设备计算延迟导致的参数过期(staleness)与模型漂移难题,FedRevive 提出利用服务端无数据知识蒸馏(DFKD)抽取过期客户端模型的预测知识,通过自适应混合策略将原始参数聚合与多教师蒸馏更新平滑融合,在无需真实数据与额外通信开销的前提下大幅提升收敛速度与模型精度。

Robust and Efficient Finetuning of Vision Foundation Models via Implicit Ensembling

GMixout 将 Mixout 重构为单次运行的权重共享隐式集成,引入自适应 EMA 移动锚点、受控重采样周期与稀疏 CUDA 核加速,在无需额外推理开销且仅占 2.6GB 显存的条件下,显著提升视觉基础模型在协变量偏移与长尾类别不平衡下的 ID/OOD 稳健泛化能力。

RotaryQuant: Fitting 120B MoE Models on Consumer Hardware via Fused Compressed-Space Attention

RotaryQuant 提出三轴协同压缩系统(角色化权重量化、LRU 专家卸载以及基于 WHT 与 SO(4) 块旋转的 IsoQuant 3-bit KV 缓存压缩),通过 Metal 融合算子实现直接在 3-bit 压缩域计算注意力,在无需物化 FP16 张量的前提下将 120B MoE 模型装入 32GB 消费级硬件并实现交互式流畅推理。

Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models

针对混合专家(MoE)模型庞大显存占用及全量微调剪枝开销巨大的困境,本文提出将轻量级微调(如仅针对 Router 的 LoRA)作为探测仪器,通过测量路由向量模长变化率精准识别并一次性结构化剪除低敏感度专家,在极大压缩显存与推理延迟的同时保持准线性精度衰减。

RPFQ-ViT: Rotated Phase-Frame Quantization for Extremely Low-Bit Weights in Vision Transformers

针对视觉 Transformer 极低比特(如 2-bit)权重投影方向严重畸变的问题,提出在二维相位平面利用半切分通道对进行可学习旋转与相位锚点量化(RPFQ-ViT),在维持标准实数计算图的同时显著保留投影方向几何,实现高精度与原生移动端加速。

SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models

针对物理大模型低秩压缩破坏高阶导数与物理守恒律的难题,本文提出首个物理感知 SVD 压缩框架 SAFE-SVD,通过在索伯列夫空间建模全局敏感度并结合贪心秩分配,在极端 0.2 参数保留率下仍能保持高保真物理结构。

Scalable Distributed Stochastic Optimization via Bidirectional Compression: Beyond Pessimistic Limits

针对集中式分布式随机优化中双向通信延迟随节点数无法扩展的悲观下界,本文引入反映 Hessian 局部变化率的结构化 \((L_A, L_B)\) 光滑性条件,提出 Inkheart SGD 与 M4 算法,首次在随机梯度与非零下行通信延迟下实现了随节点数 \(n\) 线性扩展的新 SOTA 时间复杂度。

Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters

针对传统贝叶斯低秩微调中 LoRA 秩崩溃损害距离感知几何特性以及推理端多次骨干前向蒙特卡洛采样开销巨大的缺陷,本文提出 PoLAR-VBLL 框架,通过 Stiefel 流形正交分解适配器与黎曼着陆场优化保持高稳定秩,并在最后一层执行闭式 Jensen 下界变分贝叶斯推断与可选 Laplace 精炼,在单次骨干前向开销下取得最优的泛化精度与不确定性标定。

ScaleBITS: Scalable Bitwidth Search for Hardware-Aligned Mixed-Precision LLMs

ScaleBITS 通过双向通道重排将敏感权重聚拢并映射为硬件对齐的计算块,提出基于量化参考点一阶梯度的可扩展批量贪心搜索算法,在不引入额外推理延迟的前提下实现了 2–3 bit 极限低比特大模型的高性能混合精度分配。

SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation

针对 LoRA 反向传播中奇异值非均匀分布导致的各向异性梯度缩放与梯度有效秩坍缩问题,SDS-LoRA 提出将奇异值从反向传播中结构性解耦,利用正交基底反向传导全梯度,使有效梯度达到最差情况最优逼近且收敛速度摆脱条件数限制。

SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision

针对在线策略知识蒸馏中教师监督质量严重依赖学生能力的结构性缺陷,SEAD 借助教师与学生联合熵在 token、时序和提示词三层尺度上自适应分配监督信号与散度类型,在跳过约 50% 冗余计算的同时大幅提升学生模型数学推理能力。

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

针对大语言模型机器遗忘严重依赖保留集以维持通用能力的痛点,SHRED通过仅对遗忘样本中自回归概率最低的高信息量Token实施Logit降级与Top-K自蒸馏,在无需保留集的前提下同时实现深度遗忘与通用语言能力锚定。

Signed-Permutation Coordinate Transport for RMSNorm Transformers

揭示 RMSNorm 大模型残差流具有带符号置换群 \(B_d\) 对称性而非仅置换群 \(S_d\),提出符号边际化匈牙利匹配与沿微调轨迹的坐标平行迁移算法,解决了稀疏自编码器、控制向量、LoRA 权重及优化器状态在检查点间的保真迁移难题。

SliMOO: Interpretable Multi-Objective Evolutionary Search for LLM Depth Pruning

SliMOO 针对大模型不同层在各能力域上重要性差异巨大的异质性问题,构建了单层剔除的“任务-层重要性图谱”作为搜索先验,并基于 NSGA-II 展开多目标进化搜索,在给定剪枝预算下实现了跨语言、数学、代码与常识推理的强 Pareto 权衡。

Stabilizing the Dynamic Low-Rank Training

SDLRT 在动态低秩训练中保留上一轮刚被截断的主要奇异方向,用补偿基扩展和截断容差负反馈缓解高压缩下的秩坍缩,并在六项 SuperGLUE 验证任务上取得 85.15% 的平均准确率。

StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training

StableVQ 揭示了离散视觉分词器中编码器-解码器与码本之间的训练纠缠是导致失稳与坍塌的根因,通过提出动态直通估计器(Dynamic STE)、区域量化损失(Region VQ Loss)与解耦学习率调度(Decoupled Schedule),在无需额外可学习参数的情况下以单层线性投影实现了全量码本激活与顶尖重建性能。

Structural Rationale Distillation via Reasoning Space Compression

针对大模型向小模型蒸馏推理能力时教师推理轨迹结构发散、监督信号方差过大的难题,D-RPC 通过构建并动态维护紧凑的规范推理路径库约束教师生成低方差解释,结合 PAC-Bayes 泛化界优化路径库容量与覆盖度的平衡,在 5 个数学与常识基准上显著超越自由生成与模板化蒸馏基线。

Structured Transforms for Low-Overhead Quantization of Language Models

本文提出基于符号随机化离散余弦变换(DCT)的交替贪心 Kashin 分解算法,以 \(\mathcal{O}(N \log N)\) 复杂度将 LLM 权重拆解为两个具备对称四峰分布的有界低范数因子,并通过解析聚类中心消除多重重启 \(k\)-means,在 4-bit 权重量化下兼顾极佳的吞吐伸缩性与极高数值稳定性。

Subliminal Learning as Trait-Direction Drift: A Mechanism and Targeted Control under SFT Distillation

论文揭示了知识蒸馏中“潜意识学习”的微观动力学机制——偏好教师在无语义倾向载体(如纯数字序列)中注入的微小对数似然偏好差,会在学生模型微调中沿特征方向持续累积导致表征漂移,据此设计的探针空间走廊正则化能在保留任务精度的同时将恶意行为传递率从 29.5% 压制到 6.4%。

Subliminal Learning Is Steering Vector Distillation

本文揭示了大语言模型中“潜意识学习”(在语义无关数据上微调却继承教师偏好)的底层机理本质上是转向向量蒸馏,证明自适应优化器通过抑制离群梯度将残差流中的偏置方向刻印到了学生参数中。

Subliminal Transfer of Unsafe Behaviors in AI Agent Distillation

本文首次实证揭示在智能体知识蒸馏中,即使对训练轨迹进行严格的关键词与动作清洗,教师智能体的不安全行为特征(如破坏性删除或特定命令偏好)仍会通过轨迹结构动力学隐蔽迁移至学生模型,导致学生在歧义任务中展现出高达 100% 的破坏性操作倾向。

TAPIOCA: Why Task-Aware Pruning Improves OOD Model Capability

揭示了基于推理时贪心层剪枝(TALE)在分布内(ID)不产生增益、而在分布外(OOD)显著提升准确率的核心机制:剪枝并非消除冗余参数或单纯压制激活模长,而是移除了充当低秩高增益放大器的畸变层,将 OOD 残差流几何对齐回任务适配的表示几何。

The Geometry of Linear Program Compression: An Exact Characterization and Learning Algorithm

本文从几何视角揭示了重复求解线性规划(LP)中精确保持最优解的最小子空间结构,提出了基于样本压缩理论的自适应仿射降维学习算法,实现了在无非退化性假设下 \(1 - \widetilde{O}(d^{\star}/n)\) 的快速泛化保证与零最优性损失。

The Hidden Power of Scaling Factor in LoRA Optimization

揭示LoRA中缩放因子 \(\alpha\) 与学习率 \(\eta\) 在优化动力学中的本质不对称性,提出基于平方根缩放律恢复曲率尺度的LoRA-\(\alpha\)协议,使LoRA可直接复用全量微调的小学习率并显著提升跨任务性能。

The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes

系统揭示在策略蒸馏(OPD)与自蒸馏(OPSD)在数学推理中因前缀失真、有偏 TopK 逆向 KL 梯度及特权信息边缘化导致的崩溃机理,提出 Stop-gradient TopK 目标、RLVR 适配教师与 SFT 预热的联合稳定化方案。

The Quantization Benefits of Residual-Free Transformers

本文从架构根源揭示了残差连接会放大激活值的非高斯性与异常值,并提出了一套由正交初始化、二阶谱优化与深度自适应注意力温度构成的无残差Transformer训练方案,使模型激活值在训练全流程保持近高斯分布,从而在极低精度均匀量化下表现出卓越的鲁棒性。

The risk of KV cache compression

本文将大模型推理中的 KV Cache 压缩形式化为希尔伯特空间中概率测度的稀疏平衡问题,推导出紧致的极小化极大风险上下界,揭示了查询感知与查询不可知压缩的根本鸿沟,并提出了兼顾 Prefill 与自回归解码因果掩码的近最优压缩算法。

ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning

针对现有重参数化 PEFT 方法因低秩或预设稀疏导致表达力受限且逊于全量微调的瓶颈,ToPA 创新性提出基于块状托普利茨矩阵(Block-wise Toeplitz)与恒等残差的重参数化适配框架,在保持紧凑参数预算和 FFT 快速运算的同时实现了高秩且密集的参数变换。

TopoPrune: Robust Data Pruning via Unified Latent Space Topology

针对传统几何数据剪枝依赖外在距离测度导致的“几何脆性”,TopoPrune 创新性地结合全局拓扑流形投影与局部可微多参数持续同调优化,构建兼顾全局分布稀缺性与局部拓扑复杂度的双尺度重要性评分,在 90% 极端剪枝率、严重表征噪声及异构模型跨架构迁移场景下均实现了超越现有方法的精度与极佳稳定性。

Training Transformers for KV-Cache Compressibility

针对事后KV缓存压缩受限于冻结预训练表征固有冗余结构的瓶颈,本文形式化界定了Transformer的KV可压缩性并从理论上证明其取决于表征结构,进而提出KV压缩感知训练(KV-CAT),通过训练期自适应KV稀疏化与自蒸馏目标引导模型自发学习可压缩表征。

Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning

提出了在策略脚手架自蒸馏(OPHSD),将外部推理脚手架(如检索比对、规划求解)产生的程序化监督信号通过反向 KL 散度内化到模型自身权重中,摆脱了推理期对昂贵外挂系统的依赖并实现更优独立推理性能。

Transcoder Adapters for Reasoning-Model Diffing

针对推理模型微调前后内部计算差异难以透明化解析的问题,本文提出转码器适配器(Transcoder Adapters),以极其稀疏的字典学习逼近 MLP 增量计算,在保真复现目标模型长程推理的同时揭示了犹豫回溯机制仅由 2.4% 的特定特征所支配,提供了通过特征消融实现无损大幅缩短推理链的新途径。

TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks

针对 Agent 复杂长上下文交互中单维度量化破坏关键 Token 表征的瓶颈,TriAxialKV 提出联合建模时序、模态与语义角色的三轴混合精度量化体系,在 Qwen3-VL 运行 OSWorld 时无损维持 BF16 精度的同时容纳 4.5 倍 KV Cache 并实现最高 1.52 倍吞吐加速。

TriSpec: Ternary Speculative Decoding via Lightweight Proxy Verification

TriSpec 提出了一种将轻量级单层草稿模型、同系列轻量代理验证器与庞大目标模型协同配合的三元投机解码范式,利用代理验证器的概率间隔动态分流验证负载,在几乎无损精度的前提下将目标模型调用次数减半并实现高达 35% 的端到端推理加速。

Truth as a Compression Artifact in Language Model Training

揭示语言模型在包含矛盾答案的语料中更偏好正确答案并非源于对“真实”的本质感知,而是自回归交叉熵最小化追求高压缩比的结果;当错误系统具备高度自洽规则时,模型对正确答案的偏好便彻底归零。

tunable latent generative priors for compressed sensing

针对传统生成先验在逆问题求解中潜空间复杂度固定且容易过拟合噪声的缺陷,本文利用嵌套Dropout训练出单模型内多尺度有序排布的可调生成先验,使下游压缩感知与逆问题能在推理时自由选择最优截断维度 \(k\),并在理论与多架构上验证了中间维度显著超越全尺寸固定基线。

Tunable Latent Generative Priors for Compressed Sensing and Inverse Problems

通过在潜在扩散模型、归一化流与变分自编码器中引入嵌套Dropout,构建单模型内具备层级前缀表征的可调潜在先验,使测试期无需重训即可动态匹配测量数与噪声水平,显著降低压缩感知与逆问题重建误差。

UtoMe: Observation-Uncertainty-Guided Token Merging for Weather Foundation Models

针对传统 Token Merging 仅依据隐层特征相似度容易受再分析输入观测噪声误导的问题,UtoMe 联合大气动力学显著性与集合数据同化离散度构建重要性评分,通过保护高分锚点和引入不确定性校准边惩罚实现高效气象 Transformer 压缩。

Visual Text Compression as Measure Transport

将视觉文本压缩(VTC)建模为测度输运过程中的前推映射(push-forward map),通过无须下游标签的探针估计 patch 内聚合精度损失与跨 patch 碎片化覆盖损失,实现了高准确率的视觉/文本双路径路由及代价引导的高分辨率局部注视(foveation)修复。

WASD: 基于 Wasserstein 距离的大语言模型知识蒸馏

提出基于 Sinkhorn 散度的 WASD 蒸馏框架,利用词嵌入几何代价矩阵捕获词元级语义关系,并通过对偶势函数无偏闭式梯度实现高效无额外网络的自回归 LLM 知识对齐。

Your Teacher Can’t Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation

针对长思维链在线知识蒸馏中学生漂移导致教师监督信号崩溃的“监督保真度衰减”问题,提出前瞻组奖励(LGR)与熵触发树状注意力机制,显著提升长程推理能力。

Patch Rebirth: Fast and Transferable Model Inversion of Vision Transformers

针对视觉 Transformer(ViT)模型逆向中自注意力计算昂贵以及剪枝丢弃未充分优化图像块的缺陷,本文提出 Patch Rebirth Inversion(PRI),在单次逆向轨迹中渐进式分离高显著性图像块并保留剩余图像块接力优化,利用“Re-Birth 效应”同时兼顾类无关与类特定表征,实现最高 10 倍加速与无损迁移精度。