ECCV2026 模型压缩论文解读论文笔记知识蒸馏对抗鲁棒持续学习扩散模型压缩/编码

📦 模型压缩¶

🎞️ ECCV2026 · 92 篇论文解读

📌 同领域跨会议浏览： 📷 CVPR2026 (108) · 🔬 ICLR2026 (239) · 💬 ACL2026 (59) · 🧪 ICML2026 (116) · 🤖 AAAI2026 (60) · 🧠 NeurIPS2025 (143)

🔥 高频主题： 知识蒸馏 ×9 · 模型压缩 ×9 · 对抗鲁棒 ×8 · 持续学习 ×7 · 扩散模型 ×6

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models: GenRecal 在训练时用 Recalibrator 将小型视觉语言模型的隐藏特征接入教师的语言头，绕过跨 tokenizer 的直接 token 对应问题，使 InternVL2.5-8B 的 MMMU 从 56.0 提升至 68.1，部署时则移除全部辅助模块，保持学生原有架构。
Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection: 本文把预训练扩散模型从图像生成器改作真实数据的区域选择器，通过类别条件差异定位和 DIFT 聚类构建可复用的压缩训练集，在 ImageNet-1K、IPC=50 的主实验中取得 \(61.0\pm0.3\%\) 分类准确率。
Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection: SCL-MGSM 用首任务标签和残差逐批筛选随机投影基，再冻结表示并递归更新岭回归分类器，在不保存历史样本的类增量学习中改善表达能力与数值稳定性，ImageNet-R 的 B-0 Inc-10 最终准确率达到 77.12%。
Quick ViTs: Speeding up Vision Transformers through Equivariance: Quick ViTs 将旋转与反射等变性变成傅里叶域线性层的结构化稀疏和权重共享，使 H8(ViT-H/14) 在 ImageNet-1K 监督分类中以 102.3G 而非 167.8G FLOPs 达到 85.0% 而非 84.6% Top-1，同时说明理论 FLOPs 节省为何不等于同倍率实际加速。
PuzLM: Solving Jigsaw Puzzles with Sequence-to-Sequence Language Models: PuzLM 用轻量的边界词元化把图像拼块变成符号序列，再让标准编码器–解码器模型预测每块的网格位置，在 ImageNet 3×3 上取得 92.2% 拼块位置准确率和 87.1% 完整拼图准确率。
Audio-Visual Continual Test-Time Adaptation without Forgetting: AVReCAP 在视听模型持续测试时适应中，用输入统计检索并复用历史融合层参数，而非一直覆盖同一状态；在 VGGSound-2C 上平均准确率达到 43.51%，比不适应的源模型高 6.28 个百分点，并显著缓解源域遗忘。
LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning: LANCE 在微调开始前用一次高阶奇异值分解（HOSVD）为每层激活标定一组固定的低秩投影子空间，训练时只把激活压缩成核张量存进内存、反向用同一组正交因子重投影出梯度贡献，把激活峰值显存压到全量 BP 的 1/25 到 1/380；同一套固定子空间还可以在离线标定阶段按任务分配到彼此正交的零空间里，从而在不存回放样本、不驻留大矩阵的前提下做端侧持续学习。
Pathryoshka: Compressing Pathology Foundation Models via Multi-Teacher Knowledge Distillation with Nested Embeddings: Pathryoshka 把三位大型病理基础模型的全局与空间知识压入一个支持前缀截断的学生，在 86M 参数下取得十项分类基准 85.6 的准确率中位数，同时降低编码与特征存储成本。
Shared LoRA Subspaces for almost Strict Continual Learning: Share 将不断到来的数据或 LoRA 适配器整合进一组持续更新的共享基，以少量任务系数替代独立适配器，在无回放 CIFAR-100 类增量实验中达到 94.20% 最终准确率，但一般设置仍保留任务系数，且 Share-full 允许访问旧数据，不能把所有结果都称为严格持续学习。
Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging: DTS 不强迫所有任务使用完全相同的权重，而是用低秩分解和四组阈值编码保存可重建的任务残差，在 ViT-B/32 八任务合并中以每任务 0.98% 额外存储取得 90.17% 平均准确率，并用任务语义相似度组合残差以支持未见任务。
C2E: Boosting Ego-Only 3D Object Detection via Multi-Teacher Contrastive Knowledge Distillation: C2E 用 M2S 多教师蒸馏框架，把训练时多车点云提供的稠密知识迁入仅接收自车 LiDAR 的学生，使 AttFuse 在 V2XSet 测试集的 [email protected] 从 58.06 提高到 66.70，而部署时不需要车际通信。
CL-Anomaly: Layer-Adaptive Mixture-of-Experts with Multimodal Large Language Model for Continual Learning in Anomaly Detection: CL-Anomaly 在冻结的多模态大语言模型上并联任务私有 LoRA 与共享专家，再按逐层任务相关性合并新旧共享参数，在八任务异常检测序列上取得 85.61% 的最终平均准确率和 −0.96 个百分点的后向迁移指标，主要改善跨任务遗忘而非提出新的异常定位器。
Cross-Resolution Distribution Matching for Diffusion Distillation: 本文提出 RMD，把"降分辨率"作为与"降步数"并列的第二条加速维度：用 logSNR 曲线把去噪轨迹切成若干段并为每段指定分辨率，再把低分辨率生成器的样本经可微上采样投到教师的高分辨率空间做 DMD 式分布匹配，配合预测噪声回注稳定训练，在 SDXL 上以 2+2 步取得 33.4× 加速、在 Wan2.1-14B 上以 3+3 步取得 25.6× 加速，同时保住生成保真度。
DiffPro: Joint Timestep and Layer-Wise Precision Optimization for Efficient Diffusion Inference: DiffPro 用校准数据识别易受量化影响的层和去噪步骤，再联合选择逐层精度、动态激活量化与保留时间步，在 DiT-XL/2 上将模型从 2575 MB 压至 327 MB、A30 延迟从 6.88 降至 2.55 秒/图，代价是 FID 从 2.27 升至 5.89。
FastSTAR: Spatiotemporal Token Pruning for Efficient Autoregressive Video Synthesis: FastSTAR 在 InfinityStar 的高分辨率细化阶段，用空间与时间特征变化共同筛选值得计算的 token，并让未计算位置不再叠加残差，将 720p 文本到视频的端到端延迟从 81.7 秒降至 40.6 秒，同时将 VBench 总分从 83.89 保持在 83.18。
From Draft to Draft-Free: One-Step Video Object Removal via Privileged Distillation and Fast Planting: D2DF 先让多步教师学习修好视频移除草稿，再用仅教师可见的真值先验蒸馏一步学生，最后以轻量潜空间伪草稿替代外部修复器；无草稿版本在 RORD 上取得 31.56 dB PSNR，先验提取加去噪耗时为 1.05 秒，但这不含潜变量编解码。
Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation: ConfiG 用跨类扩散编辑和师生置信度差异生成学生尚未掌握的训练样本，在不知道伪相关属性的条件下改善蒸馏鲁棒性，使 CelebA-HQ 最差群体准确率从仅真实数据的 53.44% 提升至 88.15%。
Learning to Recover Task Experts from a Multi-Task Merged Model: ReTeX 将模型合并干扰视为可学习的参数偏移，通过 SVD 子空间识别任务并按需恢复专家，使单个合并检查点在 ViT-B/32 八任务设置下达到 92.2% 平均准确率，同时避免推理时保存完整专家检查点。
MambaRaw: Selective State Space Modeling for Efficient 4K Raw Image Reconstruction: MambaRaw 将状态空间模型（SSM/Mamba）引入 JPEG 引导的元数据 RAW 图像重建框架的熵参数估计中，通过能量引导的分块选择性扫描（TileMambaBlock）与能量感知特征精炼（EAR）两个轻量模块，在 4K 分辨率下同时提升了重建质量（PSNR 提升 1.2–1.4 dB）并降低了编码延迟（约 9%）。
Neutralizing Token Aggregation via Information Augmentation for Efficient Test-Time Adaptation: 本文把"在测试时自适应（TTA）里插拔式地加 token 聚合来省算力"这件事形式化为 Efficient Test-Time Adaptation（ETTA），用互信息分析指出聚合是 many-to-one 映射、其信息损失无法被 TTA 常用的 LayerNorm 微调补回，于是提出 NAVIA：在聚合发生之前给 [CLS] 挂上"输入级嵌入增强 + 浅层特征级偏置增强"两个可学习信息载体，只多训极少参数（ViT-B/16 上比纯 LayerNorm 多 5.3K），在 4 个 OOD 基准上比 TTA SOTA（FOA）最高 +3.1%，同时获得 14%–26% 的墙钟加速。
Off the Planckian Locus: Using 2D Chromaticity to Improve In-Camera Color: CCM-MLP 保留白点的二维色度，用轻量 MLP 预测整幅图像共享的颜色校正矩阵，在灯箱 Pixel 测试中将 2-CCM 的平均颜色再现角度误差从 4.56° 降至 3.60°，主要改善偏离普朗克轨迹的现代照明。
ProGVC: Progressive-based Generative Video Compression via Auto-Regressive Context Modeling: ProGVC 把视觉自回归模型（Visual Auto-Regressive, VAR）的「下一尺度预测」搬到视频压缩：用多尺度残差量化把视频隐特征编成粗到细的分层 token 金字塔，传输时发全部帧内（intra）尺度与前 k 级帧间（inter）尺度、被截断的高频尺度由同一个自回归上下文模型现场生成，从而在 300–2000 kbps 低码率区间同时拿到可伸缩码流、码率自适应和具竞争力的感知质量。
Puppet-CNN: Continuous Parameter Dynamics for Input-Adaptive Convolutional Networks: 把一个卷积骨干所有层的卷积核看成参数空间里同一条连续轨迹上的采样点——轨迹由一个极小的「puppeteer」神经常微分方程沿归一化坐标 \(s\in[0,1]\) 演化而来，网络深度变成采样分辨率 \(\lfloor 1/\Delta s\rfloor\)，轨迹的初始状态与采样步长又随输入的熵复杂度变化——于是在 CIFAR-10 上以 1.08（原文表头记作 1.08 MB，但按量级应为百万参数级，⚠️ 以原文为准）的可训练参数量取得 72.51% Top-1，并让样本级的参数自适应与深度自适应成为这套动力系统的结构副产物，而不是外挂的控制器。
Rapidly Deploying On-Device Eye Tracking by Distilling Visual Foundation Models: 本文提出 DistillGaze：先用合成注视标签加无标注真实红外眼图把 DINOv3 自蒸馏成领域教师（86M），再把它蒸馏进一个 256K 参数的端侧学生，全程不使用任何真实注视标签，在 Project Aria 众包数据集上把中位注视误差从 3.48° 降到 1.44°（↓58.6%），尾部分布 E90U90 从 14.84° 降到 8.45°（↓43.1%），且模型尺寸与合成监督基线完全相同。
Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets: 本文在轨迹匹配式数据集蒸馏（DATM）骨架上加了两个模块——把 KNN 邻域一致性（动态）与二阶遗忘时间戳（静态）课程式融合的样本重加权 SGR 用于净化教师参数轨迹，以及用"高置信子集微调出的降噪教师检查点"提供辅助对齐目标的 TIAT——使蒸馏出的小数据集在对称/非对称/真实标签噪声下都更鲁棒，CIFAR-10 40% 对称噪声下最高比 DATM 高 4.7–6.6 个百分点。
Stokes-Informed Diffusion for Robust Linear Polarization Estimation: GenPolar 把单张 RGB 到偏振的病态逆问题改写为逐通道 Stokes 分量预测，在可靠区域监督偏振角，并通过单步蒸馏支持 VAE 编码器适配，在三类测试集上同时改善偏振强度与角度估计。
Structural Assessment for Understanding and Guiding Dataset Distillation in Discrete Token Space: 本文通过离散视觉token空间的统计分析方法，提出了结构评分（Structural Score）来评估蒸馏数据集质量，并基于此设计了TGDD（Token-Guided Dataset Distillation）框架，利用结构评分引导扩散模型生成高质量蒸馏数据。
Towards Memory-Efficient Autoregressive Video Generation via Instance-Specific Parametric Absorption: ISPA 在视频生成的短暂预热阶段拟合局部注意力与完整注意力的差异，将可压缩层的历史影响吸收到输出投影权重中，使 LongLive 的 ISPA-0.5 在 30 秒测试中仅保留 54.2% 的 KV 缓存、主体一致性由 96.10 变为 95.61，但这并不意味着所有模型和指标都严格无损。
Training-Free Task Classification for Multi-Task Model Merging: SiM 用少量任务支持样本的低秩特征子空间识别测试输入所属任务，再选择对应压缩任务向量，使 CLIP ViT-B/32 的八任务合并模型达到 92.7% 平均准确率，接近独立专家的 92.8%，且无需训练路由器或提供测试任务 ID。
ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device: ZipDepth 将 Depth Anything v2-Large 的多域深度知识蒸馏到约 6.1M 参数的卷积学生，用半分辨率细节通路和硬件自适应上采样保留边界，在 Jetson Orin NX 15 W、FP32 条件下达到 34.4 FPS、396.6 mJ/帧，但精度仍低于教师，输出也只是相对深度。
AVQ-Attention: Adaptive Vector-Quantized Attention: AVQ-Attention 先用粗粒度码本计算注意力，再按每个查询块的注意力质量选择父码字并启用预学习的子码字，通过融合预计算和增量校正改善速度与精度的折中；在 ADE20K 的受控比较中达到 43.33% mIoU，但仍低于精确注意力的 49.0%。
Boosting Text-Driven Video Segmentation via Geometry-Aware Distillation: GeoLaV 在 SAMWISE 分割框架上先用单张图像合成连续新视角进行预训练，再在真实视频上蒸馏语义与三维几何教师，使 Ref-YouTube-VOS 的 J&F 达到 70.5，相比同为 202M 参数的 SAMWISE 提高 1.3 分，且不在推理时保留教师或投影头。
Breaking the Model Forgetting Cycle in Long-Incremental 3D Object Detection: LDMR 将历史场景的召回率变化转化为“哪些样本现在要多复习、哪些样本值得留到下一阶段”的决策，在 SUN RGB-D、TR3D 十阶段增量检测中达到 19.38 [email protected]，比同预算的 SDCoT++ 随机记忆基线高 3.84 点。
CloSeR: Unified Relational Distillation from Closed-Set Teachers for Category Discovery: CloSeR 不让闭集教师替未知类别命名，而是把教师学到的“样本像哪些已知类、样本之间有多相似”作为两种结构监督注入类别发现模型，使 DINO 下 SelEx 的细粒度平均 All ACC 从 63.1 提升至 72.0，同时兼容分类器式与聚类式学生。
Concept-to-Pixel: Prompt-Free Universal Medical Image Segmentation: C2P 将大模型生成的医学语义蒸馏到语义 token，并用掩码属性监督几何 token，再据此生成逐图像动态卷积核和几何一致性融合权重，以无需人工提示或参考图像的单模型取得八数据集平均 Dice 88.22%，但不能稳健迁移到所有结构类型。
Condensing Large-Scale Datasets Directly with Minimal Information Loss: 本文指出主流大规模数据集蒸馏（SRe2L 系）的「数据→模型→图像」双重压缩过程会造成严重信息损失、并使蒸馏图像偏离真实分布从而拖垮 Relabel，提出 CIM：用一个可计算的「有效信息 gap」度量，直接在原图上最小化合成集与真实集的信息差，绕开昂贵的 recover 阶段，在 ImageNet-1K IPC=10 上以单卡 80 分钟拿到 48.7% Top-1（ResNet-18）。
Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers: 提出跨空间蒸馏框架与轻量级 Bridge 接口，冻结学生 VAE 解码器前缀作空间先验并结合 SwinIR 投影器，突破师生潜在分辨率与 VAE 不匹配的限制，使轻量 SD 1.5 单步生成达到现代 1024 分辨率大教师水平。
DA-MergeLoRA: Hypernetwork-Based LoRA Merging for Few-Shot Test-Time Domain Adaptation: 针对少样本测试时域适应（FSTT-DA）中目标域数据极度匮乏且无反向传播更新的严苛约束，DA-MergeLoRA 通过为多源域独立训练轻量 LoRA，并利用元学习训练的跨注意力超网络根据少量无标签目标图像动态生成列级合并权重，在参数空间零梯度合成专用目标模型，刷新了 DomainNet 与 WILDS 基准 SOTA。
DeCoFlow: Structural Decomposition of Normalizing Flows for Continual Anomaly Detection: DeCoFlow 将归一化流的尺度与平移子网拆成冻结基座和独立任务适配器，再用输入对齐、辅助耦合与尾部加权弥补冻结带来的拟合限制，在无历史数据回放的逐类学习中取得 MVTec-AD / VisA 图像级 AUROC 98.40% / 93.00%，但“零遗忘”仍以正确路由为条件。
Denoised Variance-Based Pruning with Optimal Brain Bias Compensation: DVBP + OB2C 先用去噪与原始激活方差的混合分数选择待剪 MLP 神经元，再以中心化协方差求解权重和偏置补偿；在 ImageNet-1K 上剪去 50% MLP 隐藏神经元且不微调时，Swin-S 的 Top-1 从 VBP 的 69.91% 提升至 77.24%。
Describe-Then-Act: Proactive Agent Steering via Distilled Language-Action World Models: 针对传统视觉世界模型高延迟无法用于实时控制的瓶颈，提出无视觉开销的语言-动作世界模型 DILLO，通过跨模态知识蒸馏直接从策略隐状态与动作块预测未来语义描述与二值判定，实现 14 倍推理加速与显著的策略主动纠错。
Distill on a Diet: Efficient Knowledge Distillation via Learnable Data Pruning: 本文提出 IF-Beta 框架, 用影响力函数(IF)作为无需重训的样本重要性评分器, 配合可学习的 Beta 分布采样策略, 通过特征空间双层优化高效搜索最优剪枝子集, 使学生在更少数据和算力下超越全量数据蒸馏的性能.
Distill Once, Adapt Life-Long: Exploring Dataset Distillation for Continual Test-Time Adaptation: DO-ALL 在部署前用数据集蒸馏（DD）将源域压缩为一小组合成锚点（每个锚点包含合成样本、源模型软标签和潜在特征），测试时通过特征空间余弦相似度为每个目标样本匹配语义最近的锚点，用锚点回放、目标-锚点 MixUp 正则化和多层 MMD 特征对齐稳定模型更新，并辅以有害自适应混合机制按参数组梯度有害程度选择性回退到源模型初始化，以即插即用方式一致提升 EATA、RMT、ROID、ASR 等多种 CTTA 方法在 ImageNet-C 和 CCC 基准上的长期鲁棒性。
Ex-Sim(3)-Reg: 2D-3D Correspondence Pruning via Extended Sim(3) Registration: 针对基于单目深度先验的 2D-3D 匹配剪枝易受尺度噪声干扰的痛点，论文将经典 Sim(3) 配准拓展为包含逐对应点尺度扰动的扩展 Sim(3) 配准，并通过尺度参数化兼容图的最大团搜索（Ex-Sim(3)-Reg）将非凸欠定问题转化为高内点率 SE(3) 配准，实现高达 24.7% 的配准召回率提升。
Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning: FedFMX 在训练时按专家的遗忘风险与学习收益选择样本级专家子集，再蒸馏出无需标签的推理门控；在 ResNet-18、细粒度增量和 Dirichlet 标签不均衡设置下，CIFAR-100 准确率为 50.32%，高于 FedCBDR 的 46.27%。
HoloTetSphere: Unified TetSphere Mesh Reconstruction for Physical Simulations: 针对传统两阶段表面提取与四面体化易出错、以及现有 Lagrangian 四面体基元同胚约束导致拓扑无法自适应且碎块割裂的问题，HoloTetSphere 提出了四面体与高斯球紧密耦合的双层连续隐式表示，通过共享顶点的连续不透明度场实现可微剪枝，并结合双阶段 HC-Laplacian 平滑交替优化几何，端到端重建出高质量且单一连通的物理级四面体网格。
IDeaL: Data-Free Multi-Teacher Distillation via Improved Dead Leaves: 针对无真实数据场景下的多教师模型蒸馏难题，IDeaL 基于过程化枯叶（Dead Leaves）噪声，引入针对多个 ViT 教师内部注意力特征的 Patch 级与图像级双重解相关损失进行像素级直接优化，在完全不依赖真实图像与类别标签的前提下，大幅缩小了合成数据与真实数据的蒸馏性能差距。
Learning Semantic-Robust Change Detection via Semantic-Invariant Self-Distillation: 针对遥感双时相变化检测中光照、阴影和天气等非语义环境扰动导致的虚警与漏检问题，本文提出 SCDistill 框架，通过扩散模型仿真真实外观扰动，并利用语义不变自蒸馏促使视觉基础模型编码器提取抗干扰表征，在语义变化检测、二值变化检测与变化描述任务上均取得 SOTA。
Learning to Tessellate: Point Cloud Generation via Recursive Spectral Partitioning: PointRSP 将点云自回归生成重塑为拓扑保持的空间递归谱镶嵌过程，通过构建非平衡二叉树蓝图与双流级联生成网络，显著消除了空间切分伪影并达到新 SOTA 生成质量。
Low-Rank Ternary Adaptation for Fine-Tuning Transformers: 针对现有低比特LoRA无法直接微调三值权重且合并后破坏离散特性的瓶颈，提出基于Kronecker分解的低秩三值乘法适配器（Ternary Multiplicative Adaptation），实现零反量化、完全闭合于三值域的高效微调与无损融合。
MixTTA: Low-Rank Cross-Channel Mixing for Reliable Test-Time Adaptation: MixTTA 在归一化层的逐通道仿射变换基础上，插入一个低秩残差跨通道混合模块，使测试时自适应（TTA）能够纠正分布偏移引起的通道间相关结构变化，配合解耦投影和谱投影两个正则手段防止对角泄露与秩一坍缩，在标准与 wild TTA 场景下即插即用地提升 Tent / EATA / SAR / DeYO / ReCAP 五大基线的精度和稳定性。
Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance: Moebius 用 LλMI 轻量骨干与自适应多粒度潜空间蒸馏构建 0.226B 参数的图像补全专用模型，在 Places2 小掩码设置下达到 FID 0.92、LPIPS 0.091；相对 FLUX.1-Fill-Dev 的约 15.5 倍总耗时优势同时来自更快的单步计算和更少的默认采样步数。
MVPruner: Dynamic Token Pruning for Accelerating Multi-view Vision-Language Models in Autonomous Driving: MVPruner 把多视角视觉语言模型的剪枝分为“先保留丰富场景信息、再聚焦当前指令”两阶段，在 DriveMM／DriveLM 的 90% 剪枝设置下将综合得分从 59.1 保持到 58.2，同时将预填充延迟从 1968 ms 降到 395.6 ms，但这不等于端到端加速 4.97 倍。
On the Vulnerability of Parameter-Level Defenses to Model Merging: 本文揭穿了「用线性变换让模型不可合并」这类参数级防御的根本漏洞——被保护的任务向量比预训练锚点小 2~3 个数量级，于是提出 Anchor-Guided Attack（AGA）：把公开预训练模型当静态锚点，用最小二乘 + 匈牙利算法解析地还原出防御方藏起来的变换矩阵，几乎无损地恢复受保护模型；同时给出抗攻击的 Anchor-Repulsive Fine-tuning（ARF）防御作为补救。
RaysUp: Ultra-light Universal Feature Upsampling via Geometry-Aware Ray Representation: 提出一个仅 0.14M 参数、同时任务无关和 VFM 无关的极轻量通用特征上采样框架 RaysUp，通过空间解耦引导编码器、光线位置编码（RayPE）和几何感知邻域交叉注意力三个关键设计，将特征重建从 2D 像素平面提升到 3D 光线域，在语义分割、深度/法向估计、视频目标分割和开放词汇分割等多种密集预测任务上达到 SOTA 或接近 SOTA，推理速度比此前唯一的 VFM-agnostic 方法 AnyUp 快约 7 倍。
Self-Improving Diffusion Classifiers with Minority Preference Optimization: 提出自提升少数派偏好优化框架 MiPO，仅利用无标注文本提示与 Tweedie 逆近似少数派奖励，通过 LoRA 和选择性组相对策略优化增强低密度区域表征，在零下游图像和零外部奖励模型下显著提升扩散分类器的零样本感知与鲁棒性。
SFKD: Spatial–Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction: 针对异构模型（CNN、Transformer、MLP-Mixer）归纳偏置差异导致的表征空间分布不一致问题，SFKD 提出结合多级离散小波解耦、双流双阶段谱精炼与高斯滤波频域对比损失，在保留并提炼全局结构与局部细节的同时实现高效异构知识蒸馏。
Structured Hyperedge Adaptation for Parameter-Efficient Fine-Tuning of Vision Transformers: 把 ViT 的 adapter 微调从「每个 token 各自单独更新」搬到「超边空间」——先用可学习原型把 patch token 软路由成若干组（超边），在超边上做低秩瓶颈适配，再把更新扩散回 token，用极小的参数量（<0.5% backbone）在 VTAB-1K 上把结构化推理任务的准确率显著拉高。
TextDS: Parameter-Efficient Representation Alignment for Scene Text Detection under Distribution Shifts: TextDS 采用 SAM2 和 DINOv3 双编码器架构，通过逐步低秩自适应（SWLoRA）和公共子空间融合（CSF）实现无需大规模场景文本预训练的鲁棒场景文本检测，仅用 4.9M 参数即在域偏移和雨/雾/曝光/低分辨率等成像退化条件下达到领先性能。
VICAL: Vicinal Consistency Alignment for Long-Tailed Visual Recognition: 针对长尾学习中多专家模型盲目追求专家多样性反而损害个体精度的矛盾，VICAL 提出频域解耦的邻域一致性对齐机制，通过强增广插值的自一致性平滑尾类损失曲面，并利用低分辨率视图约束跨专家低频语义对齐与冲突知识过滤，在避免优化冲突的同时显著降低模型预测方差。
WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens: WinTok 提出了一种混合视觉分词器架构，通过在单一统一编码器中引入可学习语义 Token 并施加非对称教师蒸馏，将视觉理解与生成在表征层彻底解耦，在仅用 50M 数据训练下实现 ImageNet-1K 分类准确率 82.0% 与重构 rFID 0.41 的双赢表现。
Accurate Zero-shot Quantization via Hierarchical Teacher-Assistant Distillation: Zest 在不访问原始训练图像的条件下，以中间位宽教师助理、量化感知图像重校准和逐块重建连接全精度 CNN 与低位宽学生，在 ImageNet-1K 上取得 ResNet-18 W4A4 的 70.50% Top-1 准确率，距文中全精度基线仅 0.51 个百分点。
Benchmarking Federated Learning & Knowledge Distillation for Point Cloud Classification: 本文通过点云分类的联邦教师—蒸馏目标交叉评测揭示：有标签代理数据可以让仅有 8.50% 准确率的教师产生 92.94% 的学生，因此压缩后的高准确率不一定证明联邦模型学到了可迁移知识。
CaPCL: Caption-Preserved Continual Learning for Text-to-Image Retrieval: CaPCL 在学习新图文检索任务时，要求模型继续生成更新前为当前图像写出的辅助描述，以保护新查询没有覆盖的旧语义；在 BLIP-2 的四种任务顺序平均结果上，将 ModX 的遗忘指标 FM 从 0.0890 降至 0.0654，同时把 AA 从 0.6387 提高到 0.6942。
CARA: Collision-Aware Resolution Adaptation for Multiresolution Hash Encoding Based Image Fitting: 针对 Instant-NGP 固定分辨率调度与哈希碰撞导致的参数冗余及容量瓶颈，CARA 通过频带经验熵与碰撞衰减因子量化有效信息量，利用动态规划求解极小化极大信息负载的分辨率方案，并结合可逆 Pixel-Shuffle 降低负载因子，以仅 27.76% 的参数量达到同等保真度，同等参数下提升高达 6.11 dB PSNR。
Causal Yet Future-Aware: Dual-Path Temporal Modeling for Online Action Segmentation: DPTM 把离线教师中的历史与未来依赖显式拆开，再训练一个只读近期历史的分支去模仿未来表示，使在线动作分割在不访问未来输入的前提下减少碎片化预测；采用 ASFormer 时，GTEA 的 Edit 从因果基线的 73.2 提高到 80.0。
Don’t Teach Instability, Teach Robustness: Selective Sensitivity Gating for Adversarial Distillation: 针对传统对抗鲁棒性蒸馏盲目对齐教师锯齿状决策边界导致“稳定性惩罚”的缺陷，提出 AEGIS 框架，通过语义分类门控与敏感度校准门控双重解耦监督，使学生模型在 CIFAR-10 AutoAttack 下取得 53.22% 的鲁棒准确率（超越 ARD 3.12%），并在 \(\epsilon=16/255\) 极端扰动下保持近 50% 的防御性能。
EAGS: Error-Aware Gaussian Splatting with Dual-Confidence-Guided Modeling for Uncalibrated Driving Scenes: EAGS 把未标定驾驶图像的前馈 3D Gaussian Splatting 重建改成“根据残差补点、根据几何可靠性保留”的过程，以蒸馏约束剪枝后的表示，在 Waymo 上取得 28.02 dB PSNR、平均每视角 49,556 个高斯，而 DGGT 为 27.41 dB、152,292 个。
EffiDINO: Task-Specific Model Pruning via Gram Anchoring Subspace Consistency: 针对现有无训练一次性结构化剪枝（OSP）强行对齐局部 Token 导致流形崩溃和通用剪枝缺乏任务专属性的痛点，论文提出 Cut-ViT（EffiDINO），通过空间与通道 Gram 锚定解耦语义拓扑，施加基底无关与残差子空间约束，并结合谱熵动态适配下游任务信息密度，仅耗时约 1 分钟即可在单卡 A100 上实现 SOTA 剪枝性能。
Enhanced Neural Video Representation Compression with High Scalability: 本文提出面向视频压缩的隐式神经表示框架 NVRC++，通过引入高分辨率特征网格、参数内分层B帧编码结构、退火特征网格掩码以及多先验多维网格熵模型，在保持固定解码计算复杂度的同时实现了宽码率范围跨越与最高 7.6 倍于 NVRC 的快速解码。
Flash-DD: An Ultra Parameter-Efficient Approach to Dataset Distillation: 针对大规模数据集蒸馏中教师模型存储开销大、在线生成慢且全尺寸教师因容量不匹配导致泛化次优的问题，Flash-DD 提出了面向数据集蒸馏的参数缩减与自适应集成标签生成机制，以低至 0.03% 的额外存储实现 843.81× 标签生成加速，并在 1.8% 存储预算下实现高达 13.4% 的精度提升。
From Predictions to Embeddings: Dual Knowledge Distillation for Instance-Dependent Partial Label Learning: 针对实例相关偏标记学习（IDPLL）中候选标签语义高度混淆且非候选标签暗知识易被破坏的困境，提出双重蒸馏框架 DKDP，通过极小扰动的闭式约束投影校正教师输出分布，并引入在线类原型将可靠知识从预测空间延拓至特征嵌入空间。
GCMRD: Global Consistency Multi-teacher Robustness Distillation: 针对双教师对抗鲁棒性蒸馏中教师协同不足与目标冲突导致的性能瓶颈，GCMRD 从内层最大化联合软标签攻击、全排斥负监督正则化以及自然教师对齐微调三个维度重塑蒸馏机制，显著提升了轻量级学生模型的自然精度与鲁棒性边界。
Identifiable Gated Residual Personalization for Federated Parameter-Efficient Fine-Tuning: 针对联邦参数高效微调中门控残差混合存在的尺度不可辨识性（Scale Non-Identifiability）问题，FedSDG 通过结构解耦的双路径 LoRA、映射级标量门控与以冻结主干为锚点的动态尺度对齐（Dynamic Alignment），在不增加跨客户端通信的前提下实现了稳定、深度可感知的可辨识个性化。
Interference-Aware Continual Vision–Language Learning via Instance-Level Expert Routing: 针对持续视觉语言学习中的灾难性遗忘与任务冲突，提出 IAR 框架，通过 Fisher 度量白化计算样本级干扰能量以动态路由专家，结合子空间主夹角填充与残差驱动自适应增秩，在跨域分类、结构化概念匹配、生成式 VQA 与跨模态检索中全面超越现有基线。
Learning Egocentric Cues from Exocentric Video using Privileged Egocentric Supervision: Ego2ExoVLM 让只看第三人称视频的学生学习第一人称教师的回答，并用自适应视觉 token 提取容易被背景淹没的交互线索，在 Ego-in-Exo Perception 上将 VideoLLaMA3 的平均准确率从 71.2% 提高到 74.2%，测试时不需要第一人称相机。
Mitigate Modality-Asymmetric Forgetting via Stabilizing Visual Representations in CLIP-Based Class-Incremental Learning: 针对基于 CLIP 的类增量学习中视觉分支遗忘远比文本分支严重的模态不对称遗忘问题，本文提出视觉锚点结构迁移框架（VAST），通过跨层自相似增强构建稳定的几何视觉锚点，并结合矩阵 Rényi 熵结构蒸馏跨任务对齐特征分布，在无回放数据条件下显著降低表征漂移并取得 SOTA 性能。
MLVC: 面向真实部署的多平台学习式视频编解码器: 把熵编码所需的 scale 参数从「网络实时算出来」改成「通过 hyperprior 确定性地传出来」，让神经视频编解码器第一次能在 Apple / Intel / Qualcomm 等异构 NPU 上「A 端编码、B 端解码」而不崩溃，同时靠门控记忆、ReGLU、长期参考帧恢复等一系列改进把跨平台约束带来的码率损失补回来，在视频会议基准上相对硬件 HEVC 拿到 >70% 的 BD-rate(MOS) 提升、三平台平均 100 FPS。
MoE-KD: Your Teacher Model is Worth Mixture-of-Experts for Knowledge Distillation: 将知识蒸馏重构为以教师预测为隐变量的混合专家（MoE）分类框架，通过复用教师分类器构建门控网络、利用多样本教师表征聚合专家原型，并借助 EM 算法联合优化证据下界，彻底消解软标签与真实标注之间的分布冲突。
Multi-Head Normalization for Wide Vision Transformers: 针对宽架构 Vision Transformer 在高维特征空间中因少数离群极值主导全局归一化而导致的表征压缩与梯度消失问题，本文提出 Multi-Head RMSNorm (MH-RMSNorm)，将高维向量均匀划分为多个子块独立进行 RMSNorm，成功消除训练坍塌并将 ViT 稳定扩展至 4096 维。
Open-Vocabulary Long Term Action Anticipation: 针对传统第一人称长期动作预测局限于闭集词表且跨多视界预测缺乏时序连贯性的问题，本文首次提出跨数据集开放词表长期动作预测评测框架，并设计了结合 4D 旋转位置编码的多视界交叉注意力解码器（MHCAD）与轻量化文本瓶颈适配器，在零样本跨数据集迁移中大幅刷新基准表现。
Perceptual Projection Pruning: Diversity-Aware Video Token Pruning for Multimodal Large Language Models: P3 将视频 token 的筛选依据压缩为运动、区域对比和局部复杂度三个分数，再按时间段聚类并分层保留原始 token，在 Qwen3-VL-8B 的 25% 保留率下取得 97.3% 的平均相对表现，并在指定密集视频设置中实现剪枝加预填充阶段 4.05 倍加速。
R2M: Real-Aware Residual Model Merging for Robust and Generalizable Deepfake Detection: 针对多生成器深度伪造检测中模型合并引起的真实判决面漂移与伪造线索冲突问题，R2M提出先离线谱分解消除真实敏感分量并提取伪造残差，再在线通过单次反向传播梯度对齐轻量路由最匹配残差的免训练合并框架。
RUTaL: Residual Upcycling with Task Ladder for Efficient Multi-Task Learning: 针对多任务学习中传统微调开销过大以及现有 PEFT 共享参数与任务专有参数在固定骨干中相互挤占竞争的问题，RUTaL 提出了基于解耦表征架构的高效微调范式：主干侧采用任务通用残差复用（TGRU）将 ViT 前馈层轻量升阶为共享 MoE，旁路侧通过任务感知选择器与天梯自适应抽取器（TSLA）无干扰地提取任务专有表征，以仅 2.93M 可训练参数在 PASCAL-Context 上实现 +7.79% 的综合性能增益。
Scaling Dense Prediction with Latent Decoding: 针对传统金字塔像素解码在超高分辨率下显存激增且细节退化的瓶颈，L-DPT 提出将密集预测的表示容量与像素渲染彻底解耦，在 ViT patch 尺度的紧凑隐空间内通过 RoPE 注意力完成全量语义与几何推理，仅在末端使用极轻量 PixelShuffle 读出，实现固定 768 训练分辨率外推至 100MP（1 亿像素）超清图像的高保真平稳推理。
Sequential Visual Place Recognition: Exploiting Trajectory Priors for Robust Localization: 针对传统视觉地点识别单图判定脆弱且现有序列匹配强依赖有序参考库的瓶颈，本文提出 TRAIL 框架，基于条件随机场建模发射与转移势能，直接在无序参考数据库上利用查询轨迹几何一致性筛选候选，以极低计算开销将强基准 Recall@10 显著提升 8.3~10.4 个百分点。
SurvMILKD: A Weakly Supervised Survival Analysis Framework for Multi-Teacher Knowledge Distillation using Pathology Foundation Models: 针对数字病理全切片图像（WSI）生存分析中基础模型选型困难与多模型集成推理开销巨大的瓶颈，SurvMILKD 提出了首个面向 WSI 生存分析的多教师知识蒸馏（MKD）框架，通过弱监督多示例学习适配器结合风险感知软序数蒸馏损失与自适应动态加权，将多个大型冻结教师模型的互补表征成功压缩并注入轻量单学生模型中，在推理阶段零额外计算开销下超越单模型及大体量集成基线。
Task Alignment: A simple and effective proxy for model merging in computer vision: 针对传统模型合并在具有可训练解码器的复杂视觉任务中因下游微调成本过高而无法进行超参数搜索的瓶颈，提出无监督的特征级任务对齐代理（TAP），将超参数选择加速两到三个数量级并取得近乎最优的合并性能。
Topology-Weighted Effective Rank: A Zero-Cost Proxy for Training Dynamics Stability in Deep Vision Networks: 针对传统零成本神经架构搜索代理忽视优化动态演化与网络拓扑异构性的痛点，本文提出基于特征相关矩阵有效秩的无训练代理指标 ER-Score，并结合有向无环图结构设计了拓扑加权变体 TER-Score，在多基准上实现了顶尖的架构排序一致性与极低搜索开销。
Towards Reconfigurable Visual Feature Compression: 针对端云协同中视觉大模型处理任意多任务组合时的特征传输冗余与推理低效问题，提出基于“因子化-整合-重组”的可重构多任务特征压缩框架（RFC），在前端按需剥离任务无关信息，通过跨任务自回归条件编码消除跨任务共享冗余，并在云端实现单次前向多任务推理。
VD-LoRA: Adaptive Reuse of Low-Rank Directions for Continual Learning: 针对无重放类增量学习中正交 LoRA 静态冻结导致参数空间收缩与可塑性衰退的问题，VD-LoRA 提出低秩方向级变分贝叶斯建模，利用递归后验方差自适应调控保护强度并指导低风险方向复用，在严苛秩约束下显著提升长序列可塑性与稳定性。
When the Teacher Has More Bits: Self-Teacher Latent Distillation for Learned Image Compression: 针对学习型图像压缩（LIC）中各码率点独立优化割裂表征关联的痛点，提出以高码率同构模型为教师的跨码率自蒸馏框架，并设计方差归一化隐空间蒸馏（VNLD）按教师信道方差逆加权监督，在不增加推理参数且兼容 JPEG AI 冻结解码器标准的前提下实现一致的率失真性能增益。