📷 CVPR2025 论文汇总¶
1818篇CVPR2025论文解读,涵盖图像生成(313篇)、多模态 VLM(137篇)、重建与渲染(121篇)、人体理解(109篇)、语义分割(96篇)、自动驾驶(93篇)、视频生成(88篇)、医学图像(82篇)等 49个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。
💡 LLM Reasoning (7)¶
- Argus: Vision-Centric Reasoning with Grounded Chain-of-Thought
-
Argus 提出了一种grounded visual CoT机制,通过让MLLM先预测与问题相关的bounding box(RoI),然后重新采样/编码该区域的视觉token作为推理上下文,实现了显式的目标导向视觉注意力,在7B/8B级MLLM中取得视觉推理和目标grounding双料SOTA。
- Enhancing Video-LLM Reasoning via Agent-of-Thoughts Distillation
-
AoTD 用 LLM agent 将复杂视频问题分解为子任务、调用专家视觉模型执行并收集中间结果作为推理链(CoT),经 LLM 质量过滤后蒸馏到 Video-LLM 中,让端到端模型同时获得准确答案和可解释的多步推理能力。
- Interleaved-Modal Chain-of-Thought
-
提出交错模态思维链(ICoT),在推理步骤中穿插图像区域 crop 作为视觉 rationale,通过无参数的 Attention-driven Selection(ADS)从输入图像中智能选取关键区域插入生成序列,在 Chameleon 和 Qwen2-VL 上相比现有多模态 CoT 提升高达 14%。
- Reason-before-Retrieve: One-Stage Reflective Chain-of-Thoughts for Training-Free Zero-Shot Composed Image Retrieval
-
本文提出OSrCIR,一种免训练的单阶段零样本组合图像检索方法,利用多模态大语言模型直接处理参考图像和修改文本,并通过反思式链式思维推理准确理解用户隐含意图,在多个基准上比现有免训练方法提升1.80%~6.44%。
- Style Evolving along Chain-of-Thought for Unknown-Domain Object Detection
-
提出 Chain-of-Thought 引导的风格演化方法(CGSE),通过词→短语→句子三级渐进式风格描述生成,结合特征解耦和类别原型聚类,在五种恶劣天气场景和 Real-to-Art 基准上实现了显著的域泛化检测性能提升。
- VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection
-
VideoEspresso 构建了一个20万+的大规模视频CoT推理数据集(包含空间bounding box和时间grounding标注),并提出VideoQA-SC混合框架——用1.5B轻量级模型选择平均2.36个核心帧,再用8B推理模型进行两阶段证据提取+答案生成,以仅1.8%的帧数和14.7%的计算量超越了GPT-4o和所有开源LVLM。
- Learning-enabled Polynomial Lyapunov Function Synthesis via High-Accuracy Counterexample-Guided Framework
-
提出一种学习与验证结合的多项式 Lyapunov 函数合成方法,通过数据驱动的机器学习引导多项式形式选择,并利用高精度反例引导框架迭代优化,在灵活性和数学严格性之间取得平衡。
🦾 LLM Agent (12)¶
- GUI-Xplore: Empowering Generalizable GUI Agents with One Exploration
-
提出 GUI-Xplore 数据集(312 个应用、32K+ QA 对、五层级任务)和 Xplore-Agent 框架(Action-aware GUI 建模 + GUI Transition Graph 推理),通过模拟"先探索再推理"的人类策略,在陌生应用上比 SOTA GUI Agent 提升约 10% StepSR。
- ATA: Adaptive Transformation Agent for Text-Guided Subject-Position Variable Background Generation
-
提出 ATA(Adaptive Transformation Agent)框架,在文本引导的背景生成中实现对主体位置和姿态的精确控制,通过自适应变换模块动态调整主体在背景中的放置,兼顾视觉一致性和语义合理性。
- ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems
-
ComfyBench 提出了首个评估LLM Agent在ComfyUI中自主设计协作AI系统能力的综合性Benchmark(200个任务、3205个节点文档、20个课程工作流),并提出ComfyAgent框架通过代码化工作流表示和多Agent协作,达到了与o1-preview相当的解决率,但在创意任务上仅解决15%,揭示了LLM Agent在自主系统设计上的巨大差距。
- Feature4X: Bridging Any Monocular Video to 4D Agentic AI with Versatile Gaussian Feature Fields
-
提出 Feature4X,一个通用框架,从任意单目视频通过动态优化策略将多种 2D 视觉基础模型(SAM2、InternVideo2 等)的功能蒸馏到统一的 4D 高斯特征场中,首次实现基于 Gaussian Splatting 的视频基础模型 4D 特征提升,支持新视角下的 segment anything、几何/外观编辑和自由形式 VQA。
- NADER: Neural Architecture Design via Multi-Agent Collaboration
-
NADER 将神经架构设计建模为多 LLM Agent 协作任务——Reader 读论文提炼知识、Proposer 生成改进方案、Modifier 用 DAG 图实现修改、Reflector 从失败中学习经验,仅 10 次试验即突破 NAS-Bench-201 搜索空间的准确率上限,在 CIFAR-100 上达 74.51%(搜索空间最优 73.51%)。
- RL-RC-DoT: A Block-level RL Agent for Task-Aware Video Compression
-
提出 RL-RC-DoT,一个基于强化学习的宏块级量化参数(QP)控制 agent,用于任务感知视频压缩。通过将 QP 选择建模为 RL 的顺序决策问题,agent 学习在给定码率约束下为任务相关区域分配更多码率,在车辆检测和 ROI 显著性编码两个任务上显著提升性能。关键优势在于推理时不需要运行下游任务模型,适合边缘设备部署。
- SceneAssistant: A Visual Feedback Agent for Open-Vocabulary 3D Scene Generation
-
提出 SceneAssistant,一个基于视觉反馈的闭环 agentic 框架,通过为 VLM 设计一套功能完备的 Action API(13个原子操作覆盖物体增删、6DoF空间操作、相机控制),让 VLM 以 ReAct 范式迭代生成开放词汇的 3D 场景,在室内(偏好率61.25%)和开放域(偏好率65.00%)场景中均大幅优于 Holodeck 和 SceneWeaver。
- SpiritSight Agent: Advanced GUI Agent with One Look
-
提出 SpiritSight,一个基于视觉的端到端 GUI agent,通过 573 万样本的多层级数据集 GUI-Lasagne 和 Universal Block Parsing (UBP) 方法解决动态高分辨率输入的定位歧义,SpiritSight-8B 在 Multimodal-Mind2Web 上非候选元素设置下 Step SR 达 52.7%,全面超越所有视觉/语言/混合方法。
- TANGO: Training-free Embodied AI Agents for Open-world Tasks
-
提出 TANGO,通过 LLM 的程序组合能力编排两个最小化的导航基础原语(PointGoal Navigation + 记忆驱动探索策略),无需任何任务特定训练,仅用 few-shot 示例即可在 Open-Set ObjectGoal Navigation、Multi-Modal Lifelong Navigation 和 Open Embodied QA 三个不同的具身 AI 任务上达到 SOTA,体现了"最小原语集 + LLM 组合"的通用性。
- Visual Agentic AI for Spatial Reasoning with a Dynamic API
-
提出 VADAR,一种 agentic 程序合成方法用于 3D 空间推理。多个 LLM agent 协作生成 Pythonic API 并在求解过程中动态扩展新函数来解决常见子问题,克服了 VisProg/ViperGPT 等先前方法依赖静态人工定义 API 的局限。同时引入涉及多步空间定位和推理的新 benchmark,在 3D 理解任务上超越现有零样本方法。
⚖️ 对齐 / RLHF (5)¶
- CAD-Llama: Leveraging Large Language Models for Computer-Aided Design Parametric 3D Model Generation
-
本文提出 CAD-Llama 框架,通过层次化标注管线将 3D CAD 模型转化为富含语义描述的 Python 风格代码(SPCC),再用自适应预训练和指令微调将 LLaMA3-8B 转化为参数化 CAD 模型生成器,在 text-to-CAD 任务上精度超出先前方法约 14%,并支持补全、添加、删除等多种 CAD 编辑任务。
- Bases of Steerable Kernels for Equivariant CNNs: From 2D Rotations to the Lorentz Group
-
提出一种求解可转向等变 CNN 核约束方程的替代方法,通过在不动点处求解更简单的不变性条件再"转向"到任意点,绕过了计算 Clebsch-Gordan 系数的需要,为 SO(2)、O(2)、SO(3)、O(3) 及 Lorentz 群给出了显式的核基底公式。
- Continual SFT Matches Multimodal RLHF with Negative Supervision
-
通过梯度分析发现多模态 RLHF 相比持续 SFT 的核心优势在于 rejected response 中的负监督信号,据此提出 nSFT 方法,用 LLM 从拒绝回复中提取错误信息并构造纠正性对话数据,仅用 SFT loss 就能匹配甚至超越 DPO/PPO 等 RLHF 方法,且只需 1 个模型,显存效率大幅提升。
- Do We Really Need Curated Malicious Data for Safety Alignment in Multi-Modal LLMs?
-
探讨多模态大语言模型安全对齐是否真正需要精心策划的恶意数据,发现利用现有良性数据并结合简单的安全微调策略即可实现有效的安全对齐,大幅降低了安全对齐的数据成本。
- Jailbreaking the Non-Transferable Barrier via Test-Time Data Disguising
-
提出 JailNTL,首个针对 Non-Transferable Learning (NTL) 模型的黑盒攻击方法,通过测试时数据伪装将未授权域的数据"变装"为授权域的数据,仅用 1% 授权样本即可将未授权域准确率提升最高 55.7%,无需修改模型。
🔒 安全 (46)¶
- A Closed-Form Solution for Debiasing Vision-Language Models with Utility Guarantees Across Modalities and Tasks
-
提出一个 training-free、data-free 的 VLM 去偏方法,通过在 cross-modal 空间中推导闭式解,实现 Pareto-optimal 的公平性与效用保持,在零样本分类、text-to-image 检索和生成三个下游任务中全面超越已有方法。
- A Simple Data Augmentation for Feature Distribution Skewed Federated Learning
-
提出FedRDN——一种极其简单的联邦学习数据增强方法,在训练时随机使用其他客户端的通道级均值/标准差做数据归一化(而非固定用本地统计),仅需几行代码即可显著缓解特征分布偏移问题,在多种FL方法上一致提升性能。
- Data-free Universal Adversarial Perturbation with Pseudo-Semantic Prior
-
提出 PSP-UAP,一种无需训练数据的通用对抗扰动生成方法,通过从 UAP 自身提取伪语义先验、输入变换增强和样本重加权策略,在白盒平均 89.95% 愚弄率、黑盒也大幅超越现有方法,且无需任何训练数据。
- DEAL: Data-Efficient Adversarial Learning for High-Quality Infrared Imaging
-
提出 DEAL(Data-Efficient Adversarial Learning),一种仅需 50 张清晰红外图像训练的对抗学习框架,通过动态对抗退化合成和双通道交互网络(Scale Transform + Spiking Neurons),以 0.96M 超轻量参数同时处理条纹噪声、低分辨率和低对比度三种红外退化。
DeDe: Detecting Backdoor Samples for SSL Encoders via Decoders
- Detecting Backdoor Attacks in Federated Learning via Direction Alignment Inspection
-
提出 AlignIns 防御方法,通过双粒度方向对齐检测(全局方向 + 细粒度符号分析)识别联邦学习中的恶意模型更新,在 IID 和 non-IID 设置下均优于现有防御方法。
- Detecting Out-of-Distribution through the Lens of Neural Collapse
-
从 Neural Collapse 理论出发,发现中心化后的 ID 特征聚集在预测类别的权重向量附近且远离原点(形成 simplex ETF),据此设计 NCI 检测器——结合特征与权重向量的角度近邻度(pScore)和特征范数过滤,在 CIFAR-10/100 和 ImageNet 多架构上实现最佳综合 OOD 检测性能且推理延迟与 softmax 基线持平。
- Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning
-
提出Duct方法,通过表征合并(累加任务向量构建统一嵌入空间)和分类器合并(利用类别语义信息通过最优传输估计旧域分类器权重),在预训练模型基础上实现无样本存储的域增量学习,在四个基准上以1~7%的优势超越SOTA。
- Dynamic Integration of Task-Specific Adapters for Class Incremental Learning
-
通过动态集成任务特定适配器实现类增量学习,每个任务训练轻量适配器,推理时动态选择和组合相关适配器
- LLM4SVG: Empowering LLMs to Understand and Generate Complex Vector Graphics
-
提出 LLM4SVG 框架,通过定义 55 个可学习的 SVG 语义 token 替代原始 XML 标签,结合 250K 高质量 SVG 和 580K 指令数据的 SVGX-SFT 数据集进行两阶段指令微调,使 GPT-2、Phi-2、Falcon 等开源 LLM 能高质量理解和生成复杂矢量图形,GPT-2 XL 版本达 FID 64.11、CLIPScore 0.3496,大幅超越 GPT-4o(127.78 FID)和所有现有 SVG 生成方法。
👻 幻觉检测 (9)¶
- Seeing Far and Clearly: Mitigating Hallucinations in MLLMs with Attention Causal Decoding
-
提出 FarSight,一种即插即用的无训练解码策略,通过在因果掩码的上三角矩阵中引入注意力寄存器来吸收异常 token 的过度注意力,并设计递减掩蔽率的位置感知编码增强远距离视觉 token 的信息传播,有效缓解多模态大模型中的初始幻觉和雪球幻觉。
- PhD: A ChatGPT-Prompted Visual Hallucination Evaluation Dataset
-
本文提出 PhD,一个 ChatGPT 辅助构建的大规模视觉幻觉评估数据集,包含 14K+ 日常图片、750 张反常识图片和 102K VQA 三元组,通过 4 种评估模式×5 种视觉任务系统化评估多模态大语言模型的幻觉问题,在规模和挑战性上远超现有基准。
- 3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination
-
构建了3D-GRAND——首个百万级密集接地的3D场景-语言数据集(40K场景、6.2M指令),并提出3D-POPE幻觉评估基准,证明密集接地的指令微调能显著提升3D-LLM的接地能力并减少幻觉,还展示了合成数据到真实场景的迁移效果。
- Antidote: A Unified Framework for Mitigating LVLM Hallucinations in Counterfactual Presupposition and Object Perception
-
提出Antidote——合成数据驱动的统一后训练框架,通过将事实先验注入提示实现模型自校正,将幻觉缓解解耦为偏好优化问题,在LLaVA系列上CP-Bench提升超50%,POPE提升1.8-3.3%,CHAIR/SHR降低30-50%,且无灾难性遗忘。
- HalLoc: Token-Level Localization of Hallucinations for Vision Language Models
-
提出HalLoc,一个15.5万样本、覆盖VQA/指令跟随/图像描述三类任务的token级幻觉标注数据集,并基于此训练了轻量级幻觉检测模型HalLocalizer,可在不影响效率的前提下即插即用地集成到现有VLM中实现实时概率化幻觉检测。
- Octopus: Alleviating Hallucination via Dynamic Contrastive Decoding
-
本文通过大量实验揭示了 LVLM 幻觉成因的混合性——不同样本和不同生成步骤面临不同类型的幻觉挑战,据此提出 Octopus 框架,利用可学习的 decision token 和 transformer block 在每个生成步自适应选择最合适的对比解码(CD)策略,通过 DPO 优化,在四个基准上全面超越现有 CD 方法。
- ODE: Open-Set Evaluation of Hallucinations in Multimodal Large Language Models
-
本文提出 ODE(Open-set Dynamic Evaluation)协议,通过图结构建模现实世界物体概念及其分布关联,从中动态提取概念组合并生成合成测试图像,实现了开放集、持续更新的多模态幻觉评估,有效避免了现有静态基准可能存在的数据污染问题。
- One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination
-
提出首个统一的训练无关MLLM幻觉缓解框架,围绕vision token的双重角色——增强(SVC)与抑制(CRC)——在隐表示层协同操作,在LLaVA-1.5上POPE准确率提升约2%,仅增加1.06×推理延迟。
- Stop Learning It All to Mitigate Visual Hallucination, Focus on the Hallucination Target
-
提出TL-DPO(Target-Learning DPO),将传统DPO的全句级偏好学习限制到幻觉发生的目标chunk和对应的图像区域,通过目标生成损失和目标条件损失排除无关信号,在LLaVA-1.5上将CHAIR_s从66.8降至20.1,同时LLaVA-Bench从63.4提升至71.2。
📊 LLM 评测 (4)¶
- PosterO: Structuring Layout Trees to Enable Language Models in Generalized Content-Aware Layout Generation
-
提出 PosterO,将海报版面结构化为 SVG 布局树,通过设计意图向量化和层次节点表示实现与 LLM 的对接,利用意图对齐的上下文学习生成高质量内容感知版面,在多个基准上达到 SOTA 并引入首个支持多用途和多形状元素的 PStylish7 数据集。
- Erase Diffusion: Empowering Object Removal Through Calibrating Diffusion Pathways (EraDiff)
-
本文提出EraDiff,通过链式校正优化范式(CRO)建立从"含物体"到"纯背景"的渐进扩散路径,并用自校正注意力机制(SRA)在采样时抑制伪影,使扩散模型真正理解"擦除意图",在OpenImages V5上取得SOTA的Local FID(3.799),在复杂真实场景中显著优于SD2-Inpaint和LaMa。
- UniGoal: Towards Universal Zero-shot Goal-oriented Navigation
-
提出 UniGoal 统一零样本目标导航框架,通过将场景和目标统一表示为图结构,结合图匹配驱动的多阶段探索策略,在单一模型中实现对象类别、实例图像和文本描述三种目标类型的零样本导航,性能超越任务专用方法。
- RoadSocial: A Diverse VideoQA Dataset and Benchmark for Road Event Understanding from Social Video Narratives
-
本文提出RoadSocial,一个来源于社交媒体的大规模多样化VideoQA数据集(13.2K视频、260K问答对),覆盖全球多地域多视角的道路事件场景,通过半自动标注框架和12类QA任务系统性评测了18种Video LLM的道路事件理解能力。
⚡ LLM 效率 (5)¶
- Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training
-
本文提出 Spatial-TTT,通过测试时训练(TTT)机制将模型的部分参数(快速权重)作为紧凑非线性记忆,配合混合架构和空间预测机制,从无界视频流中持续积累和组织3D空间证据,在视频空间理解基准上达到 SOTA。
- Associative Transformer
-
提出 Associative Transformer (AiT),通过在 Transformer 中引入可学习的显式记忆模块和 Hopfield 网络进行 token 重建,以更少的参数实现优于 ViT 的分类和关系推理性能。
- Efficient Data Driven Mixture-of-Expert Extraction from Trained Networks
-
提出一种从预训练 ViT 中提取 MoE 变体的后训练方法,通过 HDBSCAN 聚类 MLP 隐层激活模式自动发现专家结构,无需重新训练即可在 ImageNet-1k 上减少 36% MACs 和 32% 参数的同时保留 98% 原始精度。
- LOCORE: Image Re-ranking with Long-Context Sequence Modeling
-
提出 LoCoRe(Long-Context Re-ranker),首次实现基于局部描述子的列表级(list-wise)图像重排序,利用 Longformer 长上下文序列模型同时处理查询图像和整个候选列表的局部描述子,通过捕获候选图像间的传递关系显著提升重排序性能。
- Efficient Data Driven Mixture-of-Expert Extraction from Trained Networks
-
提出一种从预训练 ViT 中自动提取 MoE(Mixture-of-Experts)变体的方法:先聚类 MLP 层的输出激活模式,再据此抽取对应的子网络作为专家,无需从头训练 MoE,在 ImageNet-1k 上仅需少量微调即可恢复 98% 原始性能,同时将 FLOPs 和模型大小分别减少 36% 和 32%。
📚 预训练 (15)¶
- MR-PLIP: Multi-Resolution Pathology-Language Pre-training Model with Text-Guided Visual Representation
-
提出 MR-PLIP,首个多分辨率病理学视觉语言预训练模型,在 TCGA 数据集的 3400 万张多分辨率图文对上预训练,通过跨分辨率视觉-文本对齐和文本引导视觉表示,在 26 个数据集上超越 SOTA。
- ConText-CIR: Learning from Concepts in Text for Composed Image Retrieval
-
提出 ConText-CIR 框架,通过 Text Concept-Consistency 损失让文本修改中的名词短语更好地关注查询图像的相关部分,配合合成数据生成管线,在多个 CIR 基准上取得 SOTA。
- A Unified Framework for Heterogeneous Semi-supervised Learning
-
提出异构半监督学习(HSSL)新问题设定——标记数据和无标记数据来自不同分布的域,目标是训练能在两个域上都泛化的模型;通过将C类问题扩展为2C类分类(每个域的同一语义类视为不同类),结合WMA伪标签、跨域原型对齐和渐进式跨域Mixup三个组件统一解决。
- AMO Sampler: Enhancing Text Rendering with Overshooting
-
提出AMO(Attention-Modulated Overshooting)采样器,一种无需训练的推理时增强方法,通过在rectified flow模型的采样过程中引入过冲-噪声补偿的Langevin动力学校正,并利用文本-图像交叉注意力分数自适应控制过冲强度,显著提升文本渲染的准确率,同时保持生成图像的整体质量。
- Bridging the Vision-Brain Gap with an Uncertainty-Aware Blur Prior
-
首次提出"系统差距"(System GAP)和"随机差距"(Random GAP)的概念来描述脑信号与视觉刺激之间的信息不匹配,通过不确定性感知的模糊先验(UBP)动态调整图像模糊程度来缓解训练中的过拟合,在 200-way 零样本脑-图像检索任务上实现 50.9% top-1 准确率,超越前 SOTA 13.7 个百分点。
- DreamText: High Fidelity Scene Text Synthesis
-
DreamText重构扩散模型训练流程,引入字符级别的均衡监督(balanced supervision)和启发式交替优化策略来校正字符注意力,结合文本编码器与生成器的联合训练学习多样化字体风格,在场景文字合成任务上大幅超越SOTA方法(SeqAcc从UDiffText的0.763提升至0.940)。
- Exploration-Driven Generative Interactive Environments
-
开源实现 Genie 世界模型(GenieRedux),增加真实动作条件、Token 距离交叉熵(TDCE)损失和 token 跳连得到 GenieRedux-G,并提出 AutoExplore 探索智能体用世界模型的 token 预测不确定性作为内在奖励驱动多样数据收集,将仿真质量提升高达 7.4 PSNR。
- Improving Autoregressive Visual Generation with Cluster-Oriented Token Prediction
-
提出 IAR,通过平衡 K-means 重排 VQGAN 码本使相似 embedding 具有相邻索引,配合簇导向交叉熵损失引导模型正确预测目标 token 所在的语义簇,在 LlamaGen 100M-1.4B 各规模上将训练时间减半且提升生成质量。
- Influence Malleability in Linearized Attention: Dual Implications of Non-Convergent NTK Dynamics
-
通过 NTK 框架揭示线性化注意力机制不会收敛到无穷宽 NTK 极限(谱放大效应使 Gram 矩阵条件数立方化,需宽度 \(m = \Omega(\kappa^6)\)),并引入「影响可塑性」概念量化这一非收敛的双面后果:注意力比 ReLU 网络高 6-9 倍的可塑性既增强了任务适配能力,也加剧了对抗脆弱性。
- PlanarSplatting: Accurate Planar Surface Reconstruction in 3 Minutes
-
本文提出 PlanarSplatting,通过直接优化可学习的 3D 矩形平面基元,利用新设计的矩形 splatting 函数将平面可微地渲染为深度和法线图,仅需 3 分钟即可从多视角图像重建精确的室内平面场景,无需任何平面标注。
✏️ 知识编辑 (1)¶
- MoKus: Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization
-
提出 MoKus 框架,发现并利用"跨模态知识迁移"现象——在 LLM 文本编码器中更新知识会自动传递到视觉生成端——实现知识感知的概念定制,两阶段设计:先学视觉锚点表示,再秒级更新文本知识绑定。
💬 LLM 其他 (15)¶
- MG-MotionLLM: A Unified Framework for Motion Comprehension and Generation across Multiple Granularities
-
MG-MotionLLM 提出了一个统一的多粒度动作-语言模型,通过 Motion VQ-VAE + T5 语言模型的架构和精心设计的多粒度协同预训练方案(含 28 种任务),同时支持粗粒度和细粒度的动作理解与生成,在经典任务上达到 SOTA 的同时开启了细粒度动作编辑等新应用。
- Building Vision Models upon Heat Conduction
-
提出 vHeat 视觉 backbone,将图像 patch 建模为热源,利用物理热传导方程通过 DCT/IDCT 变换实现 \(O(N^{1.5})\) 复杂度的信息传播,在 ImageNet-1K 上以 3 倍吞吐量和 80% 更少 GPU 显存达到 84.0% top-1 准确率。
- Imagine and Seek: Improving Composed Image Retrieval with an Imagined Proxy
-
提出IP-CIR方法,通过大语言模型生成"想象中的目标图像描述"作为代理,将组合图像检索(CIR)转化为标准图像检索问题,在CIRR和FashionIQ等基准上达到零样本SOTA。
- ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices
-
本文提出ComRoPE,通过将RoPE推广为由可训练交换角矩阵参数化的旋转位置编码,理论证明了角矩阵的成对交换性是RoPE满足相对位置依赖性的充要条件,在ImageNet-1K上比SOTA方法LieRE提升1.6%(训练分辨率)和2.9%(更高分辨率)。
- Dora: Sampling and Benchmarking for 3D Shape Variational Auto-Encoders
-
提出 Dora-VAE,通过 Sharp Edge Sampling (SES) 关注几何锐边区域、Dual Cross-Attention 分别处理均匀和显著采样点,以仅 1,280 个 latent codes(8× 小于 XCube-VAE 的 10,000+)实现更优的 3D 形状重建质量,同时建立了新的 Dora-Bench 评测基准。
- Spiking Transformer with Spatial-Temporal Attention
-
将空间-时间注意力机制融入脉冲Transformer架构,通过时空解耦的注意力设计和脉冲驱动的自注意机制,在保持SNN能效优势的同时缩小与ANN的性能差距,在多个视觉基准上达到SNN SOTA。
- STAA-SNN: Spatial-Temporal Attention Aggregator for Spiking Neural Networks
-
通过在SNN中集成全局上下文自注意(GC)、位置编码(PE)、步骤注意(SA)和时间步随机退出(TSRD)四大模块,STAA-SNN在CIFAR-10/100和ImageNet上达到97.14%/82.05%/70.40%的SNN SOTA性能。
- Test-Time Visual In-Context Tuning
-
本文提出VICT(Visual In-Context Tuning),通过翻转任务提示和测试样本的角色并利用循环一致性损失,在测试时对视觉上下文学习模型(如Painter)进行单样本自适应,显著提升其在分布偏移下的泛化能力。
- Chat-based Person Retrieval via Dialogue-Refined Cross-Modal Alignment
-
本文提出基于对话的行人检索(ChatPR)新范式,构建了首个对话-图像配对数据集ChatPedes,并设计了DiaNA框架通过自适应属性精炼器实现对话与图像间的细粒度跨模态对齐,显著优于传统单句文本检索方法。
- Exposure-slot: Exposure-centric Representations Learning with Slot-in-Slot Attention
-
本文提出Exposure-slot框架,将Slot Attention算法扩展为层次化的slot-in-slot结构,通过可学习的曝光prompt引导特征聚类,实现以曝光为中心的区域感知表征学习,在欠曝/过曝图像矫正任务上取得SOTA性能。
✍️ 文本生成 (2)¶
- ArtFormer: Controllable Generation of Diverse 3D Articulated Objects
-
提出ArtFormer框架,通过树结构参数化和条件扩散Shape Prior,从文本/图像描述生成高质量、多样化且运动学关系准确的3D关节物体,在生成质量和多样性上显著超越现有方法。
- Dense Match Summarization for Faster Two-view Estimation
-
本文提出一种稠密匹配摘要方案,通过聚类和代表性匹配选取将10000+稠密匹配压缩为约1%的代表匹配,并用9×9矩阵编码每个簇的几何约束,实现RANSAC鲁棒估计10-100倍加速且精度损失极小。
🌐 多语言/翻译 (1)¶
- SMTPD: A New Benchmark for Temporal Prediction of Social Media Popularity
-
构建首个时间对齐的社交媒体流行度时序预测基准SMTPD(282K YouTube样本,30天连续观测),并提出基于多模态特征提取+LSTM时序回归的baseline框架,发现早期流行度(EP)是准确预测后续流行度的关键。
🔍 信息检索/RAG (12)¶
- Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis
-
RAG-Gesture 提出了一种基于检索增强生成(RAG)的手势合成框架,利用显式语言学知识从手势数据库中检索语义相关的示例动作,并通过 DDIM 反演和检索引导在推理时注入扩散模型生成过程,无需训练即可产生语义丰富且自然的共语手势。
- GOAL: Global-Local Object Alignment Learning
-
提出GOAL方法,通过局部图-句匹配(LISM)和Token相似性学习(TSL)两个模块增强CLIP对长文本描述的理解能力,在全局对齐的基础上引入局部语义对齐,大幅提升图文检索性能。
- ChatHuman: Chatting about 3D Humans with Tools
-
提出 ChatHuman,一个基于 LLM 的语言驱动系统,通过自动选择和集成专门的 3D 人体分析工具(3D 姿态估计、形状恢复、接触检测、人物交互分析、情感识别等),利用学术论文作为工具使用说明和 RAG(检索增强生成)创建 in-context 示例以管理新工具,在工具选择准确率和整体 3D 人体任务性能上超越现有 LLM 模型。
- VDocRAG: Retrieval-Augmented Generation over Visually-Rich Documents
-
构建首个直接以文档图像(而非解析文本)为输入的 RAG 框架,用 LVLM 作为双编码器检索器 + 两种自监督预训练任务(对比+生成)实现文档图像检索,在 ChartQA 上比文本 RAG 高 24 个点。
- Few-Shot Recognition via Stage-Wise Retrieval-Augmented Finetuning
-
本文首次将检索增强学习(RAL)扩展到少样本识别(FSR),揭示了检索数据的分布不平衡和域差距两大挑战,提出两阶段方法 SWAT(先在混合数据上微调视觉编码器、再在少量标注数据上重训分类器),在 9 个基准上以 >6% 的优势超越所有先前方法。
- Advancing Myopia To Holism: Fully Contrastive Language-Image Pre-training
-
将CLIP从传统的一对一(image, text)对比学习升级为多对多(multi-image-embeddings, multi-texts)对比学习范式,通过VLM生成多视角多层次的描述文本、多分支视觉编码器输出多种视觉embedding,实现更全面的视觉语言对齐,在检索/分类/密集任务上大幅超越baseline。
- COBRA: COmBinatorial Retrieval Augmentation for Few-Shot Adaptation
-
提出 COBRA——基于组合互信息(CMI)的检索增强少样本适配方法,通过同时考虑检索样本与目标任务的相似性和样本间的多样性,从 LAION-2B 中检索高质量辅助数据,在多个图像分类基准上一致性超越传统最近邻检索方法,且计算开销可忽略。
- EZSR: Event-based Zero-Shot Recognition
-
提出 EZSR 框架用于事件相机数据的零样本物体识别,通过标量级调制(scalar-wise modulation)策略解决事件嵌入与 CLIP 文本嵌入之间的语义错位问题,并通过从静态 RGB 图像大规模合成事件数据来突破训练数据稀缺限制,在 N-ImageNet 上以 ViT-B/16 达到 47.84% 零样本准确率。
- LotusFilter: Fast Diverse Nearest Neighbor Search via a Learned Cutoff Table
-
提出LotusFilter,通过离线预计算每个向量的邻近关系构建截断表(cutoff table),在线阶段用贪心集合删除实现多样化过滤,将传统 \(O(DS^2)\) 的多样化搜索降至 \(O(T+S+KL)\),过滤仅需0.02ms/query,内存仅为传统方法的1/40。
- Preserving Clusters in Prompt Learning for Unsupervised Domain Adaptation
-
提出 CRPL 框架,通过源域增强的伪标签和基于最优传输的聚类保持策略,改进 CLIP 在无监督域适应(UDA)中的 prompt 学习,使得目标域 prompt 的文本嵌入能更好地覆盖视觉嵌入的聚类结构。
🎨 图像生成 (313)¶
- Improving Diffusion Inverse Problem Solving with Decoupled Noise Annealing
-
本文提出解耦退火后验采样(DAPS),通过在扩散采样过程中解耦相邻步骤的样本依赖关系,允许大幅度的非局部跳跃来修正早期采样错误,在非线性逆问题(如相位恢复)上大幅超越现有方法。
- Stable Flow: Vital Layers for Training-Free Image Editing
-
Stable Flow 提出自动检测 DiT(FLUX)中的"关键层"(vital layers)并仅在这些层注入参考图像的注意力特征,实现无需训练的多种图像编辑操作,同时引入 latent nudging 技术改善真实图像的流模型反演质量。
- Diffusion-4K: Ultra-High-Resolution Image Synthesis with Latent Diffusion Models
-
本文提出 Diffusion-4K 框架,包含 Aesthetic-4K 基准数据集、GLCM Score/Compression Ratio 评估指标、以及基于小波变换的微调方法,使 SD3-2B 和 Flux-12B 等大规模潜在扩散模型能直接生成具有丰富纹理细节的 4096×4096 高质量图像。
- Co-Spy: Combining Semantic and Pixel Features to Detect Synthetic Images by AI
-
提出 Co-Spy 融合 VAE 重建伪影特征和 CLIP 语义特征两条互补检测路径——VAE 伪影跨模型泛化但怕 JPEG 压缩,CLIP 语义抗 JPEG 但泛化差——自适应调节器根据输入动态分配两路权重,在 22 个生成模型上建立新 SOTA。
- SALAD: Skeleton-aware Latent Diffusion for Text-driven Motion Generation and Editing
-
提出 SALAD,一种骨骼感知的潜在扩散模型,通过骨骼-时间结构化的 VAE 和去噪器显式建模关节、帧与文本的细粒度交互,并利用交叉注意力图实现零样本文本驱动动作编辑。
- OSDFace: One-Step Diffusion Model for Face Restoration
-
OSDFace 提出了首个专门针对人脸修复的单步扩散模型,通过视觉表示嵌入器(VRE)从低质量人脸中提取丰富先验信息,结合面部身份损失和 GAN 引导,仅需一步推理(约 0.1 秒)即可生成高保真、自然且身份一致的人脸图像,全面超越现有 SOTA。
- Dissecting and Mitigating Diffusion Bias via Mechanistic Interpretability
-
本文提出DiffLens框架,通过稀疏自编码器(k-SAE)将扩散模型内部神经元解缠为单语义特征空间,再用基于梯度的归因方法定位驱动偏见生成的特定特征,从而实现对性别、种族等社会偏见的精细控制和缓解,同时保持图像质量。
- FineLIP: Extending CLIP's Reach via Fine-Grained Alignment with Longer Text Inputs
-
提出 FineLIP,通过位置嵌入拉伸支持 248 token 长文本输入,并引入自适应 token 细化和跨模态 token 级对齐,在长描述文本的检索和文生图任务上显著超越 SOTA。
- Generative Multimodal Pretraining with Discrete Diffusion Timestep Tokens
-
DDT-LLaMA 提出用扩散时间步编码学习具有递归结构的离散视觉 token(DDT),使视觉 token 序列像自然语言一样具有层级依赖关系,从而在统一的 next-token-prediction 框架下同时实现多模态理解和生成的 SOTA 性能。
- Personalized Preference Fine-tuning of Diffusion Models
-
PPD 提出个性化偏好扩散模型微调框架:利用 VLM 从少量(4 对)偏好示例中提取用户嵌入,通过解耦交叉注意力层注入扩散模型,结合 DPO 目标同时优化多用户的个性化偏好,仅需 4 个偏好对即可为新用户生成匹配其偏好的图像(76% 胜率)。
🎬 视频生成 (88)¶
- GEN3C: 3D-Informed World-Consistent Video Generation with Precise Camera Control
-
GEN3C 提出了一种基于 3D 缓存(point cloud cache)引导的视频生成框架,通过对种子图像预测深度并反投影得到 3D 点云,在生成下一帧时将 3D 缓存按用户指定的相机轨迹渲染为 2D 条件图,从而实现精确的相机控制和跨帧 3D 一致性。
- HunyuanPortrait: Implicit Condition Control for Enhanced Portrait Animation
-
HunyuanPortrait提出了首个基于Stable Video Diffusion的隐式条件肖像动画框架,通过强度感知运动编码器和ID感知多尺度适配器实现了对精细面部动态的高保真控制和强身份一致性。
- Video-ColBERT: Contextualized Late Interaction for Text-to-Video Retrieval
-
将文本检索中ColBERT的后交互引入文本-视频检索,提出Video-ColBERT,通过在帧级和视频级两个层面执行MeanMaxSim交互,配合双Sigmoid损失训练独立且兼容的多粒度表征,在多个T2VR benchmark上超越现有双编码器方法。
- Teller: Real-Time Streaming Audio-Driven Portrait Animation with Autoregressive Motion Generation
-
提出首个基于自回归 Transformer 的实时流式音频驱动肖像动画框架 Teller,通过 RVQ 将面部运动离散化为 token,结合高效时序模块精炼身体细节,以 25 FPS 实时速度(生成 1s 视频仅需 0.92s vs Hallo 20.93s)达到与扩散模型可比的动画质量。
- LongDiff: Training-Free Long Video Generation in One Go
-
LongDiff 通过理论分析揭示短视频模型生成长视频时的两个关键挑战——时序位置模糊和信息稀释,并提出 Position Mapping(GROUP+SHIFT)和 Informative Frame Selection(IFS)两个简洁的时序注意力修改策略,无需训练即可让短视频模型一次性生成高质量长视频。
- Articulated Kinematics Distillation from Video Diffusion Models
-
本文提出AKD框架,通过骨骼关节参数化将3D资产的运动自由度从全空间降维到少量关节角度,再利用视频扩散模型(CogVideoX)的SDS梯度蒸馏出文本对齐的关节运动序列,并可通过物理仿真进一步确保物理合理性。
- Learning from Streaming Video with Orthogonal Gradients
-
针对流式视频学习中连续帧高度相关导致梯度冗余、模型崩溃的问题,提出正交梯度优化器(Orthogonal Optimizer),通过将当前梯度投影到历史梯度的正交分量来去相关,可无缝集成到 SGD/AdamW 中,在 DoRA、VideoMAE、未来预测三个场景下均显著恢复了从打乱训练到顺序训练的性能损失。
- Visual Prompting for One-Shot Controllable Video Editing Without Inversion
-
本文从视觉提示(Visual Prompting)的全新视角解决一次性可控视频编辑(OCVE)问题,通过图像修复扩散模型完成编辑传播,并提出内容一致性采样(CCS)和时序-内容一致性采样(TCS)两种采样策略,无需 DDIM 反演即可实现高质量可控视频编辑。
- Out of Sight, Out of Mind? Evaluating State Evolution in Video World Models
-
StEvo-Bench 提出了一个评估视频世界模型"不可观测状态演化"能力的 benchmark——测试当物理过程不被观察时(相机移开/遮挡/关灯),世界模型能否继续正确推理状态变化,结果发现当前所有前沿模型(Veo 3、Sora 2 Pro 等)的任务成功率均低于 10%,揭示了"眼不见,心不在"的严重缺陷。
- Zero-1-to-A: Zero-Shot One Image to Animatable Head Avatars Using Video Diffusion
-
提出 Zero-1-to-A,通过共生生成(SymGEN)和渐进式学习策略,从单张图片利用预训练视频扩散模型生成高保真可动画化 4D 头部虚拟形象,有效解决了视频扩散的时空不一致性问题。
🧩 多模态 VLM (137)¶
- Your Large Vision-Language Model Only Needs a Few Attention Heads for Visual Grounding
-
发现冻结 LVLM 中天然存在少量"定位头"(localization heads)持续捕捉文本语义对应的物体位置,仅用 3 个注意力头的注意力图即可实现超越微调 LISA-7B 的无训练视觉定位,RefCOCO val 达 86.5%。
- Words or Vision: Do Vision-Language Models Have Blind Faith in Text?
-
本文发现VLM存在"盲目信任文本"现象——当视觉与文本输入不一致时,模型系统性地偏向文本(即使文本是错误的),通过构建包含Match/Corruption/Irrelevance三类文本变体的benchmark评估了10个VLM,分析了5个影响因素,并证明SFT+文本增强可有效缓解,同时从理论上解释了该现象源于纯文本与多模态训练数据的不平衡。
- Rethinking Vision-Language Model in Face Forensics: Multi-Modal Interpretable Forged Face Detector
-
提出 M2F2-Det,首个同时输出深度伪造检测得分和文本解释的多模态人脸伪造检测器,通过 Forgery Prompt Learning 适配 CLIP 学习伪造特征、Bridge Adapter 融合 CLIP 与 deepfake 编码器特征、频域 token 引导 LLM 生成可信解释。
- Global-Local Tree Search in VLMs for 3D Indoor Scene Generation
-
提出全局-局部树搜索算法,利用VLM的空间推理能力,通过层次化场景表示和emoji网格的视觉提示,实现高质量3D室内场景布局生成,在用户研究中平均排名第一。
- DocoPilot: Improving Multimodal Models for Document-Level Understanding
-
本文构建了 Doc-750K——一个包含 758K 问答对和 3.1M 图像的高质量文档级多模态数据集,并基于此训练原生文档理解模型 Docopilot,在 MM-NIAH 上超越 InternVL2-8B 达 19.9 个百分点,无需 RAG 即可高效处理多页文档。
- MARTEN: Visual Question Answering with Mask Generation for Multi-Modal Document Understanding
-
提出VQAMask预训练范式,在VQA文本解析基础上引入辅助的Mask生成任务(推理时丢弃),通过显式的空间对齐监督增强视觉编码器对文档图像中文字区域的感知能力,建立Marten模型在多项文档理解任务上达到8B级MLLM的SOTA。
- MIMO: A Medical Vision Language Model with Visual Referring Multimodal Input and Pixel Grounding Multimodal Output
-
本文提出MIMO——首个同时支持"视觉引用多模态输入"(用户通过点/框指定感兴趣区域)和"像素级定位多模态输出"(模型在文本回答中嵌入分割mask)的医学视觉语言模型,并构建了895K样本的MIMOSeg数据集,在多种医学VQA和分割任务上展示了独特的referring+grounding能力。
- Dynamic Updates for Language Adaptation in Visual-Language Tracking
-
提出DUTrack,通过动态更新多模态参考信息(模板帧+语言描述)来解决视觉语言跟踪中静态参考与动态目标之间的语义不一致问题,首次让VL跟踪器在LaSOT上超越最佳纯视觉跟踪器。
- Identifying and Mitigating Position Bias of Multi-image Vision-Language Models
-
本文发现多图大视觉语言模型(LVLM)存在严重的位置偏差——开源模型偏重后置图片、闭源模型忽视中间图片——并提出了一种无需训练的SoFt Attention(SoFA)方法,通过在图像间因果注意力与双向注意力之间做线性插值来缓解该偏差,在多个基准上提升了2~3%的平均准确率。
- DPC: Dual-Prompt Collaboration for Tuning Vision-Language Models
-
提出双提示协作(DPC)框架,通过冻结原始调优提示保持新类泛化、训练并行提示强化基类性能,配合加权解耦推理机制,作为即插即用模块在 4 种 prompt tuning 基线上一致提升 base-new 调和均值。
🧠 VLM Reasoning (14)¶
- MV-MATH: Evaluating Multimodal Math Reasoning in Multi-Visual Contexts
-
本文提出 MV-MATH 基准,包含 2,009 道高质量多图数学题(来自真实 K-12 场景),系统评估了 25 个多模态大模型在多图数学推理场景下的能力,发现所有模型远低于人类水平(最佳 Claude 仅 33.9%),揭示了多图数学推理仍是 MLLM 的重大挑战。
- Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces
-
本文提出 VSI-Bench,一个基于视频的视觉空间智能基准(5000+ QA对),系统评估了 MLLM 的空间推理能力,发现空间推理是主要瓶颈,传统语言推理技术(CoT等)无法提升性能,但显式生成认知地图可改善空间距离推理。
- Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Models
-
本文提出Coarse Correspondences,一种轻量级的training-free视觉提示方法,通过在图像帧上叠加目标跟踪得到的粗粒度实例对应关系标记,显著增强MLLM的空间时序推理能力,在ScanQA上提升+20.5%、OpenEQA上+9.7%、EgoSchema上+6.0%和R2R导航上+11%。
- Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning
-
本文提出Critic-V框架,将VLM推理过程解耦为Reasoner(推理器)和Critic(评价器),通过DPO训练的Critic模型提供自然语言反馈迭代优化推理路径,在8个基准上的5个超越GPT-4V,数学推理任务提升尤为显著(MathVista +11.8%)。
- Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models
-
Insight-V 提出一个包含数据生成 pipeline 和多智能体推理系统的视觉推理增强方案:通过渐进式生成+多粒度评估构建高质量长链推理数据,设计推理Agent和总结Agent协作解题,配合迭代DPO进一步提升推理质量,在7个视觉推理基准上实现平均7%的提升。
- Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation
-
提出 CRYSTAL benchmark(6372 实例),通过 Match F1 和 Ordered Match F1 两个指标在中间推理步骤层面评估 MLLM,揭示了普遍的 cherry-picking 行为和推理顺序混乱问题,并提出 CPR-Curriculum 训练策略改善推理质量。
- ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models
-
提出 Espire,一个基于仿真环境的具身空间推理诊断基准,将 VLM 评估分解为定位和执行两阶段,通过全生成式范式系统评估 VLM 在多种空间推理维度和粒度上的能力。
- MM-CondChain: A Programmatically Verified Benchmark for Visually Grounded Deep Compositional Reasoning
-
MM-CondChain 是首个针对视觉基础深层组合推理的 MLLM 基准,通过可验证程序中间表示(VPIR)自动构建多层条件链和链式硬负样本,最强模型仅获 53.33 Path F1,揭示深层组合推理是根本挑战。
- Reasoning over Video: Evaluating How MLLMs Extract, Integrate, and Reconstruct Spatiotemporal Evidence
-
提出 VAEX-Bench 基准,首次系统评估 MLLM 的"抽象时空推理"能力——不是从单帧提取信息,而是需要跨房间/跨时间整合观察来推断全局空间布局、跨场景计数等,发现所有 SOTA 模型(包括 GPT-5.2、Gemini-3 Pro)在抽象推理上表现远低于人类。
- SeqAfford: Sequential 3D Affordance Reasoning via Multimodal Large Language Model
-
提出 Sequential 3D Affordance Reasoning 任务,构建180K指令-点云对基准,通过在3D MLLM中引入
<SEG>token 和多粒度语言-点云融合模块,从复杂人类指令中推理并分割出序列化的affordance区域。
⚡ VLM Efficiency (3)¶
- MBQ: Modality-Balanced Quantization for Large Vision-Language Models
-
发现大型VLM中视觉token和语言token对量化误差的敏感度差异超过10倍,提出MBQ方法在量化校准过程中引入基于梯度的模态平衡因子,在W3A16和W4A8设置下分别提升精度最高4.4%和11.6%,并实现1.4倍端到端加速。
- Quantization without Tears
-
提出 QwT(Quantization without Tears)方法,通过在量化网络的每个 block 后添加一个轻量级线性补偿层来弥补量化信息损失,该补偿层参数可通过闭式解在2分钟内求得,在视觉、语言、多模态等多种任务上均显著提升了 PTQ 精度。
COAP: Memory-Efficient Training with Correlation-Aware Gradient Projection
🎵 音频/语音 (21)¶
- Crab: A Unified Audio-Visual Scene Understanding Model with Explicit Cooperation
-
提出统一音视频场景理解模型 Crab,通过构建带显式推理过程的 AV-UIE 数据集(200K 样本)阐明跨任务协作关系,结合交互感知 LoRA(多头 LoRA)学习不同音视频交互模式,在多个任务上超越专用模型。
- Object-aware Sound Source Localization via Audio-Visual Scene Understanding
-
本文提出 OA-SSL:在训练阶段用 MLLM 为每张图生成"K 个发声物 + 1 个静音物"的细粒度描述作为额外监督锚点,再用 OCA (object-aware contrastive alignment) 和 ORI (object region isolation) 两个损失,让模型即使在画面里有多把吉他、只有一把在弹的复杂场景下也能只定位真正在发声的物体。
- Synchronized Video-to-Audio Generation via Mel Quantization-Continuum Decomposition
-
提出 Mel-QCD,将 Mel 频谱图分解为语义向量(量化)、能量和标准差(连续)三种信号,通过 V2X 预测器从视频预测这些信号,结合 ControlNet 和文本反转技术,在 VGGSound 上 8 项指标中取得全面 SOTA 的视频到音频生成。
- ImViD: Immersive Volumetric Videos for Enhanced VR Engagement
-
构建首个沉浸式体积视频数据集——用 46 台同步 GoPro 的移动多视角系统拍摄 7 个场景(含室内/室外),提出 STG++ 增加可学习仿射颜色变换解决跨相机颜色不一致,实现 110.47 FPS 渲染/387MB 存储,并集成 HRTF 空间音频。
- Towards Lossless Implicit Neural Representation via Bit Plane Decomposition
-
发现隐式神经表示(INR)的模型容量上界随比特精度指数增长(\(\mathcal{P}(f_\theta) \propto 2^n\)),提出比特平面分解——将 n-bit 信号分解为 n 个独立的 1-bit 平面分别训练 INR,首次实现 16-bit 图像的无损(BER=0)隐式神经表示。
- Improving Sound Source Localization with Joint Slot Attention on Image and Audio
-
提出联合槽注意力机制将图像和音频同时分解为目标/非目标表示,通过跨模态注意力匹配和对比学习实现精确声源定位,在 Flickr-SoundNet 上达到 65.16% AUC、86.00% cIoU SOTA。
- Towards Open-Vocabulary Audio-Visual Event Localization
-
首次定义开放词汇音视频事件定位(OV-AVEL)任务,构建了包含 24800 个视频、67 类事件的 OV-AVEBench 基准,并提出基于 ImageBind 的训练免和微调两种基线方法,其中仅用 1 层时序 Transformer 微调即达 57.8% 平均性能。
- Contextual AD Narration with Interleaved Multimodal Sequence
-
提出 Uni-AD 统一框架,以交错多模态序列(视频特征+文本+角色库+上下文)作为输入,通过视觉映射网络对齐特征 + 角色精化模块识别主要角色 + 对比损失增强上下文一致性,在 MAD-eval-Named 上达到 SOTA。
- DistinctAD: Distinctive Audio Description Generation in Contexts
-
生成上下文中有区分度的音频描述(AD),避免生成泛化无特色的描述,通过对比学习鼓励与前后AD的差异性
- EMoVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions
-
提出 EMoVA,首个端到端的全模态 LLM,通过语义-声学解耦的语音 tokenizer 同时实现视觉理解、语音识别和情感可控的语音合成,在视觉语言基准上超越 GPT-4o,语音识别 WER 达 2.9%。
🔎 AIGC 检测 (3)¶
- ProAPO: Progressively Automatic Prompt Optimization for Visual Classification
-
提出 ProAPO,一种基于进化算法的渐进式自动提示优化方法,在仅需 one-shot 监督且无需人工参与的条件下,从任务级模板逐步优化到类别级描述,解决 LLM 生成描述中的幻觉和缺乏区分度问题,在 13 个数据集上超越现有文本提示方法。
- SGC-Net: Stratified Granular Comparison Network for Open-Vocabulary HOI Detection
-
提出分层粒度比较网络SGC-Net,通过粒度感知对齐(GSA)模块聚合CLIP多层视觉特征,并利用层级分组比较(HGC)模块借助LLM递归生成区分性描述,解决开放词汇HOI检测中的特征粒度不足和语义混淆问题。
- Enhancing Few-Shot Class-Incremental Learning via Training-Free Bi-Level Modality Calibration
-
提出 BiMC(Bi-level Modality Calibration)框架,基于冻结 CLIP 模型,通过模态内校准(结合 LLM 生成的细粒度类别描述与视觉原型)和模态间校准(融合预训练语言知识与任务特定视觉先验),在无需任何参数训练的情况下实现 FSCIL SOTA,在 CIFAR-100 上超越最优对比方法 4.25%。
🧊 重建与渲染 (121)¶
- UnCommon Objects in 3D
-
Meta 推出 uCO3D——目前最大的公开物体中心 3D 数据集,包含 1,000+ 物体类别的高分辨率视频和 360° 全覆盖 3D 标注(相机位姿、深度图、点云、3D 高斯泼溅重建、文本描述),在多个 3D 学习任务上训练效果显著优于 MVImgNet 和 CO3Dv2。
- 3D-HGS: 3D Half-Gaussian Splatting
-
提出3D Half-Gaussian (3D-HGS)核函数——用一个分割平面将3D高斯分成两半,每半有独立不透明度,作为即插即用的重建核替换标准高斯核,在不牺牲渲染速度的前提下显著提升形状和颜色不连续处的渲染质量,在Mip-NeRF360/T&T/Deep Blending上全面超越所有SOTA方法。
- 3D-SLNR: A Super Lightweight Neural Representation for Large-scale 3D Mapping
-
提出 3D-SLNR,一种超轻量神经 3D 表示——基于锚定在点云支撑点上的带限局部 SDF 集合定义全局 SDF,每个局部 SDF 仅由一个共享的微型 MLP 参数化(无隐特征向量),通过可学习的位置/旋转/缩放几何属性调制 MLP 输出适应不同区域的复杂几何,配合并行查找算法和剪枝-扩展策略,以不到先前方法 1/5 的内存实现 SOTA 重建质量。
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes
-
用3D光滑凸体(Smooth Convex)替代高斯基元进行辐射场渲染,通过点集定义凸包+LogSumExp平滑化+自定义CUDA光栅化器,在T&T和Deep Blending上超越3DGS,且所需基元更少。
- 3D Gaussian Inpainting with Depth-Guided Cross-View Consistency
-
提出3DGIC,通过深度引导的跨视角一致修复框架实现3D高斯场景中的物体移除与修补——利用渲染深度图从其他视角发现被掩码区域中的可见背景像素来精化修补掩码,再用参考视角的2D修补结果通过3D投影约束其他视角的一致性,在SPIn-NeRF数据集上FID和LPIPS全面超越现有方法。
- 3D Student Splatting and Scooping (SSS)
-
提出SSS(Student Splatting and Scooping),用前所未有的三重创新改进3DGS范式:(1) 用Student-t分布替代高斯分布作为混合组件(可学习的尾部厚度,从Cauchy到Gaussian连续变化);(2) 引入负密度组件(scooping减去颜色)扩展到非单调混合模型;(3) 用SGHMC采样替代SGD解耦参数优化,在Mip-NeRF360/T&T/Deep Blending上6/9指标取得最优,且参数效率极高——用最少18%的组件数即可匹配或超越3DGS。
- 3DEnhancer: Consistent Multi-View Diffusion for 3D Enhancement
-
提出一个基于多视图潜在扩散模型的3D增强框架,通过姿态感知编码器、多视图行注意力和近视图极线聚合模块,在保持跨视图一致性的前提下显著提升低质量3D生成结果的纹理质量。
3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting
- 4DEquine: Disentangling Motion and Appearance for 4D Equine Reconstruction from Monocular Video
-
将单目视频的4D马匹重建解耦为运动估计(AniMoFormer时空Transformer)和外观重建(EquineGS单图前馈3DGS),依托VAREN参数化模型和两个大规模合成数据集,在真实数据上达到SOTA几何+外观重建效果,且能零样本泛化到驴和斑马。
- 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video
-
提出 4DGC,一个率失真感知的 4D 高斯压缩框架,通过运动感知动态高斯建模(多分辨率运动网格+稀疏补偿高斯)和端到端压缩(可微量化+隐式熵模型),在 3DGStream 基础上实现 16 倍压缩且不损失渲染质量。
🧊 3D 生成与编辑 (41)¶
- Eval3D: Interpretable and Fine-grained Evaluation for 3D Generation
-
本文提出 Eval3D,一个细粒度、可解释的 3D 生成质量评估工具,核心思路是利用多种基础模型和工具作为探针(probes)来检测生成 3D 资产在语义、几何、结构和文本对齐等方面的不一致性,实现了像素级精确测量和 3D 空间反馈,相比已有指标更贴近人类判断。
- Gen3DEval: Using vLLMs for Automatic Evaluation of Generated 3D Objects
-
本文提出Gen3DEval,一个基于vLLM微调的text-to-3D生成质量评估框架,通过对Llama3模型在合成+人工标注数据上微调,实现对3D物体外观、表面质量和文本一致性的自动评估,在与人类偏好对齐上显著超越GPT-4o等通用模型。
CADCrafter: Generating Computer-Aided Design Models from Unconstrained Images
- CADDreamer: CAD Object Generation from Single-view Images
-
提出 CADDreamer,通过语义增强的多视图扩散模型和几何拓扑提取模块,从单张RGB图像直接生成具有紧凑B-rep表示、清晰结构和锐利边缘的CAD模型,支持平面、圆柱、圆锥、球体、环面五种基元类型。
- Instruct-4DGS: Efficient Dynamic Scene Editing via 4D Gaussian-based Static-Dynamic Separation
-
提出 Instruct-4DGS,利用 4D 高斯 (4DGS) 中静态 3D 高斯和 Hexplane 变形场的内在可分离性,仅编辑静态典范高斯即可实现高效动态场景编辑,再通过 Coherent-IP2P 驱动的分数蒸馏精炼时序对齐以消除运动伪影,将编辑时间缩短一半以上且仅需单 GPU。
- ESCAPE: Equivariant Shape Completion via Anchor Point Encoding
-
ESCAPE 提出了一种基于锚点距离编码的旋转等变点云补全方法,通过将点云表示为到高曲率锚点的距离矩阵,使 Transformer 在旋转不变的距离空间中预测完整形状,再通过优化恢复 3D 坐标,在任意旋转输入下大幅超越现有方法(PCN 数据集 CD-L1 从 26.65 降至 10.58)。
- FreeScene: Mixed Graph Diffusion for 3D Scene Synthesis from Free Prompts
-
FreeScene 提出了一个用户友好的室内场景合成框架,通过 VLM 驱动的 Graph Designer 将自由形式的文本/图像输入转化为场景图,再用 Mixed Graph Diffusion Transformer (MG-DiT) 在混合连续-离散空间上进行图感知去噪,统一支持 text-to-scene、graph-to-scene 等多种任务,在生成质量和可控性上均超越现有方法。
- FruitNinja: 3D Object Interior Texture Generation with Gaussian Splatting
-
FruitNinja 首次提出为 3DGS 物体生成内部纹理的方法,通过渐进式截面修复 + 体素平滑 + OpaqueAtom GS 策略,实现切割后实时渲染无需额外优化,在语义对齐和纹理一致性上显著优于基线。
- GenPC: Zero-shot Point Cloud Completion via 3D Generative Priors
-
提出 GenPC 零样本点云补全框架,通过 Depth Prompting 模块将部分点云转化为深度图再生成 RGB 图像作为 Image-to-3D 模型的输入,再通过 Geometric Preserving Fusion 模块将生成的 3D 形状与原始点云对齐融合,实现了比 SDS 优化方法更快更好的真实世界扫描补全。
- GenVDM: Generating Vector Displacement Maps From a Single Image
-
提出首个从单张图像生成 Vector Displacement Map (VDM) 的方法,通过微调 Zero123++ 生成多视角法线图、使用神经 SDF 重建网格、再用神经变形场参数化为 VDM 图像,并构建了首个学术 VDM 数据集,为 3D 艺术家提供了按需生成自定义几何细节印章的能力。
🧊 3D 表示与场景理解 (47)¶
- 3D-LLaVA: Towards Generalist 3D LMMs with Omni Superpoint Transformer
-
提出3D-LLaVA,一个极简架构的通用3D大语言多模态模型,核心是Omni Superpoint Transformer (OST)作为多功能视觉连接器,同时充当视觉特征选择器、视觉提示编码器和分割掩码解码器,仅用点云输入就在ScanQA(92.6 CiDEr)、ScanRefer(43.3 mIoU)等5个基准上全面达到SOTA。
- 4Deform: Neural Surface Deformation for Robust Shape Interpolation
-
提出 4Deform 框架,基于神经隐式表示和连续速度场学习实现鲁棒形状插值,通过修改的 level-set 方程链接隐式场与速度场,首次在噪声、部分、拓扑变化和非等距变形场景中均取得 SOTA,并支持真实世界 Kinect 点云序列的时间超分辨率。
- A2Z-10M+: Geometric Deep Learning with A-to-Z BRep Annotations for AI-Assisted CAD Modeling and Reverse Engineering
-
构建了包含100万+复杂CAD模型、超1000万多模态标注(高分辨率3D扫描、手绘3D草图、文本描述、BRep拓扑标签)的A2Z数据集,是目前最大的CAD逆向工程数据集,并基于此训练了BRep边界和角点检测的基础模型。
- Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking
-
提出Any3DIS,通过3D感知的2D掩码跟踪(利用SAM-2追踪每个超点在多帧中的2D分割)替代传统的无监督合并策略,并用动态规划优化3D Proposal,在ScanNet200和ScanNet++上的类别无关、开放词汇、开放式3D实例分割任务中均取得SOTA。
- ASHiTA: Automatic Scene-grounded Hierarchical Task Analysis
-
提出首个将高层任务自动分解为场景锚定(grounded)子任务层级的框架ASHiTA,通过交替执行LLM辅助的层次化任务分析和基于信息瓶颈原理的任务驱动3D场景图构建,实现了任务层级与场景表示的联合推理。
- BFANet: Revisiting 3D Semantic Segmentation with Boundary Feature Analysis
-
从错误分析角度重新审视3D语义分割,将分割误差分为四类(区域分类/位移/合并/误响应)并设计对应评估指标,提出BFANet通过边界-语义解耦模块和实时边界伪标签计算增强边界感知,在ScanNet200测试集上达到36.0 mIoU(不含辅助数据训练的最高成绩)。
- Category-Agnostic Neural Object Rigging
-
提出 CANOR(Category-Agnostic Neural Object Rigging),通过将可变形4D物体编码为稀疏的空间定位 blob 集合和实例感知特征体,以完全类别无关、数据驱动的方式自动发现可变形物体的低维姿态空间,实现直观的姿态操控。
- COB-GS: Clear Object Boundaries in 3DGS Segmentation Based on Boundary-Adaptive Gaussian Splitting
-
提出 COB-GS,一种通过语义梯度统计驱动的边界自适应高斯分裂技术,联合优化语义信息和视觉纹理,解决 3DGS 分割中物体边界模糊的问题,在保持视觉质量的同时实现清晰的物体边界分割。
- CrossOver: 3D Scene Cross-Modal Alignment
-
提出CrossOver框架,通过维度特定编码器和三阶段训练管线,在不要求完整模态配对的条件下,学习RGB图像、点云、CAD模型、平面图和文本描述的统一场景级跨模态嵌入空间,支持灵活的跨模态检索和定位。
- Dr. Splat: Directly Referring 3D Gaussian Splatting via Direct Language Embedding Registration
-
提出 Dr. Splat,绕过渲染过程直接将语言对齐的 CLIP 嵌入注册到 3D 高斯上,结合在大规模图像数据上预训练的乘积量化(PQ)实现 6.25% 的嵌入压缩,在完全不需要逐场景优化的前提下(~10 分钟 vs 现有方法 1-24 小时),在开放词汇 3D 语义分割、3D 物体定位和 3D 物体选择任务上显著超越现有方法。
🧊 深度、法线与立体 (23)¶
- Blurry-Edges: Photon-Limited Depth Estimation from Defocused Boundaries
-
提出一种基于新型图像块表示 Blurry-Edges 的深度估计方法,通过对散焦边界的平滑度建模,实现在极低光照(光子受限)条件下从一对不同散焦图像中鲁棒地估计物体深度,噪声鲁棒性比现有 DfD 方法高 4 倍以上。
- Consistency-aware Self-Training for Iterative-based Stereo Matching
-
首次提出面向迭代式立体匹配的一致性感知自训练框架(CST-Stereo),通过多分辨率预测一致性滤波和迭代预测一致性滤波评估伪标签可靠性,结合软加权损失有效利用无标签真实数据提升模型性能和泛化能力。
- DEFOM-Stereo: Depth Foundation Model Based Stereo Matching
-
将单目深度基础模型 (Depth Anything V2) 融入循环立体匹配框架 RAFT-Stereo,通过组合特征编码器和尺度更新模块,在保持强泛化能力的同时实现多个基准上排名第一的立体匹配性能。
- Depth Any Camera: Zero-Shot Metric Depth Estimation from Any Camera
-
提出 Depth Any Camera (DAC) 框架,通过 ERP 统一表示、Pitch-aware 转换和 FoV 对齐等技术,实现仅用透视图像训练即可零样本泛化到鱼眼和360°相机的度量深度估计,在大视野数据集上 \(\delta_1\) 精度提升高达50%。
- DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos
-
利用预训练的视频扩散模型 (SVD) 进行视频深度估计,通过三阶段训练策略实现可变长度(最长110帧)的时间一致深度序列生成,并设计分段推理策略支持极长视频,在零样本设置下全面超越现有方法。
- Dual Exposure Stereo for Extended Dynamic Range 3D Imaging
-
提出双曝光立体方法(Dual-Exposure Stereo),通过自动控制立体相机的双曝光参数扩展有效动态范围,并设计运动感知的双曝光深度估计网络,在宽动态范围场景中实现鲁棒的 3D 成像。
- Dual Exposure Stereo for Extended Dynamic Range 3D Imaging
-
提出双曝光立体成像(Dual-Exposure Stereo)方法,通过自动双曝光控制(ADEC)在交替帧中使用不同曝光,结合运动感知的双曝光特征融合网络进行视差估计,将立体相机的有效动态范围扩展至 160%,实现极端光照条件下的鲁棒 3D 成像。
- Efficient Depth Estimation for Unstable Stereo Camera Systems on AR Glasses
-
提出 MultiHeadDepth 和 HomoDepth 两个模型,分别通过硬件友好的多头代价体积(LayerNorm+点积近似余弦相似度 + 分组点卷积)和单应性矩阵估计网络 + 2D 矫正位置编码 (RPE) 来优化立体深度估计中代价体积和预处理的延迟瓶颈,在 AR 眼镜场景下精度提升 11.8-30.3% 的同时端到端延迟降低 44.5%。
- Feature-Preserving Mesh Decimation for Normal Integration
-
将经典的 quadric error metric(QEM)推导到屏幕空间并以法线贴图为输入,结合最优 Delaunay 三角化实现各向异性网格简化,在 90%+ 压缩率下仍保持亚毫米级精度,将高分辨率法线积分从小时级加速到分钟级。
- FoundationStereo: Zero-Shot Stereo Matching
-
提出 FoundationStereo,一个大规模立体深度估计基础模型,通过百万级高保真合成数据集、Side-Tuning Adapter 融合单目深度先验、以及混合代价体过滤(含 Axial-Planar Convolution 和 Disparity Transformer),实现了无需目标域微调的强零样本泛化性能。
🧊 几何匹配与定位 (38)¶
- 4DTAM: Non-Rigid Tracking and Mapping via Dynamic Surface Gaussians
-
本文提出了首个基于可微渲染和2D高斯表面基元的4D跟踪与建图方法(4DTAM),通过联合优化相机位姿、场景几何、外观和动态变形场,从单目RGB-D视频流实现非刚性动态场景的实时重建,并发布了全新的合成4D数据集Sim4D用于评估。
- ActiveGAMER: Active GAussian Mapping through Efficient Rendering
-
提出 ActiveGAMER,首次将 3D Gaussian Splatting 用于主动建图,通过基于渲染的信息增益模块高效选择最优下一视角,结合粗到细探索、后精修和全局-局部关键帧策略,在 Replica 和 MP3D 数据集上大幅超越 NeRF-based 方法的几何精度和渲染保真度。
- AerialMegaDepth: Learning Aerial-Ground Reconstruction and View Synthesis
-
本文提出AerialMegaDepth数据集生成框架,通过将Google Earth的伪合成航空渲染与MegaDepth的真实地面图像联合配准到统一坐标系中,构建了13.2万张混合高度图像的大规模训练数据,微调DUSt3R后将地空配对的相机旋转估计准确率从5%提升到56%,同时显著改善了新视角合成质量。
- CMMLoc: Advancing Text-to-PointCloud Localization with Cauchy-Mixture-Model Based Framework
-
提出 CMMLoc,一个基于柯西混合模型(CMM)的不确定性感知文本-点云定位框架,通过将粗检索阶段建模为部分相关检索问题并引入 CMM Transformer 和方位整合模块,在 KITTI360Pose 数据集上实现 SOTA 性能。
- ColabSfM: Collaborative Structure-from-Motion by Point Cloud Registration
-
提出ColabSfM范式——通过3D点云配准(而非视觉描述子匹配)来融合分布式SfM重建结果,并构建了专用的SfM配准数据集生成管线和改进的配准模型RefineRoITr。
- CoMatcher: Multi-View Collaborative Feature Matching
-
提出CoMatcher,一种多视角协同特征匹配器,从两视角独立匹配范式转向1-to-N协同匹配范式,利用互补视角的上下文线索和跨视角投影一致性约束来提升复杂场景下的匹配可靠性。
- Cross-View Completion Models are Zero-shot Correspondence Estimators
-
揭示跨视图补全(CVC)模型中交叉注意力图(cross-attention map)本质上学到了精确的稠密对应关系,提出ZeroCo在零样本匹配和学习型几何匹配中利用这一发现,显著超越基于编码器/解码器特征的常规用法。
- Denoising Functional Maps: Diffusion Models for Shape Correspondence
-
本文提出 DenoisFM,首次用去噪扩散模型直接预测形状间的功能图(functional map),通过模板匹配降低学习复杂度,并提出无监督方法解决拉普拉斯特征向量符号歧义问题,在人体和动物形状匹配上取得有竞争力的性能。
- Dense-SfM: Structure from Motion with Dense Consistent Matching
-
提出 Dense-SfM 框架,通过高斯泼溅进行轨迹扩展解决稠密匹配产生的碎片化轨迹问题,结合基于 Transformer 和高斯过程的多视图核化匹配精炼模块,实现高精度稠密 SfM 重建。
- Doppelgangers++: Improved Visual Disambiguation with Geometric 3D Features
-
提出 Doppelgangers++,通过引入多样化的 VisymScenes 日常场景训练数据和利用 MASt3R 多层解码器 3D 感知特征训练 Transformer 分类器,显著提升了 doppelganger(视觉混淆图像对)检测的精度和泛化性,并无缝集成到 COLMAP 和 MASt3R-SfM 管线中改善重复结构场景的 3D 重建质量。
🎯 目标检测 (38)¶
- AA-CLIP: Enhancing Zero-Shot Anomaly Detection via Anomaly-Aware CLIP
-
提出 AA-CLIP,通过两阶段训练策略(先适配文本编码器建立异常感知锚点,再对齐 patch 级视觉特征),在保留 CLIP 泛化能力的前提下增强其异常判别力,仅需极少训练样本即可在工业和医学多个数据集上达到 SOTA 零样本异常检测性能。
- T2ICount: Enhancing Cross-modal Understanding for Zero-Shot Counting
-
提出T2ICount,利用预训练文生图扩散模型的单步去噪特征进行零样本目标计数,通过层次语义校正模块(HSCM)和表征区域一致性损失(\(\mathcal{L}_{RRC}\))解决单步去噪的文本敏感性不足问题。
- Distribution Prototype Diffusion Learning for Open-set Supervised Anomaly Detection
-
提出DPDL方法,通过学习多高斯分布原型并用Schrödinger桥将正常样本扩散映射到原型空间(同时推开异常样本),结合超球空间上的离散特征学习增强泛化性,在9个公开异常检测数据集上取得SOTA(如AITEX上超越AHL 5.0%、ELPV上超越8.7%)。
- DEIM: DETR with Improved Matching for Fast Convergence
-
通过两个简单改进加速 DETR 训练收敛——Dense O2O(用数据增强增加每图目标数实现稠密一对一匹配)和 MAL(替代 VFL 更好地优化低质量匹配),训练 epoch 减半同时性能提升(COCO AP 56.5 with D-FINE-X)。
- Efficient Event-Based Object Detection: A Hybrid Neural Network with Spatial and Temporal Attention
-
提出首个面向大规模基准的混合 SNN-ANN 目标检测模型,设计注意力桥接模块(ASAB)将 SNN 的稀疏脉冲表示通过时空注意力转换为 ANN 可处理的密集特征,在 Gen1/Gen4 数据集上以仅 6.6M 参数大幅超越 SNN 方法并接近 ANN/RNN 方法的精度,同时 SNN 部分可部署在 Intel Loihi 2 神经形态芯片上实现低功耗推理。
- Towards Zero-Shot Anomaly Detection and Reasoning with Multimodal Large Language Models
-
首个专用于零样本异常检测和推理的 MLLM(Anomaly-OV),通过 Look-Twice Feature Matching 机制生成异常显著性图,配合视觉 Token 选择器聚焦可疑区域,在 9 个基准上实现 88.6% 平均 AUROC 的零样本异常检测 SOTA。
- Interpreting Object-level Foundation Models via Visual Precision Search
-
针对 Grounding DINO 和 Florence-2 等目标级基础模型的可解释性问题,本文提出 Visual Precision Search (VPS) 方法,通过超像素稀疏化+子模函数引导的贪心搜索精确定位关键决策子区域,在 MS COCO/RefCOCO/LVIS 上的忠实度指标(Insertion)分别超过 SOTA 方法 D-RISE 达 23.7%/20.1%/31.6%。
- Multiple Object Tracking as ID Prediction
-
本文提出MOTIP,将多目标跟踪中的目标关联问题重新定义为in-context ID预测任务:给定携带ID嵌入的历史轨迹,直接用标准Transformer解码器预测当前检测的ID标签,无需启发式匹配算法即在DanceTrack上以69.6 HOTA大幅超越前SOTA CO-MOT (65.3)。
- One-for-More: Continual Diffusion Model for Anomaly Detection
-
提出CDAD框架,通过梯度投影实现扩散模型的稳定持续学习,配合迭代SVD(iSVD)将内存消耗从157GB降至17GB,并设计异常掩码网络增强条件机制,在MVTec和VisA上17/18个设置中取得第一。
- MI-DETR: An Object Detection Model with Multi-time Inquiries Mechanism
-
MI-DETR 提出了并行多次查询(MI)机制替代传统 DETR 级联解码器架构,让 object queries 通过多个参数独立的 inquiry heads 并行地从图像特征中学习多模式信息,配合 U-like Feature Interaction(UFI),在 COCO 上以 ResNet-50 backbone 达到 52.7 AP,超越所有已有 DETR 变体。
✂️ 语义分割 (96)¶
- OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels
-
提出OverLoCK,首个显式融入自顶向下注意力机制的纯卷积骨干网络,通过深层分解策略(DDS)和上下文混合动态卷积(ContMix),在ImageNet-1K上以仅1/3的FLOPs超越ConvNeXt-B,在检测和分割任务上全面领先。
- Frequency Dynamic Convolution for Dense Image Prediction
-
FDConv 从频率域角度重新设计动态卷积,通过傅里叶不相交权重(FDW)在不增加参数的前提下构建频率多样的卷积核,结合核空间调制(KSM)和频带调制(FBM)实现精细的频率自适应,仅增加 3.6M 参数即超越需要 65-90M 额外参数的现有动态卷积方法。
- Your ViT is Secretly an Image Segmentation Model
-
本文提出 Encoder-only Mask Transformer(EoMT),证明在大规模预训练与足够大的模型下,plain ViT 无需卷积适配器、像素解码器和 Transformer 解码器等任务特定组件即可完成高质量图像分割,同时速度快达 4 倍。
- GLUS: Global-Local Reasoning Unified into A Single Large Language Model for Video Segmentation
-
提出GLUS框架,通过"上下文帧(全局推理)+ 查询帧(局部追踪)"的帧划分策略,将全局理解和局部时序一致性统一到单个MLLM中,结合端到端训练的VOS记忆库模块,在MeViS上大幅超越所有MLLM-based方法(J&F 51.3%)。
- ResCLIP: Residual Attention for Training-free Dense Vision-language Inference
-
发现 CLIP 中间层的交叉相关自注意力具有定位属性,提出残差交叉相关自注意力(RCS)和语义反馈精炼(SFR)两个即插即用模块,显著提升 CLIP 在开放词汇语义分割中的密集推理能力。
- Golden Cudgel Network for Real-Time Semantic Segmentation
-
提出 GCNet,核心是 Golden Cudgel Block (GCBlock),训练时自膨胀(多卷积多路径)提升学习能力,推理时自收缩(重参数化为单个 3×3 卷积)加速推理,无需外部教师模型即成为"自蒸馏"方案,在 Cityscapes 上以 77.3% mIoU / 193.3 FPS 超越现有实时分割模型。
- ROS-SAM: High-Quality Interactive Segmentation for Remote Sensing Moving Object
-
ROS-SAM通过LoRA微调编码器、改进HQ解码器和重设计数据流水线,使SAM适配遥感视频运动目标的高质量交互分割任务,IoU提升13%并展现强零样本泛化能力。
- MambaOut: Do We Really Need Mamba for Vision?
-
本文通过概念分析指出 Mamba 的 SSM 机制适用于长序列+自回归任务,而 ImageNet 图像分类两者都不满足,因此构建了去掉 SSM 的 MambaOut(纯 Gated CNN)系列模型,在图像分类上全面超越所有视觉 Mamba 模型,有力证明了 SSM 对视觉分类是不必要的。
- MambaVision: A Hybrid Mamba-Transformer Vision Backbone
-
NVIDIA 提出 MambaVision——首个系统研究 Mamba 与 Transformer 混合方式的视觉骨干网络,通过重设计的 MambaVision Mixer + 在最后几层加入 self-attention 来弥补 SSM 的全局上下文不足,在 ImageNet-1K 上达到精度-吞吐量的新 Pareto 前沿,同时在检测和分割下游任务中也优于同等规模的竞争模型。
- MammAlps: A Multi-view Video Behavior Monitoring Dataset of Wild Mammals in the Swiss Alps
-
本文提出 MammAlps——一个来自瑞士国家公园的多模态多视角野生哺乳动物行为监测数据集(8.5 小时稠密标注,5 个物种,11 种活动 + 19 种动作),以及两个基准任务:多模态物种+层级行为识别(B1)和首个多视角长期事件理解(B2),填补了野生动物视频行为分析在层级行为标注、多模态和多视角方面的空白。
🖼️ 图像恢复 (43)¶
- HVI: A New Color Space for Low-light Image Enhancement
-
本文提出了一种新的色彩空间 HVI(Horizontal/Vertical-Intensity),通过极化的 HS 映射消除红色伪影、可学习的强度分量压缩暗区黑色伪影,并配合 CIDNet 解耦网络在 10 个数据集上超越了现有低光增强 SOTA。
- Iterative Predictor-Critic Code Decoding for Real-World Image Dehazing
-
IPC-Dehaze 提出了一种基于 VQGAN 码本先验的迭代式 Predictor-Critic 解码框架,通过 Code-Critic 评估码本序列间的相互关联来决定哪些码应保留或重采样,实现了从清晰区域到密集雾区的由易到难渐进去雾,在真实场景中显著超越 SOTA。
- PolarFree: Polarization-based Reflection-Free Imaging
-
构建 6500 对的大规模 RGB-偏振图像数据集 PolaRGB,并提出 PolarFree 两阶段网络——先用条件扩散模型生成无反射先验,再用去反射骨干网络分离透射层,在偏振引导的反射去除任务上超越先前方法约 2dB PSNR。
- PIDSR: Complementary Polarized Image Demosaicing and Super-Resolution
-
PIDSR 提出了一个将偏振图像去马赛克(PID)和超分辨率(PISR)联合互补优化的框架,通过两阶段循环管线(空间-物理相干重建 + 偏振感知分辨率增强)和 Stokes 辅助网络,从 CPFA 原始图像直接获得高质量高分辨率偏振图像,显著减少了 DoP 和 AoP 的误差。
- Rotation-Equivariant Self-Supervised Method in Image Denoising
-
首次将旋转等变卷积引入自监督图像去噪,严格分析了上/下采样算子对等变性的影响并给出 U-Net 完整网络的等变误差界,进一步提出自适应旋转等变网络 AdaReNet,通过 Mask 融合模块自动决定图像哪些区域更适合使用旋转等变网络,在 N2N、N2V、R2R 三种典型自监督方法上均取得一致性能提升。
- Augmenting Perceptual Super-Resolution via Image Quality Predictors
-
利用无参考图像质量评估(NR-IQA)模型代替人工标注,通过加权采样和直接优化两种方式提升感知超分辨率的图像质量,在无需人工数据的条件下超越依赖人工反馈的 SOTA 方法。
- FiRe: Fixed-points of Restoration Priors for Solving Inverse Problems
-
本文提出 FiRe 框架,通过将通用图像恢复模型(去模糊、超分、修复等)与其训练时的退化算子复合,利用不动点理论推导出显式先验公式,扩展了传统 PnP 中仅限去噪先验的范围,并支持多恢复模型的集成,在多种逆问题上显著超越现有 PnP 和扩散方法。
- DarkIR: Robust Low-Light Image Restoration
-
DarkIR 提出一种高效 CNN 多任务低光照图像恢复方法,编码器用 SpAM+FreMLP(频域幅值增强)处理光照,解码器用 Di-SpAM(空洞空间注意力)处理模糊,不对称设计仅 3.31M 参数在 LOLBlur 上达 27.30dB PSNR。
- Efficient Visual State Space Model for Image Deblurring
-
本文提出 EVSSM,通过在单方向 SSM 扫描前施加交替的几何变换(转置/翻转)来高效捕获非局部信息,并设计高效判别性频域 FFN (EDFFN) 增强局部细节,在图像去模糊任务上以仅 1/4 的计算量超越了现有 SSM 方法并达到 SOTA。
- MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration
-
提出 MaIR,核心创新是嵌套 S 形扫描策略(NSS)通过条带划分保持局部性 + S 形路径保持连续性,以及序列洗牌注意力(SSA)通过通道级注意力智能聚合不同扫描方向的序列,在超分、去噪、去模糊、去雾 4 大任务 14 个数据集上达到 SOTA。
🛰️ 遥感 (11)¶
- Meta-Learning Hyperparameters for Parameter Efficient Fine-Tuning
-
MetaPEFT提出了一种元学习框架,将PEFT中的离散位置选择和连续缩放因子统一为可微分的调制器(modulator),通过双层优化自动搜索最优的PEFT超参数配置,在遥感和自然图像的长尾分布适应任务上取得SOTA。
- Learning Occlusion-Robust Vision Transformers for Real-Time UAV Tracking
-
提出 ORTrack 框架,通过基于空间 Cox 过程的随机遮罩来学习遮挡鲁棒的 ViT 特征表征(训练时加遮罩约束、推理时零开销),并设计自适应特征蒸馏方法将大模型压缩为轻量级学生模型 ORTrack-D,在多个无人机跟踪基准上实现 SOTA 精度与实时速度的最佳平衡。
- Dense Dispersed Structured Light for Hyperspectral 3D Imaging of Dynamic Scenes
-
提出 Dense Dispersed Structured Light(DDSL)方法,利用廉价衍射光栅薄膜(<$20)+ 立体 RGB 相机 + RGB 投影仪,设计光谱复用 DDSL 图案大幅减少所需投影帧数,实现 6.6fps 实时高光谱 3D 成像,光谱分辨率 15.5nm FWHM,深度误差 4mm。
- DiSciPLE: Learning Interpretable Programs for Scientific Visual Discovery
-
提出 DiSciPLE 框架,利用 LLM 引导的进化算法自动合成可解释的 Python 程序来分析视觉数据,在人口密度估计等科学任务上以比最近基线低 35% 的误差实现了 SOTA,且程序完全可解释。
- EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
-
提出 EarthDial,一个专为地球观测 (EO) 数据设计的对话式视觉语言模型,支持多光谱 (SAR/NIR/红外)、多时序和多分辨率遥感影像的统一理解,基于 1111 万条指令微调数据集,在 44 个下游数据集上超越现有遥感 VLM。
- Hierarchical Dual-Change Collaborative Learning for UAV Scene Change Captioning
-
提出 UAV 场景变化描述(UAV-SCC)新任务及 HDC-CL 框架,通过动态自适应布局 Transformer 建模移动视角下的图像对重叠/非重叠区域,结合层级跨模态方向一致性校准增强视角偏移方向感知,并构建了专用基准数据集。
- Joint and Streamwise Distributed MIMO Satellite Communications with Multi-Antenna Ground Users
-
研究多 LEO 卫星联合服务多天线地面用户的分布式 MIMO 下行通信,提出联合传输与流式传输两种模式:前者通过 WMMSE 迭代优化预编码器最大化和频谱效率,后者通过匈牙利算法的流-卫星关联减少前传开销,实现性能与前传负载的灵活权衡。
- MetaSpectra+: A Compact Broadband Metasurface Camera for Snapshot Hyperspectral+ Imaging
-
提出 MetaSpectra+,一种基于超表面-折射混合光学的紧凑多功能相机,通过双层超表面独立控制各通道色散/曝光/偏振,在约 250nm 可见光带宽内实现快照式高光谱+HDR 或高光谱+偏振联合成像,重建精度在基准数据集上达到 SOTA。
- MFogHub: Bridging Multi-Regional and Multi-Satellite Data for Global Marine Fog Detection and Forecasting
-
MFogHub 构建了首个多区域(15个沿海区域)多卫星(6颗地球同步卫星)的全球海雾检测与预测数据集,包含超过68000个高分辨率样本和11600+像素级标注,通过16个基线模型的大规模实验揭示了区域差异和卫星变化对模型泛化能力的影响。
- SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion
-
首次将卫星影像引入 3D 语义场景补全(SSC)任务,提出双分支框架 SGFormer,通过地面视角引导的卫星特征校正和自适应融合策略,有效解决因视觉遮挡导致的场景补全不完整问题。
🧑 人体理解 (109)¶
- Any6D: Model-free 6D Pose Estimation of Novel Objects
-
提出 Any6D 框架,仅从单张 RGB-D 锚点图像即可估计未知物体的 6D 位姿和尺寸,通过 InstantMesh 3D 重建 + 朝向包围盒粗对齐 + 联合尺寸-位姿精细化,在 HO3D 上 ADD-S 达 98.7% 远超 GEDI 的 71.9%。
- RGBAvatar: Reduced Gaussian Blendshapes for Online Modeling of Head Avatars
-
RGBAvatar提出"精简高斯混合形状"表示,仅用20个可学习基底即可高效表征可动画头部虚拟形象,配合批量并行渲染和颜色初始化策略,首次实现在线实时(边拍边建)的头部虚拟形象重建。
- FSFM: A Generalizable Face Security Foundation Model via Self-Supervised Facial Representation Learning
-
FSFM 提出首个面向人脸安全任务的自监督预训练框架,通过 CRFR-P 面部掩码策略 + MIM/ID 双任务协同学习真实人脸的 3C 表示(区域内一致性、区域间连贯性、局部到全局对应性),在深伪检测、活体检测和扩散伪造检测三大任务上超越任务专用 SOTA。
- VTON 360: High-Fidelity Virtual Try-On from Any Viewing Direction
-
提出 VTON 360,通过将 3D 虚拟试穿重新建模为多视角一致的 2D 虚拟试穿扩展问题,结合伪 3D 姿态表示、多视角空间注意力和多视角 CLIP 嵌入三项技术,实现从任意视角的高保真虚拟试穿。
- Co-op: Correspondence-based Novel Object Pose Estimation
-
本文提出 Co-op,一个基于对应关系的新物体6DoF位姿估计框架,在粗估计阶段用混合表示(patch级分类+偏移回归)仅42个模板即可快速准确估计初始位姿,在精细化阶段用概率流回归+可微PnP端到端优化,在BOP Challenge七个核心数据集上大幅超越现有方法。
- RePerformer: Immersive Human-centric Volumetric Videos from Playback to Photoreal Reperformance
-
提出 RePerformer,一种基于 3DGS 的体积视频表示方法,通过分层解耦运动高斯和外观高斯、Morton 编码参数化以及语义感知对齐模块,统一实现高保真回放和基于新动作的逼真再表演。
- UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation
-
提出 UniHOPE,首个统一手部姿态估计(HPE)和手-物姿态估计(HOPE)的框架,通过物体开关器动态控制输出、抓握感知特征融合消除无关物体特征干扰,以及基于扩散模型的去遮挡生成+多层特征增强学习遮挡不变特征。
- StickMotion: Generating 3D Human Motions by Drawing a Stickman
-
提出 StickMotion 框架,通过用户手绘的火柴人图作为细粒度动作控制条件,结合文本描述实现全局+局部的 3D 人体动作生成,并设计多条件模块(MCM)高效处理条件组合,节省用户 51.5% 的动作创意表达时间。
- Analyzing the Synthetic-to-Real Domain Gap in 3D Hand Pose Estimation
-
首次系统研究3D手势估计中合成数据到真实数据的域差距,通过可控数据合成管线分解并分析了前臂、频谱统计、手势分布、物体遮挡四个关键因素的影响,证明合理整合这些因素后纯合成数据可达到与真实数据同等的精度。
- FRESA: Feedforward Reconstruction of Personalized Skinned Avatars from Few Images
-
提出 FRESA,通过学习一个通用着装人体先验模型,从少量图像前馈式(18秒)联合推理个性化 canonical 形状、蒙皮权重和姿态依赖变形,实现零样本泛化到手机照片的高质量可动画化 3D 人体 Avatar 重建。
📹 视频理解 (70)¶
- T*: Re-thinking Temporal Search for Long-Form Video Understanding
-
提出轻量级时序搜索框架 T*,将昂贵的时序搜索转化为空间搜索问题,通过自适应缩放机制在时间和空间维度上迭代定位关键帧,配合首个大规模长视频关键帧搜索基准 LV-Haystack,显著提升现有 VLM 在长视频理解上的表现。
- Similarity-Guided Layer-Adaptive Vision Transformer for UAV Tracking
-
发现轻量级 ViT 跟踪器中深层存在显著冗余(特征饱和),提出相似度引导的层自适应方法 SGLATrack,动态禁用冗余层并仅保留一个最优层,在 GPU 上实现 225 FPS 的实时 UAV 跟踪。
- DPFlow: Adaptive Optical Flow Estimation with a Dual-Pyramid Framework
-
提出DPFlow,结合图像金字塔和特征金字塔的双金字塔循环编码器,配合纯卷积的Cross-Gated Unit (CGU),仅用标准分辨率训练即可自适应泛化至8K分辨率输入,在Sintel、KITTI、Spring等基准上达到SOTA,同时发布Kubric-NK多分辨率光流评测数据集首次支持定量高分辨率评估。
- MUST: The First Dataset and Unified Framework for Multispectral UAV Single Object Tracking
-
提出首个大规模多光谱无人机单目标跟踪数据集 MUST(250 序列、43K 帧、8 光谱波段),并设计 UNTrack 统一框架融合光谱、空间、时序特征,通过非对称 Transformer 和光谱提示编码器实现高效鲁棒跟踪。
- Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously
-
提出 Video Streaming Thinking (VST) 范式,在视频播放过程中交替执行"看"和"想"——模型边接收视频帧边生成中间推理链,将 CoT 计算摊销到预查询阶段,从而在保持实时响应(0.56s QA延迟)的同时实现 StreamingBench 79.5% 的 SOTA。
- QA-TIGER: Question-Aware Gaussian Experts for Audio-Visual Question Answering
-
提出 QA-TIGER 框架,通过混合高斯专家(MoE)对视频时序进行连续自适应加权建模,并在编码早期即注入问题信息实现渐进式语义精炼,在多个 AVQA 基准上达到 SOTA。
- STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding
-
提出 STOP,一种面向视频理解的集成时空动态提示方法,通过帧内空间提示自适应突出判别性区域,通过帧间时序提示在高时序变化的帧之间动态插入提示 token,引导冻结 CLIP 模型聚焦关键时空位置。
- ViTED: Video Temporal Evidence Distillation
-
ViTED提出一个自动生成时间定位证据链的框架,将证据收集、时间基准定位和问答推理统一到单一视频语言模型中,通过证据蒸馏提升复杂视频问答能力。
- Unbiasing through Textual Descriptions: Mitigating Representation Bias in Video Benchmarks
-
提出 UTD 方法,利用 VLM+LLM 生成视频帧文本描述来系统分析视频基准中的对象/时序/常识偏差,并构建去偏测试集,使视频理解评估更加鲁棒公正。
- PAVE: Patching and Adapting Video Large Language Models
-
PAVE 提出了一种通过轻量级"补丁"(patch)适配预训练 Video LLM 的框架,能将音频、3D 线索、多视角视频等侧信道信号以约 0.1% 的额外参数和计算量融入基础模型,在音视频 QA、3D QA 等任务上超越专用模型。
🚗 自动驾驶 (93)¶
- GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction
-
提出 GaussianWorld,将 3D 占用预测重新定义为以当前传感器输入为条件的 4D 占用预测问题,通过将场景演化分解为自车运动对齐、动态物体运动和新区域补全三个因素,在 3D 高斯空间中用世界模型显式建模场景变化,在 nuScenes 上不增加额外计算量的前提下将单帧方法的 mIoU 提升超过 2%。
- SceneDiffuser++: City-Scale Traffic Simulation via a Generative World Model
-
提出 SceneDiffuser++,一个端到端的城市级交通仿真扩散模型,通过软裁剪(soft clipping)处理稀疏张量中的智能体出入场问题,实现 60 秒以上的行程级(trip-level)交通仿真,在 WOMD-XLMap 上达到 0.2423 综合 JS 散度。
- RENO: Real-Time Neural Compression for 3D LiDAR Point Clouds
-
RENO提出稀疏占用码(Sparse Occupancy Codes)和一次性推理策略,首次实现了3D LiDAR点云的实时神经压缩(10fps@14-bit),以仅1MB的模型大小超越G-PCC标准12.25%码率节省。
- SparseAlign: A Fully Sparse Framework for Cooperative Object Detection
-
SparseAlign提出首个全稀疏的协同目标检测框架,通过坐标可扩展稀疏卷积解决中心特征缺失和孤立卷积域问题,在减少98%通信带宽的同时超越基于稠密BEV的SOTA方法。
- SuperPC: A Single Diffusion Model for Point Cloud Completion, Upsampling, Denoising, and Colorization
-
提出 SuperPC,首个将点云补全、上采样、去噪和着色四个任务统一在单一条件扩散模型中的框架,通过三级条件(raw/local/global)和空间混合融合策略(SMF)有效融合图像与点云模态。
- Towards Autonomous Micromobility through Scalable Urban Simulation
-
本文提出 URBAN-SIM(高性能城市机器人学习仿真平台)和 URBAN-BENCH(8 项微出行任务 benchmark),通过层级化城市场景生成、交互式动态生成和异步场景采样三大模块,实现大规模多样化城市环境中的具身智能体训练与评测,是推动自主微出行领域的系统性仿真方案。
- DecoupledGaussian: Object-Scene Decoupling for Physics-Based Interaction
-
将 3DGS 场景中的物体与背景解耦,使物体支持物理仿真(碰撞、抓取等),同时保持场景的高质量渲染
- LightLoc: Learning Outdoor LiDAR Localization at Light Speed
-
本文提出LightLoc,通过样本分类引导 (SCG) 减少视觉相似区域的回归歧义,以及冗余样本下采样 (RSD) 剔除已学好的帧,实现大规模室外LiDAR定位训练50倍加速(1小时 vs 2天),同时达到0.83m SOTA位置精度。
- Segment Anything, Even Occluded
-
提出 SAMEO,将 EfficientSAM 适配为遮挡物体的 amodal 分割解码器,结合新构建的 300K 图像 Amodal-LVIS 数据集,实现了在 COCOA-cls 和 D2SA 上超越监督方法的零样本 amodal 分割性能。
- WeatherGen: A Unified Diverse Weather Generator for LiDAR Point Clouds via Spider Mamba Diffusion
-
本文提出 WeatherGen,首个统一的多样恶劣天气 LiDAR 数据扩散生成框架,通过 Spider Mamba 生成器保持 LiDAR 物理结构、对比学习控制器实现天气可控生成,在数据保真度和下游检测性能上均显著超越基于物理模拟的方法。
🤖 机器人/具身智能 (44)¶
- MoManipVLA: Transferring Vision-Language-Action Models for General Mobile Manipulation
-
提出 MoManipVLA,将预训练的固定基座 VLA 模型迁移到移动操作场景,通过双层轨迹优化联合规划底盘移动和机械臂轨迹(优化可达性/平滑性/碰撞避免),在 OVMM 基准上达到 66.1% 成功率(+4.2%),仅需 50 条演示即可在真实世界部署。
- Phoenix: A Motion-based Self-Reflection Framework for Fine-grained Robotic Action Correction
-
提出 Phoenix 框架,用运动指令作为桥梁连接 MLLM 的高层语义反思和底层机器人动作纠正,通过双过程运动调整机制+运动条件扩散策略实现精细粒度的操作失败恢复,并支持终身学习自我提升。
- Robotic Visual Instruction
-
提出 Robotic Visual Instruction (RoVI),一种以手绘箭头和圆圈为核心的视觉指令范式,替代自然语言来指导机器人操作,并设计 VIEW pipeline 将2D视觉指令转化为3D动作序列,在真实环境中达到87.5%成功率。
- Reasoning in Visual Navigation of End-to-end Trained Agents: A Dynamical Systems Approach
-
通过262个真实机器人导航episode的大规模实验,深入分析端到端RL训练的导航智能体内部涌现出的推理能力——包括类Kalman滤波的动力学模型、场景结构的潜在记忆、有限水平的规划能力以及与长期规划相关的价值函数。
- A Data-Centric Revisit of Pre-Trained Vision Models for Robot Learning
-
通过系统评估发现DINO/iBOT在机器人任务上优于MAE但在非物体中心(NOC)数据上性能退化,原因是丧失了物体中心表示能力。提出SlotMIM方法,通过语义瓶颈(减少原型数量促进objectness涌现)和跨视图一致性正则+slot级对比学习,使模型在NOC数据上也能学到物体中心表示,仅用241K样本即超越用>1M样本的MVP/VC-1。
- Learning Physics-Based Full-Body Human Reaching and Grasping from Brief Walking References
-
仅使用约 30 秒的行走 MoCap 数据,通过将行走动作中的可迁移运动模式(浅层网络特征对齐)与运动学方法生成的抓取姿态(主动数据扩充策略)相结合,实现了物理可行、自然流畅的全身人体接近-抓取运动生成,在简单场景下抓取成功率达 99.8%。
- Prof. Robot: Differentiable Robot Rendering without Static and Self-Collisions
-
提出 Prof. Robot,首个结合碰撞约束的可微机器人渲染框架——将 3D 高斯点绑定到机器人 URDF 模型的各连杆上实现可微渲染,同时在优化中加入静态碰撞(与环境)和自碰撞(机器人自身)约束,将碰撞率从 24% 降至 0%,同时保持视觉保真度。
- CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models
-
提出 CoT-VLA,将视觉思维链推理引入视觉-语言-动作模型,通过两阶段推理——先预测子目标图像再生成动作序列——结合混合注意力和动作分块策略,在 LIBERO 基准上实现 81.13% 平均成功率,显著超越现有方法。
- Magma: A Foundation Model for Multimodal AI Agents
-
Magma 通过在图像上标注可交互区域(Set-of-Mark)和在视频中标注运动轨迹(Trace-of-Mark),将 UI 截图、机器人数据和人类操作视频统一到同一个预训练框架中,使单一模型同时具备多模态理解和跨域动作预测能力,在 UI 导航和机器人操控上均取得 SOTA。
- ShowUI: One Vision-Language-Action Model for GUI Visual Agent
-
ShowUI 基于 Qwen2-VL-2B,通过 UI 连通图引导的视觉 token 选择减少 33% 冗余 token 并加速 1.4 倍,配合交错式视觉-语言-动作流和精选 256K 训练数据,仅 2B 参数即在零样本 ScreenSpot 上达到 75.1% 的 SOTA 精度。
🎮 强化学习 (5)¶
- ThinkStream: Thinking in Streaming Video
-
提出 ThinkStream,采用 Watch-Think-Speak 范式实现流式视频的实时连续推理,通过 RCSM(推理压缩流式记忆)将推理 trace 作为紧凑语义锚点替代旧视觉 token,配合 Streaming RLVR 训练策略,在保持低延迟/低内存的同时超越现有在线视频模型。
- CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
-
本文提出 CALF 框架,通过在 RL 训练中注入可配置的网络延迟、抖动和丢包模型,使策略在部署到真实分布式边缘设备时性能退化降低约 3-4 倍,揭示网络条件是 sim-to-real 转移中被忽视的重要维度。
- Gazing at Rewards: Eye Movements as a Lens into Human and AI Decision-Making in Hybrid Visual Foraging
-
提出Visual Forager(VF)模型,通过目标特征调制、目标价值调制和ViT-based Actor-Critic决策网络模拟人类混合视觉搜索任务中的眼动策略,在归一化得分上达到72.6%(人类87.4%),扫视大小仅差0.01°(4.06° vs 人类4.05°),首次揭示目标价值和出现率如何联合影响人类搜索决策。
- GROVE: A Generalized Reward for Learning Open-Vocabulary Physical Skill
-
本文提出GROVE框架,利用LLM生成物理约束+VLM评估动作语义的互补方式构建广义奖励函数,并通过Pose2CLIP轻量映射器跳过渲染直接将姿态投影到语义空间,实现了开放词汇物理技能学习,比现有方法训练速度快8.4倍同时动作自然度提升22.2%。
- SkillMimic: Learning Basketball Interaction Skills from Demonstrations
-
提出 SkillMimic,一个纯数据驱动的框架,通过统一的 HOI 模仿奖励(特别是创新的接触图奖励)从动捕数据中学习多样的篮球交互技能,并通过高层控制器组合技能实现连续得分等复杂长程任务。
🎁 推荐系统 (1)¶
- FineVQ: Fine-Grained User Generated Content Video Quality Assessment
-
构建了首个大规模细粒度 UGC 视频质量评估数据库 FineVD(6104 视频、80 万+评分、6 个维度),并提出基于大型多模态模型的 FineVQ 方法,以一个模型同时实现质量评级、质量评分和质量归因三种能力,在 FineVD 和其他 UGC-VQA 数据集上达到 SOTA。
🔄 自监督/表示学习 (30)¶
- Order-Robust Class Incremental Learning: Graph-Driven Dynamic Similarity Grouping
-
提出 GDDSG,用图着色理论将类按相似度分组——同组内类别尽量不相似(减少干扰),每组独立用 NCM 分类器+LoRA 适配器学习,在 CIFAR-100 10-step 上达到 94.00% 准确率和仅 0.78% 遗忘率(前 SOTA RanPAC 90.50%/3.49%)。
- OCRT: Boosting Foundation Models in the Open World with Object-Concept-Relation Triad
-
OCRT 提出一个即插即用的三阶段管道——Object (Slot Attention 解耦)、Concept (重要性筛选)、Relation (概念图推理)——在不改 FM 主干的前提下显著提升 SAM 在弱监督医学/伪装分割上的精度,以及 CLIP 在对抗攻击下的鲁棒性。
- Spectral State Space Model for Rotation-Invariant Visual Representation Learning
-
提出 Spectral VMamba,用谱图拉普拉斯的特征向量排序 patch 遍历顺序(替代预定义扫描线),结合旋转特征归一化器(RFN,聚合 4 个正则旋转的特征),在 miniImageNet 上达到 87.86% 准确率且对正则旋转完全不变。
- Transformers without Normalization
-
发现 LayerNorm 的输入-输出映射呈 tanh 形状,提出 Dynamic Tanh (DyT) 作为归一化层的即插即用替代:\(\text{DyT}(x) = \gamma \odot \tanh(\alpha x) + \beta\),在视觉/语言/扩散/语音等多任务中与 LN 性能持平甚至更优。
- From Prototypes to General Distributions: An Efficient Curriculum for Masked Image Modeling
-
提出原型驱动的 MAE 课程学习——用 K-means 聚类识别数据集中的"原型"样本(靠近聚类中心的代表性图像),通过温度控制的采样策略从原型逐步过渡到全分布训练,实现 8× 训练加速(200 epoch 原型课程 ≈ 800 epoch 标准 MAE)。
- MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining
-
提出 Masked Autoregressive Pretraining(MAP),通过局部 MAE 建模 + 行级自回归解码的层次化预训练目标,首次有效预训练混合 Mamba-Transformer 视觉骨干,显著超越 MAE 和 AR 单一策略。
- MetaWriter: Personalized Handwritten Text Recognition Using Meta-Learned Prompt Tuning
-
MetaWriter 将手写文字识别的个性化适配形式化为 prompt tuning 问题,结合 MAE 自监督辅助任务实现无标签测试时适应,并用元学习优化 prompt 初始化使自监督损失与识别损失对齐,仅更新不到1%参数即在IAM和RIMES上达到SOTA。
- BoSS: A Best-of-Strategies Selector as an Oracle for Deep Active Learning
-
提出BoSS——一种可扩展的主动学习oracle策略,通过集成多种选择策略生成候选批次、冻结backbone仅重训最后一层来评估性能增益,选择最优批次;在ImageNet等大规模数据集上首次展示了oracle性能,揭示SOTA主动学习策略仍有显著提升空间。
- Breaking the Tuning Barrier: Zero-Hyperparameters Yield Multi-Corner Analysis Via Learned Priors
-
用预训练的Foundation Model(TabPFN)替代传统手工先验,实现零超参数调优的电路Yield Multi-Corner Analysis:冻结backbone做in-context learning,自动跨corner迁移知识,结合自动特征选择(1152D→48D),在SRAM benchmarks上达到SOTA精度(MRE低至0.11%)且验证成本降低10倍以上。
- Do Your Best and Get Enough Rest for Continual Learning
-
受Ebbinghaus遗忘曲线理论启发,提出View-Batch Model(VBM)——通过将batch中多个不同样本替换为同一样本的多个增强视图(replay),延长回忆间隔V倍至最优范围,同时用one-to-many KL散度自监督损失从单样本中学习更多知识(do your best),作为drop-in替代方案在多种持续学习方法上一致提升性能。
📐 优化/理论 (12)¶
- Federated Learning with Domain Shift Eraser
-
提出FDSE方法,将每层网络分解为域无关特征提取器(DFE,全局聚合增强共识)和域特异偏移消除器(DSE,个性化聚合保留本地特性),结合BN一致性正则化,在DomainNet上达到76.77%(超Ditto 1.6%),在Office-Caltech10上达到91.58%(超FedBN 4.6%)。
- Conformal Prediction for Zero-Shot Models
-
将保形预测(Conformal Prediction)应用于零样本模型,为 CLIP 等模型的预测提供有理论保证的不确定性量化和校准预测集
- Model Poisoning Attacks to Federated Learning via Multi-Round Consistency
-
发现现有联邦学习模型投毒攻击因跨轮次方向不一致导致效果自相抵消,提出 PoisonedFL 通过固定随机方向向量 + 动态幅度调节 + 假设检验机制实现多轮一致性攻击,在无需任何真实客户端信息的前提下击穿 8 种 SOTA 防御。
- Stop Walking in Circles! Bailing Out Early in Projected Gradient Descent
-
发现 PGD 攻击在 L∞ 球上对鲁棒样本会产生循环行为,通过哈希检测循环实现提前终止(PGD_CD),在保持完全相同鲁棒性评估结果的前提下实现最高 96% 的迭代次数减少。
- Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression
-
提出 GETA 框架实现自动联合结构化剪枝和量化感知训练:量化感知依赖图(QADG)构建通用剪枝搜索空间 + 部分投影 SGD 保证逐层比特约束 + 可解释的联合学习策略,在 CNN 和 Transformer 上均达到竞争力或领先的压缩性能。
- Convex Relaxation for Robust Vanishing Point Estimation in Manhattan World
-
GlobustVP 首次将凸松弛技术引入曼哈顿世界消失点估计问题,通过将联合估计消失点位置与直线-消失点关联的问题转化为 QCQP 再松弛为 SDP,实现了全局最优且对 70% 外点鲁棒的高效求解器(~50ms/图)。
- How to Merge Your Multimodal Models Over Time?
-
本文提出 TIME(Temporal Integration of Model Expertise)框架,系统研究了多模态专家模型随时间渐进融合的问题,通过初始化策略、部署策略和融合技术三个轴定义搜索空间,在 FoMo-in-Flux 基准上揭示了时序模型融合的关键设计原则。
- SCOPE: Semantic Coreset with Orthogonal Projection Embeddings for Federated Learning
-
SCOPE 提出了一种面向联邦学习的语义 coreset 选择框架,利用 VLM(MobileCLIP-S2)零样本提取三种标量指标(表示分数、多样性分数、边界接近度),通过服务器聚合全局共识后指导客户端进行两阶段剪枝(异常过滤+冗余消除),在 128-512× 上行带宽减少和 7.72× 加速的同时保持竞争精度。
- Test-Time Augmentation Improves Efficiency in Conformal Prediction
-
发现测试时数据增强(TTA)可以系统性地提升共形预测的效率——通过在校准集上学习增强权重来优化增强聚合策略,在 ImageNet ResNet-50 上将预测集大小减少 10-17%,同时严格保持覆盖率保证。
- Towards Stable and Storage-efficient Dataset Distillation: Matching Convexified Trajectory
-
提出 MCT (Matching Convexified Trajectory) 方法,通过将 SGD 专家轨迹替换为从随机初始化到最优点的凸组合线性轨迹,同时解决了传统 MTT 方法的轨迹不稳定、收敛慢和存储消耗高三大问题。
🔗 因果推理 (4)¶
- Adventurer: Optimizing Vision Mamba Architecture Designs for Efficiency
-
提出 Adventurer 系列视觉模型,通过"头部平均池化 token"和"层间翻转"两个简单设计将图像输入适配到单向因果扫描框架中,使 Mamba 架构在视觉任务上实现 4-6 倍于现有 Vision Mamba 的训练速度,同时保持与 ViT 相当甚至更优的精度。
- FG-VCE: Towards Fine-Grained Interpretability — Counterfactual Explanations for Misclassification with Saliency Partition
-
提出 FG-VCE(Fine-Grained Visual Contrastive Explanation)框架,通过 Shapley 值计算特征点贡献度、显著性分区模块隔离局部特征、以及迭代反事实生成策略,首次实现了对象级和部件级的细粒度反事实解释,揭示模型误分类的具体原因——"哪些细粒度特征导致了错误"以及"哪些局部区域主导了预测改变"。
- Image Quality Assessment: Investigating Causal Perceptual Effects with Abductive Counterfactual Inference
-
将全参考图像质量评估(FR-IQA)形式化为反事实推断问题,通过结构因果模型(SCM)区分深度特征中与感知质量因果相关的成分和噪声成分,实现无需训练、可跨骨干网络的鲁棒质量预测,在多个基准数据集上取得竞争性性能。
- Joint Scheduling of Causal Prompts and Tasks for Multi-Task Learning
-
提出 JSCPT(Joint Scheduling of Causal Prompts and Tasks)框架,首先设计多任务视觉语言提示(MTVLP)并通过因果干预消除提示中的虚假相关特征,然后通过自适应任务调度器根据训练过程中任务关系的动态变化调整学习顺序和权重,在多个多任务视觉识别基准上取得显著提升。
🔬 可解释性 (22)¶
- Scaling Vision Pre-Training to 4K Resolution
-
本文提出PS3(Pre-training with Scale-Selective Scaling),通过局部区域与局部caption的对比学习代替全图对比,以近常数的计算开销将CLIP式视觉预训练扩展到4K分辨率,并结合top-down/bottom-up patch选择机制构建VILA-HD多模态大模型,在高分辨率感知任务上大幅超越GPT-4o和Qwen2.5-VL。
- Towards Human-Understandable Multi-Dimensional Concept Discovery
-
提出 HU-MCD 框架,用 SAM 替代传统分割方法发现人类可理解的视觉概念,配合 CNN 专用的输入遮罩方案减少噪声干扰,在 MCD 的完备性框架下实现可理解性和忠实性兼顾的概念级模型解释。
- Open Ad-Hoc Categorization with Contextualized Feature Learning
-
本文提出了 OAK(Open Ad-hoc Categorization with Contextualized Feature Learning),通过在冻结 CLIP 的输入层引入少量可学习的上下文 token,联合 CLIP 的图文对齐目标和 GCD 的视觉聚类目标,在仅有少数标注样本的条件下实现了自适应的 ad-hoc 类别发现和上下文切换,Stanford Mood 数据集新类别准确率达 87.4%,超过 CLIP 和 GCD 50% 以上。
- Prompt-CAM: Making Vision Transformers Interpretable for Fine-Grained Analysis
-
提出 Prompt-CAM,通过为预训练 ViT 注入类别特定的可学习 prompt token,利用最后一层的多头注意力图来识别和定位区分细粒度类别的关键特征(traits),实现了近乎"免费"的可解释细粒度分析。
- Language Guided Concept Bottleneck Models for Interpretable Continual Learning
-
本文将语言引导的概念瓶颈模型(CBM)引入持续学习,用 ChatGPT 生成人类可理解的概念、CLIP 编码概念嵌入构建概念瓶颈层,在缓解灾难性遗忘的同时提供透明的决策解释,在 ImageNet-subset 上超越 SOTA 3.06%。
- Attribute-formed Class-specific Concept Space: Endowing Language Bottleneck Model with Better Interpretability and Scalability
-
本文提出ALBM(属性形成的语言瓶颈模型),通过构建属性引导的类特异概念空间避免虚假线索推理问题,并利用视觉属性提示学习提取细粒度属性特征,结合描述-摘要-补充(DSS)策略自动生成高质量概念集,在9个基准上实现了更好的可解释性和可扩展性。
- Attribute-formed Class-specific Concept Space: Endowing Language Bottleneck Model with Better Interpretability and Scalability
-
提出 ALBM 模型,用属性化的类特定概念空间(ACCS)取代现有语言瓶颈模型的类共享概念空间,避免虚假线索推理问题并支持跨类泛化,配合视觉属性提示学习(VAPL)提取细粒度属性特征,在 9 个 few-shot 基准上全面超越现有可解释分类方法。
- Differentiable Inverse Rendering with Interpretable Basis BRDFs
-
提出基于可解释基 BRDF 的可微逆渲染方法,将材质分解为有物理意义的基函数组合,实现可解释的材质估计
- Geometry-Guided Camera Motion Understanding in VideoLLMs
-
提出一个从基准构建、诊断到注入的完整框架,通过 3D 基础模型(VGGT)提取相机运动线索并以结构化提示注入 VideoLLM,实现无需训练的相机运动感知增强。
- Interpretable Image Classification via Non-parametric Part Prototype Learning
-
本文提出一种基于非参数原型学习的可解释图像分类框架,通过对自监督ViT特征进行最优传输聚类来发现语义上不同的物体部件原型,解决了现有ProtoPNet方法中原型重复冗余的问题,同时引入了Distinctiveness和Comprehensiveness两个新指标来量化解释质量。
📦 模型压缩 (71)¶
- Towards Practical Real-Time Neural Video Compression
-
提出DCVC-RT,首个在消费级硬件上实现1080p实时编解码且压缩率超越H.266/VTM的神经视频编解码器,核心发现是操作复杂度(而非计算复杂度)才是速度瓶颈,据此设计隐式时序建模和单尺度低分辨率潜表示,在A100上达到125/113 fps编解码速度,同时节省21%码率。
- Dataset Distillation with Neural Characteristic Function: A Minmax Perspective
-
提出NCFM方法,通过在复平面上用神经网络参数化的特征函数差异(NCFD)作为分布距离度量,将数据集蒸馏重构为minmax对抗优化问题,同时对齐相位(真实性)和幅值(多样性)信息,在ImageNet子集上最高提升20.5%,且GPU内存降低300倍以上。
- CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning
-
提出 CL-LoRA,设计双适配器架构(任务共享 + 任务特定 LoRA),结合知识蒸馏与梯度重分配以及可学习块级权重,在仅 0.3% 可训练参数下实现 SOTA 持续学习性能。
- JamMa: Ultra-lightweight Local Feature Matching with Joint Mamba
-
JamMa提出了基于Joint Mamba的超轻量级半密集特征匹配器,通过JEGO扫描-合并策略实现跨视角联合扫描、高效四方向扫描、全局感受野和全方向特征表示,以不到50%的参数和FLOPs实现了优于Transformer-based匹配器的性能-效率平衡。
- ECVC: Exploiting Non-Local Correlations in Multiple Frames for Contextual Video Compression
-
提出ECVC视频压缩模型,通过多帧非局部上下文挖掘(MNLC)和多头线性交叉注意力(MHLCA)捕获多参考帧间的非局部相关性,结合部分级联微调策略(PCFS)解决训练-测试序列长度不匹配问题,在IP=32和IP=-1设置下分别比DCVC-FM节省10.5%和11.5%码率。
- LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning
-
LoRA-DRS 提出"LoRA 减法"操作——在学习新任务前将旧任务的 LoRA 权重从预训练权重中减去以构建漂移抵抗空间(DRS),然后在该空间中通过梯度投影训练新任务的 LoRA,结合增强三元组损失提升可塑性,在无样本持续学习中实现了 SOTA 性能,尤其在长任务序列上优势显著。
- Enhancing Dataset Distillation via Non-Critical Region Refinement
-
提出NRR-DD三阶段框架:用CAM选低置信度patch初始化合成图像、固定关键区域仅优化非关键区域提升信息密度、用2个距离值替代1000维软标签实现500倍存储压缩。在ImageNet-1K上IPC=10时达到46.1%(超RDED 25.7%),软标签存储从120GB降至0.2GB。
- MuTri: Multi-view Tri-alignment for OCT to OCTA 3D Image Translation
-
本文提出MuTri,首次将向量量化(VQ)引入OCT到OCTA的3D体积翻译任务,通过两阶段训练——先预训练OCT和OCTA重建VQVAE提供多视图先验,再用对比语义对齐(3D OCT/OCTA视图)和血管结构对齐(2D OCTA投影图视图)三视图指导翻译VQVAE的码本学习,在三个数据集上全面超越SOTA。
- Sampling Innovation-Based Adaptive Compressive Sensing
-
提出 SIB-ACS 框架,通过"采样创新"准则(衡量采样增量带来的重建误差下降)指导多阶段自适应采样分配,并设计主成分压缩域网络(PCCD-Net)进行高保真图像重建,显著超越 SOTA 压缩感知方法。
- MobileMamba: Lightweight Multi-Receptive Visual Mamba Network
-
提出 MobileMamba 轻量级视觉网络,通过三阶段粗粒度架构设计和 MRFFI 细粒度模块(融合 Mamba 全局建模、多核卷积多尺度感知和 Identity 冗余消除),在分类和下游高分辨率任务上实现速度与精度的最优平衡。
🕸️ 图学习 (7)¶
- Coeff-Tuning: A Graph Filter Subspace View for Tuning Attention-Based Large Models
-
将多头注意力重新解释为图卷积滤波器子空间,通过学习一组极小的子空间组合系数(\(H \times H\) 矩阵)来线性组合预训练的注意力图,突破 softmax 造成的凸包约束从而扩展特征空间,以几乎零参数量的代价即插即用地提升各种 PEFT 方法的性能。
- DVHGNN: Multi-Scale Dilated Vision HGNN for Efficient Vision Recognition
-
提出 DVHGNN,一种利用多尺度膨胀超图捕获图像 patch 间高阶相关性的视觉骨干网络,通过聚类+膨胀超图构造 (DHGC) 获取多尺度超边、动态超图卷积实现自适应特征交换,在 ImageNet-1K 上以 30.2M 参数达到 83.1% top-1 准确率,超越 ViG-S 1.0% 和 ViHGNN-S 0.6%。
- Hypergraph Vision Transformers: Images are More than Nodes, More than Edges
-
提出HgVT,将层次化二部超图结构嵌入ViT中,通过主图像patch顶点和虚拟顶点的分离处理、动态余弦邻接构建和超边通信池三层注意力机制,无需聚类即可捕获patch间高阶语义关系,在ImageNet-1K上HgVT-Ti以7.7M参数达到76.2%准确率(超ViHGNN-Ti 1.9%),并在图像检索中达到73.23% mAP@10。
- Knowledge Bridger: Towards Training-Free Missing Modality Completion
-
本文提出 Knowledge Bridger,一个免训练的缺失模态补全框架,通过利用大型多模态模型(LMM)自动挖掘多模态知识、构建知识图谱来指导缺失模态的生成与排序,在通用场景和医学OOD场景下均超越了现有方法。
- NN-Former: Rethinking Graph Structure in Neural Architecture Representation
-
NN-Former 提出混合 GNN-Transformer 架构预测器,发现现有方法忽略了"兄弟节点"(共享父/子节点)的拓扑信息,通过 Adjacency-Sibling Multihead Attention (ASMA) 和 Bidirectional Graph Isomorphism FFN (BGIFFN) 在 NAS-Bench-101/201 上 Kendall's Tau 达 0.877/0.890,延迟预测 MAPE 降低 48-64%。
- Unbiased Video Scene Graph Generation via Visual and Semantic Dual Debiasing
-
提出 VISA 框架,从视觉(记忆引导序列建模 MGSM 降低特征方差)和语义(迭代关系生成器 IRG 引入层次上下文减少对偏置先验的依赖)双重角度对视频场景图生成进行去偏置,在 Action Genome 等数据集上大幅提升尾部类别性能。
- Universal Scene Graph Generation
-
本文提出 Universal Scene Graph(USG)表示及其解析器 USG-Par,通过跨模态对象关联器和文本中心场景对比学习,从任意模态组合(图像、文本、视频、3D)输入中生成统一的场景图,同时刻画模态不变和模态特有的场景语义。
📈 时间序列 (5)¶
- DejaVid: Encoder-Agnostic Learned Temporal Matching for Video Classification
-
提出 DejaVid,一种编码器无关的轻量级视频分类增强方法:将视频表示为变长时序嵌入序列 (TSE) 而非单个嵌入,通过学习每个时间步、每个特征维度的重要性权重,结合改进的可微分 DTW 算法做时序对齐分类,仅增加 <1.8% 参数就在 SSV2 达到 77.2%、K400 达到 89.1% 的 SOTA。
- Competition-Aware CPC Forecasting with Near-Market Coverage
-
将付费搜索CPC预测重构为"部分可观测竞争下的预测"问题,通过语义邻域(Transformer嵌入)、行为邻域(DTW对齐)和地理意图三类竞争代理逼近不可观测的竞争状态,在1811个关键词×127周的Google Ads数据上显示竞争感知增强在中长期预测(6/12周)上显著优于单变量和弱上下文baseline。
- L2GTX: From Local to Global Time Series Explanations
-
L2GTX 提出一种完全模型无关的时间序列分类全局解释方法,通过聚合 LOMATCE 产生的参数化时间事件原语(PEPs)构建类级全局解释,在六个基准数据集上保持稳定的全局忠实度(R²)。
- Learning Extremely High Density Crowds as Active Matters
-
本文将极端高密度人群(≥5人/m²)建模为主动物质(active matter),提出一种结合新型"人群材料"应力模型与Toner-Tu主动力的神经随机微分方程系统,通过混合欧拉-拉格朗日的CrowdMPM框架直接从野外视频光流中学习并预测人群动力学。
- FLAVC: Learned Video Compression with Feature Level Attention
-
提出 FLAVC,在学习型视频压缩(LVC)框架中引入 Feature-level Attention(FLA)模块,通过将高层局部 patch embedding 转换为一维批次向量并替换传统注意力权重为全局上下文矩阵,实现全帧级全局感知,配合 Dense Overlapping Patcher 和 Transformer-CNN 混合编码器,在四个视频压缩数据集上取得 SOTA 率失真性能。
🏥 医学图像 (82)¶
- A Semi-Supervised Framework for Breast Ultrasound Segmentation with Training-Free Pseudo-Label Generation and Label Refinement
-
提出结合 VLM 无训练伪标签生成(外观描述 prompt 驱动 Grounding DINO + SAM)和双教师不确定性融合精炼的半监督乳腺超声分割框架,仅用 2.5% 标注数据即达到接近全监督的性能。
- Accelerating Stroke MRI with Diffusion Probabilistic Models through Large-Scale Pre-training and Target-Specific Fine-Tuning
-
借鉴基础模型范式,在大规模公开脑 MRI 数据上预训练扩散概率模型(DPM),再在仅 20 例中风患者数据上微调,实现数据受限场景下加速 MRI 重建,临床读者研究证实 2× 加速图像质量不劣于标准治疗。
- Adaptation of Weakly Supervised Localization in Histopathology by Debiasing Predictions
-
提出 SFDA-DeP 方法,受机器遗忘启发,通过识别并纠正源模型在目标域的预测偏差(over-predict 某些类别),解决组织病理学中弱监督定位模型跨器官/跨中心域适应时预测偏差被放大的问题。
- Addressing Data Scarcity in 3D Trauma Detection through Self-Supervised and Semi-Supervised Learning with Vertex Relative Position Encoding
-
提出两阶段标签高效学习框架:先在 1206 例无标注 CT 上用 Masked Image Modeling 自监督预训练 3D U-Net 编码器,再结合 VDETR + Vertex RPE 和 Mean Teacher 半监督学习,仅用 144 例标注数据实现腹部创伤 3D 检测 [email protected] 达 45.30%(+115%)。
- Are General-Purpose Vision Models All We Need for 2D Medical Image Segmentation?
-
通过统一训练与评估协议,在三个异构医学数据集上对比11种专用/通用视觉模型,发现通用视觉模型(GP-VM)在分割精度和可解释性上均可超越多数专用医学分割架构(SMA),挑战了"医学分割必须用专用架构"的传统认知。
- Association of Radiologic PPFE Change with Mortality in Lung Cancer Screening Cohorts
-
在两个大规模肺癌筛查队列(NLST 7980 例、SUMMIT 8561 例)中验证了基于深度学习自动量化的 PPFE(胸膜肺实质纤维弹性组织增生)进展与全因死亡率独立相关,提出 PPFE 纵向变化可作为筛查人群中识别高呼吸发病风险个体的影像生物标志物。
- Automated Detection of Malignant Lesions in the Ovary Using Deep Learning Models and XAI
-
使用 15 种 CNN 变体(LeNet、ResNet、VGG、Inception)在组织病理学图像上检测卵巢癌及亚型,选择 InceptionV3(ReLU)作为最优模型(平均 94.58%),并使用 LIME、SHAP、Integrated Gradients 三种 XAI 方法解释模型预测。
- BiCLIP: Bidirectional and Consistent Language-Image Processing for Robust Medical Image Segmentation
-
BiCLIP 提出了一种双向一致性视觉-语言分割框架,通过双向多模态融合(BMF,让视觉特征反向精炼文本嵌入)和图像增强一致性(IAC,跨弱/强扰动正则化),在 COVID-19 CT 分割上以仅 1% 标注数据即可保持鲁棒性能,且对临床图像退化(噪声/模糊)具有容忍力。
- Boltzmann Attention Sampling for Image Analysis with Small Objects
-
提出BoltzFormer——一种新型transformer decoder架构,通过玻尔兹曼分布动态采样稀疏注意力区域来聚焦小目标,结合退火温度调度(早期层探索、后期层利用)和PiGMA多query聚合模块,在占图像面积<0.1%的小目标分割上比SOTA提升3-12% Dice分数,同时减少一个数量级的注意力计算。
- Bridging the Skill Gap in Clinical CBCT Interpretation with CBCTRepD
-
提出 CBCTRepD——首个面向口腔颌面 CBCT 的双语报告生成系统,通过构建 7408 例高质量 CBCT-报告配对数据集和多层次临床评估框架,实现了跨经验层级放射科医生的报告质量提升,尤其在减少遗漏病灶和规范化报告结构方面表现突出。
🧬 计算生物 (7)¶
- DiffVsgg: Diffusion-Driven Online Video Scene Graph Generation
-
提出 DiffVsgg 将视频场景图生成(VSGG)建模为沿时间轴的迭代去噪问题——用共享特征嵌入统一目标分类、框回归和关系预测三个任务,通过潜在扩散模型做空间推理+用前帧预测作条件做时序推理,首次实现在线VSGG且在 Action Genome 三个评估协议上全面 SOTA,R@10 超越 DSG-DETR 3.3 个点。
- Unsupervised Foundation Model-Agnostic Slide-Level Representation Learning
-
提出 Cobra,一种无监督的基础模型无关 (FM-agnostic) 全切片图像 (WSI) 级别表征学习框架:将来自多个预训练 patch 级基础模型的嵌入作为特征空间增广,通过 Mamba-2 编码器和对比学习训练 slide 编码器,仅用 3048 张 WSI 预训练即在 15 个下游任务上平均 AUC 超过现有 slide 编码器至少 +4.4%。
- Semantic and Expressive Variation in Image Captions Across Languages
-
系统性证明了不同语言的图像描述在语义内容(对象、关系、属性)和表达方式(具象度、语调、真实性)上存在显著的分布差异,多语言描述集相比单语言提供更丰富的视觉信息(+46% 对象、+66.1% 关系、+66.8% 属性),为多语言数据训练视觉模型提供了实证支撑。
- Multimodal Protein Language Models for Enzyme Kinetic Parameters: From Substrate Recognition to Conformational Adaptation
-
提出 ERBA 适配器,将酶动力学预测建模为"底物识别→构象适应"的分阶段条件化过程,通过 MRCA 注入底物语义、G-MoE 融合活性位点3D几何、ESDA 保持 PLM 先验,在 kcat/Km/Ki 三个动力学端点上一致超越现有方法。
- SHREC: A Spectral Embedding-Based Approach for Ab-Initio Reconstruction of Helical Molecules
-
提出 SHREC 算法,利用图拉普拉斯算子的谱嵌入技术,从冷冻电镜二维投影图像中直接恢复螺旋分子的投影角度,无需预知螺旋对称参数(rise/twist),仅需已知轴对称群 \(C_n\),在多个公开数据集上实现了接近原子分辨率的从头螺旋结构重建。
- Synthetic Visual Genome
-
提出SVG(Synthetic Visual Genome)数据引擎,通过GPT-4在已有人工标注基础上补全缺失关系(Stage 1)和Robin自蒸馏+GPT-4编辑(Stage 2/SG-Edit)两阶段管道,生成146K图像、2.6M物体、5.6M关系的密集场景图数据集,训练的Robin-3B模型仅用<3M实例即超越300M实例训练的同尺寸模型,在指代表达理解上达到88.9的SOTA。
- Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos
-
本文提出 World Scene Graph Generation (WSGG) 任务和 ActionGenome4D 数据集,将视频场景图从以帧为中心的 2D 表示升级为以世界为中心的 4D 表示,要求模型对所有物体(包括被遮挡或离开视野的不可见物体)在世界坐标系中进行 3D 定位和关系预测,并提出三种互补方法(PWG/MWAE/4DST)探索不同的不可见物体推理归纳偏置。
⚛️ 物理/科学计算 (8)¶
- Accurate Differential Operators for Hybrid Neural Fields
-
揭示混合神经场(如 Instant NGP)中自动微分产生的梯度和曲率存在严重高频噪声问题,提出基于局部多项式拟合的后处理微分算子和自监督微调方法,将梯度误差降低 4 倍、曲率误差降低 4 倍,在渲染和物理模拟中显著消除伪影。
- ATP: Adaptive Threshold Pruning for Efficient Data Encoding in Quantum Neural Networks
-
提出 ATP(Adaptive Threshold Pruning),在量子数据编码前自适应地剪除低信息量的数据特征,通过 L-BFGS-B 优化阈值,在 MNIST/FashionMNIST/CIFAR/PneumoniaMNIST 四个数据集的二分类任务上取得最高准确率的同时显著降低纠缠熵。
- DiffFNO: Diffusion Fourier Neural Operator
-
提出 DiffFNO,将加权傅里叶神经算子(WFNO)与扩散框架结合用于任意尺度超分辨率,通过模式再平衡(Mode Rebalancing)保留关键高频分量,门控融合机制融合频域和空间域特征,自适应步长 ODE 求解器加速推理,在多个基准上超越现有方法 2-4 dB PSNR。
- Improve Representation for Imbalanced Regression through Geometric Constraints
-
本文首次研究深度不平衡回归(DIR)中的表征空间均匀性问题,提出包络损失(enveloping loss)和同质性损失(homogeneity loss)两种几何约束来确保回归表征在超球面上均匀分布,并设计代理驱动表征学习(SRL)框架将全局几何约束整合到mini-batch训练中,在年龄估计等多个DIR任务上达到SOTA。
- KAC: Kolmogorov-Arnold Classifier for Continual Learning
-
首次将 Kolmogorov-Arnold Network (KAN) 应用于持续学习,通过将 B-spline 替换为径向基函数 (RBF) 构建分类器 KAC,仅增加 0.23M 参数即可在多种持续学习方法上获得一致且显著的性能提升(CUB200 40-step 最高 +20.70%)。
- Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation
-
提出 MambaTM——首个基于 Mamba 的视频大气湍流消除网络,通过 VAE 将传统 Zernike 多项式表示的相位畸变重参数化为潜在相位畸变(LPD),用 LPD 引导 SSM 的状态转移;在保持线性复杂度和全局感受野的同时,实现了 SOTA 恢复质量和接近 2× 的推理加速(55.4 FPS vs 32.7 FPS)。
- Towards Faithful Multimodal Concept Bottleneck Models
-
提出 f-CBM,一个基于 CLIP 的忠实多模态 Concept Bottleneck Model 框架,通过可微分的 leakage 损失和 Kolmogorov-Arnold Network 预测头联合解决概念检测准确性和信息泄漏问题,在任务精度、概念检测和 leakage 三者间达到最优权衡。
- FreeGave: 3D Physics Learning from Dynamic Videos by Gaussian Velocity
-
提出 FreeGave,一个从多视角动态视频中学习 3D 场景几何、外观和物理速度的通用框架,通过为每个 3D 高斯核引入可学习的物理编码(physics code)并设计无散度(divergence-free)速度场参数化,在不依赖 PINN 损失和目标先验的条件下实现精准的未来帧外推。
🌍 地球科学 (1)¶
- GeoChemAD: Benchmarking Unsupervised Geochemical Anomaly Detection for Mineral Exploration
-
提出 GeoChemAD 开源基准数据集(8 个子集,覆盖多区域/多采样源/多目标元素)和 GeoChemFormer 框架,通过空间上下文自监督预训练和元素依赖建模实现无监督地球化学异常检测,在所有子集上取得最优 AUC。
📡 信号/通信 (5)¶
- Breaking the Low-Rank Dilemma of Linear Attention
-
从理论上揭示线性注意力性能不及 Softmax 注意力的根本原因是输出特征的低秩问题,提出秩增强线性注意力(RALA),通过增强 KV 缓存秩和输出特征秩两种互补策略,在保持线性复杂度的同时追平甚至超越 Softmax 注意力的表现。
- DiTASK: Multi-Task Fine-Tuning with Diffeomorphic Transformations
-
提出 DiTASK,利用连续分段仿射 (CPAB) 微分同胚变换对预训练权重矩阵的奇异值进行平滑变换而保持奇异向量不变,以每层仅约 32 个参数实现全秩更新的多任务微调,在 PASCAL MTL 上以 75% 更少的参数超越 MTLoRA 26.27%。
- Neural Video Compression with Context Modulation
-
提出 DCMVC 框架,通过流定向(flow orientation)和上下文补偿(context compensation)两步调制时序上下文,在像素域和特征域充分利用参考信息,实现比 H.266/VVC 平均节省 22.7% 码率、比前 SOTA DCVC-FM 节省 10.1% 码率的压缩性能。
- ABC-Former: Auxiliary Bimodal Cross-domain Transformer with Interactive Channel Attention
-
提出 ABC-Former,通过引入 CIELab 色彩空间和 RGB 直方图作为辅助双模态信息,利用跨域 Transformer 和交互通道注意力(ICA)模块实现全局色彩知识的跨模态迁移,在 sRGB 白平衡矫正任务上取得 SOTA 效果;同时扩展为 ABC-FormerM 处理混合光照场景。
- Continuous Space-Time Video Resampling with Invertible Motion Steganography
-
提出可逆运动隐写模块(IMSM),在视频时间下采样过程中将运动信息隐写到低帧率帧中,上采样时通过逆变换精确恢复运动细节,同时支持连续(非整数)的时空重采样因子,在保持下采样帧视觉质量的同时显著提升重建质量。
👥 社会计算 (5)¶
- As Language Models Scale, Low-order Linear Depth Dynamics Emerge
-
将 Transformer 的深度方向视为离散时间动力系统,发现在给定上下文内可以用仅 32 维的线性状态空间代理模型高精度预测层间灵敏度曲线(Spearman 达 0.99),而且令人惊讶的是:模型越大,低阶线性代理越准确——这是一条新的 scaling law。
- Classifier-guided CLIP Distillation for Unsupervised Multi-label Classification
-
提出 Classifier-guided CLIP Distillation(CCD),通过 CAM 引导的局部视图标签聚合和 CLIP 预测去偏两项核心技术,在完全无标注的条件下达到与全监督方法持平的多标签分类性能(VOC12 上 90.1% mAP)。
- Classifier-to-Bias: Toward Unsupervised Automatic Bias Detection for Visual Classifiers
-
提出 C2B(Classifier-to-Bias),首个仅依靠分类任务的文本描述(无需任何标注数据)即可自动发现预训练视觉分类器偏差的框架,通过 LLM 生成类特定偏差候选、生成检索标题收集图像数据集、最后计算偏差分数,在 CelebA 和 ImageNet-X 上超越需要监督的 SOTA 偏差检测方法。
- Learning from Neighbors: Category Extrapolation for Long-Tail Learning
-
发现更细粒度的类别划分天然减轻长尾不平衡的影响,提出用 LLM 发现与现有类别相关的细粒度辅助类 + 网络爬虫收集图像 + 邻近静默损失防止辅助类喧宾夺主,在 ImageNet-LT 上 Few 类提升 16 个百分点(41.4→57.4)。
- Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness
-
提出 PPA(Project-Probe-Aggregate)三步方法,通过投影去除类代理信息放大偏差、以组先验校正探测组标签、聚合组权重,仅需不到 0.01% 可训练参数即可在无组标注情况下提升基础模型的群组鲁棒性。
📂 其他 (66)¶
- BenDFM: A taxonomy and synthetic CAD dataset for manufacturability assessment in sheet metal bending
-
提出一个面向板金弯曲工艺的可制造性度量分类法(按配置依赖性×可行性/复杂度两个维度划分为四象限),并构建首个包含20,000个零件(含可制造与不可制造样本)的合成数据集BenDFM,基准测试表明图结构表示(UV-Net)优于点云(PointNext),配置依赖性指标的预测更具挑战性。
- Bounds on Agreement between Subjective and Objective Measurements
-
通过仅假设投票均值收敛于真实质量,推导出主观测试(MOS)与客观估计器之间PCC(上界)和MSE(下界)的数学界限,并提出基于二项分布的投票模型BinoVotes,使得即使在投票方差不可用时也能计算这些界限,18个主观测试数据的验证表明BinoVotes界限与全数据驱动界限高度吻合。
- CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction
-
本文提出CARE Transformer,通过非对称特征解耦将局部归纳偏置和长距离依赖的学习分离,并设计动态记忆单元和双交互模块充分利用特征互补性,实现了移动端友好的线性复杂度视觉Transformer,在ImageNet上以仅0.7 GMACs达到78.4% top-1精度。
- Deconstructing the Failure of Ideal Noise Correction: A Three-Pillar Diagnosis
-
通过提供完美的oracle噪声转移矩阵T,证明Forward Correction在理想条件下仍会训练崩塌(先升后降最终与无校正基线收敛),从宏观(收敛终态)、微观(梯度动力学)、信息论(噪声信道不可逆信息损失)三个层面系统诊断了失败的根本原因——这不是T估计不准的问题,而是有限样本下高容量网络的结构性缺陷。
- Do ImageNet-trained Models Learn Shortcuts? The Impact of Frequency Shortcuts on Generalization
-
提出层次化频率捷径搜索方法(HFSS),首次在ImageNet-1K规模上高效发现CNN和Transformer学到的频率捷径(仅5%频率即可正确分类),揭示频率捷径在保留纹理的OOD测试中反而有益但在风格化测试(IN-R/IN-S)上有害,指出现有OOD评估框架忽视了频率捷径的影响。
- EBS-EKF: Accurate and High Frequency Event-based Star Tracking
-
本文提出 EBS-EKF,通过建模事件相机在低光条件下的电路行为来获得亮度依赖的质心偏移校正,结合 3D 扩展卡尔曼滤波进行星跟踪,在真实夜空数据上比现有方法精确一个数量级。
- EDM: Equirectangular Projection-Oriented Dense Kernelized Feature Matching
-
提出EDM,首个基于学习的等距柱状投影(ERP)全景图像密集特征匹配方法,通过球面空间对齐模块(SSAM,使用3D笛卡尔坐标的球面位置编码+高斯过程回归)和测地线流细化处理ERP的极区畸变,在Matterport3D上AUC@5°超越DKM 26.72%、在Stanford2D3D上超越42.62%。
- Effortless Active Labeling for Long-Term Test-Time Adaptation
-
提出EATTA方法,在长期测试时适应(TTA)中通过特征扰动敏感度每批次仅标注1个最有价值样本(而非多个),结合梯度范数去偏策略平衡监督和无监督损失的梯度,在ImageNet-C上以极低标注代价实现50.9%的平均错误率(超过标注3倍的SimATTA 3.9%)。
- End-to-End Implicit Neural Representations for Classification
-
提出 Meta Weight Transformer (MWT),通过端到端元学习 SIREN 初始化参数和学习率调度,让 INR 的权重结构同时优化重建质量和分类性能,使用简单标准 Transformer 在 SIREN 权重上分类即可超越所有等变架构方法,首次在高分辨率 ImageNet-1K 上实现 INR 分类。
- Event Ellipsometer: Event-based Mueller-Matrix Video Imaging
-
首个实现 30fps 视频级穆勒矩阵成像的系统——用事件相机捕捉快速旋转 QWP 产生的光强调制,将事件时间差映射到穆勒矩阵比值,通过 SVD 估计+时空传播重建物理有效的穆勒矩阵视频。