跳转至

📹 ICCV2025 论文汇总

1315篇ICCV2025论文解读,涵盖图像生成(219篇)、多模态 VLM(122篇)、自动驾驶(96篇)、语义分割(75篇)、人体理解(74篇)、重建与渲染(65篇)、视频理解(59篇)、模型压缩(52篇)等 47个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。


💡 LLM Reasoning (3)

Video-T1: Test-Time Scaling for Video Generation

将LLM中的测试时缩放(TTS)思想迁移到视频生成领域,将TTS重新定义为从高斯噪声空间到目标视频分布的搜索问题,提出Tree-of-Frames (ToF)搜索算法实现高效的推理时计算扩展,在VBench上持续稳定提升各类视频生成模型的质量。

Unsupervised Visual Chain-of-Thought Reasoning via Preference Optimization

提出UV-CoT框架,通过自动生成偏好数据和改进的Score-DPO损失函数,在不需要人工标注bounding box的情况下实现图像级链式思维(Visual CoT)推理,在6个基准上超越有监督的Visual-CoT方法。

CoRVid: Improving Multimodal Large Language Models Towards Chain-of-Thought Reasoning

提出 Corvid,通过混合视觉编码器 + GateMixer 连接器 + 高质量 CoT 数据集 + 推理时自验证策略,全面提升 MLLM 的链式推理能力,在数学推理和科学问题求解上超越同参数量级的开源模型。


🦾 LLM Agent (4)

GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training

发现RL训练VLM Agent时的"思维坍塌"现象——CoT推理迅速退化为与状态无关的模板化思维并导致无效动作,提出GTR框架用VLM纠正器自动修正思维(SFT) + PPO优化动作的双目标训练,在24点游戏和ALFWorld上实现3-5倍的成功率提升。

UIPro: Unleashing Superior Interaction Capability for GUI Agents

提出 UIPro,通过构建 2060 万 GUI 理解样本进行预训练并提出统一动作空间整合异构 GUI agent 任务数据,实现跨移动端、Web 端和桌面端的 SOTA GUI 交互性能。

Embodied Image Captioning: Self-supervised Learning Agents for Spatially Coherent Image Descriptions

提出一个三阶段自监督框架,通过agent自主导航收集多视角观测、LLM共识机制生成伪标注、对比学习微调captioner,显著提升室内环境中同一物体跨视角描述的一致性和准确性。

Less is More: Empowering GUI Agent with Context-Aware Simplification

提出 SimpAgent——一种上下文感知的简化框架,通过基于遮挡的元素剪枝(训练时随机遮挡无关元素区域)和一致性引导的历史压缩(在 LLM 中间层直接丢弃历史视觉 token + KL散度一致性约束),在降低27% FLOPs 的同时取得多个 GUI 导航基准的 SOTA。


⚖️ 对齐 / RLHF (2)

MagicID: Hybrid Preference Optimization for ID-Consistent and Dynamic-Preserved Video Customization

提出 MagicID 框架,通过构建身份偏好和动态偏好的混合视频对数据,并设计两阶段混合偏好优化(HPO)训练策略,首次将 DPO 应用于身份定制化视频生成,同时解决传统自重建训练导致的身份退化和动态减弱问题。

Heuristic-Induced Multimodal Risk Distribution Jailbreak Attack for Multimodal Large Language Models

本文提出 HIMRD,一种黑盒多模态越狱攻击方法,通过将恶意语义分散到多个模态来绕过单模态防护,并用启发式搜索策略寻找理解增强提示和诱导提示,在开源和闭源多模态大模型上分别达到约 90% 和 68% 的平均攻击成功率。


🔒 安全 (35)

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement

本文提出LoRA-FAIR方法,通过在服务器端引入残差校正项 \(\Delta\mathbf{B}\) 来同时解决联邦学习+LoRA微调中的服务器端聚合偏差和客户端初始化滞后两大挑战,在ViT和MLP-Mixer模型上一致超越现有联邦微调方法,且不增加通信开销。

FedVLA: Federated Vision-Language-Action Learning with Dual Gating Mixture-of-Experts for Robotic Manipulation

本文提出 FedVLA——首个面向视觉-语言-动作(VLA)模型的联邦学习框架,通过指令导向场景解析(IOSP)增强任务感知特征提取、双门控混合专家(DGMoE)实现自适应知识路由、以及专家驱动聚合(EDA)策略确保跨客户端有效知识整合,在保护数据隐私的同时达到与集中式训练相当的任务成功率。

MUNBa: Machine Unlearning via Nash Bargaining

将机器遗忘(Machine Unlearning)建模为双玩家合作博弈问题,利用 Nash 讨价还价理论推导闭式解来同时解决遗忘目标与保留目标之间的梯度冲突和梯度支配问题,在分类和生成任务上实现遗忘与保留的最优平衡。

Vulnerability-Aware Spatio-Temporal Learning for Generalizable Deepfake Video Detection

本文提出FakeSTormer,一个细粒度的生成式深度伪造视频检测框架,通过多任务学习同时建模时间和空间脆弱性区域,配合自混合视频(SBV)数据合成策略生成高质量伪造样本,仅用真实数据训练即可在多个跨数据集基准上达到SOTA泛化性能。

LATTE: Collaborative Test-Time Adaptation of Vision-Language Models in Federated Learning

提出 Latte 框架,在联邦学习的去中心化场景下,通过本地记忆与外部记忆的协同机制,实现视觉语言模型(如 CLIP)的协作式测试时自适应,兼顾跨客户端知识共享与个性化。

Temporal Unlearnable Examples: Preventing Personal Video Data from Unauthorized Exploitation

本文首次研究防止视频数据被深度跟踪器未授权使用的问题,提出基于 DiT 的生成式框架生成时序不可学习样本(TUE),通过时间对比损失使跟踪器依赖扰动噪声进行时序匹配而非学习真实数据结构,实现了跨模型、跨数据集和跨任务的强可迁移性。

Ask and Remember: A Questions-Only Replay Strategy for Continual Visual Question Answering

提出QUAD——一种仅存储过去任务问题(不存储图像)的持续VQA方法,通过问题重放和注意力一致性蒸馏,在保护隐私的同时超越存储图像的现有方法。

Forgetting Through Transforming: Enabling Federated Unlearning via Class-Aware Representation Transformation

提出 FUCRT 方法,通过类感知表征变换实现联邦遗忘:将遗忘类的表征“变换”到语义最近的保留类,而非直接消除,配合双重对比学习对齐跨客户端的变换一致性,在四个数据集上实现 100% 遗忘保障的同时保持甚至提升剩余类性能。

Backdooring Self-Supervised Contrastive Learning by Noisy Alignment

提出Noisy Alignment(NA)方法,通过显式压缩投毒图像中的噪声成分来增强自监督对比学习的后门攻击效果,将攻击建模为二维图像布局优化问题,并推导出理论最优参数,在ImageNet-100上ASR提升最高达45.9%。

Adversarial Robust Memory-Based Continual Learner

揭示持续学习与对抗训练结合时的双重挑战(加速遗忘 + 梯度混淆),提出抗遗忘 Logit 校准(AFLC)和鲁棒感知经验回放(RAER)两个即插即用模块,在 Split-CIFAR10/100 和 Split-Tiny-ImageNet 上有效提升对抗鲁棒性达 8.13%。

查看全部35篇「安全」论文 →


👻 幻觉检测 (5)

Mitigating Object Hallucinations via Sentence-Level Early Intervention

本文提出SENTINEL框架,基于"幻觉在生成早期出现并向后传播"的关键观察,通过域内候选引导、双检测器交叉验证构建句子级偏好数据,使用上下文感知DPO(C-DPO)实现早期干预,在Object HalBench上减少92%幻觉且保持通用能力。

DASH: Detection and Assessment of Systematic Hallucinations of VLMs

提出DASH自动化流水线,通过LLM生成文本查询(DASH-LLM)和扩散模型优化图像查询(DASH-OPT)两种策略,在ReLAION-5B中系统性地发现VLM的假阳性对象幻觉聚类,共发现19k+聚类和950k+图像,并构建了更具挑战性的DASH-B基准。

Why LVLMs Are More Prone to Hallucinations in Longer Responses: The Role of Context

深入探究 LVLM 长文本生成中幻觉频发的根本原因——不是长度本身,而是上下文的连贯性(coherence)和完备性(completeness)需求驱动模型外推产生幻觉,并据此提出 HalTrapper 的"诱导-检测-抑制"三阶段框架。

ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models

提出ONLY,一种training-free的单层干预解码方法——通过Text-to-Visual Entropy Ratio(TVER)选择偏向文本的attention head生成textually-enhanced logits,然后与原始logits做自适应对比/协作解码,仅增加1.07×推理时间就在POPE上比VCD/M3ID高3.14%,在CHAIR上降低CHAIR_S 6.2个点。

ChartCap: Mitigating Hallucination of Dense Chart Captioning

构建了包含56.5万张真实图表-描述对的大规模数据集ChartCap,通过类型特定的描述模式排除无关信息、强调结构与关键洞察,并提出无参考的Visual Consistency Score评估指标,有效减少VLM在图表描述中的幻觉问题。


📊 LLM 评测 (27)

3DSRBench: A Comprehensive 3D Spatial Reasoning Benchmark

提出首个全面的3D空间推理基准3DSRBench,包含2,772个人工标注的VQA对(12种问题类型),通过平衡数据分布和新型FlipEval策略实现鲁棒评估,揭示SOTA LMM(包括GPT-4o、Gemini)在3D空间推理上远落后于人类水平(≈52% vs 95.7%),且在非常规视角下性能显著退化。

SVTRv2: CTC Beats Encoder-Decoder Models in Scene Text Recognition

提出 SVTRv2,通过多尺寸resize策略(MSR)、特征重排模块(FRM)和语义引导模块(SGM)三大设计,让 CTC 模型首次在多场景基准上全面超越编码器-解码器方法,同时保持推理速度优势。

StreamMind: Unlocking Full Frame Rate Streaming Video Dialogue through Event-Gated Cognition

StreamMind 提出"事件门控 LLM 调用"范式替代现有的"逐帧 LLM 调用",通过在视频编码器和 LLM 之间插入认知门控网络(Cognition Gate),仅在查询相关事件发生时才调用 LLM,配合基于状态空间方法的事件保持特征提取器(EPFE)实现常量感知成本,在单张 A100 上达到 100 fps 的流式视频处理速度。

PHATNet: A Physics-guided Haze Transfer Network for Domain-adaptive Real-world Image Dehazing

提出物理引导的雾迁移网络PHATNet,通过将大气散射模型(ASM)扩展到潜空间来解耦和迁移雾模式,生成域自适应的微调数据集,使去雾模型在测试时有效适应未见过的真实世界雾场景。

Lay2Story: Extending Diffusion Transformers for Layout-Togglable Story Generation

Lay2Story 提出布局可切换的故事生成任务,构建了超 100 万张高分辨率图像的 Lay2Story-1M 数据集,并基于 DiT 架构设计全局-主体双分支框架,在一致性、语义相关性和美学质量上全面超越现有方法。

OmniDiff: A Comprehensive Benchmark for Fine-grained Image Difference Captioning

提出包含324个多样场景(真实+3D合成)的细粒度图像差异描述数据集 OmniDiff,并设计即插即用的多尺度差异感知(MDP)模块嵌入 MLLM 构建 M3Diff 模型,在 OmniDiff 及多个公开基准上取得 SOTA。

Supercharging Floorplan Localization with Semantic Rays

提出一种语义感知的平面图定位框架,将语义光线预测与深度光线融合为结构-语义概率体,配合由粗到细策略,在两个标准数据集上实现了2-3倍的性能提升。

On the Robustness Tradeoff in Fine-Tuning

首次系统研究微调过程中对抗鲁棒性与准确率的权衡关系,在231个模型、7种微调策略和6个数据集上揭示:(1)微调初期鲁棒性先升后降;(2)不同PEFT策略和任务复杂度导致不同的Pareto前沿;(3)OOD鲁棒性不存在类似权衡而是紧跟准确率变化。

DISTA-Net: Dynamic Closely-Spaced Infrared Small Target Unmixing

DISTA-Net提出动态深度展开网络,将ISTA稀疏重建中的非线性变换和阈值参数从静态改为根据输入自适应生成,实现密集红外小目标的首个深度学习解混方法,并建立了包含数据集、评估指标和工具包的首个开源生态。

HiERO: Understanding the Hierarchy of Human Behavior Enhances Reasoning on Egocentric Videos

提出 HiERO,一种弱监督的层次化图架构,通过对齐视频片段与叙述文本来学习功能性活动线索的层次结构,使视频片段特征编码多尺度的行为依赖关系,在程序学习任务的零样本评估中大幅超越全监督方法(EgoProceL 上 F1 提升 +12.5%),在视频-文本对齐基准上也达到了 SOTA。

查看全部27篇「LLM 评测」论文 →


⚡ LLM 效率 (1)

MixANT: Observation-dependent Memory Propagation for Stochastic Dense Action Anticipation

提出 MixANT,通过混合专家方法为 Mamba 的遗忘门(A 矩阵)引入输入依赖性,动态选择上下文相关的 A 矩阵控制时序记忆传播,在 50Salads、Breakfast 和 Assembly101 三个密集动作预测数据集上全面超越 SOTA。


📚 预训练 (9)

SynCity: Training-Free Generation of 3D Worlds

SynCity 提出了一种无需训练/优化的方法,通过精心设计的 prompt engineering 策略组合预训练的语言模型、2D图像生成器和3D生成器(TRELLIS),以 tile-by-tile 的方式自回归生成大规模、高质量、可自由导航的3D世界。

ACE-G: Improving Generalization of Scene Coordinate Regression Through Query Pre-Training

将场景坐标回归器拆分为「场景无关的Transformer」和「场景特定的map code」,通过在数万场景上进行交替的mapping/query预训练,显著提升SCR方法在光照、视角变化下的泛化能力,同时保持轻量化的计算开销。

ETA: Energy-based Test-time Adaptation for Depth Completion

提出ETA方法,利用能量模型量化深度预测属于源域分布的可能性,并在测试时通过最小化目标域预测的能量值来引导预训练深度补全模型适配到新环境,在室外和室内场景平均比先前SOTA分别提升6.94%和10.23%。

Make Your Training Flexible: Towards Deployment-Efficient Video Models

本文提出Flux——一种使视频模型训练灵活化的数据增强工具,通过灵活采样网格+组动态token选择,使单一模型在不同计算预算下都能高效工作;并提出Token Optimization新测试范式,在1/4 token下即可匹配前SOTA性能,节省约90%计算。

Image Intrinsic Scale Assessment: Bridging the Gap Between Quality and Resolution

本文定义了图像内在尺度(IIS)这一新概念——即图像展现最高感知质量的最大缩放比例,并提出 IISA 任务、构建了 785 张图像的数据集,以及基于弱标签的 WIISA 训练策略,在多个 NR-IQA 方法上一致提升了 IIS 预测性能。

Synchronization of Multiple Videos

提出 Temporal Prototype Learning (TPL),一个基于原型的视频同步框架,从预训练模型提取的高维嵌入中构建共享的紧凑1D表征,通过学习统一的原型序列锚定关键动作阶段来对齐多个视频,首次解决了生成式AI视频的同步问题。

Dataset Ownership Verification for Pre-trained Masked Models

DOV4MM 提出了首个针对掩码预训练模型的数据集所有权验证方法,通过比较"见过"与"未见过"样本在嵌入空间中遮掩信息重构难度的差异,利用配对 t 检验判断黑盒模型是否使用了特定数据集进行预训练,在 10 种掩码图像模型和 4 种掩码语言模型上均实现 p 值远低于 0.05 的准确验证。

ConstStyle: Robust Domain Generalization with Unified Style Transformation

提出ConstStyle框架,通过构建一个理论驱动的"统一域"(Unified Domain),在训练时将所有样本风格对齐到该统一域,测试时将未见域样本部分投影到统一域,有效缩小域间差距并提升泛化性能。

FlowMo: Flow to the Mode — Mode-Seeking Diffusion Autoencoders for State-of-the-Art Image Tokenization

提出 FlowMo,一种基于 Transformer 的扩散自编码器 (diffusion autoencoder),通过两阶段训练(mode-matching 预训练 + mode-seeking 后训练),首次实现扩散自编码器在 ImageNet-1K 离散图像 tokenization 上的 SOTA 性能,无需使用卷积、对抗损失、2D 空间对齐 latent 或从其他 tokenizer 蒸馏。


💬 LLM 其他 (6)

VA-GPT: Aligning Effective Tokens with Video Anomaly in Large Language Models

提出 VA-GPT,一个面向视频异常事件理解的多模态大模型,通过空间有效token选择(SETS)和时间有效token生成(TETG)两个模块,让MLLM在空间和时间维度上精准对齐异常相关信息,在域内和跨域异常检测基准上均达到SOTA。

FW-Merging: Scaling Model Merging with Frank-Wolfe Optimization

将模型合并形式化为约束优化问题,引入Frank-Wolfe优化启发的FW-Merging方法,通过迭代选择最相关模型并局部合并,实现在大规模黑盒模型池中的可扩展、鲁棒合并,合并20个ViT模型时超越数据感知方法Adamerging 8.39%。

ShadowHack: Hacking Shadows via Luminance-Color Divide and Conquer

提出ShadowHack框架,将阴影去除分解为亮度恢复和颜色修复两个子任务,通过带有纠偏外展注意力的LRNet恢复亮度和纹理,再用跨注意力驱动的CRNet重建准确颜色,在ISTD+和SRD数据集上取得SOTA。

VIM: Versatile Interactive Motion-Language Model

提出 VIM,首个能在统一框架内同时理解和生成双人交互运动与文本的多模态大模型,配合82.7K多轮交互运动指令数据集 Inter-MT²,支持文本到运动、运动到文本、反应生成、运动编辑和运动推理等多种任务。

Any-SSR: How Recursive Least Squares Works in Continual Learning of Large Language Models

提出Analytic Subspace Routing(Any-SSR)框架,通过为每个任务分配独立的LoRA子空间消除任务间干扰,并利用递归最小二乘(RLS)闭式解训练一个零遗忘的解析路由器,实现LLM的无回放持续学习。

Any-SSR: How Recursive Least Squares Works in Continual Learning of Large Language Models

提出Analytic Subspace Routing (Any-SSR),为每个新任务分配独立的LoRA子空间以消除知识干扰,同时使用基于递归最小二乘(RLS)闭式解的分析路由器动态选择子空间,在理论上保证不遗忘先前任务知识,实现LLM的无重放持续学习。


📖 NLP 理解 (1)

Balancing Task-Invariant Interaction and Task-Specific Adaptation for Unified Image Fusion

TITA 提出了一种无需任务标识的统一图像融合框架,通过交互增强像素注意力(IPA)模块探索任务不变的互补信息提取,并通过基于操作的自适应融合(OAF)模块动态适配任务特定需求,同时采用 FAMO 策略缓解多任务梯度冲突。


✍️ 文本生成 (1)

Beyond Isolated Words: Diffusion Brush for Handwritten Text-Line Generation

提出 DiffBrush,首个基于扩散模型的手写文本行生成方法,通过内容解耦的风格学习(列/行掩码)和多尺度内容判别器(行/词级别),在风格模仿和内容准确性上大幅超越现有方法。


🌐 多语言/翻译 (1)

SignRep: Enhancing Self-Supervised Sign Representations

提出 SignRep,一个可扩展的自监督手语表征学习框架,通过在 Masked Autoencoder 预训练中利用手语骨架先验、特征正则化和对抗式风格无关损失,仅用单一 RGB 模态即超越了复杂的多模态/多分支方法,在手语识别、字典检索和手语翻译三大任务上均取得 SOTA。


🔍 信息检索/RAG (5)

OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation

提出 OHRBench——首个评估 OCR 对 RAG 系统级联影响的基准,包含 7 个领域的 8561 张文档图像和 8498 个 QA 对,系统性地揭示了 OCR 产生的语义噪声(Semantic Noise)和格式噪声(Formatting Noise)对检索和生成两阶段的不同影响模式。

External Knowledge Injection for CLIP-Based Class-Incremental Learning

提出 Engine(ExterNal knowledGe INjEction)框架,通过双分支注入调优(视觉分支用数据增强、文本分支用 GPT-4 生成判别性描述)和推理时后调优知识注入(成对判别特征重排序),在无需存储历史样本的条件下,在 9 个基准数据集上以 3-10% 的优势超越所有 CLIP-based 类增量学习方法。

Aligning Information Capacity Between Vision and Language via Dense-to-Sparse Feature Distillation

提出D2S-VSE框架,通过两阶段训练(稠密文本预训练+稠密到稀疏特征蒸馏微调)增强视觉语义嵌入的信息容量,解决图文匹配中图像与文本信息密度不对称的核心问题。

LangBridge: Interpreting Image as a Combination of Language Embeddings

LangBridge 通过将视觉特征显式分解为 LLM 词汇嵌入的线性组合,实现了可解释的视觉-语言对齐,并支持跨 LLM 的预训练无关适配器迁移。

MonSTeR: a Unified Model for Motion, Scene, Text Retrieval

提出 MonSTeR——首个运动-场景-文本三模态检索模型,通过受拓扑深度学习启发的高阶关系建模,构建统一隐空间以捕获三模态之间的内在依赖关系,在多项检索任务上大幅超越仅依赖单模态表征的基线,并可用于人-场景交互模型的评估。


💻 代码智能 (1)

TikZero: Zero-Shot Text-Guided Graphics Program Synthesis

提出 TikZero,通过将图像表示作为中间桥梁,将图形程序生成与文本理解解耦,实现零样本文本引导的 TikZ 图形程序合成,在无需文本对齐训练数据的情况下大幅超越基线方法,经端到端微调后的 TikZero+ 达到甚至超越 GPT-4o 等大型商业模型的性能。


🎨 图像生成 (219)

FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models

FlowEdit 提出一种无需反转(inversion-free)、无需优化、模型无关的文本编辑方法,直接在预训练 Flow 模型的源/目标分布之间构建 ODE 路径,实现比 inversion 更低传输代价的结构保持编辑。

REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers

本文提出 REPA-E,通过表示对齐(REPA)损失实现 VAE 和潜在扩散 Transformer 的端到端联合训练,训练速度分别比 REPA 和普通训练快 17× 和 45×,在 ImageNet 256×256 上达到 FID 1.12 的新SOTA。

HPSv3: Towards Wide-Spectrum Human Preference Score

HPSv3 构建了首个宽谱人类偏好数据集 HPDv3(1.08M 图文对、1.17M 标注对),采用 VLM 骨干(Qwen2-VL)+ 不确定性感知排序损失训练偏好模型,并提出 CoHP 链式思维迭代生成方法,显著提升图像生成评估的准确性和覆盖范围。

Less-to-More Generalization: Unlocking More Controllability by In-Context Generation

本文提出 UNO,一种基于 DiT 的通用定制化生成模型,通过"模型-数据共进化"范式——利用较弱模型生成的合成数据逐步训练更强模型——结合渐进式跨模态对齐和 Universal RoPE,实现了单主体和多主体驱动图像生成的 SOTA 性能(DreamBench DINO 0.760, CLIP-I 0.835)。

Randomized Autoregressive Visual Generation

提出 Randomized AutoRegressive modeling (RAR):在标准自回归训练中以随机排列输入序列并逐步退火回光栅扫描顺序,使模型学习双向上下文,在 ImageNet-256 上以 FID 1.48 刷新自回归图像生成 SOTA,同时保持与语言模型框架的完全兼容。

Golden Noise for Diffusion Models: A Learning Framework

本文提出"噪声提示"(Noise Prompt)概念,设计了一个轻量级噪声提示网络(NPNet),通过 Re-denoise Sampling 收集 10 万对噪声数据训练 NPNet,将随机高斯噪声转化为承载语义信息的"黄金噪声",作为即插即用模块提升 SDXL 等多种扩散模型的生成质量,仅增加 3% 推理时间。

Aether: Geometric-Aware Unified World Modeling

Aether 提出一个几何感知的统一世界模型框架,通过在合成 4D 数据上联合训练重建、预测和规划三大能力,基于 CogVideoX 后训练实现零样本泛化到真实场景。

StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation

StreamDiffusion 提出管线级实时扩散框架,通过 Stream Batch(去噪步骤批处理)、R-CFG(残差无分类器引导)和 SSF(随机相似性过滤)等策略,在单张 RTX 4090 上实现高达 91 fps 的实时图像生成,比 Diffusers AutoPipeline 快 59.6 倍。

FlowDPS: Flow-Driven Posterior Sampling for Inverse Problems

FlowDPS 通过推导 Flow 模型的 Tweedie 公式将 Flow ODE 分解为干净图像估计和噪声估计两个分量,在干净图像分量中注入似然梯度、在噪声分量中引入随机噪声,实现了基于 Flow 模型的后验采样逆问题求解,在 SD3.0 上的四种线性逆问题中超越所有已有方法。

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

提出 ILLUME,一个通过统一的下一 token 预测范式将多模态理解和生成能力整合进单个 LLM 的统一 MLLM。通过语义视觉分词器(减少4倍预训练数据量至15M)和自增强多模态对齐方案(让模型自评自生成图像与文本的一致性),在多种理解、生成和编辑任务上达到了State-of-the-art统一模型的竞争力甚至超越。

查看全部219篇「图像生成」论文 →


🎬 视频生成 (51)

VACE: All-in-One Video Creation and Editing

本文提出VACE,一个基于Diffusion Transformer的视频生成与编辑一体化框架,通过统一的Video Condition Unit (VCU)接口和可插拔的Context Adapter结构,用单一模型覆盖参考生成、视频编辑、mask编辑等12+种视频任务,性能与任务专用模型持平。

ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

提出 ReCamMaster,通过帧维度拼接的视频条件注入机制和 UE5 合成的多相机同步数据集,实现从单视频输入以新相机轨迹重新生成视频,显著超越现有方法。

WorldScore: A Unified Evaluation Benchmark for World Generation

提出 WorldScore —— 首个统一的世界生成评估基准,将世界生成分解为一系列"下一场景生成"任务,支持对 3D、4D、I2V 和 T2V 模型的统一评测,并涵盖 3000 个测试样本和 10 项指标。

OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

提出 OmniHuman,一种基于 Diffusion Transformer 的多条件人体动画生成框架,通过混合文本/音频/姿态等运动相关条件的全条件训练策略实现数据规模化,首次实现单一模型支持任意身体比例、任意宽高比输入的音频驱动人体视频生成,在肖像和半身动画任务上均达到 SOTA。

Long Context Tuning for Video Generation

本文提出Long Context Tuning(LCT),将预训练单镜头视频扩散模型的上下文窗口扩展到场景级别,通过交错3D位置嵌入和异步噪声策略实现跨镜头视觉/时序一致性,无需额外参数即支持联合和自回归多镜头生成,并展现出组合生成等涌现能力。

Long-Context State-Space Video World Models

本文提出将状态空间模型(SSM/Mamba)引入视频世界模型,通过 block-wise SSM 扫描方案在空间一致性和时序记忆之间权衡,配合局部帧注意力,实现了线性训练复杂度、常数推理开销下的长期空间记忆保持,在 Memory Maze 和 Minecraft 数据集上大幅超越有限上下文的 Transformer 基线。

RealCam-I2V: Real-World Image-to-Video Generation with Interactive Complex Camera Control

提出 RealCam-I2V,通过集成单目度量深度估计构建3D场景实现度量尺度对齐训练,并提供交互式3D场景轨迹绘制界面和场景约束噪声整形机制,解决了现有轨迹引导I2V方法的尺度不一致和真实世界可用性问题。

VMBench: A Benchmark for Perception-Aligned Video Motion Generation

提出 VMBench——首个面向视频运动质量评估的综合基准,包含五维感知对齐运动指标(PMM)和元信息引导的运动提示生成框架(MMPG),覆盖 969 类运动类型,在 Spearman 相关系数上比现有方法平均提升 35.3%。

Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis

本文提出对抗分布匹配(ADM)框架,通过基于扩散模型的判别器以对抗方式对齐真假分数估计器的潜在预测,替代DMD中预定义的KL散度,结合对抗蒸馏预训练(ADP),在SDXL上实现一步生成超越DMD2,并在SD3和CogVideoX上刷新多步蒸馏基准。

D3: Training-Free AI-Generated Video Detection Using Second-Order Features

本文从牛顿力学的二阶控制系统出发,发现真实视频和 AI 生成视频在二阶时序特征("加速度")上存在本质差异——真实视频波动大而生成视频平坦,据此提出 D3,一种完全免训练的 AI 生成视频检测方法,仅需计算帧间特征的二阶差分标准差即可判别,在 40 个测试子集上达到 SOTA。

查看全部51篇「视频生成」论文 →


🧩 多模态 VLM (122)

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

Apple 提出 CA-VQA 数据集和 MM-Spatial 模型,利用高质量 3D 场景数据和开放集标注生成涵盖空间关系预测、度量估计和 3D grounding 的训练/评估数据集,训练出一个通用型 MLLM,在 3D 空间理解 benchmark 上达到 SOTA,同时保持其他任务的竞争力。

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

提出Dita(Diffusion Transformer Policy),区别于先前方法用浅层网络在embedding上去噪,采用in-context conditioning让去噪直接条件化于原始视觉token,通过causal Transformer处理语言+图像+timestep+噪声动作的完整token序列,334M参数在SimplerEnv零样本/LIBERO/CALVIN等benchmark上达到SOTA或可比性能。

STI-Bench: Are MLLMs Ready for Precise Spatial-Temporal World Understanding?

提出 STI-Bench,一个评估多模态大语言模型(MLLM)精确时空理解能力的基准,涵盖桌面/室内/户外三大场景、8类静态+动态任务超 2000 道 QA 对,揭示当前最强 MLLM(Gemini-2.5-Pro)平均准确率仅 41.4%,在精确空间量化和时序动态理解上存在根本性不足。

VQ-VLA: Improving Vision-Language-Action Models via Scaling Vector-Quantized Action Tokenizers

本文提出基于卷积残差 VQ-VAE 的动作 tokenizer,在比先前方法多 100 倍的训练数据(含大量合成数据)上训练后可零样本迁移到各种下游 VLA 任务,在真实机器人上将长时域任务成功率提升最高 30%,推理速度提升近 3 倍。

Harmonizing Visual Representations for Unified Multimodal Understanding and Generation

发现掩码自回归(MAR)模型的编码器天然兼具生成所需的细粒度图像特征和理解所需的高层语义表示,据此提出Harmon——以共享MAR编码器统一图像生成与理解的自回归框架,通过三阶段渐进训练在GenEval上以0.76 Overall超越所有统一模型,同时理解能力匹配使用独立SigLIP编码器的Janus系列。

SimpleVQA: Multimodal Factuality Evaluation for Multimodal Large Language Models

SimpleVQA 是首个全面评估 MLLM 多模态事实性的 VQA 基准,涵盖 9 种任务类型和 9 个主题领域,通过简短确定性答案设计和 LLM-as-a-judge 评分体系,系统揭示了 18 个 MLLM 和 8 个纯文本 LLM 在事实性方面的优劣。

GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks

提出GEOBench-VLM,一个专为评估VLM地理空间任务能力而设计的综合基准,覆盖8大类31个子任务、超过10,000条人工验证指令,揭示了现有SOTA VLM(包括GPT-4o)在地理空间任务上仍然表现不佳(最高仅41.7%准确率)。

MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs

提出多上下文视觉定位(Multi-Context Visual Grounding)这一新任务和 MC-Bench 基准——包含 2000 个人工标注样本、3 种文本描述风格、20 项实用技能,评估了 20+ 个 MLLM 和基础模型,揭示现有模型与人类之间存在显著性能差距(人类 AP50=41.3% vs. 最优端到端模型 AP50=30.7%),并提供了一个 GPT-4o + G-DINO 的 agentic 基线(AP50=36.2%)。

Jailbreaking Multimodal Large Language Models via Shuffle Inconsistency

发现多模态大语言模型(MLLMs)在理解能力和安全能力之间存在打乱不一致性(Shuffle Inconsistency)——模型能理解打乱后的有害指令,但安全机制却无法防御;据此提出基于查询的黑盒越狱攻击方法 SI-Attack,在开源和闭源商用模型上均显著提升攻击成功率。

One Perturbation is Enough: On Generating Universal Adversarial Perturbations against Vision-Language Pre-training Models

本文提出 C-PGC 框架,通过恶意对比学习训练条件扰动生成器,生成一对通用图文对抗扰动(UAP),能够从根本上破坏 VLP 模型的多模态对齐关系,在白盒和黑盒场景下对多种 VLP 模型和下游任务均取得优异攻击效果。

查看全部122篇「多模态 VLM」论文 →


🧠 VLM Reasoning (15)

Perspective-Aware Reasoning in Vision-Language Models via Mental Imagery Simulation

提出 Abstract Perspective Change (APC) 框架,通过利用视觉基础模型构建场景抽象表示并执行透视变换,使 VLM 能够从任意视角进行空间推理,在合成与真实图像基准上大幅优于现有 VLM 和微调模型。

Boosting MLLM Reasoning with Text-Debiased Hint-GRPO

揭示GRPO在MLLM推理中的两大问题——低数据利用率(难题上所有输出均错误导致梯度无效)和文本偏差(模型忽视图像仅依赖文本推理),提出Hint-GRPO(自适应提供推理提示)和文本偏差校准(测试时增强图像条件)两套方案,在3个基座MLLM上的11个数据集上显著提升推理能力。

ToolVQA: A Dataset for Multi-step Reasoning VQA with External Tools

提出ToolVQA,一个23K样本的多模态工具使用VQA数据集,通过ToolEngine数据生成pipeline(图像引导DFS + LCS示例匹配)从真实图像中构造隐式多步推理问题(平均2.78步),在该数据上微调LLaVA-7B后在5个OOD benchmark上超过GPT-3.5-Turbo,并揭示了当前LFM在参数预测和答案总结方面的瓶颈。

From Easy to Hard: The MIR Benchmark for Progressive Interleaved Multi-Image Reasoning

提出 MIR 基准,包含 22,257 个多图像交错推理问答对及五阶段推理步骤,并设计渐进式课程学习策略,从"简单到困难"逐步提升 MLLM 的多图像交错推理能力。

DWIM: Towards Tool-aware Visual Reasoning via Discrepancy-aware Workflow Generation & Instruct-Masking Tuning

本文提出 DWIM 框架,通过差异感知的工作流生成策略筛选高质量训练数据,以及指令掩码微调策略只克隆有效动作,使 LLM 在组合式视觉推理中具备工具感知能力,在多个 VR 基准上取得 SOTA。

FinMMR: Make Financial Numerical Reasoning More Multimodal, Comprehensive, and Challenging

提出 FinMMR,一个双语(中英文)多模态金融数值推理基准,包含 4300 道题目和 8700 张图像,覆盖 14 个金融子领域,要求模型进行多步精确数值计算;评测了 15 个 SOTA MLLM,最好模型在 Hard 子集仅达 53% 准确率,揭示了当前 MLLM 在专业领域多模态推理中的核心瓶颈。

ReasonVQA: A Multi-hop Reasoning Benchmark with Structural Knowledge for Visual Question Answering

提出 ReasonVQA 数据集,通过低成本可扩展框架将结构化百科知识(Wikidata)与图像自动融合,生成 1/2/3 跳的多跳推理问题,包含 598K 图像和 4.2M 问题,显著挑战了现有 VQA 模型。

ChartPoint: Guiding MLLMs with Grounding Reflection for Chart Reasoning

提出PointCoT方法,将反思性视觉定位(bounding box)集成到图表推理的思维链中,使MLLM在每个推理步骤都能与图表视觉内容交互验证,并构建了包含19.2K高质量样本的ChartPoint-SFT-62k数据集,在ChartBench上实现+5.04%的提升。

Taming the Untamed: Graph-Based Knowledge Retrieval and Reasoning for MLLMs to Conquer the Unknown

以《怪物猎人:世界》为测试平台,构建了包含文本、图像、视频和复杂实体关系的多模态知识图谱(MH-MMKG),设计了238个复杂查询和多智能体知识检索方法,揭示了当前MLLM在领域特定任务中的知识检索与推理能力不足。

LLaVA-CoT: Let Vision Language Models Reason Step-by-Step

LLaVA-CoT 提出了一种让视觉语言模型自主进行多阶段结构化推理的方法——通过构建 LLaVA-CoT-100k 结构化推理标注数据集训练模型依次执行"总结→视觉解读→逻辑推理→结论生成"四个阶段,并提出阶段级回溯搜索(SWIRES)实现测试时缩放,使 11B 模型超越 Gemini-1.5-pro 和 GPT-4o-mini。

查看全部15篇「VLM Reasoning」论文 →


⚡ VLM Efficiency (11)

LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

利用视觉编码器中CLS token与空间token之间注意力分数的稀疏性,自适应地剪枝和合并视觉token,在仅保留5.5%视觉token的情况下维持LMM的可比性能。

Feather the Throttle: Revisiting Visual Token Pruning for Vision-Language Model Acceleration

揭示了 VLM 中早期视觉 token 剪枝存在系统性位置偏差(RoPE 导致倾向保留图像底部 token),并提出 FEATHER 方法通过去除 RoPE + 均匀采样 + 多阶段剪枝解决该问题,在定位任务上实现 5× 以上性能提升。

Dynamic-VLM: Simple Dynamic Visual Token Compression for VideoLLM

提出 Dynamic-VLM,通过动态视觉Token压缩器根据视频长度灵活调整每帧Token数量,配合200万级高质量合成视频QA数据集,在 VideoMME 上比 LLaVA-OneVision 提升 2.7%,在 MuirBench 上提升 10.7%。

FOLDER: Accelerating Multi-modal Large Language Models with Enhanced Performance

提出 FOLDER——一种即插即用的视觉 token 压缩模块,通过系统分析信息损失的三个关键因素(压缩影响、传播效应、聚合方式),在视觉编码器的最后几层进行激进的 token 合并,实现最多 70% 的 token 削减,同时保持甚至提升模型性能。

Growing a Twig to Accelerate Large Vision-Language Models

提出 TwigVLM,通过在 VLM 早期层上"生长"一个轻量级 twig 模块,同时实现 twig 引导的视觉 token 剪枝(TTP,prefilling 加速)和自推测解码(SSD,decoding 加速),在 LLaVA-1.5-7B 上剪枝 88.9% 视觉 token 后保留 96% 精度,长回答生成速度提升 154%,在精度和速度上均大幅超越现有方法。

SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference

提出SparseVILA——首个解耦prefill和decode阶段视觉稀疏性的VLM推理加速框架:prefill阶段进行query-agnostic的冗余token剪枝,decode阶段进行query-aware的相关token检索,实现最高4.0×prefill加速、2.5×decode吞吐提升、2.6×端到端加速,同时在多轮对话场景中保持精度(现有方法因永久删除token而在多轮中急剧退化)。

METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models

METEOR 提出首个面向多编码器 MLLM 的三阶段渐进式 token 剪枝框架:在编码阶段用特征秩分配各编码器的稀疏比例,在融合阶段通过协同剪枝消除跨编码器冗余,在解码阶段根据文本提示自适应调整剪枝比例,将视觉 token 减少 76% 而性能仅降 0.3%。

AirCache: Activating Inter-Modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference

提出 AirCache,一种面向 LVLM 的 KV Cache 压缩方法,通过精英观察窗口(Elite Observation Window)评估视觉 token 重要性,结合基于重要性分数分布强度与偏度的自适应层级预算分配,在仅保留 10% 视觉 KV Cache 时性能损失不超过 1%,解码延迟降低 29%-66%。

AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference

提出AirCache,通过精英观测窗口(利用文本自注意力筛选关键文本token评估视觉token重要性)和自适应层间预算分配(基于重要性分数分布的强度和偏度),实现仅保留10%视觉KV缓存即可保持模型性能,解码延迟降低29%-66%。

MaTVLM: Hybrid Mamba-Transformer for Efficient Vision-Language Modeling

提出MaTVLM,将预训练VLM中部分Transformer层替换为Mamba-2层并通过单阶段知识蒸馏训练,在保持竞争性性能的同时实现3.6倍推理加速和27.5%显存降低。

查看全部11篇「VLM Efficiency」论文 →


🎵 音频/语音 (11)

Lyra: An Efficient and Speech-Centric Framework for Omni-Cognition

提出Lyra,一个以语音为中心的全模态MLLM框架,通过三大核心组件(DTW-based跨模态正则化器、多模态LoRA、Latent多模态提取器)和首个12K长语音SFT数据集,在仅用2.7M数据和少量训练的情况下,同时在视觉-语言、视觉-语音、语音-语言benchmark上达到SOTA,并能处理长达2小时的语音输入。

Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning Language-Agnostic Speech Representations

提出 Zero-AVSR 框架,通过将语音转写为语言无关的罗马化文本(Roman text),再利用 LLM 将罗马文本转换为目标语言文字,实现无需目标语言语音数据的零样本视听语音识别,并构建了覆盖 82 种语言、2916 小时的 MARC 数据集。

Align Your Rhythm: Generating Highly Aligned Dance Poses with Gating-Enhanced Rhythm-Aware Feature Representation

提出Danceba框架,通过基于相位的节奏提取(PRE)、时序门控因果注意力(TGCA)和并行Mamba运动建模(PMMM)三个核心模块,实现音乐驱动的高节奏对齐、高多样性舞蹈生成,在AIST++数据集上FIDk提升48.68%、BAS提升12%。

VGGSounder: Audio-Visual Evaluations for Foundation Models

针对 VGGSound 数据集在多标签缺失、类别重叠和模态错位方面的局限性,构建了 VGGSounder——一个带有模态标注的多标签音视频分类基准,并提出"模态混淆"度量来揭示基础模型在多模态融合上的不足。

2.5 Years in Class: A Multimodal Textbook for Vision-Language Pretraining

从YouTube收集2.5年(22,000课时)的教学视频,通过LLM驱动的多级抽取与过滤管线构建高质量交错图文"多模态教科书"语料(6.5M关键帧 + 0.75B文本token),显著提升VLM在知识密集型和推理任务上的预训练效果,尤其在ScienceQA和MathVista上带来大幅提升。

Understanding Co-speech Gestures in-the-wild

本文提出 JEGAL——一个联合手势-语音-文本的三模态嵌入空间,通过全局短语对比损失和局部手势-词耦合损失在弱监督条件下学习共语手势表征,定义了三个新的手势理解任务和基准,超越了包括大型视觉语言模型在内的多种方法。

How Would It Sound? Material-Controlled Multimodal Acoustic Profile Generation for Objects

提出材质可控的声学特征生成任务(M-CAPA),给定室内场景的音视觉观测和用户定义的新材质配置,生成反映材质变化的目标房间脉冲响应(RIR),并构建了配套的 Acoustic Wonderland 数据集。

MUG: Pseudo Labeling Augmented Audio-Visual Mamba Network for Audio-Visual Video Parsing

提出MUG框架,通过伪标签增强的跨模态随机组合数据增强策略和音视频Mamba网络,同时提升弱监督音视频解析任务中段级和事件级的预测性能。

Everything is a Video: Unifying Modalities through Next-Frame Prediction

本文将多模态学习中的文本、图像、音频、视频等不同模态任务统一重构为下一帧预测问题(所有输入输出都渲染为 64×64 视频帧序列),用单一 Transformer 模型无需模态特定编码器即可处理跨模态任务,验证了"everything is a video"这一激进但可行的统一表征范式。

Learning to See Inside Opaque Liquid Containers using Speckle Vibrometry

本文提出了一种基于激光散斑振动测量的非接触式系统,通过 2D 网格同时感知多个不透明容器表面的微小振动,再用 Vibration Transformer 从振动频谱中推断容器类型和隐藏液位,开创了"透视不透明容器内部液位"这一全新计算机视觉任务。

查看全部11篇「音频/语音」论文 →


🧊 重建与渲染 (65)

3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt

本文提出 3DGS-LM,通过将 3D Gaussian Splatting 的 ADAM 优化器替换为定制的 Levenberg-Marquardt (LM) 二阶优化器,并设计了高效的 GPU 并行化方案和梯度缓存结构,在保持相同重建质量的前提下实现了 20% 的训练加速。

3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt

将3D Gaussian Splatting的ADAM优化器替换为定制化的Levenberg-Marquardt(LM)二阶优化器,通过高效CUDA并行化的PCG算法和梯度缓存结构实现Jacobian-向量积加速,在保持相同重建质量的前提下将优化时间缩短约20%。

7DGS: Unified Spatial-Temporal-Angular Gaussian Splatting

将3DGS扩展到7维(空间3D+时间1D+方向3D),通过条件切片机制将7D高斯投影为与3DGS管线兼容的3D高斯,在具有视角依赖效果的动态场景上PSNR提升最高7.36dB,同时维持401 FPS实时渲染。

A Recipe for Generating 3D Worlds from a Single Image

将单图到3D世界生成分解为两个更简单的子问题——全景合成(无训练in-context learning)和点云条件修复(仅5k步微调ControlNet),结合3DGS重建出可在VR中2米立方体范围内导航的沉浸式3D环境,在图像质量指标上全面超越WonderJourney和DimensionX等SOTA方法。

AAA-Gaussians: Anti-Aliased and Artifact-Free 3D Gaussian Rendering

AAA-Gaussians提出了一种统一的3D高斯光栅化框架,通过自适应3D平滑滤波器、视空间透视正确边界计算和基于视锥体的3D裁剪,在单一框架内同时解决了3DGS的锯齿、投影畸变和闪烁三大顽疾,在分布外视角评估中大幅领先其他方法,同时保持实时渲染性能。

AAA-Gaussians: Anti-Aliased and Artifact-Free 3D Gaussian Rendering

本文提出 AAA-Gaussians,通过自适应 3D 平滑滤波器、视空间透视正确包围盒、基于视锥体的 3D 裁剪三项技术,在统一框架内系统解决了 3DGS 的锯齿、投影失真、弹出伪影等问题,在 in-distribution 和 out-of-distribution 视角下均实现了 SOTA 的无伪影实时渲染。

Amodal3R: Amodal 3D Reconstruction from Occluded 2D Images

提出Amodal3R,一个端到端的遮挡感知3D重建模型,通过在TRELLIS基础上引入mask加权交叉注意力和遮挡感知注意力层,直接在3D潜空间中从部分遮挡的2D图像重建完整的3D物体形状和外观,大幅超越先前"2D补全→3D重建"的两阶段方法。

Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage Image-to-3D Generation and Reconstruction

提出DiffusionGS,将3D高斯点云"烘焙"进扩散模型的去噪器中,实现单阶段、视图一致的单视图3D物体生成和场景重建,配合场景-物体混合训练策略和RPPC相机条件编码,在PSNR/FID上大幅超越现有方法,推理速度仅需约6秒。

BezierGS: Dynamic Urban Scene Reconstruction with Bézier Curve Gaussian Splatting

提出用可学习的Bézier曲线建模动态物体运动轨迹的3D高斯溅射方法(BezierGS),摆脱对精确目标标注框的依赖,在Waymo和nuPlan数据集上的动态和静态场景重建均达到SOTA。

BillBoard Splatting (BBSplat): Learnable Textured Primitives for Novel View Synthesis

提出BBSplat——用可学习的RGB纹理和alpha贴图替代2D Gaussian Splatting中的高斯分布不透明度,使每个平面基元具有任意形状和逐像素颜色控制,在用更少基元的情况下弥补2DGS与3DGS之间的渲染质量差距,同时保留精确网格提取能力并实现最高×17的存储压缩。

查看全部65篇「重建与渲染」论文 →


🧊 3D 生成与编辑 (39)

Benchmarking and Learning Multi-Dimensional Quality Evaluator for Text-to-3D Generation

构建了包含1280个文本生成3D模型的多维度基准MATE-3D(8类prompt × 8种方法 × 4维评分 × 21名标注者),并提出基于超网络的多维度质量评估器HyperScore,通过条件特征融合和自适应映射在所有评估维度上超越现有指标。

3D Mesh Editing using Masked LRMs

提出MaskedLRM,将3D形状编辑重构为条件重建问题——训练时随机生成3D遮挡物遮盖多视角输入,用一张干净条件视图引导被遮挡区域的补全;推理时用户定义编辑区域并提供单张编辑图像,模型在<3秒单次前传中完成3D网格编辑,比优化方法快2-10倍,能执行拓扑变化编辑(加孔/加把手),重建质量与SOTA持平。

A3GS: Arbitrary Artistic Style into Arbitrary 3D Gaussian Splatting

提出A3GS——首个前馈式零样本3DGS风格迁移框架,通过GCN自编码器将3DGS场景编码到潜在空间并用AdaIN注入任意风格特征,仅需10秒即可完成任意风格到任意3D场景的迁移,速度比优化方法快两个数量级。

A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision

本文提出了一种仅使用2D图像监督来训练3D扩散模型的新框架——通过将确定性3D重建模型作为"噪声教师"生成3D噪声样本,并结合多步去噪策略和循环一致性正则化,实现了超越教师模型的3D高斯喷溅生成质量(PSNR提升0.5-0.85)。

Advancing Text-to-3D Generation with Linearized Lookahead Variational Score Distillation

通过分析 VSD 中 LoRA 模型与 3D 模型的优化顺序不匹配问题,提出线性化前瞻(Linearized Lookahead)修正项 \(L^2\)-VSD,仅需额外一次前向传播即可显著提升 text-to-3D 生成质量。

AnimateAnyMesh: A Feed-Forward 4D Foundation Model for Text-Driven Universal Mesh Animation

提出AnimateAnyMesh,首个前馈式文本驱动通用Mesh动画框架:通过DyMeshVAE将动态Mesh分解为初始位置和相对轨迹并压缩到潜空间,再用基于Rectified Flow的MMDiT模型学习文本条件下的轨迹分布,配合4M+规模的DyMesh数据集训练,在6秒内即可为任意拓扑Mesh生成高质量动画,全面碾压DG4D、L4GM和Animate3D。

AR-1-to-3: Single Image to Consistent 3D Object Generation via Next-View Prediction

提出AR-1-to-3,一种基于扩散模型的自回归下一视角预测框架,通过"先近后远"的渐进式生成策略,配合Stacked-LE(堆叠局部特征编码)和LSTM-GE(全局特征编码)两种条件注入机制,显著提升了单图到多视角生成的一致性,在GSO数据集上PSNR达13.18(相比InstantMesh的10.67提升23.5%),Chamfer Distance降至0.063(InstantMesh为0.117)。

Blended Point Cloud Diffusion for Localized Text-guided Shape Editing

提出 BlendedPC,将局部文本引导的3D形状编辑重新定义为语义inpainting问题,通过在Point·E基础上训练Inpaint-E模型,并在推理时引入无需反演(inversion-free)的坐标混合(coordinate blending)机制,在保持原始形状身份的同时实现精准局部编辑,在ShapeTalk数据集上全面超越现有方法。

Bootstrap3D: Improving Multi-view Diffusion Model with Synthetic Data

提出 Bootstrap3D 框架,利用 2D/视频扩散模型自动生成 100 万张高质量多视角图像配精细文本描述,并通过训练时间步重调度(TTR)策略在微调多视角扩散模型时平衡图像质量与视角一致性,显著提升文本到 3D 生成的质量。

Can3Tok: Canonical 3D Tokenization and Latent Modeling of Scene-Level 3D Gaussians

提出 Can3Tok,首个可将场景级3DGS编码到低维潜空间的变分自编码器,通过规范化查询(canonical query)的交叉注意力实现高效tokenization,配合3DGS归一化和语义感知过滤解决尺度不一致问题,在DL3DV-10K上成功泛化到新场景。

查看全部39篇「3D 生成与编辑」论文 →


🧊 3D 表示与场景理解 (38)

3D Test-time Adaptation via Graph Spectral Driven Point Shift

提出GSDTTA,首次将3D点云的测试时适应从空间域转移到图谱域,通过仅优化最低10%频率分量(减少约90%参数)实现全局结构调整,并结合特征图引导的自训练策略生成伪标签,在ModelNet40-C和ScanObjectNN-C上显著超越现有3D TTA方法。

3DGraphLLM: Combining Semantic Graphs and Large Language Models for 3D Scene Understanding

本文提出3DGraphLLM,将3D场景中物体间的语义关系编码为可学习的图表示并输入LLM,在object grounding、场景描述和视觉问答等多个3D视觉-语言任务上显著超越不使用语义关系的基线方法,同时推理速度比LVLM方法快5倍。

Accelerate 3D Object Detection Models via Zero-Shot Attention Key Pruning

提出 tgGBC(trim keys gradually Guided By Classification scores),一种零样本运行时剪枝方法,利用分类分数与注意力图的乘积计算键重要性,逐层剪除不重要的键,在多个3D检测器上实现Transformer解码器近2×加速且性能损失<1%。

Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description

本文提出Articulate3D——首个大规模真实世界室内场景铰接标注数据集(280个高质量扫描),以及USDNet统一框架,能从3D点云同时预测可移动/可交互部件分割和运动参数,为具身AI的物理仿真提供了simulation-ready的场景数据。

Boosting Multi-View Indoor 3D Object Detection via Adaptive 3D Volume Construction

SGCDet通过几何与上下文感知的聚合模块(3D可变形注意力+多视角注意力融合)和基于占据概率的稀疏体素构建策略,在无需ground-truth几何监督的情况下,实现了多视角室内3D目标检测的SOTA性能,同时大幅降低计算开销。

Bridging 3D Anomaly Localization and Repair via High-Quality Continuous Geometric Representation

提出 PASDF 框架,通过姿态感知的签名距离函数(SDF)实现连续几何表征,统一了3D异常检测与修复任务,在 Real3D-AD 和 Anomaly-ShapeNet 上取得 SOTA。

CF³: Compact and Fast 3D Feature Fields

提出 CF³ 管线,通过 top-down 特征提升、per-Gaussian 自编码器压缩和自适应稀疏化,仅使用原始 Gaussian 数量的 5% 即可构建紧凑高速的 3D 特征场,实现 121–245× 的存储压缩和实时渲染。

CstNet: Constraint-Aware Feature Learning for Parametric Point Cloud

提出首个面向参数化点云的约束感知特征学习方法 CstNet,将 CAD 约束编码为点级别的 MAD-Adj-PT 三元组表示,通过两阶段网络(约束获取 + 约束特征学习)在自建的 Param20K 数据集上实现分类精度 +3.49%、旋转鲁棒性 +26.17% 的 SOTA 提升。

Describe, Adapt and Combine: Empowering CLIP Encoders for Open-set 3D Object Retrieval

提出 DAC 框架,通过 "描述-适配-组合" 三步策略协同 CLIP 与多模态大语言模型 (MLLM),仅使用多视图图像即可在开放集 3D 物体检索任务上大幅超越此前使用全模态(点云+体素+图像)的 SOTA 方法,平均 mAP 提升超过 +10%。

Disentangling Instance and Scene Contexts for 3D Semantic Scene Completion

提出 DISC,一种基于类别感知的双流架构用于 3D 语义场景补全,通过将实例类别和场景类别解耦到独立的查询流中并设计针对性的解码模块,在 SemanticKITTI 上仅用单帧输入即超越多帧 SOTA 方法,实例类别 mIoU 提升 17.9%。

查看全部38篇「3D 表示与场景理解」论文 →


🧊 深度、法线与立体 (15)

TRAN-D: 2D Gaussian Splatting-based Sparse-view Transparent Object Depth Reconstruction via Physics Simulation for Scene Update

提出TRAN-D,一种基于2D Gaussian Splatting的稀疏视角透明物体深度重建方法,通过分割引导的object-aware损失优化遮挡区域Gaussian分布,并利用物理仿真(MPM)实现物体移除后的场景动态更新,仅需单张图像即可完成场景刷新。

Amodal Depth Anything: Amodal Depth Estimation in the Wild

提出非模态相对深度估计新范式,构建大规模真实数据集ADIW(564K),基于Depth Anything V2和DepthFM设计两个互补框架(Amodal-DAV2和Amodal-DepthFM),通过最小化修改预训练模型实现遮挡区域深度预测,在ADIW上RMSE比之前SOTA提升27.4%。

BANet: Bilateral Aggregation Network for Mobile Stereo Matching

提出双边聚合网络BANet,通过空间注意力将代价体分离为高频细节体和低频平滑体并分别聚合,仅使用2D卷积即可在移动设备上实时运行并大幅超越MobileStereoNet-2D(KITTI 2015上精度提升35.3%),3D版本在GPU上达到实时方法最高精度。

Depth AnyEvent: A Cross-Modal Distillation Paradigm for Event-Based Monocular Depth Estimation

提出跨模态蒸馏范式,利用图像域的视觉基础模型(Depth Anything v2)生成伪标签来训练事件相机深度估计网络,并设计了基于 VFM 的循环架构 DepthAnyEvent-R,在无需昂贵深度标注的情况下实现了事件相机单目深度估计的 SOTA 性能。

Diving into the Fusion of Monocular Priors for Generalized Stereo Matching

深入分析单目先验融合中的三大问题(仿射不变性 vs 绝对深度的对齐、迭代更新中的局部最优、噪声视差对融合的干扰),提出二元局部排序图和全局配准模块,在 SceneFlow→Middlebury/Booster 泛化实验中将 bad2 错误减半甚至更多,且几乎不增加计算开销。

FiffDepth: Feed-forward Transformation of Diffusion-Based Generators for Detailed Depth Estimation

提出FiffDepth,将预训练的扩散模型转化为确定性前馈架构进行单目深度估计,通过保持扩散轨迹维持細节生成能力,并引入可学习滤波器蒸馏DINOv2的鲁棒泛化能力到扩散骨干网络,在效率、精度和细节丰富度三方面同时超越现有方法。

FlashDepth: Real-time Streaming Video Depth Estimation at 2K Resolution

提出FlashDepth,在Depth Anything v2基础上添加Mamba循环模块实现帧间尺度一致性,并设计Small-Large混合架构在2K分辨率下达到24 FPS的实时流式视频深度估计,边界清晰度远超现有方法。

Learning Robust Stereo Matching in the Wild with Selective Mixture-of-Experts

提出 SMoEStereo,通过在冻结的视觉基础模型(VFM)中集成变秩MoE-LoRA和变核MoE-Adapter,结合轻量决策网络选择性激活MoE模块,实现了场景自适应的鲁棒立体匹配,在跨域和联合泛化上达到SOTA。

Omni-DC: Highly Robust Depth Completion with Multiresolution Depth Integration

提出 OMNI-DC,通过多分辨率深度积分器(Multi-res DDI)、Laplacian 损失和尺度归一化技术,构建了一个能够零样本泛化到不同数据集和稀疏深度模式的高鲁棒深度补全模型。

One Look is Enough: Seamless Patchwise Refinement for Zero-Shot Monocular Depth Estimation on High-Resolution Images

提出 PRO(Patch Refine Once),通过分组块一致性训练(GPCT)和无偏遮罩(BFM)策略,在高分辨率图像上实现无缝的逐块深度精炼,仅需每块单次精炼即可消除边界伪影,推理速度比 PatchRefiner 快12倍。

查看全部15篇「深度、法线与立体」论文 →


🧊 几何匹配与定位 (28)

4D Gaussian Splatting SLAM

提出首个完整的4D Gaussian Splatting SLAM系统,在动态场景中同时进行相机位姿跟踪和4D高斯辐射场重建——将高斯原语分为静态/动态集合,通过稀疏控制点+MLP建模动态物体运动,并创新性地设计2D光流图渲染算法来监督动态高斯的运动学习。

Adversarial Exploitation of Data Diversity Improves Visual Localization

提出RAP框架,通过外观可变的3DGS合成多样化训练数据,并引入对抗判别器弥合合成-真实域差距,使绝对姿态回归方法在多个数据集上大幅超越SOTA——室内平移/旋转误差降低50%/41%,室外降低38%/44%。

Back on Track: Bundle Adjustment for Dynamic Scene Reconstruction

提出 BA-Track 框架,利用 3D 点追踪器将观测运动分解为相机运动和物体运动,使传统 Bundle Adjustment 能同时处理静态与动态场景元素,实现精确的相机位姿估计和时间一致的稠密重建。

Benchmarking Egocentric Visual-Inertial SLAM at City Scale

提出 LaMAria——首个城市尺度的第一人称多传感器 VIO/SLAM 基准数据集,利用测绘级控制点提供厘米精度的地面真值,系统评估了学术界主流 SLAM 方案在真实第一人称场景下的表现,揭示了现有方法与商业系统之间的巨大差距。

Boost 3D Reconstruction using Diffusion-based Monocular Camera Calibration

提出 DM-Calib,利用 Stable Diffusion 先验进行单目相机内参估计,设计了 Camera Image 表示将内参无损编码为图像,结合 RANSAC 解算焦距和光心,在5个零样本数据集上大幅超越现有标定方法,并推进了度量深度估计、位姿估计和稀疏视图重建等下游任务。

BoxDreamer: Dreaming Box Corners for Generalizable Object Pose Estimation

提出 BoxDreamer,以 3D 包围盒角点作为中间表示,通过基于参考视角的点合成器预测查询图像中的 2D 角点投影,建立 2D-3D 对应关系后用 PnP 算法恢复物体位姿,在稀疏视角和严重遮挡场景下显著优于现有方法。

BUFFER-X: Towards Zero-Shot Point Cloud Registration in Diverse Scenes

通过几何自适应bootstrapping确定体素大小/搜索半径、用FPS替代学习型关键点检测器、以及patch级坐标归一化,构建了一个无需人工调参即可在11个跨域数据集上实现零样本点云配准的pipeline BUFFER-X,在室内外多传感器多场景下取得了平均排名第一的成功率。

CA-I2P: Channel-Adaptive Registration Network with Global Optimal Selection

提出 CA-I2P,通过 Channel Adaptive Adjustment Module (CAA) 增强并过滤图像-点云特征的通道差异,并用 Global Optimal Selection (GOS) 基于最优传输替代 top-k 选择减少多对一匹配误差,在 RGB-D Scenes V2 和 7-Scenes 上实现图像-点云配准 SOTA。

CasP: Improving Semi-Dense Feature Matching Pipeline Leveraging Cascaded Correspondence Priors for Guidance

提出 CasP,一种级联匹配流水线,将匹配阶段分解为 1/16 尺度的一对多先验匹配和 1/8 尺度的一对一精细匹配,在保持精度的同时实现最高 2.2× 加速,并显著提升跨域泛化能力。

Do It Yourself: Learning Semantic Correspondence from Pseudo-Labels

本文提出 DIY-SC,通过3D感知的伪标签生成策略(链式传播+松弛循环一致性+球面原型过滤)训练轻量适配器来改进基础模型特征的语义对应能力,在 SPair-71k 上实现了超越先前 SOTA 4.5%([email protected] per-keypoint)的性能,且无需人工关键点标注。

查看全部28篇「几何匹配与定位」论文 →


🎯 目标检测 (29)

Visual-RFT: Visual Reinforcement Fine-Tuning

Visual-RFT将DeepSeek R1的强化学习+可验证奖励(RLVR)范式从数学/代码领域扩展到视觉感知任务,设计了IoU奖励(目标检测)和CLS奖励(分类)等任务特异的可验证奖励函数,在细粒度分类、少样本检测、推理定位等任务上以极少数据大幅超越SFT。

YOLOE: Real-Time Seeing Anything

提出YOLOE,在YOLO架构中统一支持文本提示、视觉提示和无提示三种开放场景的检测和分割,通过RepRTA(可重参数化区域-文本对齐)、SAVPE(语义激活视觉提示编码器)和LRPC(懒惰区域-提示对比)三个设计实现高效率高性能,以3x更少的训练成本在LVIS上超越YOLO-World v2。

VisRL: Intention-Driven Visual Perception via Reinforced Reasoning

VisRL是首个将强化学习应用于意图驱动视觉感知的框架,通过迭代DPO训练让大多模态模型学会根据查询意图自主选择关注区域(预测bounding box),无需昂贵的中间bounding box标注即可实现比SFT更强的视觉推理能力。

From Easy to Hard: Progressive Active Learning Framework for Infrared Small Target Detection with Single Point Supervision

提出渐进式主动学习(PAL)框架,通过"模型预启动→模型增强→模型精炼"三阶段训练策略,驱动红外小目标检测网络从易到难地主动识别和学习困难样本,在单点监督条件下显著缩小了与全监督方法之间的性能差距(IoU 提升 8.53%–29.1%)。

OpenRSD: Towards Open-prompts for Object Detection in Remote Sensing Images

提出OpenRSD通用遥感开放提示目标检测框架,支持文本和图像多模态提示,集成对齐头和融合头平衡速度与精度,配合三阶段训练流水线和47万张图像的ORSD+数据集,在7个公开数据集上取得最优平均性能,同时保持20.8 FPS实时推理。

3D-MOOD: Lifting 2D to 3D for Monocular Open-Set Object Detection

提出首个端到端的单目开放集3D目标检测器3D-MOOD,通过将开放集2D检测"提升"到3D空间,结合几何感知3D query生成与canonical image space设计,在Omni3D闭集和Argoverse 2/ScanNet开集基准上均达到SOTA。

LMM-Det: Make Large Multimodal Models Excel in Object Detection

提出 LMM-Det,通过系统分析发现大型多模态模型在目标检测中核心瓶颈是低召回率,并通过数据分布调整(伪标签增强)和推理优化(按类别逐一检测)将 LMM 的 COCO AP 从 0.2 提升至 47.5,无需任何额外专用检测模块。

YOLO-Count: Differentiable Object Counting for Text-to-Image Generation

提出 YOLO-Count,一个基于 YOLO 架构的全可微分开放词汇目标计数模型,通过创新的"基数图"(cardinality map)回归目标和混合强弱监督训练策略,在通用计数和文本到图像生成的数量控制两个任务上均达到 SOTA。

Visual Modality Prompt for Adapting Vision-Language Object Detectors

提出 ModPrompt,一种基于编码器-解码器的视觉提示策略,将视觉-语言目标检测器(如 YOLO-World、Grounding DINO)适应到红外和深度等新模态,同时保留零样本检测能力。

Adversarial Attention Perturbations for Large Object Detection Transformers

本文提出 AFOG(Attention-Focused Offensive Gradient),一种架构无关的对抗攻击方法,通过可学习注意力机制聚焦扰动到图像脆弱区域,仅需 10 次迭代即可在视觉不可察觉的扰动下将 12 种检测 Transformer 的 mAP 最高降低 37.8 倍,同时在 CNN 检测器上也优于现有方法。

查看全部29篇「目标检测」论文 →


✂️ 语义分割 (75)

SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree

针对SAM 2在长视频中因贪心选择策略导致的错误累积问题,提出一种training-free的约束树搜索记忆策略,维护多条分割路径并在视频级别选择最优结果,在9个VOS和3个VOT benchmark上平均提升3.7 J&F,长视频场景最高提升5.3。

PartField: Learning 3D Feature Fields for Part Segmentation and Beyond

PartField 通过前馈模型学习连续 3D 特征场,用对比学习从混合的 2D/3D 部件提案中蒸馏知识,在类别无关的 3D 部件分割上比现有方法精度提高 20%+ 同时推理速度快数个数量级。

LEGION: Learning to Ground and Explain for Synthetic Image Detection

提出 LEGION 框架和 SynthScars 数据集,利用多模态大语言模型(MLLM)实现合成图像的伪影检测、像素级分割和文本解释三位一体,并创新性地将检测器从"防御者"扩展为"控制者",引导生成模型产出更高质量的图像。

VSSD: Vision Mamba with Non-Causal State Space Duality

提出非因果状态空间对偶(NC-SSD),通过保留 token 贡献的相对权重取代隐状态的累积衰减,将 Mamba2 的 SSD 无缝转化为非因果形式,构建 VSSD 视觉骨干,在分类/检测/分割多任务上超越现有 SSM 模型,同时训练速度提升 20%-50%。

LeGrad: An Explainability Method for Vision Transformers via Feature Formation Sensitivity

提出LeGrad——一种专为ViT设计的逐层可解释性方法,通过计算激活值对各层注意力图的梯度作为解释信号,并跨层聚合以生成高质量的空间显著性图,在分割、扰动和开放词汇场景均展现出优越的空间保真度。

TinyViM: Frequency Decoupling for Tiny Hybrid Vision Mamba

提出 TinyViM,一种基于频率解耦的轻量级卷积-Mamba 混合视觉骨干,通过拉普拉斯混合器将低频分量输入 Mamba 建模全局上下文、高频分量用深度卷积增强,配合频率斜坡 Inception 结构逐层调节频率配比,在分类/检测/分割任务上以 2-3 倍吞吐量超越现有 Mamba 模型。

VEGGIE: Instructional Editing and Reasoning Video Concepts with Grounded Generation

VEGGIE 提出了一个端到端统一框架,将 MLLM 与视频扩散模型连接,仅用扩散损失就能在单一模型中同时完成指令式视频编辑、概念定位和推理分割等 8 种任务。

ReferDINO: Referring Video Object Segmentation with Visual Grounding Foundations

提出ReferDINO,通过将GroundingDINO视觉定位基础模型端到端适配到指代视频目标分割(RVOS)任务,设计定位引导可变形掩码解码器、目标一致性时序增强器和置信度查询剪枝策略,在五个基准上显著超越SOTA(Ref-YouTube-VOS上+3.9% \(\mathcal{J}\&\mathcal{F}\)),并实现51 FPS实时推理。

OmniSAM: Omnidirectional Segment Anything Model for UDA in Panoramic Semantic Segmentation

提出 OmniSAM,首次将 SAM2 应用于全景语义分割的无监督域适应任务,通过滑动窗口将全景图切分为 patch 序列并利用 SAM2 的记忆机制捕获跨 patch 对应关系,结合 FoV-based 原型自适应和动态伪标签更新策略,在室内外场景均大幅超越 SOTA(+10.22% / +6.58%)。

Know "No" Better: A Data-Driven Approach for Enhancing Negation Awareness in CLIP

通过分析 CLIP 预训练数据中否定表达的稀缺和错位问题,设计两条基于 LLM/MLLM 的否定数据生成管线来微调 CLIP 文本编码器,开发出 NegationCLIP,在增强否定理解能力的同时保持通用性能,并提出 NegRefCOCOg 基准用于全面评估否定理解。

查看全部75篇「语义分割」论文 →


🖼️ 图像恢复 (31)

FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration

构建了首个百万级真实世界配对图像修复数据集(含 20 种退化类型),并提出 FoundIR 框架,通过退化无关的泛化器模型与退化感知的专家模型协同,在 24 个基准上突破了图像修复的性能天花板。

CWNet: Causal Wavelet Network for Low-Light Image Enhancement

提出因果小波网络CWNet,通过结构因果模型将低光增强中的语义信息视为因果因子、亮度/颜色退化视为非因果因子,结合小波变换骨干网络实现频域特征的精细化恢复。

Emulating Self-Attention with Convolution for Efficient Image Super-Resolution

观察到自注意力在相邻层之间的特征和注意力图高度相似(89%/87%),提出用共享大核卷积和动态卷积核组成的 ConvAttn 模块替代大部分自注意力,同时首次在轻量级超分辨率中引入 Flash Attention 将窗口扩展到 32×32,以极低延迟和内存代价实现了 SOTA 性能。

UniPhys: Unified Planner and Controller with Diffusion for Flexible Physics-Based Character Control

提出 UniPhys,一个基于扩散模型的行为克隆框架,将运动规划和物理控制统一到单一模型中,通过 Diffusion Forcing 训练范式处理累积预测误差,实现了灵活的文本驱动、速度控制、目标达到和动态避障等多任务物理角色运动生成。

EAMamba: Efficient All-Around Vision State Space Model for Image Restoration

本文提出EAMamba框架,通过多头选择性扫描模块(MHSSM)和全方位扫描策略(all-around scanning),在不增加计算复杂度和参数量的情况下实现多方向扫描,解决了Vision Mamba在图像恢复中的计算开销和局部像素遗忘问题,在超分辨率、去噪、去模糊、去雾等任务上取得了31-89%的FLOPs降低同时保持优异性能。

MobileIE: An Extremely Lightweight and Effective ConvNet for Real-Time Image Enhancement on Mobile Devices

提出 MobileIE,一个仅有约 4K 参数的极致轻量 CNN 框架,通过多分支重参数化卷积(MBRConv)、特征自变换(FST)模块、分层双路径注意力(HDPA)以及增量权重优化(IWO)策略,首次在移动设备上实现超过 1100 FPS 的实时图像增强,同时在低光增强、水下增强和 ISP 三个任务上取得最优的速度-性能平衡。

IDF: Iterative Dynamic Filtering Networks for Generalizable Image Denoising

提出迭代动态滤波网络 (IDF),仅用约 0.04M 参数,通过逐像素动态核预测 + 自适应迭代精炼策略,仅在单一级别高斯噪声上训练即可泛化到各种未见噪声类型(高斯/泊松/椒盐/蒙特卡洛渲染/真实噪声),实现出色的 OOD 去噪性能。

AFUNet: Cross-Iterative Alignment-Fusion Synergy for HDR Reconstruction via Deep Unfolding Paradigm

将多曝光HDR重建从MAP估计视角建模,通过空间对应先验将问题分解为对齐和融合两个交替子问题,再展开为端到端可训练的AFUNet(含SAM空间对齐+CFM通道融合+DCM数据一致性模块),在三个HDR基准上取得SOTA,PSNR-μ达44.91dB(Kalantari数据集)。

Low-Light Image Enhancement using Event-Based Illumination Estimation (RetinEV)

RetinEV 提出利用事件相机的"时间映射事件"(temporal-mapping events,由透射率调制触发)而非传统"运动事件"进行光照估计,结合 Retinex 理论将低光照图像分解为光照和反射率分量,通过光照辅助反射率增强(IRE)模块实现高质量低光照图像增强,在 640×480 分辨率下达到 35.6 FPS 实时速度。

MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration

提出 MP-HSIR 框架,通过整合光谱提示(通用低秩光谱模式)、文本提示和视觉提示三种模态的引导信息,构建了统一的高光谱图像复原模型,在包含去噪、去模糊、超分辨率、修复、去雾、波段补全等 9 个 HSI 复原任务上全面超越现有 all-in-one 方法和多个任务专用方法。

查看全部31篇「图像恢复」论文 →


🛰️ 遥感 (11)

Towards a Unified Copernicus Foundation Model for Earth Vision

构建了涵盖所有主要Copernicus Sentinel任务的统一地球观测基础模型体系,包括1870万对齐图像的Copernicus-Pretrain数据集、支持任意光谱/非光谱传感器的Copernicus-FM模型、以及覆盖15个层级化下游任务的Copernicus-Bench评估基准。

SkySense V2: A Unified Foundation Model for Multi-Modal Remote Sensing

本文提出SkySense V2,使用单一统一Transformer骨干网络处理高分辨率光学/多光谱/SAR三种遥感模态数据,通过自适应Patch合并、模态特异性Prompt Token和基于Query的语义聚合对比学习(QSACL)进行预训练,仅用665M参数(相比前作SkySense的1.26B)在16个数据集7种任务上平均提升1.8分。

SMARTIES: Spectrum-Aware Multi-Sensor Auto-Encoder for Remote Sensing Images

提出 SMARTIES,一个统一的传感器无关遥感基础模型,通过光谱感知投影将异构传感器数据映射到共享空间,结合跨传感器 token 混合和掩码重建进行自监督预训练,在单模态和多模态任务上超越专用传感器模型,并可泛化到预训练未见过的传感器。

WildSAT: Learning Satellite Image Representations from Wildlife Observations

提出 WildSAT,利用公民科学平台上的数百万地理标记野生动物观测数据,通过对比学习将卫星图像、物种位置和文本描述对齐,显著提升遥感图像表征质量,并支持零样本文本检索。

RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model

首次将物理热传导过程引入遥感基础模型,提出 RS-vHeat,用热传导算子(HCO)替代注意力机制来建模遥感图像中的局部区域相关性,在 4 个任务 10 个数据集上取得优异性能的同时,相比注意力基线减少 84% 显存、24% FLOPs、提升 2.7 倍吞吐量。

GeoDistill: Geometry-Guided Self-Distillation for Weakly Supervised Cross-View Localization

提出GeoDistill框架,通过基于视场角(FoV)遮挡的教师-学生自蒸馏范式增强局部判别性特征学习,在弱监督条件下(仅需粗略GPS标注)实现稳健的跨视角定位,性能提升超过10%且可即插即用于不同定位框架。

Pan-Crafter: Learning Modality-Consistent Alignment for Pan-Sharpening

PAN-Crafter 提出模态一致性对齐框架,通过模态自适应重建(MARs)和跨模态对齐感知注意力(CM3A)显式处理 PAN 和 MS 图像的跨模态错位问题,在多个遥感基准数据集上达到 SOTA,且推理速度比扩散模型快 1110×。

Information-Bottleneck Driven Binary Neural Network for Change Detection

提出 BiCD,首个专为变化检测设计的二值神经网络,通过信息瓶颈(IB)原理引导的辅助目标模块提升 BNN 的特征表示能力和可分离性,在街景和遥感变化检测数据集上达到 BNN 领域的 SOTA,同时实现 30× 内存压缩和 2.5× 推理加速。

GeoExplorer: Active Geo-Localization with Curiosity-Driven Exploration

提出 GeoExplorer,一个结合目标导向和好奇心驱动内在奖励的主动地理定位(AGL)智能体,通过联合动作-状态动力学建模和好奇心探索实现更鲁棒的 UAV 搜索策略,在未知目标和环境中展现出优越的泛化能力。

AstroLoc: Robust Space to Ground Image Localizer

提出AstroLoc,首个利用30万张人工标注宇航员照片进行训练的太空对地定位模型,通过查询-卫星配对损失和无监督挖掘技术学习鲁棒的地球表面特征表征,在recall@1上平均提升35%,recall@100持续超过99%,已在实际中完成50万+照片的定位。

查看全部11篇「遥感」论文 →


🧑 人体理解 (74)

GENMO: A GENeralist Model for Human MOtion

提出 GENMO,首个统一人体运动估计(从视频/2D 关键点恢复运动)和运动生成(从文本/音乐/关键帧合成运动)的通用模型,通过双模式训练范式(回归+扩散)在单一模型中同时实现精确估计和多样生成。

Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars

提出Avat3r——首个可动画的大型3D重建模型(LRM),仅需4张输入图像即可在前馈方式下回归出高质量可驱动的3D高斯头部头像,通过整合DUSt3R位置图和Sapiens语义特征作为先验、并用简单的cross-attention建模表情动画,在Ava256和NeRSemble数据集上大幅超越现有方法。

HUMOTO: A 4D Dataset of Mocap Human Object Interactions

提出 HUMOTO,一个高保真 4D 人物交互数据集,包含 735 段序列(7875 秒,30fps),涵盖 63 个精确建模物体和 72 个可动部件,创新性地使用 LLM 驱动的场景脚本生成流程和多传感器捕获系统,在手部姿态精度和交互质量上显著超越现有数据集。

DreamActor-M1: Holistic, Expressive and Robust Human Image Animation with Hybrid Guidance

DreamActor-M1提出基于DiT架构的人体图像动画框架,通过隐式面部表征+3D头部球体+3D身体骨架的混合控制信号实现精细面部和身体控制,结合互补外观引导和渐进式训练策略支持肖像到全身的多尺度生成。

KinMo: Kinematic-Aware Human Motion Understanding and Generation

提出 KinMo 框架,将人体运动分解为六大运动学组及其交互的层级可描述表示,通过自动标注管线生成细粒度文本描述,结合层级文本-运动对齐和由粗到细的运动生成策略,显著提升运动理解和细粒度运动生成能力。

Weakly Supervised Visible-Infrared Person Re-Identification via Heterogeneous Expert Collaborative Consistency Learning

提出首个弱监督可见光-红外行人重识别(VIReID)范式,仅使用各模态内部的身份标注(无需跨模态对应标注),通过异构专家协同一致性学习框架建立跨模态身份对应关系,性能接近全监督方法。

SynFER: Towards Boosting Facial Expression Recognition with Synthetic Data

提出 SynFER,一个基于扩散模型的面部表情合成框架,通过文本描述 + 面部动作单元 (FAU) 的双重控制实现细粒度表情生成,并引入 FERAnno 标签校准器确保标注可靠性,在自监督、监督、零样本和少样本四种学习范式下均证明合成数据对 FER 的有效性。

IDFace: Face Template Protection for Efficient and Secure Identification

提出 IDFace,一种基于同态加密(HE)的人脸模板保护方法,通过近等距变换(实值向量→三值向量)和空间高效编码两项技术,使 100 万加密模板的检索仅需 126ms,相比无保护仅 2× 开销。

CleanPose: Category-Level Object Pose Estimation via Causal Learning and Knowledge Distillation

首次将因果推理引入类别级物体位姿估计(COPE),通过基于前门调整的因果推理模块消除数据偏差导致的虚假关联,并利用3D基础模型ULIP-2的残差知识蒸馏提供无偏的类别语义监督,在REAL275的严格指标5°2cm上达到61.7%,超越SOTA 4.7%。

Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation

提出 ViTaM-D,一个视觉-触觉融合框架,通过新提出的分布式力感知接触表示(DF-Field)和两阶段流程(视觉动态跟踪+力感知优化),实现刚性和可变形物体的手物交互动态重建,并引入 HOT 数据集填补可变形物体手物交互的评测空白。

查看全部74篇「人体理解」论文 →


📹 视频理解 (59)

Q-Frame: Query-aware Frame Selection and Multi-Resolution Adaptation for Video-LLMs

提出 Q-Frame,一种无需训练的即插即用视频帧选择与多分辨率自适应框架,利用 CLIP 跨模态匹配和 Gumbel-Max 技巧实现查询感知的帧选择,使 Video-LLM 在相同计算预算下处理更多关键帧,在 MLVU、LongVideoBench、Video-MME 三个基准上显著提升性能。

AllTracker: Efficient Dense Point Tracking at High Resolution

提出AllTracker,将点跟踪重新表述为多帧长程光流问题,在低分辨率网格上通过2D卷积+像素对齐时序注意力迭代优化对应估计再上采样,仅16M参数即实现SOTA准确率和高分辨率(768×1024)全像素密集跟踪,跟踪速度接近光流方法。

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning

提出 AIM,一种无需训练的多模态LLM自适应推理方法,通过LLM前基于相似度的视觉token迭代合并和LLM层内基于PageRank重要性的渐进token剪枝,实现6.8倍FLOPs削减同时保持性能,在长视频理解上同等计算量下甚至超越SOTA (+4.6 MLVU)。

Vamba: Understanding Hour-Long Videos with Hybrid Mamba-Transformers

提出 Vamba —— 一种混合 Mamba-Transformer 架构的大型多模态模型,用 Mamba-2 块以线性复杂度编码视频 token、用交叉注意力更新文本 token,在单 GPU 上可处理 1024 帧视频,在小时级视频理解基准上超越所有高效 LMM 方法。

Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding

提出 Video Thinking Test (Video-TT),一个评估视频大语言模型正确性和鲁棒性的基准,包含 1000 个 YouTube Shorts 视频和 5000 个问题,通过视觉/叙事复杂性因子和自然对抗问题揭示了当前最强模型(GPT-4o 36.6%)与人类(84.3%)之间的巨大差距。

An Empirical Study of Autoregressive Pre-training from Videos

系统性地研究了从视频进行自回归预训练的方法(称为Toto),在超过1万亿视觉token上训练因果Transformer,发现尽管归纳偏置极少,自回归预训练在图像识别、视频分类、目标跟踪和机器人操控等多个下游任务上均具有竞争力,且展现出类似语言模型的缩放规律(但速率较慢)。

What You Have is What You Track: Adaptive and Robust Multimodal Tracking

提出FlexTrack——首个系统研究时序性不完整多模态数据下跟踪性能的框架,通过异构MoE融合机制(HMoE)实现自适应计算复杂度,配合视频级masking训练策略,在9个基准上取得SOTA,完整模态提升2.6%,缺失模态场景提升10.2%。

Beyond the Frame: Generating 360° Panoramic Videos from Perspective Videos

提出 Argus 模型,首次实现从普通透视视频生成完整 360° 全景视频,通过相机运动模拟、视角对齐帧校准和混合解码三大几何-运动感知技术,在基于扩散模型的框架上让生成的全景视频具备空间一致性和时序连贯性。

TimeExpert: An Expert-Guided Video LLM for Video Temporal Grounding

提出TimeExpert——首个基于MoE的Video-LLM框架,通过任务感知动态门控和token自适应路由将时间戳、显著性分数和文本描述路由到专门的专家,配合任务依赖辅助损失,在Dense Video Captioning、Moment Retrieval和Video Highlight Detection三类VTG任务上全面超越SOTA。

Flow4Agent: Long-form Video Understanding via Motion Prior from Optical Flow

Flow4Agent 首次将光流运动先验引入 LLM-based 视频理解,通过时域粒度优化(TGO)利用粗粒度光流聚类视频事件并用语义先验过滤冗余场景,通过运动 Token 剪枝(MTP)利用细粒度光流去除帧内静态冗余 token,在 VideoMME/MLVU/LongVideoBench 等长视频基准上取得领先表现。

查看全部59篇「视频理解」论文 →


🚗 自动驾驶 (96)

Epona: Autoregressive Diffusion World Model for Autonomous Driving

提出 Epona,一种自回归扩散世界模型,通过解耦时空建模和异步多模态生成,实现高分辨率长时程驾驶视频生成与实时轨迹规划的统一框架。

Hermes: A Unified Self-Driving World Model for Simultaneous 3D Scene Understanding and Generation

提出 Hermes,第一个统一 3D 场景理解(VQA/描述)和未来场景生成(点云预测)的驾驶世界模型,通过 BEV 表征和 world queries 将 LLM 的世界知识注入未来场景生成,3s 点云生成误差降低 32.4%,场景理解 CIDEr 提升 8.0%。

Where am I? Cross-View Geo-localization with Natural Language Descriptions

引入基于自然语言描述的跨视角地理定位新任务,构建覆盖3个城市3万+坐标的CVG-Text多模态数据集(街景+卫星+OSM+文本),并提出CrossText2Loc方法——通过扩展位置嵌入处理长文本和可解释检索模块提供定位理由,Top-1召回率提升超10%。

EmbodiedOcc: Embodied 3D Occupancy Prediction for Vision-based Online Scene Understanding

提出EmbodiedOcc框架,利用3D语义高斯作为全局记忆,通过逐步探索和局部更新实现基于单目视觉输入的在线室内场景三维占据预测。

DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation

提出DiST-4D,首个前馈式4D驾驶场景生成框架,通过将时间预测(DiST-T)和空间新视角合成(DiST-S)解耦为两个扩散过程,以度量深度(metric depth)为几何桥梁,在nuScenes上同时实现SOTA的时间视频生成(FVD 22.67)和空间NVS(FID 10.12),无需逐场景优化。

ReconDreamer++: Harmonizing Generative and Reconstructive Models for Driving Scene Representation

ReconDreamer++ 在 ReconDreamer 基础上,通过引入新轨迹可变形网络(NTDNet)弥合生成数据与真实观测的域差距,并独立建模地面以保留几何先验,在 Waymo 上实现了原始轨迹性能持平 Street Gaussians、新轨迹 NTA-IoU 提升 6.1%、FID 改善 23.0% 的显著效果。

3DRealCar: An In-the-wild RGB-D Car Dataset with 360-degree Views

本文提出首个大规模真实3D车辆数据集3DRealCar,包含2500辆来自100+品牌的真实车辆,每辆车约200张高分辨率360度RGB-D视图,覆盖反光/标准/暗光三种光照条件,并提供13类车辆解析标注,支持3D重建、检测、生成等多种任务。

Detect Anything 3D in the Wild

DetAny3D 是一个可提示(promptable)的3D检测基础模型,通过融合SAM和depth-pretrained DINO两个2D基础模型的先验知识,并提出2D Aggregator和Zero-Embedding Mapping机制实现稳定的2D-to-3D知识迁移,仅用单目图像即可在任意场景和相机配置下实现零样本3D目标检测,在新类别上零样本AP3D超越基线最多21%。

UAVScenes: A Multi-Modal Dataset for UAVs

UAVScenes 是首个同时提供逐帧图像和 LiDAR 点云语义标注及精确 6-DoF 位姿的大规模多模态无人机数据集,包含超 12 万帧标注数据,支持语义分割、深度估计、定位、场景识别和新视角合成等六类感知任务。

UniOcc: A Unified Benchmark for Occupancy Forecasting and Prediction in Autonomous Driving

提出 UniOcc,首个统一的 2D/3D 占据预测与预报基准,整合 nuScenes、Waymo、CARLA 和 OpenCOOD 四个数据源,引入逐体素流标注和不依赖真值标签的评估指标,通过大规模实验揭示了体素级流信息和跨域训练对占据任务的重要价值。

查看全部96篇「自动驾驶」论文 →


🤖 机器人/具身智能 (34)

GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices

提出 GUIOdyssey,首个面向移动端跨应用 GUI 导航的综合数据集(8334 episodes、212 apps、1357 app 组合),以及 OdysseyAgent——配备历史重采样模块的多模态导航智能体,在平衡性能与推理效率的同时显著提升跨应用任务表现。

NavMorph: A Self-Evolving World Model for Vision-and-Language Navigation in Continuous Environments

提出 NavMorph,一种基于 RSSM 的自进化世界模型,通过 World-aware Navigator 和 Foresight Action Planner 在隐空间建模连续环境动态,并引入上下文进化记忆(CEM)实现在线测试时的快速适应。

DexVLG: Dexterous Vision-Language-Grasp Model at Scale

提出DexVLG——首个大规模视觉-语言-灵巧抓取模型,构建了包含174K物体、1.7亿抓取姿态的DexGraspNet 3.0数据集(带部件级语义标注),结合VLM和Flow Matching姿态预测头,在仿真中实现76%+零样本执行成功率,并在真实世界中完成语义对齐的灵巧抓取。

AnyBimanual: Transferring Unimanual Policy for General Bimanual Manipulation

提出 AnyBimanual,一个即插即用的框架,通过技能管理器和视觉对齐器将预训练的单臂操控策略迁移到通用双臂操控场景,在仅有少量双臂示范的情况下实现显著的多任务泛化能力。

SITE: towards Spatial Intelligence Thorough Evaluation

本文提出 SITE,一个基于认知科学三重分类体系的空间智能综合基准,涵盖 8,068 个多选 VQA 任务(覆盖 31 个数据集、图像+视频),评估结果显示当前最强 VLM(GPT-4o)在整体空间推理上仍落后人类专家约 32%,且 VLM 的空间智能与机器人操控任务的成功率呈高度正相关(Pearson \(r=0.902\))。

UnZipLoRA: Separating Content and Style from a Single Image

提出 UnZipLoRA 方法,从单张图像中同时训练两个解耦且兼容的 LoRA(内容 LoRA 和风格 LoRA),通过 prompt 分离、列分离和块分离三种策略实现内容与风格的有效解耦,支持独立操控和自由重组,用户偏好率全面超越 DreamBooth-LoRA、Inspiration Tree 和 B-LoRA。

COSMO: Combination of Selective Memorization for Low-cost Vision-and-Language Navigation

提出 COSMO,一种结合选择性记忆的低成本 VLN 架构,通过两个定制化的选择性状态空间模块——Round Selective Scan(RSS,单轮扫描捕获全局上下文)和 Cross-modal Selective State Space Module(CS3,双流跨模态交互)——替代 Transformer 中的高成本注意力机制,以仅 15.5% 参数和 9.3% FLOPs 实现超越基线 DUET 的导航性能。

CombatVLA: An Efficient Vision-Language-Action Model for Combat Tasks in 3D Action Role-Playing Games

提出CombatVLA,一个针对3D动作角色扮演游戏战斗任务的高效3B参数VLA模型,通过Action-of-Thought数据格式和截断推理策略,实现比现有VLM游戏框架快50倍的推理速度,且战斗成功率超越人类玩家。

iManip: Skill-Incremental Learning for Robotic Manipulation

提出 iManip 框架,通过时序回放策略和可扩展 PerceiverIO 架构,使机器人能够在不重新训练的情况下持续学习新的操作技能,同时缓解对已学技能的灾难性遗忘,在 RLBench 上比传统增量基线平均提升 9.4%。

Bridging Domain Generalization to Multimodal Domain Generalization via Unified Representations

提出URMMDG框架,通过监督对比学习构建跨模态统一表示空间,并利用互信息最小化解耦类别通用信息与模态/域特定信息,将传统单模态域泛化方法(Mixup、JiGen、IBN-Net)有效迁移到多模态域泛化场景,在EPIC-Kitchens和HAC基准上取得SOTA。

查看全部34篇「机器人/具身智能」论文 →


🎮 强化学习 (7)

R1-Onevision: Advancing Generalized Multimodal Reasoning through Cross-Modal Formalization

提出 R1-Onevision,通过跨模态推理管线将图像转换为形式化文本表示,结合 SFT + 基于规则的强化学习(GRPO)的两阶段后训练策略,显著提升视觉语言模型的多模态推理能力,在多个数学推理基准上超越 GPT-4o。

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

提出组合约束(compositional constraints)概念来形式化多智能体具身协作中的安全与效率要求,基于此构建了首个多智能体操作基准 RoboFactory,并系统探索了多智能体模仿学习的架构和训练策略。

Progressor: A Perceptually Guided Reward Estimator with Self-Supervised Online Refinement

提出Progressor框架,从无标注视频中自监督学习任务无关的奖励函数,通过预测任务进度分布提供稠密奖励信号,并在在线RL训练中通过对抗性push-back策略应对分布偏移问题。

NavQ: Learning a Q-Model for Foresighted Vision-and-Language Navigation

提出 NavQ,一种前瞻性 VLN 智能体,通过 Q-model 在单次前向传播中预测每个候选动作的长期未来语义聚合特征(Q-feature),结合 A* 式搜索策略在目标导向导航中取得显著提升。

Embodied Navigation with Auxiliary Task of Action Description Prediction

DescRL 将动作描述生成作为强化学习导航的辅助任务,通过从预训练的视觉-语言模型蒸馏知识来训练 ADPredictor,使导航智能体在生成可解释动作描述的同时提升导航性能,在语义音频-视觉导航(SAVNav)等多个任务上实现 SOTA。

mDP3: A Training-free Approach for List-wise Frame Selection in Video-LLMs

提出 mDP3,一种免训练、模型无关的视频帧选择方法,通过条件高斯核在 RKHS 中估计帧相似度,结合行列式点过程(DPP)捕获查询相关性和列表级多样性,再通过马尔可夫决策过程(MDP)建模时序性,在多个长视频 benchmark 上以仅 8 帧输入显著超越均匀采样和现有帧选择方法。

RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment

提出 RL-Selector,引入 ε-sample cover 概念量化样本冗余度,将数据选择建模为强化学习过程,通过轻量 A2C 策略网络自适应优化选择策略,在多个基准数据集上以更少数据达到接近甚至超越全量训练的泛化性能。


🔄 自监督/表示学习 (20)

Scaling Language-Free Visual Representation Learning

通过在MetaCLIP的20亿web图像上训练DINOv2/MAE系列模型(1B-7B参数),系统性地证明纯视觉自监督学习在模型和数据规模上展现优于CLIP的scaling behavior,5B+参数时在VQA平均性能上超越CLIP——包括传统认为需要语言监督的OCR/Chart任务。

LoftUp: Learning a Coordinate-Based Feature Upsampler for Vision Foundation Models

提出LoftUp,通过坐标-cross-attention架构直接将低分辨率VFM特征映射到任意高分辨率,并用class-agnostic mask精炼+自蒸馏构建全分辨率伪GT进行训练,在6个下游任务上平均提升10-20%且在视频目标分割上提升近50%。

A Token-level Text Image Foundation Model for Document Understanding (TokenFD/TokenVL)

提出首个 token 级别文本图像基础模型 TokenFD,通过在 2000 万图像、18 亿 BPE token-mask 对上进行 token 级视觉-语言对齐预训练,实现 image-as-text 语义能力,并基于此构建文档理解 MLLM TokenVL,在 OCRBench 上得分 860(8B 组最高),在 DocVQA 等十项 VQA 任务上平均提升 8.8%。

Always Skip Attention

本文从理论上证明了 Vision Transformer 中的自注意力机制是本质上病态的(ill-conditioned),在无 skip connection 时会导致训练崩溃,并提出 Token Graying(TG)方法通过改善输入 token 的条件数来进一步增强 ViT 的训练稳定性和性能。

Manual-PA: Learning 3D Part Assembly from Instruction Diagrams

提出 Manual-PA,一个基于 Transformer 的说明书引导 3D 零件组装框架:通过对比学习将 3D 零件与说明书步骤图对齐来推断组装顺序,再以学到的顺序作为位置编码的软引导进行 6DoF 位姿预测,在 PartNet 上显著超越现有方法。

Generate, Refine, and Encode: Leveraging Synthesized Novel Samples for On-the-Fly Fine-Grained Category Discovery

提出基于扩散模型的即时类别发现框架 DiffGRE,通过属性组合生成(ACG)合成包含虚拟类别信息的新样本、多样性驱动精炼(DDR)过滤低质量样本、半监督Leader编码(SLE)注入额外类别知识,在 6 个细粒度数据集上显著提升了已有 OCD 方法的性能(平均 ACC-ALL 提升 6.5%)。

A Hidden Stumbling Block in Generalized Category Discovery: Distracted Attention

发现GCD中未标注数据(尤其是未知类别)的ViT注意力会分散到背景区域(distracted attention),提出Attention Focusing(AF)模块通过多尺度token重要性度量+自适应剪枝来纠正注意力,作为即插即用模块在SimGCD上最高带来15.4%的性能提升。

MoSiC: Optimal-Transport Motion Trajectory for Dense Self-Supervised Learning

MoSiC 利用离线点跟踪器提取长程运动轨迹,通过基于最优传输(Sinkhorn-Knopp)的聚类机制在时间维度上传播聚类分配,从而在视频数据上学习空间-时间一致的稠密表征,仅用视频训练即可将 DINOv2 在多个图像/视频基准上提升 1%–6%。

CObL: Toward Zero-Shot Ordinal Layering without User Prompting

本文提出 CObL,一种基于多个冻结 Stable Diffusion UNet 并行生成的架构,能在无需用户提示、不知物体数量的前提下,从单张图像推断出遮挡排序的物体层叠表示(每层一个 amodal 完整物体),并且仅用数千张合成桌面场景就能零样本泛化到真实世界照片。

From Linearity to Non-Linearity: How Masked Autoencoders Capture Spatial Correlations

从理论角度分析 MAE 如何学习图像中的空间相关性,推导出线性 MAE 的解析解,揭示了掩码比例和 patch 大小如何选择短距离和长距离空间特征,并将分析扩展到非线性 MAE,为实践中的超参数选择提供了理论指导。

查看全部20篇「自监督/表示学习」论文 →


📐 优化/理论 (7)

Addressing Representation Collapse in Vector Quantized Models with One Linear Layer

提出SimVQ方法,通过一个可学习的线性变换层对码本向量进行重参数化(\(\bm{C}\bm{W}\)),将码本的不相交优化转化为联合空间优化,从根本上解决VQ模型中的表示崩塌问题,实现接近100%的码本利用率。

Learning Interpretable Queries for Explainable Image Classification with Information Pursuit

在CLIP语义嵌入空间中将信息追踪(Information Pursuit)的查询字典参数化为可学习向量,通过交替优化算法学习任务充分的可解释查询字典,缩小了可解释分类器与黑盒分类器的性能差距。

Memory-Efficient 4-bit Preconditioned Stochastic Optimization

提出基于 Cholesky 分解 + 误差反馈的 4-bit 量化方案,将 Shampoo 优化器的预条件矩阵压缩至 4-bit 精度,在大幅降低 GPU 显存的同时保持与 32-bit Shampoo 接近的训练性能,并给出了光滑与非光滑两种场景下的收敛性证明。

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces

提出 SubZero(random Subspace Zeroth-order),通过逐层低秩扰动在随机子空间中估计梯度,显著降低零阶优化的梯度方差和角度误差,以接近推理的内存开销实现 LLM 的高效微调。

Class-Wise Federated Averaging for Efficient Personalization

cwFedAvg 将 FedAvg 从"按客户端聚合"扩展为"按类别聚合",为每个类别创建专属全局模型,再根据各客户端的类别分布加权组合成个性化模型,配合权重分布正则化(WDR)增强类别分布与权重范数的关联,在保持 FedAvg 通信开销的同时显著提升非 IID 场景下的个性化性能。

Federated Prompt-Tuning with Heterogeneous and Incomplete Multimodal Client Data

提出 FED-PRIME,一个面向多模态数据模态缺失场景的联邦 Prompt-Tuning 框架,通过 inter-client 和 intra-client 两组 prompt 分别捕获跨客户端可对齐的缺失模式和客户端内特有的缺失模式,并通过聚类-对齐机制进行服务端聚合,在多种缺失数据设置下大幅超越现有基线。

Federated Continual Instruction Tuning

首次提出联邦持续指令微调(FCIT)基准,涵盖 2 种场景、4 种设置和 12 个数据集,并设计 DISCO 框架通过动态知识组织(DKO)和子空间选择性激活(SSA)有效解决数据异构性和灾难性遗忘。


🔗 因果推理 (2)

Social Debiasing for Fair Multi-modal LLMs

本文构建了包含 18 种社会概念的大规模反事实数据集 CMSC,并提出反刻板印象去偏策略 ASD(含偏差感知数据重采样 + Social Fairness Loss),在四种 MLLM 架构上有效降低了社会偏见,同时几乎不损害通用多模态能力。

A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets

提出基于LLM+扩散模型的block-based diffusion方法自动生成高质量反事实图文对数据集,配套设计set-aware损失函数,无需人工标注即可显著提升CLIP的组合推理能力,在ARO/VL-Checklist等benchmark上以更少数据超越SOTA。


🔬 可解释性 (11)

CAD-Recode: Reverse Engineering CAD Code from Point Clouds

提出 CAD-Recode,将点云翻译为可执行的 Python CadQuery 代码来重建 CAD 模型,利用预训练 LLM(Qwen2-1.5B)作为解码器配合轻量级点云编码器,在 DeepCAD、Fusion360 和 CC3D 三个基准上实现了 10 倍以上的 Chamfer Distance 降低。

Minerva: Evaluating Complex Video Reasoning

提出 Minerva——一个包含 1515 个手工标注的复杂视频推理问答数据集,每题配有 5 个选项和详细推理链(reasoning trace),用于评估多模态大模型的视频推理能力,并建立了视频推理错误分类体系(Temporal/Perceptual/Logical/Completeness)和 MiRA 自动评估框架。

"Principal Components" Enable A New Language of Images

提出 Semanticist 视觉分词框架,通过在 latent token 空间中嵌入可证明的 PCA 结构(每个后续 token 贡献递减的非重叠信息),并用扩散解码器解耦语义-频谱耦合效应,在图像重建和自回归生成上实现了 SOTA 性能。

SVIP: Semantically Contextualized Visual Patches for Zero-Shot Learning

提出SVIP框架,通过在输入阶段识别并替换语义无关的图像patch(用属性级word embedding初始化的可学习嵌入替代),从根源上解决零样本学习中的语义错位问题。

Granular Concept Circuits: Toward a Fine-Grained Circuit Discovery for Concept Representations

提出 Granular Concept Circuit (GCC) 方法,通过迭代评估神经元间的功能依赖性(Neuron Sensitivity Score)和语义一致性(Semantic Flow Score),自动发现深度视觉模型中编码特定概念的细粒度视觉电路——这是首个能在单个query中发现多个概念级电路的方法。

Learnable Fractional Reaction-Diffusion Dynamics for Under-Display ToF Imaging and Beyond

LFRD² 提出一种混合框架,将可学习的时间分数阶反应-扩散方程与神经网络结合,用于屏下 ToF(UD-ToF)深度图恢复。通过分数阶微积分捕获迭代过程中的长期记忆依赖,并引入高效的连续卷积算子替代离散卷积,在 UD-ToF 深度恢复、ToF 去噪和深度超分辨率任务上均取得最优性能。

AIM: Amending Inherent Interpretability via Self-Supervised Masking

本文提出 AIM,一种基于自监督二值掩码的 top-down 特征选择机制,无需额外标注即可引导 CNN 聚焦真实判别特征、抑制虚假相关,同时获得内在可解释性和更强的 OOD 泛化能力。

ArgoTweak: Towards Self-Updating HD Maps through Structured Priors

提出 ArgoTweak,首个提供"旧地图先验 + 当前传感器数据 + 最新真值地图"完整三元组的 HD 地图数据集,通过双射映射框架将大规模地图修改分解为元素级原子变化,并引入可解释的评测指标(mAPC/mACC),将模型在 ArgoTweak 上训练后的 sim2real 差距降低 10 倍以上。

CE-FAM: Concept-Based Explanation via Fusion of Activation Maps

提出CE-FAM概念解释方法,通过训练与图像分类器共享激活图的分支网络来模拟VLM嵌入,实现概念预测→概念区域(激活图加权和)→概念贡献(对分类分数影响)的一一对应,并提出新的NRA评估指标,在零样本概念推理上超越现有方法。

VITAL: More Understandable Feature Visualization through Distribution Alignment and Relevant Information Flow

提出VITAL方法,通过将特征可视化重新定义为真实图像特征分布对齐问题(而非传统的激活最大化),并结合相关性评分过滤无关特征,生成对人类更易理解的神经元可视化结果。

查看全部11篇「可解释性」论文 →


📦 模型压缩 (52)

SDKD: Frequency-Aligned Knowledge Distillation for Lightweight Spatiotemporal Forecasting

提出SDKD(频域解耦知识蒸馏)框架,通过频率感知的教师模型和频率对齐的蒸馏策略,将复杂时空预测模型的多尺度频域知识迁移到轻量级学生网络,在Navier-Stokes数据集上MSE最高降低81.3%。

Dataset Distillation via the Wasserstein Metric

提出 WMDD(Wasserstein Metric-based Dataset Distillation),使用 Wasserstein 重心替代 MMD 进行分布匹配,结合逐类 BatchNorm 正则化,在 ImageNet-1K 等大规模数据集上达到 SOTA 数据集蒸馏性能。

FastVAR: Linear Visual Autoregressive Modeling via Cached Token Pruning

FastVAR 提出一种无需训练的后处理加速方法,通过观察 VAR 模型中大尺度步骤主要建模高频纹理且对剪枝鲁棒的特性,利用频域引导的关键 token 选择(PTS)仅保留高频 token 参与前向,并用缓存的早期尺度 token 恢复被剪枝的位置(CTR),在 FlashAttention 基础上实现额外 2.7× 加速且性能损失 <1%,并首次实现单张 3090 GPU 上 1.5 秒生成 2K 图像。

Learned Image Compression with Hierarchical Progressive Context Modeling

提出分层渐进上下文模型 (HPCM),通过将 latent 划分为多尺度子表征并从小到大依次编码,结合跨编码步的渐进上下文融合机制(基于交叉注意力),实现更高效的远程依赖建模和更准确的熵参数估计,在图像压缩性能和计算复杂度之间取得更好的平衡。

Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation

提出TokenBridge,通过对预训练连续VAE特征进行后训练维度级量化,将连续token转化为离散token,在保持连续token高保真表示能力的同时,使用标准交叉熵损失进行简洁的自回归建模,在ImageNet 256×256上达到与连续方法可比的生成质量。

Integrating Task-Specific and Universal Adapters for Pre-Trained Model-based Class-Incremental Learning

提出 TUNA 方法,通过为每个增量任务训练正交的 task-specific adapter,并将它们融合为一个 universal adapter,结合基于熵的 adapter 选择机制和双 adapter 集成推理策略,在无 exemplar 的 PTM-based CIL 中实现 SOTA。

DLF: Extreme Image Compression with Dual-generative Latent Fusion

提出双分支生成式隐空间融合(DLF)框架,将图像隐空间分解为语义和细节两个分支分别压缩,通过跨分支交互设计消除冗余,在极低码率(<0.01 bpp)下实现了超越 MS-ILLM 高达 67.82% BD-Rate 节省的 SOTA 重建质量,同时解码速度远快于扩散模型方案。

Local Dense Logit Relations for Enhanced Knowledge Distillation

本文提出局部稠密关系 logit 蒸馏(LDRLD),通过递归解耦和重组 logit 知识来捕获细粒度的类间关系,结合自适应衰减权重(ADW)策略对关键类别对赋予更高权重,在 CIFAR-100、ImageNet-1K 和 Tiny-ImageNet 上持续优于现有 logit 蒸馏 SOTA。

Knowledge Distillation with Refined Logits

RLD 通过 Sample Confidence(样本置信度)和 Masked Correlation(掩码相关性)两种精炼知识,在不破坏类别相关性的前提下修正教师错误预测的负面影响,在 CIFAR-100 和 ImageNet 上全面超越现有 logit 蒸馏方法。

Time-Aware Auto White Balance in Mobile Photography

本文提出一种利用手机上下文元数据(时间戳和地理位置)辅助图像颜色信息的轻量化光照估计方法(约 5K 参数),在自建 3224 张智能手机数据集上达到或超过大模型性能,且可在旗舰手机 DSP 上 0.25ms 内完成推理。

查看全部52篇「模型压缩」论文 →


🕸️ 图学习 (1)

PASTA: Part-Aware Sketch-to-3D Shape Generation with Text-Aligned Prior

提出PASTA框架,通过集成VLM文本先验补偿草图的语义缺失,并设计ISG-Net(IndivGCN+PartGCN双图卷积)建模零件间结构关系,实现SOTA的草图到3D形状生成和零件级编辑。


📈 时间序列 (4)

V2XPnP: Vehicle-to-Everything Spatio-Temporal Fusion for Multi-Agent Perception and Prediction

提出 V2XPnP,一个基于统一 Transformer 架构的 V2X 时空融合框架,在单步通信策略下实现多智能体端到端感知与预测,同时构建了首个支持所有 V2X 协作模式的大规模真实世界时序数据集,在感知和预测任务上达到 SOTA。

VLRMBench: A Comprehensive and Challenging Benchmark for Vision-Language Reward Models

提出 VLRMBench,一个包含 12634 个问题、12 项任务的综合且具有挑战性的视觉语言奖励模型(VLRM)基准,覆盖过程理解、结果判断和批评生成三大方面,在 26 个模型上的广泛实验揭示了当前 VLRM 的显著不足。

I²-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting

提出 I²-World,通过将 3D 场景 tokenization 解耦为帧内(intra-scene)多尺度残差量化和帧间(inter-scene)时序量化两个互补过程,在保持 3D tokenizer 高压缩率的同时获得 4D tokenizer 的时序建模能力,实现高效且高质量的 4D occupancy 预测。

VA-MoE: Variables-Adaptive Mixture of Experts for Incremental Weather Forecasting

提出增量天气预报新范式和VA-MoE框架,通过变量自适应的MoE架构和索引嵌入机制,实现在仅25%可训练参数和50%初始训练数据的条件下达到与全量训练可比的预报精度。


🏥 医学图像 (33)

RadGPT: Constructing 3D Image-Text Tumor Datasets

本文提出 RadGPT——一个解剖感知的 VL AI 管线,通过将放射科医师修订的肿瘤分割 mask 经由确定性算法转化为结构化报告、再由 LLM 适配为叙述性报告,构建了首个大规模公开腹部 CT 图文肿瘤数据集 AbdomenAtlas 3.0(9,262 例 CT、每体素标注 + 报告),并证明分割辅助可显著提升 AI 报告中的肿瘤检测率。

GEMeX: A Large-Scale, Groundable, and Explainable Medical VQA Benchmark for Chest X-ray Diagnosis

构建了当前最大的胸部X光 VQA 数据集 GEMeX(151K 图像、1.6M 问题),首次同时提供文本推理解释和视觉区域定位,涵盖四种问题类型,并系统评估了 12 个代表性大视觉语言模型。

An OpenMind for 3D Medical Vision Self-supervised Learning

发布了最大的公开3D医学影像预训练数据集OpenMind(114k脑MRI体积),并在该数据集上系统性benchmark了现有3D SSL方法在最先进CNN(ResEnc-L)和Transformer(Primus-M)架构上的表现,明确了3D医学图像SSL的当前SOTA。

SimMLM: A Simple Framework for Multi-modal Learning with Missing Modality

提出 SimMLM,一个简洁高效的多模态缺失学习框架,由动态模态专家混合架构(DMoME)和 More vs. Fewer(MoFe)排序损失组成,在脑肿瘤分割和多模态分类任务上以更少参数和计算量全面超越 SOTA,同时提供模态重要性可解释性。

Scaling Tumor Segmentation: Best Lessons from Real and Synthetic Data

通过在大规模私有数据集上系统研究数据缩放定律,发现合成肿瘤可大幅降低真实标注需求(从 1500 降至 500 例),并据此构建了 AbdomenAtlas 2.0——首个涵盖 6 种器官肿瘤的万级 CT 大规模人工标注数据集,在分布内和分布外测试上均取得显著提升。

SegAnyPET: Universal Promptable Segmentation from Positron Emission Tomography Images

本文构建了迄今最大的PET分割数据集PETS-5k(5731例3D全身PET图像,超130万张2D切片),并提出SegAnyPET——首个针对PET影像的3D可提示分割基础模型,通过跨提示置信学习(CPCL)策略处理标注质量不一致问题,在已见和未见目标上均大幅超越现有基础模型和任务专用模型。

Boosting Vision Semantic Density with Anatomy Normality Modeling for Medical Vision-language Pre-training

提出 ViSD-Boost 方法,通过疾病级视觉对比学习增强视觉语义、以及基于 VQ-VAE 的解剖正常性建模来放大异常信号,解决医学视觉语言预训练中视觉模态语义密度低导致的对齐偏差问题,在 15 个器官 54 种疾病的零样本诊断上达到 84.9% AUC。

MultiverSeg: Scalable Interactive Segmentation of Biomedical Imaging Datasets with In-Context Guidance

提出 MultiverSeg,一个渐进式交互分割系统:用户每标注一张图像,后续图像所需的交互次数就会减少,通过将已分割图像作为上下文输入模型实现"越用越好"的效果,在 12 个未见数据集上相比 ScribblePrompt 将点击数减少 36%、涂鸦步骤减少 25%。

PVChat: Personalized Video Chat with One-Shot Learning

提出 PVChat,首个支持从单个参考视频进行个性化主体学习的视频大语言模型,通过 ReLU 路由混合注意力头(ReMoH)机制、系统化的数据增强管道和渐进式图像到视频训练策略,实现身份感知的视频问答,在医疗、电视剧、动漫等多种场景中超越现有 SOTA ViLLM。

GECKO: Gigapixel Vision-Concept Contrastive Pretraining in Histopathology

提出GECKO,一种无需额外临床数据模态的WSI级MIL聚合器预训练方法,通过从H&E WSI自动提取可解释的概念先验(Concept Prior)并与深度特征对比对齐,在5个分类任务上超越现有单模态和多模态预训练方法,同时提供病理学家可解释的WSI级描述。

查看全部33篇「医学图像」论文 →


🧬 计算生物 (4)

CryoFastAR: Fast Cryo-EM Ab initio Reconstruction Made Easy

首个将DUSt3R式的几何基础模型范式引入冷冻电镜(cryo-EM)领域的工作,通过ViT编码器+跨视图注意力解码器直接从大量含噪粒子图像前馈预测姿态(无需迭代优化),实现了比传统方法快10-33倍的ab initio蛋白质三维重建。

G2PDiffusion: Cross-Species Genotype-to-Phenotype Prediction via Evolutionary Diffusion

提出G2PDiffusion,首个基于扩散模型的跨物种基因型到表型预测框架,通过进化信号(多序列比对MSA和环境上下文)条件化生成形态学图像,实现从DNA序列预测物种外观。

Integrating Biological Knowledge for Robust Microscopy Image Profiling on De Novo Cell Lines

提出将外部生物知识(蛋白质互作图谱+单细胞基础模型的转录组特征)整合到显微图像预训练中,显式解耦扰动特异性和细胞系特异性表征,提升模型在未见细胞系上的扰动筛查泛化能力。

MolParser: End-to-end Visual Recognition of Molecule Structures in the Wild

提出 MolParser,一个端到端的光学化学结构识别 (OCSR) 方法,通过扩展 SMILES 表示(E-SMILES)处理 Markush 结构、构建 700 万级大规模训练集 MolParser-7M,并利用主动学习引入真实文献数据,在 WildMol 基准上以 76.9% 准确率显著超越现有方法。


⚛️ 物理/科学计算 (2)

ResQ: A Novel Framework to Implement Residual Neural Networks on Analog Rydberg Atom Quantum Computers

提出 ResQ——首个利用模拟 Rydberg 原子量子计算机的连续时间哈密顿演化来原生实现残差神经网络(ResNet)的框架,通过分段参数化激光脉冲编码输入特征和训练参数,在 MNIST/FashionMNIST/医疗数据集的分类任务上相比同等规模经典模型平均提升50%。

JPEG Processing Neural Operator for Backward-Compatible Coding

提出JPNeO,一个完全后向兼容JPEG格式的下一代编解码器,通过在编码和解码阶段分别引入神经算子(JENO和JDNO)以及可训练量化矩阵,显著提升JPEG重建质量(尤其是色度分量),同时保持低内存和少参数量的优势。


📡 信号/通信 (3)

Rectifying Magnitude Neglect in Linear Attention

揭示 Linear Attention 完全忽略 Query 幅值信息导致注意力分数分布与 Softmax Attention 显著偏离,提出 Magnitude-Aware Linear Attention (MALA),通过引入缩放因子 β 和偏移项 γ 使线性注意力恢复幅值感知能力,在分类、检测、分割、NLP、语音、图像生成等任务上全面超越现有方法。

Boosting Multimodal Learning via Disentangled Gradient Learning

本文揭示了多模态学习中模态编码器和融合模块之间的优化冲突——融合模块会抑制回传到各模态编码器的梯度,导致即使是优势模态也比单模态模型表现差,并提出解耦梯度学习(DGL)框架通过截断融合模块到编码器的梯度并用独立的单模态损失替代来解决此问题。

Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors

提出Learnable Path Compensation (LPC)和Adaptive Phasor Field (APF)两个模块,分别解决NLOS成像中辐射强度衰减的材质依赖性问题和不同信噪比条件下的频域去噪问题,仅在合成数据上训练即可在多种真实数据集上实现SOTA泛化性能。


👥 社会计算 (4)

PropVG: End-to-End Proposal-Driven Visual Grounding with Multi-Granularity Discrimination

提出PropVG,首个无需预训练检测器的端到端proposal-based视觉定位框架,将视觉定位分解为前景proposal生成+基于对比学习的指代评分两阶段,并引入多粒度目标判别模块(MTD)融合物体级和语义级信息判断目标是否存在,在10个数据集上刷新SOTA且推理速度比传统proposal方法快4倍。

Gradient Extrapolation for Debiased Representation Learning

提出 GERNE 方法,通过构建具有不同虚假相关程度的两个 batch 并对其梯度进行线性外推,引导模型学习去偏差表征,在已知和未知属性情况下均优于 SOTA。

No More Sibling Rivalry: Debiasing Human-Object Interaction Detection

发现并系统分析了 HOI 检测中的"有毒兄弟"偏差问题——高度相似的 HOI 三元组在输入端和输出端相互干扰竞争,提出"对比后校准"(C2C)和"合并后拆分"(M2S)两种去偏学习目标,在 HICO-DET 上超越 baseline +9.18% mAP、超越前 SOTA +3.59%。

Learning Visual Proxy for Compositional Zero-Shot Learning

提出 Visual Proxy(视觉代理)概念,在 CZSL 任务中首次引入文本引导的视觉类中心,并通过跨模态联合学习(CMJL)协同优化文本原型与视觉代理,在四个 CZSL 基准上达到闭世界 SOTA。


📂 其他 (41)

LayerTracer: Cognitive-Aligned Layered SVG Synthesis via Diffusion Transformer

LayerTracer 提出首个基于 Diffusion Transformer(DiT)的认知对齐分层 SVG 生成框架:通过构建 2 万+ 设计师操作序列数据集,训练 DiT 生成模拟设计师工作流程的多阶段光栅化蓝图,再通过逐层矢量化和路径去重转换为干净可编辑的分层 SVG;同时支持文本驱动生成和图像到分层 SVG 的转换。

FixTalk: Taming Identity Leakage for High-Quality Talking Head Generation in Extreme Cases

提出FixTalk框架,通过增强运动指示器(EMI)和增强细节指示器(EDI)两个轻量级即插即用模块,将GAN模型中的身份泄漏问题"化害为利"——EMI消除运动特征中的身份信息以解决身份泄漏,EDI利用泄漏的身份信息在极端姿态下补充缺失细节以消除渲染伪影。

LayerD: Decomposing Raster Graphic Designs into Layers

提出 LayerD,通过迭代提取未遮挡顶层和背景补全来分解栅格图形设计为可编辑图层,并利用图形设计的域先验(纹理平坦区域)进行精炼,同时提出了基于 DTW 的层级评估协议。

Φ-GAN: Physics-Inspired GAN for Generating SAR Images Under Limited Data

提出Φ-GAN,将SAR的理想点散射中心(PSC)电磁散射物理模型以可微神经模块形式集成到GAN训练中,通过双物理损失(生成器物理一致性约束+判别器电磁特征蒸馏)显著提升数据稀缺场景下SAR图像生成的质量和稳定性。

SyncDiff: Synchronized Motion Diffusion for Multi-Body Human-Object Interaction Synthesis

提出 SyncDiff,一个统一的多体人体-物体交互运动合成框架,通过对齐分数(alignment scores)和显式同步策略实现多体运动的精确同步,并引入频域分解来建模高频交互语义。

Auto-Regressively Generating Multi-View Consistent Images (MV-AR)

首次将自回归(AR)模型引入多视角图像生成任务,通过逐视角生成利用所有前序视角信息来增强远距离视角间的一致性,同时设计了统一的多模态条件注入架构和Shuffle Views数据增强策略,使单一模型可同时处理文本/图像/几何形状条件。

HyTIP: Hybrid Temporal Information Propagation for Masked Conditional Residual Video Coding

提出 HyTIP 框架,将输出回归(显式缓冲解码帧)和隐状态传播(隐式缓冲潜在特征)两种时序信息传播机制统一到同一学习式视频编码框架中,仅用 SOTA 方法 14% 的缓冲区大小即可达到可比的编码性能。

C4D: 4D Made from 3D through Dual Correspondences

提出C4D框架,通过在DUSt3R的3D pointmap预测基础上联合捕获双重时序对应(短时光流+动态感知长时点跟踪DynPT),生成运动掩码分离动静区域,并引入相机运动对齐/相机轨迹平滑/点轨迹平滑三个优化目标,将现有3D重建范式升级为完整4D重建(逐帧点云+相机参数+2D/3D轨迹),在深度/位姿/跟踪多个下游任务上达competitive性能。

I Am Big, You Are Little; I Am Right, You Are Wrong

利用因果推理 XAI 工具 rex 提取图像分类模型的最小充分像素集(MPS),系统比较 5 种架构 15 个模型的"注意力集中度",发现大型模型(EVA/ConvNext)仅用图像 5% 像素即可做出分类,且不同架构的 MPS 在大小和位置上存在统计显著差异。

Is Meta-Learning Out? Rethinking Unsupervised Few-Shot Classification with Limited Entropy

本文通过提出"熵受限监督设定"建立了元学习与全类训练(WCT)的公平比较框架,从理论上证明了元学习有更紧的泛化界,并揭示了其对标签噪声更鲁棒、更适合异构任务的特性,据此提出 MINO 框架在无监督少样本和零样本任务上取得了 SOTA。

查看全部41篇「其他」论文 →