跳转至

🎞️ ECCV2026 论文汇总

2900篇ECCV2026论文解读,涵盖图像生成(344篇)、多模态 VLM(240篇)、视频生成(179篇)、人体理解(172篇)、VLM Reasoning(171篇)、重建与渲染(168篇)、自动驾驶(162篇)、机器人/具身智能(135篇)等 47个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析,5分钟读懂一篇论文核心思想。


🦾 LLM Agent (36)

QuantV2X: A Fully Quantized Multi-Agent System for Cooperative Perception

QuantV2X 提出首个全量化多智能体 V2X 协作感知系统,通过端到端量化神经网络模型和通信消息表征,在 INT4/INT8 低比特下保持全精度模型 99.8% 的感知精度,同时将系统端到端延迟降低 3.2 倍,在 V2X-Real 数据集上 mAP30 反超全精度基线 +9.5。

GUIDE: Resolving Domain Bias in GUI Agents through Real-Time Web Video Retrieval and Plug-and-Play Annotation

GUIDE 是一个免训练、即插即用的框架,通过从 YouTube 教程视频中自动检索并提取领域专用的规划知识(Planning)和定位知识(Grounding),注入 GUI Agent 的对应模块来消除领域偏置(domain bias),在 OSWorld 上为三种不同架构的 agent 带来 +4.47 到 +7.48 个百分点的提升。

Learn2Fold: Structured Origami Generation with World Model Planning

把折纸折叠序列生成建模成折痕图(crease pattern, CP)上的条件程序归纳:LLM 依据文本目标提出结构化折叠动作,学到的图结构世界模型在执行前用短程 rollout 预测残差状态与逐边违规概率,再由确定性 Level-0 约束内核做硬核验,用 MPC 前瞻搜索选出可执行序列,在 25 类折纸基准上把步级 F1 从最强基线的 0.266 提到 0.739、类别成功率(macro)从 0.675 提到 0.891。

TIR-Agent: Training an Explorative and Efficient Agent for Image Restoration

TIR-Agent 将图像恢复中的任务排序和工具选择训练成 Qwen3-VL-8B 的闭环策略,用扰动示范扩大探索、用多维自适应奖励协调保真与感知质量,在 MiO100 Group B 达到 22.80 dB PSNR,并相对 AgenticIR 和 4KAgent 分别实现至少 2.5 倍和 5 倍推理加速。

A Benchmark and Multi-Agent System for Instruction-driven Cinematic Video Compilation

论文提出影视指令混剪基准 CineBench,以及先理解原片、再规划并执行剪辑的免训练系统 CineAgents,在该基准上取得 64.13 的镜头级 F1、52.09% 的时序正确率和 87.23% 的不可能指令拒绝率。

AGE: Agentic Gaussian Editing in 3D Scenarios

AGE 用规划、执行、反思与回溯四个智能体协调已有 3D 编辑工具,通过共享空间记忆支持连续修改与局部重做,在自建编辑基准上取得 0.192 的 CLIP 文本—图像方向相似度,高于 DGE 的 0.133,但尚缺组件消融来分离各项机制的贡献。

Are GUI Agents Focused Enough? Automated Distraction via Semantic-level UI Element Injection

本文用真实、内容无害且受空间与语义约束的UI图标干扰GUI智能体,通过多候选累积搜索在UI-TARS-1.5-7B上达到32.99%的五层搜索误点率,并以直接点击注入图标的统计揭示仅靠内容安全对齐难以覆盖的视觉定位弱点。

ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search

ARGOS把行人搜索改写成有限轮次内的证据收集过程,让四模块智能体主动追问并调用摄像头时空约束工具,在2,691个任务上同时考察找对目标与少问问题的能力,最优空间、时间轨道TWS分别为0.383和0.590。

Automatic Method Illustration Generation for AI Scientific Papers via Drawing Middleware Creation, Evolution, and Orchestration

FigAgent 把论文方法图中的常用视觉组件变成可调用、可进化的绘图函数,再由多智能体通过前瞻搜索组合成可编辑 SVG,在 FigAgentBench 上将节点对齐 F1 从 PaperBanana 的 46.3 提高到 51.4。

CiQi-Agent: Aligning Vision, Tools and Aesthetics in Multimodal Agent for Cultural Reasoning on Chinese Porcelains

CiQi-Agent 将中国古瓷领域知识、局部图像放大与图文检索融入两阶段 SFT + GRPO 训练,使 Qwen2.5-VL-7B 在 CiQi-Bench 上达到 81.5% 选择题平均准确率和 66.7% 自由生成属性评分,但这些结果衡量的是鉴赏属性识别,而非真伪鉴定。

查看全部36篇「LLM Agent」论文 →


⚖️ 对齐 / RLHF (6)

Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-visual Language Models

针对音视频语言模型(AVLM)"看着画面编声音"的跨模态幻觉,本文提出 ACPO:沿输出与输入两条正交轴构造偏好对——用音轨被替换的输入惩罚"用视觉字幕回答听觉问题",并要求同一句回答在音轨被换掉后必须变得不再可信——只微调音频投影层,就把 AVHBench 音频幻觉 F1 从 79.0 提到 80.4、单模态音频字幕 CIDEr 从 33.0 提到 43.6。

D2PO: Optimizing Diffusion Samplers via Dynamic Preference

将扩散采样器参数优化从传统的固定教师回归范式重塑为直接偏好对齐问题,通过能量代理模型、预训练分数多尺度能量度量与动态自进阶教师机制,在极低采样步数下显著提升生成图像的感知质量与高频纹理。

HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark

针对传统运动学指标与人类视觉感知严重脱节以及现有测试集规模小、缺乏接触挑战的问题,HumanTracker 构建了涵盖 150 小时、2.4 万段精细分类的光学动捕基准,并提出了基于 1.2 万对人类偏好数据训练的时序 Transformer 奖励模型 HumanScore,实现了高达 92.91% 的人类偏好预测对齐率。

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

Omni-RRM 先用双教师共识合成带五维评分准则解释的偏好数据,再以 SFT→GRPO 学习跨图像、视频和音频的成对回答判别,使 7B 奖励模型的五基准平均准确率由骨干的 60.2% 提升到 70.4%,并能在不更新生成器参数的情况下改善候选回答选择。

Reward Modeling for Computer-Using Agent from Video Execution

针对计算机使用智能体(CUA)轨迹评估严重依赖手工规则或特定中间动作格式的问题,本文提出了基于无偏界面执行视频的奖励模型 ExeVRM,通过构建 53k 规模数据集 ExeVR-53k、对抗指令翻译合成负样本,以及无损关键微小 UI 变化的时空 Token 剪枝算法(STP+TTP),实现了在 720p 长程视频下超越 GPT-5.2 与 Gemini-3 Pro 的任务完成判定与精准首错时间归因。

VERTIGO: Visual Preference Optimization for Cinematic Camera Generation

首个将视觉偏好优化引入相机轨迹生成的后训练框架 VERTIGO,利用实时图形引擎(Unity)将 3D 相机路径渲染为 2D 预览帧,通过经过电影语料微调的 VLM 进行逆向描述与嵌入相似度打分,并借助 DPO 对齐镜头语言意图与构图质量,将拍摄目标脱幅率从 38.7% 骤降至 0.8%。


🔒 安全 (70)

BBQ-V: Benchmarking Visual Stereotype Bias in Large Multimodal Models

BBQ-V 用真实多人图像和信息不足的开放式问题评测多模态模型是否作出缺乏依据的群体归因;其 4,497 张图像组成 14,144 个图像—问题对,图像输入消融表明“看得更多”不等于判断更审慎。

GEO-Detective: Unveiling Location Privacy Risks in Images with LLM Agents

本文提出模拟人类推理与工具调用行为的图像地理位置推断智能体 GEO-Detective,通过自适应难度评估、经验增强提示词、特征分割以及视觉反向搜索,系统揭示了多模态大模型智能体在图像地理位置隐私推断上的严重泄露风险。

Stealthy Multi-task Adversarial Attacks

本文提出 SMTA2,把「只打坏多任务模型中的某一个任务、同时不打坏其余任务」写成一个带保持约束的多目标优化问题,用「目标任务正权、非目标任务负权」的加权损失把它松弛成一次普通的一阶迭代攻击,再用逐迭代的自动权重搜索在线平衡攻击与保持,在 NYUv2 与 Cityscapes 上对未防御模型和对抗训练模型都做到了目标任务大幅退化、非目标任务守住干净基线。

WebEyeTrack: Scalable Eye-Tracking for the Browser via On-Device Few-Shot Personalization

WebEyeTrack 将单目度量头姿、轻量眼部编码器 BlazeGaze 和端侧少样本个性化结合,以初始 9 点校准支持浏览器眼动追踪,在 GazeCapture 上达到 2.32 cm 注视点误差,但其主要优势是部署效率与抗漂移能力,而非所有数据集上的最高精度。

A Classifier-Agnostic Zero-Shot Adversarial Attack Detection via CLIP

提出 A4D,一个完全黑盒、零样本的对抗攻击检测框架——利用 CLIP 对微小扰动的敏感性,通过将图像嵌入与一组精心设计的文本提示词比较余弦相似度,再经 PCA 聚合为单一检测分数,无需知道攻击类型或分类器结构即可检测对抗样本,在多个攻击/数据集/分类器上达到 SOTA。

Adversarial Attack and Disturbance Detection by Hadamard-Coded Output Representations for Object Detection and Semantic Segmentation

HadamardNet 将视觉模型的类别输出改成冗余码字,通过概率单纯形投影同时获得类别概率与一致性残差,在单次前向传播中检测异常扰动;其价值是提供额外的可靠性信号,而不是保证受扰动后的预测正确。

Anti-Prompt: Image Protection against Text-Guided Image-to-Video Generation

Anti-Prompt 在图像所有者发布图片前加入微小保护性扰动,通过削弱文本条件、增强视觉通路的相对主导性并扰乱图像编码,使未经授权的图生视频更难保持连贯;在 CogVideoX 白盒实验中,其视频评估均分为 3.25,低于复现 I2VGuard 的 3.92,表示更强的保护效果。

APT: Anchor-aligned Perturbations for Tamper Localization in Fully Regenerated Images

针对真实扩散图像编辑中全图重生成导致背景主动水印被抹除的问题,APT 在 VAE 潜空间优化密集向量级锚点对齐扰动,利用生成前景服从自然分布偏离锚点而背景重建保留对齐特征的天然视差,实现全图重生成与拼接双重场景下的精准像素级篡改定位。

AracNet: Revealing Debiasing Signals across Layers with Shallow Monitors

AracNet 在冻结的偏置分类器各层训练浅层监测器,按真实类别置信度的分布选出偏置信号最清晰的一层,再据此重加权训练重新初始化的分类器,在 Waterbirds 上达到 \(91.27\pm0.56\%\) 的最差群组准确率,避免把偏置挖掘完全寄托于早停时机。

Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment

MoRAS 用简短图像描述改善多模态风险识别,再依据风险分数对原始请求的早期响应激活施加拒绝引导,在 LLaVA-1.5-7B 上将 MM-Safety 的攻击成功率从 40.1% 降至 2.6%,同时保持表中通用任务总分。

查看全部70篇「安全」论文 →


👻 幻觉检测 (20)

Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models

CAD 将视觉语言模型的“证据生成—最终回答”压缩为三个可解释的信息指标,再用正常样本的高斯混合密度识别异常轨迹,在 POPE 对抗子集上取得平均 0.858 的检测 AUC,同时区分感知不稳定、证据依赖异常与决策不确定性。

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

揭示了现有直接偏好优化(DPO)在多模态大模型对齐中存在的“上下文盲区”现象,提出上下文校准直接偏好优化(C2-DPO),通过显式最大化上下文偏好增益并锚定退化输入排序,显著削减目标幻觉且不损通用推理。

Contrastive-Guided Self-Supervised Latent Visual Reasoning for Hallucination Mitigation

提出自监督隐式视觉推理框架 CoLVR,利用视觉对比探针无监督定位图像关键区域,并通过 GRPO 强化学习将内部隐式推理 token 对齐到显著视觉证据,无需人工标注即可大幅降低 LVLM 幻觉。

DARE to Mitigate Hallucination: Dual-path Auto-Regressive-aware Editing

DARE 揭示了现有基于教师强制(Teacher-Forcing)的表征编辑难以改变自回归生成时的相对 Logit 决策且损伤视觉注意力的本质瓶颈,通过将文本对比、自回归解码状态转移与图像反事实对比融为一体,在零额外推理开销下显著降低多模态大模型的物体幻觉。

Disentangling Hallucinations: Orthogonal Semantic Projection for Robust Interpretability

揭示了多模态可解释性归因方法普遍存在“解释幻觉”的根源是高维嵌入空间中的线性语义泄漏,并提出基于正交匹配追踪的即插即用几何干预方法 OSP,通过对文本嵌入做正交语义投影消除伪影信号。

Do Not Leave a Gap: Hallucination-Free Object Concealment in Vision-Language Models

针对传统物体隐藏攻击通过暴力抑制视觉特征而诱发 VLM 脑补幻觉的缺陷,本文提出保持背景连续性重编码(BCR),通过在视觉编码器深层对目标区域实施统计对齐与背景字典流形投影,在抹除目标物体语义的同时消除表征空洞,实现近乎无幻觉的高保真物体隐藏。

From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP

CRISP 是一个结构诊断式视觉空间智能评测基准,通过 Spatial QA + 3D Scene Graph 双任务范式与跨任务一致性协议,揭示 VLM 的空间推理究竟是真正的 3D 几何理解还是依靠语言先验的语义捷径。

HIVE: Understanding Post Hallucination Reasoning in Vision Language Models

HIVE 把忠实描述与幻觉描述作为配对输入,研究视觉语言模型在幻觉进入上下文之后如何继续推理,发现部分视觉任务准确率明显提高,但这种收益既不普遍,也不意味着虚构证据值得信任。

Learning to Mask: Cross-Modal Noise Modulation for Hallucination Mitigation in Multi-modal Large Language Models

针对多模态大模型在 Prefill 与自回归解码过程中冗余特征引发幻觉的问题,本文提出了轻量级实时自校正框架 HalMask,通过跨模态噪声调制模块自适应生成掩码系数向特征与 Value Cache 注入高斯噪声,并结合朗之万动力学正则化在保留关键语义的同时大幅消除幻觉。

Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation

本文把多图幻觉归因于自回归因果注意力造成的单向跨图信息流,提出 CAPL:在注意层面用「只让关键 token 跨图双向可见」的选择性跨图注意力做校准,再用「完整跨图交互 vs 屏蔽跨图」两种掩码分别生成正负样本做 DPO 加 NLL 的偏好学习,在 BLINK/MUIRBench 上稳定提升 1–3.6 个点且不损伤单图能力。

查看全部20篇「幻觉检测」论文 →


📊 LLM 评测 (3)

ExpertEdit: Learning Skill-Aware Motion Editing from Expert Videos

针对运动技能提升缺少成对新手-专家数据与推理时细粒度指令的痛点,ExpertEdit 提出仅利用非成对专家演示视频学习技能流形,并在推理时通过运动学峰值掩码与双向动作补全(contextual motion infilling)实现端到端技能自适应动作编辑。

LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression

针对多模态大模型长程思维链推理中的视觉遗忘与注意力汇元坍缩问题,LASER 通过在强化学习后训练中联合引入视觉基础保持奖励与汇元抑制奖励,从时间和空间分布双维度纠正视觉注意力偏离,大幅提升多模态推理与感知鲁棒性。

SVGEval: A Vision-Grounded Framework for Perceptual-Quality Benchmarking and Evaluation in Text-to-SVG Generation

SVGEval 把 text-to-SVG 的评测对象从「SVG 代码」改成「人真正看到的渲染结果」,用涵盖美学、语义、空间布局、几何结构四个维度的评分协议构建了 500 例二值诊断 + 500 例 1–5 打分的双任务基准(标注经多轮人工标注与专家裁决),并据此蒸馏训练出一个「看渲染图 + 读代码」、同时输出分维度分数与证据化理由的可解释评分器,MAE 从最强通用模型的 0.71 降到 0.58、±1 邻域准确率从 66.6% 提到 72.0%。


📚 预训练 (15)

360Anything: Geometry-Free Lifting of Images and Videos to 360°

360Anything 提出一种几何无关(geometry-free)的扩散Transformer框架,将透视输入和全景目标统一视为 token 序列、通过序列拼接让模型自行学习二者间的几何对应,无需任何相机元数据即可将任意视角图像/视频提升为重力对齐的无接缝 360° 全景图,在图像和视频两个任务上全面超越依赖真实相机参数的此前最优方法。

FAIR: Feature-Augmented Implicit Regularization for AI-generated Fake Image Detection

FAIR 引入与纹理正交的场景构图结构(SCS)作为特权几何先验,在训练期扩增特征空间以平滑决策超平面并抑制局部纹理捷径学习,在推理期完全丢弃先验特征,以零计算与架构开销大幅提升跨生成器检测泛化性。

GryphOne: Symbol-Aware Masked Diffusion for Structural Refinement in Offline Handwritten Mathematical Expression Recognition

GryphOne 将手写数学表达式识别(HMER)从自回归序列生成重新定义为离散掩码扩散的迭代符号精炼过程,通过符号感知分词(SAT)保持局部编辑的语法一致性,并用随机掩码互学习(RMML)提升精炼稳定性,在 MathWriting 上以 5.51% CER 和 59.9% ExpRate 全面超越重实现的自回归基线及商用 HMER 系统。

ID-PreFeR: ID-Preserving Face Restoration with Mixed Data Quality

针对个性化人脸恢复中参考图质量参差不齐且全模型微调成本高的瓶颈,ID-PreFeR 提出仅优化跨注意力 LoRA 的免正则化轻量注入器、结合 MLLM 提示词与 Min-SNR-γ 的身份-质量解耦训练策略,以及推理阶段的身份保持采样,在仅需单张高质量参考图时即可实现 SOTA 级别的身份保真度与细节恢复。

Invisible Shortcuts: Why Vision Encoders Know Your Camera

揭示了视觉表征编码器对不可见相机与图像处理元数据(如 JPEG 参数、光圈、焦距)敏感的根源在于预训练数据中元数据与语义标签的伪相关性捷径学习,并提出了贯穿训练期增强与后处理对抗解耦的消除方案。

Map2World: Segment Map Conditioned Text to 3D World Generation

针对世界级 3D 数据匮乏导致的场景生成不完整与领域泛化局限,Map2World 提出以任意形状分割图为界面的 3D 世界生成框架,利用 TRELLIS 结构化隐空间的 3D MultiDiffusion 融合、频域初始噪声优化及条件式细节增强器,实现了任意布局可控、尺度一致且细节丰富的大尺度 3D 场景生成。

Mask-guided Semantic Alignment: Robust Learning with Noisy Labels via Temporal Attention Stability

针对噪声标签导致模型过拟合伪特征的难题,本文提出结合类激活图(CAM)时序演化稳定性的样本筛选机制、差异化自适应注意力掩码图像生成以及掩码引导的双分支特征对齐框架(MSA),在极端 90% 对称噪声下实现 CIFAR-10 95.1% 与 CIFAR-100 55.6% 的高鲁棒分类精度。

PolyLayout: Multi-room Manhattan Layout Estimation

PolyLayout 将室内多房间布局参数化为具有共享朝向与层高的三维曼哈顿多边形,基于 DINOv2 提取的特征图、边缘图与置信度构建可微目标函数,通过粗到细的 Levenberg-Marquardt 优化并结合自适应分裂/合并拓扑变换,实现了精准且强泛化的多房间 3D 布局重建。

Reflecting Process Expertise in Procedural Material Generation

MaterialApprentice 将过程化材质生成从传统的静态图空间合成重新定义为基于专家示范的检索时过程推理,通过从教程视频中提取过程轨迹并由编译器具象化为着色器图,使生成的材质具备专业级分层结构与极高可编辑性。

Robustness Emerges Early in Training Dynamics, but Is Not Preserved

本文发现深度神经网络在训练初期浅层子网络会自发形成高鲁棒性表征与平坦损失地形,但在标准经验风险收敛过程中会被侵蚀磨灭,据此提出早期阶段稳定化(EPS)与非对称权重回退(AWR)两种无参数轨迹干预策略,无需修改结构即可显著提升自然扰动鲁棒性。

查看全部15篇「预训练」论文 →


🔍 信息检索/RAG (8)

What Images Cannot Say: Language-Guided Olfactory Representation Learning

针对图像无法直接观测全场景气味弥散源与环境背景的问题,SCENT 提出利用视觉语言模型(VLM)生成涵盖物体、环境与推测气味的文本先验作为语义桥梁,结合双投影对齐与气味隐空间解耦机制,在电子鼻气味-图像/文本检索任务上取得 SOTA 表现。

FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

FlowCIR 将零样本组合图像检索重新建模为视觉语言模型嵌入空间中以参考图像为条件的连续语义传输问题,利用条件流匹配与 Top-K 难负样本对比监督实现高效单步传输,并在推理期引入多负向导向策略抑制否定概念坍缩,仅需单卡 3090 训练 0.5 小时即可刷新多项基准。

HyFL-CLIP: Hyperbolic Fine-Tuning of CLIP for Robust Long-Context Understanding

HyFL-CLIP 将预训练 CLIP 的欧氏图文对齐蒸馏到双曲空间(Lorentz 模型),通过爱因斯坦中点聚合建模"全局描述--局部成分"的层次蕴涵关系,使模型在长文本被扰动(重排、删除、丢词)时仍能稳定检索正确图像,在扰动词下比最强基线提升最高 19.5%。

LightSTAR: Efficient Visual Document Retrieval via Lightweight Selection with Vision-Adaptive Refinement

LightSTAR 针对视觉文档检索中 MLLM 全量编码页面太慢的问题,先用 LLM-free 轻量视觉选择模块高召回筛出候选,再只对候选做视觉自适应语义精排,在 ViDoRe 上达到 89.1 NDCG@5,同时把 5000 页端到端延迟降到 123.9s。

ME-IQA: Memory-Enhanced Image Quality Assessment via Re-Ranking

针对推理增强型视觉语言模型在图像质量评价中严重的离散坍缩问题,ME-IQA 提出一种无需重训的即插即用测试时记忆重排序框架,通过混合记忆库检索对齐邻居、利用 VLM 成对偏好在瑟斯顿 Case V 模型下融合序数证据,大幅提升了细粒度失真敏感度与评分连续性。

Multi-Anchor Distillation with Text-Guided Analytic Classifier for Continual Learning

针对 CLIP 类增量学习中编码器特征累积漂移与梯度分类器决策边界覆盖双重遗忘,本文提出多锚点历史蒸馏结合闭式正交解析分类器的免样本持续学习框架,大幅刷新长任务序列 SOTA。

TSEmbed: Unlocking Task Scaling in Universal Multimodal Embeddings

TSEmbed 用输入相关的 MoE-LoRA 分担多模态任务冲突,再在专家预热后根据路由相似度加权困难负样本,使仅使用 MMEB 训练的 2B/7B 模型分别达到 70.5/74.7 的总体分数,超过同设置 B3 基线 2.4/2.7 个百分点。

MMAgent-R2: Learning to Rerank and Reject for Agentic mRAG

MMAgent-R2 将视觉重排序(Visual Reranking)与主动拒绝(Active Rejection)统一为智能体的内部校验机制,配合步级验证奖励的 GRPO 强化学习,解决了现有多模态 RAG 受困于全局特征检索失真及静态候选池的实体混淆难题。


💻 代码智能 (2)

Coding with Eyes: Visual Feedback Unlocks Reliable GUI Code Generating and Debugging

本文先从 Flathub 真实桌面应用中整理出 984 个可执行的多页 GUI 开发任务与可编程的交互评测脚本 IES(InteractGUI Bench),再提出让 MLLM 直接"看"渲染界面并动手操作的三角色多智能体框架 VF-Coder,把 Gemini-3-Flash 的任务成功率从 21.68% 提到 28.29%、视觉相似度从 0.4284 提到 0.5584。

PrintAnything: Learning Geometric Plan Map for 3D Printing G-code Generation from Unoriented Point Clouds

针对传统3D打印切片依赖水密网格且点云表面重构极易引入拓扑拓印伪影的瓶颈,PrintAnything提出了切片级点云投影与紧凑的几何规划图(G-plan Map)表征,首次实现了从未定向点云端到端直接编译生成物理可执行的3D打印G代码。


💬 LLM 其他 (13)

ProAct: Agentic Lookahead in Interactive Environments

ProAct 把"前瞻"从推理期搬进数据构建期:先用真实环境的 MCTS 探出未来轨迹、压缩成"观察→分析→结论"的因果推理链做 SFT(GLAD),再用无参数、靠随机策略批量 rollout 估值的蒙特卡洛批判器(MC-Critic)稳定 PPO/GRPO 训练,让一个 4B 模型在 2048 与 Sokoban 上大幅超过同规模与更大的开源基线。

Debiased Textual Prompt Tuning for Enhancing Unknown Class Discovery

针对开放世界半监督学习中文本引导微调偏向已知类和图拓扑稀疏的两大痛点,提出基于最优传输解偏的文本提示微调与双模态图增强标签传播框架,在千类规模未知类识别准确率上取得 20.7% 的相对提升。

Direct Preference Optimization for Perceptual Alignment via Vision-Language Consistency

提出无需人工标注或专有商业模型的视语言一致性直接偏好优化框架 VLC-DPO,通过互补生成图像响应与描述响应构建 VLC 评分筛选偏好对,并引入一致性差异动态惩罚权重,在大幅抑制多模态幻觉的同时显著提升零样本 VQA 推理能力。

Embedding Rotation Invariance for Provable Multi-Oriented Scene Text Recognition

针对多方向场景文本识别中依赖显式朝向预测与数据增强导致误差累积和推理负担的问题,本文提出 RISTER,在编码器嵌入旋转等变性(群等变卷积与自注意力结合的 RELG)、在解码器嵌入旋转不变性(基于交叉注意力的 RITD),构建了具有理论保证的端到端旋转不变识别系统,在多方向基准上准确率大幅领先 SOTA 达 4.0%。

ExpoMotion: A Large-Scale Benchmark and A Householder Projection Network for Multi-Exposure Fusion

针对动态多曝光融合中真实运动基准匮乏与传统相似度对齐引入伪影的难题,本文提出了包含 1,738 个序列的大规模真实动态基准 ExpoMotion,并提出基于豪斯霍尔德正交投影的解耦网络 HOP,实现了曝光预对齐与运动伪影的几何投影滤除。

GRE-Diff: Gaussian Room Embeddings for Structured Layout Diffusion

提出高斯房间嵌入(Gaussian Room Embedding, GRE)将房间建模为连续空间高斯分布以指导矢量扩散过程,结合多条件 GuidanceNet 与双注意力 DenoisingNet,在 RPLAN 上实现了 FID 4.36 与 99.21% F1BC-RC 的高质量户型图生成与无损局部交互编辑。

Learning Probabilistic Prompt for Continual Learning

针对基于提示的类增量持续学习中固定确定性提示极易趋同的“提示坍塌”(Prompt Collapse)难题,本文提出将提示建模为高斯概率分布,根据输入图像查询特征动态构建混合分布并随机采样加权,配合连续步间的分布正则化 KL 散度约束,在不增加额外网络分支的前提下显著提升提示多样性并跨越式提升多基准准确率。

Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization

针对传统概念定制依赖罕见标记导致生成不稳定且缺乏常识关联的缺陷,本文提出知识感知概念定制任务与 MoKus 框架,基于跨模态知识迁移机制将文本编码器中编辑的自然语言知识无缝投影至视觉锚点表征,实现高效、高保真的定制图像生成。

Prior-Conditioned Gaussian Discriminants for Generalizable AI-generated Image Detection

将AI生成图像(AIGI)检测形式化为由训练先验、冻结表征与决策规则构成的三元迁移系统,构建包含嵌套协方差假设的解析高斯判别器阶梯作为诊断基准,揭示当前众多微调分类头并未超越冻结特征的低阶几何可分性。

SAM2Matting: Generalized Image and Video Matting

SAM2Matting 提出一种解耦的"跟踪器到抠图"框架,将视频抠图拆分为高层跟踪(冻结的 VOS 跟踪器如 SAM2/SAM3 负责时序一致性)和低层抠图(可训练的 ROI 检测器 + 渐进式 Alpha 预测器负责细粒度透明度估计),仅用图像抠图数据训练就在视频抠图基准上以 zero-shot 方式达到 SOTA,同时支持多种 prompt 类型、维持强时序一致性、在人类和开放场景下均泛化良好。

查看全部13篇「LLM 其他」论文 →


🎨 图像生成 (344)

MixGRPO: Unlocking Flow-based GRPO Efficiency with Mixed ODE-SDE

MixGRPO 不再让整条去噪轨迹随机探索、再从中随意挑几步更新,而是只让一个短窗口同时承担随机采样与 GRPO 优化,窗口外确定性生成完整图像,并把训练重点从全局构图逐渐移向细节;在 FLUX.1-dev 实验中,基本版用 4 步更新达到 1.645 ImageReward,Flash* 进一步将迭代耗时从 DanceGRPO 的 291.284 秒降至 83.278 秒。

TIIF-Bench: How Does Your T2I Model Follow Your Instructions?

TIIF-Bench 把“图像是否听话”拆为语义配对的长短提示、逐要求二元核验和文字/风格专用评分,并训练 Qwen3VL-8B 裁判,在 560 个人工标注问题上达到 91.07% 准确率;它改进的是文生图评测,不是生成模型本身。

Query-Kontext: An Unified Multimodal Model for Image Generation and Editing

Query-Kontext 用可训练的多模态查询 token 把 VLM 的语义与粗粒度视觉规划传给扩散模型,再以低层图像条件补足细节,实现统一生成与编辑,在使用提示词改写的 GenEval 上获得 0.88,在 GEdit-Bench 英文和中文全量集上分别获得 7.66 和 7.65。

BlenderFusion: 3D-Grounded Visual Editing and Generative Compositing

BlenderFusion 把图像中的物体提升为可编辑几何,用 Blender 表达精确编辑意图,再通过双流扩散合成器补全并融合画面,在三个视频数据集上优于适配后的 Object 3DIT 和 Neural Assets,且支持训练未覆盖的精细组合编辑。

SD3.5-Flash: Distribution-Guided Distillation of Generative Flows

SD3.5-Flash 将分布匹配放回学生自身的生成轨迹,配合分时步微调与流水线轻量化,把 SD3.5M 蒸馏为四步文生图模型,在提升部分偏好与对齐指标的同时支持手机部署,但并未改善所有质量指标。

Universal Image Immunization against Diffusion-based Image Editing via Semantic Injection

针对扩散模型恶意编辑,本文训练一张与图像无关的通用对抗扰动(UAP),通过「注入目标语义 + 抑制源语义」两个损失让扩散模型把被保护图误认成某个目标概念(如把狗看成「Ronaldo」),从而在测试时只需一次加法就能阻断非法编辑,推理开销近乎为零。

CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation

CoCo 让 Bagel 先生成代码并执行成结构草图,再进行草图引导的图像精修,将 StructT2IBench 总体准确率从 4.69% 提高到 73.52%,但现有证据主要覆盖结构化视觉与文字渲染,不能直接等同于普遍的罕见概念生成能力。

Learn Once, Edit Anywhere: Visual Direction Transfer for Diffusion Models

ViDiT 提出一种"学一次,到处编"的框架:从少量图像编辑对(before/after)中优化一个连续的潜在方向 d,将该方向注入扩散模型的 CFG 推理过程,实现对任意图像零样本、解耦、强度可控的细粒度属性编辑,无需微调基座模型也无需逐图像优化。

REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion

REGLUE 用轻量卷积压缩器保留多层视觉特征的空间语义,再将其与 VAE 潜变量、全局 token 联合扩散,在 ImageNet 256×256、SiT-B/2、400K 步且无 CFG 时将 FID 从 33.0 降至 12.9。

OrthoEraser: Coupled-Neuron Orthogonal Projection for Concept Erasure

OrthoEraser 先定位敏感特征及其牵连的正常特征,再仅减去与保护子空间正交的敏感方向,使 SD1.4 在 I2P 上的 NudeNet 检测总数从 646 降至 5,同时在 COCO 提示上保持接近原模型的图文对齐与输出分布。

查看全部344篇「图像生成」论文 →


🎬 视频生成 (179)

ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling

ShotStream 把多镜头视频改写为“记住已生成画面,再流式生成下一镜头”的因果任务,以稀疏条件教师、具有镜头边界标识的双缓存和两阶段自强制蒸馏,在单张 H200 上取得 15.95 FPS、0.978 切换控制分数,同时避免预先提交所有未来分镜。

MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens

MemRoPE 为冻结的自回归视频扩散模型维护双速率历史摘要,并把 RoPE 从缓存写入时推迟到注意力计算时,既避免旧画面被直接遗忘,又避免跨时间平均混入不同位置相位;LongLive 上一小时生成的 VBench-Long 平均分由 ∞-RoPE 的 87.01 提高到 87.99,但“无限”指缓存和位置机制可持续运行,不是无限时长的质量保证。

Anchor Forcing: Anchor Memory and Tri-Region RoPE for Interactive Streaming Video Diffusion

Anchor Forcing 在提示切换时用旧锚点辅助新提示下的局部 KV 重建,并用训练配套的三区域有界 RoPE 组织初始、交互边界和近期记忆,使 60 秒交互视频的动态程度由 LongLive 的 26.37 提高到 73.00、质量由 78.92 提高到 82.25;它需要蒸馏与流式长时训练,不是免训练缓存插件。

HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising

HiAR 让视频块依赖前序块在当前去噪步的输出,而非完全干净的预测,并用双向注意力下的教师轨迹正则防止运动坍缩,在 20 秒视频上取得 VBench 总分 0.821、Drift 0.257 和报告的 30 fps 吞吐量。

ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA

ID-LoRA 用共享的音视频生成骨干读取人物首帧和参考声音,通过负时间位置区分参考与目标、通过身份引导强化音色,在保持人物身份的同时允许文本改变场景和说话方式,跨视频测试的说话人相似度达到 0.477。

Ring Forcing: Towards Precise Long-Term Memory for Autoregressive Video Diffusion

本文提出面向自回归视频扩散的 Ring Forcing 框架,通过将视频反向拼接构建环形闭环训练数据将目标片段隐式嵌入远期历史以强制模型学习显式远程检索,并结合时步依赖的时空压缩与稀疏 RoPE 机制,在固定上下文序列长度下实现了分钟级长视频生成中精准的物体恒存性与全局一致性。

Stream-DiffVSR: Low-Latency Streamable Video Super-Resolution via Auto-Regressive Diffusion

Stream-DiffVSR 用四步扩散去噪、光流对齐的历史输出引导和时序解码,逐帧恢复高清视频,在不读取未来帧的条件下取得 REDS4 LPIPS 0.099 与 RTX 4090 上 720p 首帧延迟 0.328 秒,但尚非通常意义的实时高清视频处理。

VIGOR: VIdeo Geometry-Oriented Reward for Temporal Generative Alignment

VIGOR 用 VGGT 的浅层注意力挑选可靠几何区域,再以跨帧逐点重投影误差评价视频,通过 SFT/DPO 或推理时搜索改善几何一致性,在 CausVid 的 Best-of-10 实验中将 PSNR 从 19.68 提高到 22.66 dB。

OneVAE: Joint Discrete and Continuous Optimization Helps Discrete Video VAE Train Better

OneVAE 在共享视频 VAE 中交替训练连续与离散重建,并结合渐进初始化和结构改进,使统一训练消融的 PSNR 从 27.22 提升到 28.15,同时让同一压缩配置的模型支持两种潜表示。

AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors

AHOY 从严重遮挡的单目 YouTube 视频中重建完整可动画的 3DGS 化身——先用 DensePose+FLUX+多视角扩散粗建 canonical 化身,再通过 LoRA 微调的 Wan 2.2 视频扩散模型做 RF-Inversion 生成多视角"幻觉"监督视频,最后用 map-pose/LBS-pose 解耦吸收生成数据的不一致性,训练出带姿态依赖形变的高保真高斯图化身。

查看全部179篇「视频生成」论文 →


🧩 多模态 VLM (240)

ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models

ViewSpatial-Bench 用 5,712 道覆盖相机与人物参照系的空间选择题,把物体位置、人物朝向与模拟观察者方位分开测量,并用约 43K 条针对性监督将 Qwen2.5-VL-3B 的准确率从 35.85% 提至 82.09%;它证明这类空间判断可以通过数据改善,而非证明模型已经建立完整三维世界模型。

Real5-OmniDocBench: A Full-Scale Physical Reconstruction Benchmark for Robust Document Parsing in the Wild

Real5-OmniDocBench 将 OmniDocBench v1.5 的全部 1,355 页文档各自重建为五种真实采集版本,用 6,775 个内容配对样本检验解析鲁棒性,显示数字文档上的能力不等于物理场景可靠性,且本次评测中 0.9B 的 PaddleOCR-VL-1.6 以 93.19 综合分领先所列大型通用模型。

Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding

VEGA-3D 把冻结的 Wan2.1 视频生成模型用作空间特征提取器,通过中等强度加噪、中间层取特征及逐 token 门控融合增强多模态模型,使 ScanRefer [email protected] 从 51.7 提高到 56.2,同时在空间推理和操作任务上取得幅度不一的收益。

OmniMamba: Efficient and Unified Multimodal Understanding and Generation via State Space Models

OmniMamba 以 Mamba-2 为共享自回归主干,通过解耦视觉编码、输出词表和任务适配器,在作者所称约 2M 图文对的统一模型训练规模下兼顾理解与生成,在 COCO 上取得 5.50 FID-30K,但这一数据口径不包含继承的预训练组件成本。

UniRec-0.1B: Unified Text and Formula Recognition with 0.1B Parameters

UniRec-0.1B 用约 4000 万多粒度样本、显式行段监督和文本/公式解耦分词,从头训练一个 0.1B 编码器—解码器,在 UniRec-Bench 上达到 0.100 平均编辑距离,并在论文规定的单卡测试条件下将平均块识别耗时降至 0.37 秒。

Towards Interactive Global Geolocation Assistant

MG-Geo 用地理元数据、图像线索和多轮推理对话训练 GaGA,使街景定位从一次性猜坐标变为可接收事实约束的交互过程,在 GWS15k 上取得 63.06% 国家准确率和 6.28% 城市准确率,但细粒度坐标精度并非全面领先。

MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

MinerU-Diffusion 将文档 OCR 视为从图像恢复结构化符号的逆渲染,通过块间自回归、块内扩散和两阶段课程学习,在有真实布局的 OmniDocBench v1.5 上取得 93.37 Overall,并在默认解码阈值下实现约 2.1 倍解码加速。

StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production–Living Simulations with Stardew Valley

本文基于《星露谷物语》构建了 StarDojo——首个把「生产活动」与「社交生活」耦合在一起评测的开放世界 MLLM 智能体基准,含 1000 个精标任务,最强的 GPT-4.1 也只有 12.7% 成功率,暴露出当前 MLLM 在视觉理解、多模态推理与低层控制上的严重短板。

Transferability Between Understanding and Generation in Unified Multimodal Models

本文用单任务微调、跨任务评测检验统一多模态模型的能力迁移,发现共享主干与视觉编码器的 Lumina-DiMOO 双向迁移最强,并以仅训练理解的方式改善生成计数、空间关系和部分文字指标,同时减轻直接生成微调造成的分布偏移。

Render-in-the-Loop: Vector Graphics Generation via Visual Self-Feedback

Render-in-the-Loop 让 Qwen3-VL-8B 在生成每段 SVG 后观察累计画布,通过专门的多轮监督训练和推理时重复过滤,用 0.85M 训练样本在 MMSVGBench 上超过多种更大数据规模的自回归基线,但增加约 1.50 倍的 VSF 推理时延。

查看全部240篇「多模态 VLM」论文 →


🧠 VLM Reasoning (171)

Reinforcing Video Reasoning with Focused Thinking

TW-GRPO 同时改造视频问答的结果奖励和 token 级学习权重:用严格排除错选的部分得分区分多答案回答,再根据组内预测分布分歧强调可能承载关键线索的位置;在相同 1K CLEVRER 训练设置下,准确率由 GRPO 的 41.1% 提至 50.4%,但这不是所有视频任务都稳定改善的通用结论。

Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

VST 不等用户提问才整理视频,而是在播放中把当前视觉片段转成可累积的语义记忆,再以因果微调和最终答案奖励训练这一过程;7B 模型在 StreamingBench 达到 79.5%,在 VideoHolmes 达到 41.9%,查询响应延迟为 0.56 秒,但后台推理计算并未消失。

Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning

CARVE 用同一模型对“具体问题”和“通用图像描述”的注意力比值提取任务相关区域,再遮蔽背景、裁剪放大并重新作答,无需训练便将 LLaVA-1.5-7B 的 V* 准确率从 38.7% 提升至 66.5%,但需要三次生成流程。

Make Geometry Matter for Spatial Reasoning

GeoSR 通过训练时削弱二维外观捷径、融合时逐 token 逐通道分配几何贡献,让已有几何分支真正参与空间问答,在 VSI-Bench 和 DSR-Bench 上分别取得 51.9 和 66.1 的官方平均分。

SyncLoop: A Multimodal Dual-Loop Framework for Self-Improving Mathematical Reasoning

SyncLoop 先同步生成更复杂的数学图像与问题,再依据当前模型的答题错误率筛选训练样本,通过数据与模型双循环,在三轮演化后将 Qwen2-VL-7B 的 Geo-Sub-Aux 准确率从 40.4% 提高到 52.4%(表 2,第 10 页)。

Let's Reward Step-by-Step: Step-Aware Contrastive Alignment for Vision-Language Navigation in Continuous Environments

SACA 用冻结的视觉与语言模型定位导航轨迹中“前面做对了什么、从哪里开始出错”,按采样组是否存在成功轨迹分别修复或救援失败样本,在不增加审计器推理开销的情况下,将无额外数据的 R2R-CE / RxR-CE 未见验证集成功率提升至 60.3% / 60.3%。

VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

VDC-Agent 让同一个多模态模型生成、评价并反思视频描述,再用轨迹偏好对进行由易到难的 DPO,将多轮改进转化为单次生成能力,在 VDC 上达到 49.08% 平均准确率,在 DREAM-1K 上达到 37.4% F1。

Video-Holmes: Can MLLM Think like Holmes for Complex Video Reasoning?

Video-Holmes 用 270 部悬疑短片的 1,837 道问题检验模型能否自行找到并串联分散线索,主表最佳模型 Gemini-3.0-Pro 仅达 49.6%,而单次观看的人类基线为 96.3%。

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

CoVT 让 VLM 在回答前生成受分割、深度和语义专家监督的连续视觉 token,用 16 个潜在感知状态代替单纯文字化的中间观察,在 Qwen2.5-VL-7B 上将 CV-Bench 从 74.5 提至 80.0,其中深度子任务提高 14.0 个百分点。

GeoBrowse: A Geolocation Benchmark for Agentic Tool Use with Expert-Annotated Reasoning Traces

GeoBrowse 将弱视觉线索定位与隐藏实体的多跳知识问答组成 300 题基准,并用专家证据轨迹诊断 GATE 工具工作流;Gemini-3-Pro 的表 4 汇总准确率在两级任务上分别达到 48.2% 和 34.7%。

查看全部171篇「VLM Reasoning」论文 →


⚡ VLM Efficiency (62)

ToDRE: Effective Visual Token Pruning via Token Diversity and Task Relevance

ToDRE 先在 LLM 输入前贪心保留多样的视觉 token,再在跨模态交互衰减的深层移除全部剩余视觉 token,无需训练即可让 LLaVA-NeXT-7B 在仅保留 10% 输入视觉 token 时维持八项图像任务平均 95.0% 的相对性能,并在四任务消融计时中达到约 2.6× 加速。

Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models

Fourier Compressor 将视觉特征网格变换到频域,截取低频后在更小网格上重建;配合适配训练,LLaVA-v1.5-7B 从 576 个视觉 token 压到 36 个时,八项基准平均分由 64.6 降至 62.1,FLOPs 从 8.54 T 降至 1.38 T。

ResilPhase: Plug-and-Play Phase Mapping and Noise-Resilient Macro-Trajectory Extrapolation for Diffusion Acceleration

ResilPhase 将 DiT 免训练加速从逐层导数外推范式重构为 ODE 空间中的宏观轨迹外推:用端到端 Global Drift 消除逐层误差级联,用无导数 Barycentric Lagrange 插值绕过导数混沌噪声,再用 Chebyshev/Balanced 相位映射将离散时间步投影到有界相位空间以抑制 Runge 现象,在 FLUX.1-dev 上以约 5 倍加速仍保持 SOTA 画质。

Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction

PriorTR 是一种无需训练的视觉 token 剪枝方法,通过用 null token(分隔符)估计模型固有的注意力先验,再用 V-可用信息 \(P \cdot \log(P/Q)\) 替代原始注意力分数进行 token 排序,在单次前向传播中完成先验校正与物理剪枝,在激进 token 预算下显著提升了 MLLM 的精度-效率权衡。

DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed Latent Space

DC-Gen 先对齐输入与输出接口,再用 LoRA 将预训练扩散主干迁移到更少 token 的深压缩潜空间,在多类生成任务上接近原模型质量;论文报告 FLUX 4K 生成最高 53.8 倍加速,但计时仅覆盖 Transformer 主干。

RoMa v2: Harder Better Faster Denser Feature Matching

RoMa v2 用冻结 DINOv3 上的多视图粗匹配、解耦训练的高效细化和像素级不确定度预测,兼顾困难视角匹配与亚像素精度,在 AerialMegaDepth 上将 RoMa 的 EPE 从 25.05 降至 4.12 像素,但并未在极端跨模态泛化或绝对速度上全面领先。

Semantic-Geometric Dual Compression: Training-Free Visual Token Reduction for Ultra-High-Resolution Remote Sensing Understanding

DualComp 根据问题对物体语义与场景几何的不同需求,动态组合局部语义聚合与结构路径补全,在 XLRS-Bench 的 GeoLLaVA-8K 实验中将报告的平均准确率从 51.5% 提高至 53.1%,同时把推理时间从 8.15 降至 3.87 秒/图;免训练的是压缩模块,而非离线路由器。

SMART: When is it Actually Worth Expanding a Speculative Tree?

SMART 提出了一套硬件感知的边际分析框架,将推测解码中的推測树构建重写为最大化端到端加速比的序列决策问题——只有在节点的边际收益-成本比超过当前树的整体加速比时才扩展该节点,从而避免了大批量下验证开销超线性增长导致的"负加速"悖论,平均额外带来 20.0%(MLLM)和 15.4%(LLM)的加速提升且无需重新训练。

Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training

Spatial-TTT 将在线更新的快权重、局部滑窗注意力与少量全注意力层结合,用稠密三维场景描述教会模型保留空间证据,使 2B 模型在 VSI-Bench 上取得 64.4 分,并在 1024 帧输入时比 Qwen3-VL-2B 使用更少显存与计算。

3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering

3DZip 在语言模型前依次用粗体素化去除重复观测、用特征多样性 DPP 选择锚点、用空间约束合并补回上下文,在 LLaVA-3D 上将 1410 个视觉 token 压至 128 个,保留论文报告的 94.7% 相对性能,并在单张 RTX 4090 上将单样本推理延迟从 342 ms 降至 178 ms。

查看全部62篇「VLM Efficiency」论文 →


🎵 音频/语音 (26)

DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning

DecepGPT 用结构化视听报告监督和 SICS、DMC 两个训练组件改进数据集内的欺骗分类,在 DOLOs 达到 73.23% 准确率,但这些结果不构成可靠现实测谎的证据。

MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech

MGM-Omni 将多模态理解与语音合成拆成脑口双轨,用双音频编码器增强理解、分块并行解码稳定长语音生成,在自建 Long-TTS-Eval 上以 2B SpeechLM 达到英文 WER 4.98% 和 RTF 0.19,并支持参考音色控制。

CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing

CoSyncDiT 将电影配音中的音色学习、口型节奏校准和文本对齐依次组织到流匹配 Transformer 中,再用帧级对比学习与 CTC 约束对齐,在 CinePile-Dub 零样本 Setting 2 上取得 47.24% 说话人相似度、7.53% WER 和 0.319 Sync-KL(原文表 5)。

HiChor: Hierarchical Choreography Generation from Pop Music with Choreographic Primitives

针对现有基于音乐的舞蹈生成模型缺乏专业编舞结构、生成动作流于即兴拼凑的问题,HiChor 借鉴专业编舞理论中的核心基元(乐句切分、节奏与能量双重对齐、语义风格化),构建了一套分层扩散架构,通过分乐句独立生成、扩散级编辑(ChoreoEdit)增强能量特征与全局平滑,并由大语言模型将高层语义转化为底层特征指令以自适应调制扩散步数,实现了兼具丰富乐句多样性、强音乐对齐度与自然连贯性的专业级长程编舞。

HumanOmni-Speaker: Identifying Who said What and When

针对全模态大模型在多说话人交互中无法准确判定“谁在何时说了什么”以及依赖低帧率静态视觉捷径的缺陷,本文提出了视觉注册说话人日志与识别任务(VR-SDR)及基准,并设计了通过视觉残差编码器(以 25 fps 抽取残差并压缩至每帧 6 个 token)实现高频时空对齐的 HumanOmni-Speaker 模型。

InfiniteDance: Scalable 3D Dance Generation Towards in-the-wild Generalization

InfiniteDance 将互联网舞蹈视频转成经过物理与足部修复的 100.69 小时三维动作数据,再用连续嵌入、参考舞蹈检索和节奏混合专家训练 ChoreoLLaMA,在本数据集上将运动学 FID 从 Lodge 的 89.52 降至 30.54,但其真实场景泛化仍受慢音乐评价和长序列结构限制。

JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching

JAM-Flow 把 LivePortrait 的低维嘴部表情关键点与 F5-TTS 的梅尔谱当成同一个流匹配框架下两个可互相遮罩的模态,用半量共享注意力的双流 MM-DiT、RoPE 时序对齐和模态非对称注意力掩码联合训练,一个约 500M 的模型同时覆盖说话头生成、TTS、动作→音频与自动配音,20 秒视频在单张 RTX A6000 上 45 秒生成。

JoVA: Unified Multimodal Learning for Joint Video-Audio Generation and Editing

JoVA 提出了一个流线型的音视频联合生成与编辑统一框架,摒弃割裂的跨模态交叉注意力模块,改用原生联合自注意力与通道级条件注入,配合自适应局部嘴部流匹配损失,在单一模型中实现了高质量音视频生成、参考图引导合成以及指令驱动的音视频协同编辑。

Meric: A Unified Framework for Multimodal Music Generation and Retrieval via Representation Space Anchoring

Meric 提出了以预训练音乐语义表征为锚点的解耦架构,通过两阶段训练分别在大规模无标注单模态音乐上拟合 Flow-DiT 声学解码器、在多模态配对数据上通过轻量扩散式 Music Head 建模一对多语义映射,以统一前向过程同时实现了高保真跨模态音乐生成与零样本跨模态检索。

MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal Forgery Localization

MG-RWKV 提出基于 RWKV 线性复杂度递归架构的时序伪造定位(TFL)框架,通过双向 RWKV 捕获全局时序上下文、多粒度混合专家(MG-MoE)自适应选择显式时间感受野、以及跨粒度一致性约束(CGC)消除多尺度特征间的矛盾预测,在 Lav-DF、TVIL、Psynd、AV-Deepfake1M 四个基准上全面超越此前 SOTA,同时保持 O(T) 线性复杂度,推理仅需 73.4ms。

查看全部26篇「音频/语音」论文 →


🔎 AIGC 检测 (9)

Beyond Artifacts: Real-Centric Envelope Modeling for Reliable AI-Generated Image Detection

REM 不再主要追逐已知生成器的伪影,而是用受控重建样本学习真实图像的特征包络,并约束该包络跨退化保持稳定,在 RealChain 链式退化测试中达到 84.2% 平衡准确率,比 DDA 高 18.4 个百分点。

Caption Bottleneck Models

CaBM 将图像先转成去除类别名称的自然语言描述,再由独立的纯文本分类器识别类别,并从分类证据中发现概念,在切断视觉特征旁路的同时取得有竞争力但并非全面领先的分类表现。

Code-in-the-Loop Forensics: Agentic Tool Use for Image Forgery Detection

本文提出 ForenAgent:把 12 个低层取证算子(FFT、DWT、重采样周期、SRM、Bayar、PRNU、JPEG Ghost 等)做成 MLLM 可直接调用的工具箱,让模型在多轮交互中自主生成并执行 Python 代码、再把沙箱回注的取证图当观测继续推理,配合"冷启动 + 四阶段过程奖励 GRPO"两阶段训练,在自建的 10 万图三分类基准 FABench 上把整体准确率从最强基线的 81.2% 提升到 89.5%,并在 SIDA-Test 上以 83.1% 取得最好的跨数据集泛化成绩。

Efficient Document Tampering Localization with Multi-Level Discrepancy Features and Unified DCT-Quantization Embedding

DiffNet 通过两项互补设计——多层差异变换将特征金字塔从内容信号转为符号不变的差异强度信号,以及统一 DCT-量化联合嵌入用离散 embedding 替代传统高开销频率感知头(FPH)——在跨域和人工篡改文档定位上以更低计算成本取得了约 30% 的 F1 提升,吞吐量最高提升 7 倍。

From Masks to Pixels and Meaning: A New Taxonomy, Benchmark and Metrics for VLM Image Tampering

现有篡改基准用对象掩码标注"哪里被改",与真实的生成编辑信号严重错位;本文把 VLM 图像篡改重定义为像素级 + 语义 + 语言感知的任务,发布 42 万图像对的 PIXAR 基准(8 类编辑原语、阈值化像素标签 \(M_\tau\) 与语义类标签),并配套五损失联合训练框架和像素/语义/语言三档指标,在同骨干下把篡改定位 IoU 从 11.8% 提到 18.1%。

Q-REAL: Towards Naturalness and Distortion Evaluation for AI-Generated Content

针对文生图质量评估仅依赖单标量评分且缺乏可解释归因信号的缺陷,本文提出了包含10K张图像、3.2万余个实体级问答与归因描述的细粒度基准Q-Real,并构建了“对象判别-全图定位推理-CoT质量回归”三阶段训练管线,显著提升了多模态大模型在AI生成图像瑕疵检测与可解释质量评分上的综合能力。

SPLIT: Training-Free AI-Generated and Partially Edited Video Detection via Spatial Patch-Level Incoherence and Temporal Roughness

SPLIT 用一个完全免训练的检测器在冻结视觉编码器的 patch token 上算两个统计量——两步时间粗糙度(TTR,比较 1 步与 2 步累积位移)与局部空间运动不一致(LSMI,特征空间运动场的空间梯度)——乘性融合并做 γ 校正后,仅用真实视频标定阈值,在 FakeParts / GenVideo / ViF-Bench 三个基准的 FPR = 0.1% 操作点上取得最高 Fake Recall(FakeParts 74.45%,远超最强监督基线 ReStraV 的 35.67%)。

Trustworthy Image Authentication using Forensic Knowledge Graphs

把图像取证的「找证据」和 VLM 的「说人话」拼成一套系统:先用自监督学到的取证指纹把图像切成来源一致的区域、判定每块区域的源/后处理/压缩历史,组织成一张结构化的「取证知识图谱」,再让 VLM 依图逐条给出可核验的自然语言判据,在检测、伪造类型/定位、取证解释三个维度全面超过纯取证器和纯 VLM。

Asymmetric Anchoring: Opening the Black Box of MLLMs for Forgery Detection

AAP 在多模态大模型内部只把真实图像的中间表示拉向冻结视觉编码器提供的参考,同时把逐位置的对齐误差交给定位解码器,使 AAP-lisa 在 SID-Set 上达到 97.1% 检测准确率和 56.8% 定位 IoU。


🧊 重建与渲染 (168)

VolSplat: Rethinking Feed-Forward 3D Gaussian Splatting with Voxel-Aligned Prediction

VolSplat 保留多视图深度估计,却把“每个像素直接产生一个高斯”改为“先把带特征的预测点聚合到共享体素、再在三维邻域精化并预测高斯”,在 RealEstate10K 的 6 视图设置达到 31.30 dB PSNR,并将改进重点放在跨视图融合位置与基元组织方式,而非取消深度或相机依赖。

ReSplat: Learning Recurrent Gaussian Splatting

ReSplat 先从带位姿图像构造紧凑高斯场,再把该场景对输入图像的解释误差交给共享循环网络修正,而非测试时求梯度;在 DL3DV 八视图实验中,固定约 246K 高斯由初始化的 26.21 dB 提升至四轮后的 27.70 dB,同时保留可反复快速渲染的显式场景。

Repurposing Geometric Foundation Models for Multi-view Diffusion

GLD 把 DA3 的多视图几何表示变成扩散潜空间:联合生成中间层,用冻结骨干推导深层、级联生成浅层,再从同一层级解码 RGB 与几何;在两源视图的 Re10K 评测中取得 PSNR 16.362,优于相同扩散训练设置的 VAE/DINO,但分布外位姿指标并非全面领先。

Syn4D: A Multiview Synthetic 4D Dataset

Syn4D 将高质量动态场景渲染与紧凑的网格跟踪标注结合,提供约 4.7K 多视角片段、1.4M 帧,并在不改变 4RC 架构的条件下,把 Soviet 测试集的稠密跟踪 APD 从 58.35 提升至 74.46。

MVGS: Multi-view Regulated Gaussian Splatting for Novel View Synthesis

MVGS 将高斯泼溅的单视角逐步拟合改为多视角联合更新,并结合跨内参引导与两类增密,在 Mip-NeRF 360 上将 3DGS 的 PSNR 从 28.69 提高到 29.61,但训练时间也从 0.3 小时增加到 2.4 小时。

Drop-In Perceptual Optimization for 3D Gaussian Splatting

本文把 3DGS 训练用的 2D 失真损失本身当作唯一的设计变量,系统比较了原始 L1+SSIM、L1+L2+MS-SSIM+LPIPS 复合损失与 Wasserstein 失真(WD)三类目标,并用 39,320 次成对人工评分的大规模主观研究定胜负,选出 WD 的轻正则版本 WD-R:只替换损失、不改任何 3DGS 算法,就能在人工偏好上达到原损失的 2.3 倍以上、比 Perceptual-GS 高 1.5 倍,且在 Mip-Splatting、Scaffold-GS 与压缩场景中同样生效(压缩场景约省 50% 码率)。

GaussianLens: Localized High-Resolution Reconstruction via On-Demand Gaussian Densification

GaussianLens 以低分辨率图像前馈重建出的全局 3DGS 为骨架,对用户用 2D 掩码框选的兴趣区域额外输入该区域的稀疏高分辨率图像,用一个跨模态网络预测区域内高斯的残差式更新、并按高分辨率像素逐点撒下"像素引导高斯",把局部高清重建从"全局抬高分辨率"变成一次按需前馈——在 RE10K 256→512 与 DL3DV 256→1024 上分别达到 28.54 / 23.74 dB PSNR,比同等条件下的基线高 1 dB 以上,高斯数仅为全局高分辨率方案的 40%。

GeoWorld: Providing Full-frame Geometry Features to Facilitate 3D Scene Generation

GeoWorld 先补全相机轨迹下的粗视频,再把 VGGT 提取的全帧几何信息作为第二阶段的视频条件与训练约束,使 RealEstate10K 新视角合成 PSNR 达到 17.28 dB,随后重建的 3DGS 场景达到 16.64 dB。

Matryoshka Gaussian Splatting

MGS 把高斯按不透明度动态排序,并联合训练随机长度前缀与全集,使一个场景模型支持细粒度预算截断,在 MipNeRF 360 上获得 28.20 dB 全集 PSNR 和 64.81 的质量与帧率曲线面积,但训练时间约为骨干的两倍。

Monte Carlo Energy Aggregation for Mobile 3D Gaussian Splatting

Flux-GS 通过蒙特卡洛镜面能量聚合将三阶球谐函数压缩为一阶表示,辅以零推理开销的属性条件增强模块和多视图 alpha 加权致密化/剪枝策略,在移动端骁龙 8 Gen 3 上实现 130+ FPS 的实时高保真新视角合成,同时将存储压缩至 2-5 MB,训练时间从 Mobile-GS 的 80+ 分钟降至 11 分钟。

查看全部168篇「重建与渲染」论文 →


🧊 3D 生成与编辑 (50)

OmniX: From Unified Panoramic Generation and Perception To Graphics-Ready 3D Scenes

OmniX 把预训练的 2D 流匹配模型(Flux.1-dev)改造成「多条件输入 → 多模态输出」的统一全景模型:用循环平移等变的算子改造消掉等距柱面接缝、用模态专属 LoRA 隔离各路条件输入,一个框架同时做图像→全景生成、RGB→距离/法线/反照率/粗糙度/金属度感知与掩码补全,再把距离图与材质图投影成带 PBR 材质的三角网格,得到可直接导入 Blender 做重光照与物理仿真的 graphics-ready 三维场景。

TriFlow: Generating Artist-Like 3D Mesh Topology via Nearest-Vertex Vector Fields

TriFlow 把网格拓扑表示成定义在表面上的最近顶点向量场(NVF,每个表面点指向它所在三角形里重心坐标最大的那个顶点),用条件隐空间流匹配从输入 SDF 生成这个场,再用分水岭聚类加约束 QEM 化简把场无损地提取回网格——绕开了自回归序列建模的慢推理与误差累积,几何误差相对此前最好的学习类方法在 Objaverse 上从 0.98 降到 0.12、单样本推理快约 8 倍,生成的拓扑在 VLM 与人工偏好评测中全面胜出。

Ultra3D: Efficient and High-Fidelity 3D Generation with Part Attention

Ultra3D 先用紧凑 VecSet 确定物体粗布局,再用沿部件边界组织的注意力生成稀疏体素潜特征,在支持 1024 分辨率网格的同时,相对全注意力基线取得部件自注意力 6.7×、DiT 推理 3.3× 的加速。

PixGS: Pixel-Space Diffusion for Direct 3D Gaussian Splat Generation

PixGS 把 3DGS 的每个高斯属性排布成多视角「属性图像」,用预训练像素空间扩散模型(PixNerd,约 4500 万张图像先验)以流匹配方式直接去噪这组属性张量,配上 2 倍超分渲染监督、深度/法线与多尺度 LoG 正则以及三阶段训练课程,在单卡 A100 上约 1 秒完成文本或图像条件的 3DGS 生成,并在 T3Bench 与 GSO 上同时超过 DiffSplat、TRELLIS、GaussianCube、LGM、DreamGaussian 等基线。

TanGO: Training-Free 3D Editing via Tangent-Space Guidance and Optimization

TanGO 把基于 VecSet 潜表示的流匹配 3D 生成模型的文本编辑,写成每一步都要解一次的瞬时单步最优控制问题:用源/目标条件速度场之间逐 token 的方向失配(vMF 负对数似然,即 \(1-\cos\theta_i\))决定每个 token 的引导增益,闭式解让该改的 token 被强推、该保留的 token 被压住,从而在不需要掩码、不需要微调、也不需要反传优化的前提下完成局部编辑;在自建 TanGOEdit 基准上 CLIP-T/CLIP-I/DINO-I 分别为 0.2301/0.7679/0.6510,全面超过 FlowEdit 与 AnchorFlow,单次编辑耗时约 28.7 秒。

OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder

OneWorld 摒弃传统的 2D/视频潜在空间生成范式,构建融合外观与语义的 3D 统一表征自编码器并在其几何感知空间中直接扩散生成 3D 高斯泼溅场景,配合跨视角对应约束与流形漂移强化解决多视角一致性与曝光偏差难题。

Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow

Seen2Scene 是首个直接在不完整真实 3D 扫描数据上训练的流匹配场景补全与生成方法,通过显式掩码未知不可见区域的可见性引导流匹配(Visibility-Guided Flow Matching)与稀疏 VAE,在保留观测表面几何的同时高质量补全复杂现实室内场景。

3D Gaussian Texture for Real-time Mesoscale Appearance Synthesis and Rendering

本文把三维高斯组织为按离表面高度分层的规则纹理,使草叶、榴莲尖刺和编织缝隙等中尺度结构能够按样例实时合成、映射到新网格并进行基础重光照,在四组实验中均优于 NeRF-Texture 的 SIFID,图 4 所示耗时为 3.28–4.98 ms。

AC3S: Adaptive Conditioning for 3D-Aware Synthetic Data Generation

本文提出AC3S,通过自适应视觉提示调制器动态衰减ControlNet的条件注入强度,并辅以多智能体VLM系统生成与几何结构一致的文本提示,在保持3D姿态精确对齐的前提下大幅提升合成图像的逼真度和多样性,FID相较基线3D-DST降低15.95点,下游分类和姿态估计任务均取得显著提升。

AIMold: An Autonomous AI-based Pipeline for Complex Mold Design

AIMold 将复杂零件的模具设计串成方向筛选、粗体素装配生成、潜变量几何细化与 CAD 后处理,在 MoldCAD 测试集上将辅助组件生成的 COV 从 VecSet 基线的 21.24% 提升至 57.29%,但生成结果仍需下游制造验证。

查看全部50篇「3D 生成与编辑」论文 →


🧊 3D 表示与场景理解 (57)

P3-SAM: Native 3D Part Segmentation

P3-SAM 从约 370 万个三维资产中提取原生部件监督,让单个正点经两阶段网络产生三个部件候选,再用质量预测、自动选点和重复抑制形成整物体分割;在不利用部件连通性先验的 PartObj-Tiny 设置中取得 59.88 IoU,对比 PartField 为 53.93。

OpenGround: Planning-based Online Perception for Open-World 3D Visual Grounding

针对现有零样本 3D 视觉定位受限于离线预定义对象查找表(OLT)而无法定位表外未见目标的问题,OpenGround 提出任务链规划将复杂长文本查询解构为渐进式子目标序列,并利用已定位锚点实现上下文引导的在线 2D 感知与 3D 几何提升,在新建的开放世界基准 OpenTarget 上大幅超越强基线。

Abstract the Layout, Focus the Detail: A Dual-Granularity Representation Framework for Zero-Shot 3D Visual Grounding

本文将三维场景改写成用于空间推理的抽象布局和用于外观核验的物体细节图,让现成 VLM 按“先空间、后视觉”选择目标,在 ScanRefer 达到 45.0% [email protected],在不提供 GT 物体类别的 Nr3D 达到 63.2% 准确率。

Ada-VNNs: Adaptive Equivariance for Vector Neural Networks

Ada-VNNs 在严格旋转等变的向量神经元骨干后加入可放松坐标权重共享的残差分支,让训练数据决定等变约束的实际强度,在 ShapeNet 近似连续自对称类别上将 VNN 的 10° 配准召回率从 8.87% 提升至 70.31%,但并非所有任务都受益。

Agentic Collaborative Cognition for Zero-Shot 3D Understanding

这篇论文把零样本 3D 场景理解改造成 Planning Agent 与 Perception Agent 围绕显式 holistic cognitive map 反复协作的过程,通过主动补关键视角、跨视角记录物体属性和反馈式候选过滤,在 ScanRefer / Nr3D / SQA3D / ScanQA 等 6 个基准上明显优于已有零样本方法。

AnyGround3D: Towards Grounding Any 3D Object in the Wild via 2D-to-3D Lifting

AnyGround3D 把 COCO、KITTI 等单目图像自动提升为带场景点云、完整物体三维框和自然语言描述的 3D grounding 监督,再将 DINOv2 语义蒸馏到三维编码器,在 3EED 联合集上达到 66.76/31.34 [email protected]/0.5,并在无需针对性微调的 Mono3DRefer 测试集达到 62.71/54.79。

Articulated Object Reconstruction from Rest-State Observation

Rest2Art 提出了首个仅从单一静止闭合状态网格重建多部件铰接物体的框架,通过视觉语言模型与分割模型的迭代互校解耦部件层级,并借助视频扩散模型合成运动假设结合网格刚体投影优化求解关节参数。

AutoPhyX: Automatic Text-Condition Physics Property Generation

AutoPhyX 提出了首个文本条件引导的前向 3D 物理属性预测框架,通过神经辐射场体素化与 FiLM 跨模态特征调制,在单次前向推理中为任意 3D 资产回归稠密杨氏模量、泊松比与密度场,有效消除纯视觉反演的物理多义性。

Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis

针对现有 3D 开放词表语义分割将物体视作孤立实体而难以辨识外观相似物体的痛点,RelGraphOV 提出结合多视角 VLM 链式思维推理构建关系感知 3D 场景图,并通过自适应门控双流上下文 GAT 与层次对比学习解耦传播稠密几何与稀疏语义,显著提升了细粒度与长尾场景理解能力。

Boosting 6D Object Pose Estimation via Monocular Depth Cues

MDC-Net 将单目深度的尺度校正、几何内点筛选与循环位姿细化相互反馈,在推理时不使用真实深度,以单个位姿假设取得七个 BOP 数据集平均 AR 66.9%,但论文部分辅助表格和训练描述存在不一致。

查看全部57篇「3D 表示与场景理解」论文 →


🧊 深度、法线与立体 (39)

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything 用随机稀疏深度提示组织约2000万异构图像深度对的预训练,再把条件教师的稠密伪标签蒸馏给纯 RGB 学生,在深度补全和单目度量深度上取得较好的平均排名,并展示依赖数据、提示与蒸馏设计共同作用的规模收益。

FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry

FoundationGeo 先学习高质量相对点图,再用像素尺度场和射线方向校正恢复真实尺度,并以焦距多样化合成数据补齐相机分布,在七个零样本度量深度基准上取得平均 AbsRel 14.8%、\(\delta_1\) 80.8%。

LinStereo: Linear-Complexity Global Attention for Multi-Scale Iterative Stereo Matching

LinStereo 把迭代式立体匹配里那个一直在局部窗口里打转的 ConvGRU 更新算子换成位置感知的线性注意力(PALA),让每一次精修都能在整张特征图上做 O(N) 的全局聚合,再配上逐尺度相关体(HSCV)与单目深度暖启动(DPI),只用 SceneFlow 训练就在标准基准上达到同级最强,并在无水下数据的情况下于 TartanAir-UW / SQUID 上拿到最好精度。

WildDepth: A Multimodal Dataset for 3D Wildlife Perception and Depth Estimation

WildDepth 建立了首个包含 29 个物种、20.2 万精选帧的野外同步 RGB-LiDAR 多模态数据集,揭示了主流单目深度模型在远距离非刚性野生动物场景下的严重退化,并提出了基于稀疏激光锚定对齐与形变高斯泼溅的度量级 3D/4D 重建基准。

From Perspective to Fisheye Depth Estimation and Open-Vocabulary Segmentation

本文提出 Distortion Extenders(DEX)——一组插进冻结主干每一层的轻量可学习调制器,通过在隐空间把鱼眼图像的特征分布拉回透视图像的特征分布,让只在透视数据上预训练的深度估计与开放词汇分割基础模型零样本迁移到鱼眼相机,训练不需要真值深度也不需要真实鱼眼图像,测试时不需要标定或重投影;在 ScanNet++、KITTI-360 与 WoodScape 三个真实鱼眼数据集上同时改善了 RMSE/δ1 与 mIoU,并且 DEX 的激活还能被解码回 KB 畸变系数用于相机标定。

A second-order theory of texture for depth from focus

本文从波动光学解释看似无纹理表面仍具有可用于聚焦深度估计的主观散斑,并用窄带滤光片提高其对比度,在自然环境光下恢复原本难以重建的表面,但收益需要额外曝光时间且依赖材料与照明条件。

AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World

本文构建了包含四个互补子集的大规模无人机航拍单目度量深度基准 AerialMetric(52K 真实 + 16K 合成图像-深度对),系统性揭示了现有 SOTA 模型在空域视角下 δ1 接近 0 的严重域差距,并通过 LoRA 参数高效微调 MoGe2 在几乎不损失地面泛化能力的前提下将空域 δ1 提升至 84% 以上。

Any to Full: Prompting Depth Anything for Depth Completion in One Stage

Any2Full 将稀疏深度编码为尺度提示,在冻结的 Depth Anything v2 内部引导几何一致的相对深度预测,再一次性恢复公制尺度,在跨域与多种缺失模式评测中取得 2.3 的平均排名,并以相同 DA-L 骨干实现比 PriorDA 约 1.4 倍的推理速度。

AquaStereo: Enabling Underwater Stereo Matching via Depth-Conditioned Diffusion and Geometry Self-Distillation

针对水下立体匹配真实数据匮乏与严重特征退化痛点,AquaStereo 提出深度条件扩散生成结合左右一致性校验构建大规模几何保真水下立体数据集,配合冻结陆地教师的跨域几何自蒸馏与时序感知增强特征匹配器,在无需目标域微调下大幅刷新零样本水下泛化性能。

Bridge-UniPS: Bridging Calibrated Photometric Stereo toward Universal Photometric Stereo

Bridge-UniPS 提出了一种将泛日光度立体(UniPS)桥接到校准光度立体(CPS)的新范式,通过可学习的光照适配器将任意未知光照图像转化为 CPS 兼容的桥接图像-光照对,并在无中间监督下借助冻结的预训练 CPS 网络反传梯度,实现了物理可解释且高精度的表面法线估计。

查看全部39篇「深度、法线与立体」论文 →


🧊 几何匹配与定位 (77)

XYZ-IBD: Benchmarking Robust 6D Object Pose Estimation under Real-World Industrial Complexity

XYZ-IBD 用多传感器真实料箱数据、喷涂辅助几何标注及噪声匹配仿真建立工业 6D 位姿基准,在 15 种零件上揭示现有方法的明显性能缺口,其中 SAM6D 的 XYZ-IBD 6D AP 为 0.578,而其 BOP-Core 5 平均值为 0.704。

4D-VGGT: A SpatioTemporal Foundation Model for Dynamic Scene Geometry Estimation

4D-VGGT 用自适应视角-时间网格组织输入,让跨视角全局融合与跨时间局部融合并行学习空间和运动线索,再按任务分配给五类预测头,在 Bonn 相机位姿估计上取得 ATE 0.017,并通过消融展示空间分支与时间分支的不同贡献。

DINO-SLAM: DINO-Informed RGB-D SLAM for Neural Implicit and Explicit Representations

DINO-SLAM 用在线优化的场景几何编码器将冻结 DINOv2 特征与深度融合成 geoDINO,再分别接入隐式和显式地图,使基于 GauS-SLAM 的版本在 Replica 八场景平均 PSNR 上从 40.25 提升到 41.42 dB,同时改善深度与轨迹误差。

E-M3RF: An Equivariant Multimodal 3D Re-assembly Framework

E-M3RF 将随旋转一致变化的几何特征与逐点颜色特征融合,用 SE(3) 流匹配预测碎片位姿,并在训练时惩罚相互穿透,使 RePAIR 上的旋转 RMSE 从 GARF 的 49.31° 降至 37.91°,但并非在所有泛化数据集的所有指标上都占优。

CAM3R: Camera-Agnostic Model for 3D Reconstruction

针对前向三维重建基础模型受限于针孔假设、在广角与非透视镜头下严重退化的问题,CAM3R 将两视角几何解耦为球谐光线方向场与径向距离/相对位姿,并提出光线感知全局对齐,实现了无需标定即可跨全景、鱼眼及针孔相机的高保真三维重建。

Geometric Context Transformer for Streaming 3D Reconstruction

GCT 借鉴经典 SLAM 的三层空间上下文分解思想,提出几何上下文注意力(GCA),解耦出锚点上下文、局部姿态参考窗口与轻量轨迹记忆,将流式重建单帧 token 膨胀率降低约 80 倍,在 H800 上以 20 FPS 稳定运行超长视频序列并大幅超越现有流式与优化方法。

Register Any Point: Scaling 3D Point Cloud Registration by Flow Matching

RAP 将多视图点云配准改写为局部几何条件下的点坐标生成,用逐步刚性约束稳定流匹配采样,再从生成点恢复各视图位姿,在作者提出的跨域零样本基准上取得 85.9% 边成功率、77.3% 图成功率和平均 8.9 秒的运行时间。

RoMa v2: Harder Better Faster Denser Feature Matching

RoMa v2 用冻结 DINOv3 上的多视图粗匹配、解耦训练的高效细化和像素级不确定度预测,兼顾困难视角匹配与亚像素精度,在 AerialMegaDepth 上将 RoMa 的 EPE 从 25.05 降至 4.12 像素,但并未在极端跨模态泛化或绝对速度上全面领先。

Track4World: Feedforward World-centric Dense 3D Tracking of All Pixels

Track4World 用全局视频几何支撑二维到三维相关性解码,以可查询的帧对场景流构建每帧所有像素的世界坐标轨迹,在 KITTI 上取得 0.0742 的 EPE3D,同时避免把昂贵的三维邻域搜索直接扩展到全像素。

Wid3R: Wide Field-of-View 3D Reconstruction via Camera Model Conditioning

Wid3R 把多视图前馈重建的输出从「点图」改成「球谐射线方向 + 沿射线径向距离」的解耦表示,并用可学习的相机模型 token 显式条件化共享主干,使同一个网络无需标定和去畸变就能对鱼眼、360° 畸变图像单次前向预测稠密点图与相机位姿;在 Zip-NeRF(鱼眼)上把 AUC@30° 从 π3 的 40.94 提到 74.61,在 Stanford2D3D(360°)上从之前最好的 2.60 提到 79.93。

查看全部77篇「几何匹配与定位」论文 →


🎯 目标检测 (80)

What is the Right Embedding Space for Contrastive Learning in Referring Expression Counting?

论文把指代计数(REC)里的对比学习从"图像-文本嵌入空间"整体搬到"纯图像嵌入空间",用二分匹配在现场划出正负样本、把负样本池从个位数扩到上百个图内视觉 token,并只让正类 token 充当锚点;这套即插即用的 C-REX 在三种检测式 REC 架构上一致涨点,REC-8K 上 MAE 最多降 28%、RMSE 最多降 24.5%,还能迁移到类别无关计数。

PKINet-v2: Towards Powerful and Efficient Poly-Kernel Remote Sensing Object Detection

PKINet-v2 用异构卷积核兼顾遥感目标的形状与尺度,再将训练时的多分支聚合等价合并以加速部署,在单尺度 DOTA-v1.0 上以 80.46% mAP 和 54.60 FPS 超过 PKINet-v1-S 的 78.39% 与 14.05 FPS。

Adaptive Spectrum-Aware Feature Disentangled Network for Small Object Detection

SFDNet将特征在频谱域显式解耦为低/中/高三频分量,分别为每个频谱设计专属的Mamba扫描策略进行上下文建模后自适应融合,同时构造类别级原型通过对比蒸馏压缩同类目标特征分布,在AI-TOD和SODA-D/SODA-A上大幅超越此前SOTA。

Low-latency Event-based Object Detection with Spatially-Sparse Linear Attention

SSLA 把线性注意力的全局状态拆成几何路由的局部子状态,以并行训练、逐事件递归推理支持低延迟检测,SSLA-L 在 Gen1 上达到 0.375 mAP,单事件计算量为 0.724 MFLOPS,实测单核处理延迟为 7.20 微秒。

MATCH: Flow Matching for Multi-View Anomaly Detection

MATCH 是首个基于 Flow Matching 的多视图异常检测方法,用 ODE 形式的连续归一化流在预训练特征空间上做密度估计,通过省略散度项实现实时推理(18.77 FPS),在 Real-IAD 和 MANTA-Tiny 两个基准上均取得 SOTA 的检测和分割性能。

Orthogonal Knowledge Refreshing for Domain-Incremental Object Detection

针对无范本域增量目标检测中的灾难性遗忘与跨域干扰问题,本文提出基于参数高效微调的正交知识更新(OKR)框架,通过为新域增量构建独立的低秩子空间并融合权重,利用梯度正交投影约束新域更新方向,并借助拓扑感知一致性对齐跨域语义原型,在无需历史数据与推理路由的前提下实现了抗遗忘与高性能增量检测。

Robust Onion: Peeling Open Vocab Object Detectors Under Noise

Robust Onion 用可控合成退化(湍流、运动模糊、像素化)把开放词汇检测器逐层「剥洋葱」,以跨噪声严重度的特征重叠度定位失效层,发现鲁棒性几乎完全由视觉骨干的架构与深度决定(浅层最先崩,增强器与语言侧贡献极小),并据此把结论编译成仅 2.41M 参数的可插拔模块 NN & TK0,在 BDD-100K 等真实驾驶数据集上以 96× 更少的可训练参数取得与端到端微调相当的鲁棒性。

The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning

把「伪标签剪枝」形式化成一场图灵测试式的对抗审讯,训练一个只在图像分类数据上学过、却能零样本迁移去审判目标检测伪标签的轻量「裁判网络」(TTN),靠数据集级语义上下文识别并剔除基础模型的系统性幻觉,让最差类别的 F1 提升 28%(微调后 44%)。

A Simple Baseline with Placement Prior for Point-Supervised Oriented Object Detection

PlacePriorBase 用邻域角度一致性、图像内尺寸规律和无需学习的分水岭旋转框补足单点标注缺失的几何信息,提供训练便宜但精度并非最优的基线,并以可迁移的损失提升现有点监督检测器。

Back-Tracking from Clarity: Self-Learning to See Text from Afar

本文把视频后段清晰文字的可靠检测反向传播到前段模糊小字,结合点跟踪与载体几何恢复生成伪标签,在不增加学生推理模块的条件下改善早期文本检测与识别;SceneText50 跟踪 AUC 达到 44.71,而 CoTracker3 为 38.65。

查看全部80篇「目标检测」论文 →


✂️ 语义分割 (99)

LlamaSeg: Image Segmentation via Autoregressive Mask Generation

LlamaSeg 用冻结的 VQGAN 把掩码变成离散视觉 token,让 LLaMA 风格模型根据图像和文字逐 token 生成掩码,384 像素版在 ADE20K 达到 55.9 mIoU,但指代分割精度和延迟仍不及专用判别式方法。

Foundation Model Selection for Remote Sensing via a Constraint-Aware Agent

针对遥感领域基础模型激增且文档异构分散导致选型困难的痛点,本文构建了涵盖160余个遥感基础模型的结构化数据库RS-FMD,并提出了首个约束感知智能体Remsa,通过元数据对齐、动态编排、规则过滤与上下文排序实现自动化、高可解释的遥感模型精准推荐。

Learning from Adversity: Semantic-Aware Mask Refinement through Adversarial Perturbation

针对掩码精炼中传统形态学噪声缺乏语义结构的问题,本文提出 Phoenix 框架,在轻量解码器隐空间生成真实且可控的对抗扰动噪声,并结合三向对比掩码精炼学习(CMRL),在弱监督、实例及细粒度分割任务上显著超越现有 SOTA 精炼器。

Learning Probabilistic Embeddings for Unsupervised Action Segmentation

PEOT 用局部时序图预测每帧的高斯嵌入,以多次采样驱动最优传输伪标签和交叉熵训练,测试时只用均值,在 Desktop Assembly 上相对代码复现的 ASOT 将 MoF 从 59.0 提高到 71.2、F1 从 63.7 提高到 75.8,但并非所有数据集的所有指标都领先。

Segmenting Visuals With Querying Words: Language Anchors For Semi-Supervised Image Segmentation

HVLFormer 将预训练视觉语言模型的类别语义转化为数据集与图像感知的多尺度文本查询,再用逐层跨视图一致性稳定掩码解码,在 SigLIP2 配置下以 92 张 VOC 标注和 232 张 COCO 标注分别达到 89.1% 与 58.8% mIoU。

Training-free Cross-domain Few-shot Segmentation via Robust Semantic Representation and Matching

本文通过重新组合冻结 DINOv3 的中间特征、以可靠查询区域增强支持表示、融合多粒度原型匹配,在不做任务训练或目标域微调的条件下,实现四个目标域平均 68.39 / 73.08 的 1-shot / 5-shot mIoU。

AFFMAE: Scalable Vision Pre-Training for High-Resolution Microscopy Segmentation on Desktop Hardware

AFFMAE 将 AutoFocusFormer 的自适应离网(off-grid)令牌合并机制融入 MAE 框架,在保持仅编码可见令牌的高效不对称设计的同时,实现了层次化骨干的掩码友好预训练,使得高分辨率显微图像分割预训练可在单张消费级 GPU 上完成,以同等参数量匹配 ViT-MAE 分割精度,预训练吞吐提升 2 倍、高分辨率微调吞吐最高提升 5 倍。

Beyond Aesthetics: Quantifying Information Loss in Turbid Scenes

本文用可跨浑浊等级传递真实掩码的 TUB 数据集和相位一致性梯度熵 PCD,区分“看起来变差”与“任务所需结构消失”:PCD 在文中真实及合成浑浊实验中与分割表现的相关性最强,但不能把它当成跨任意场景通用的可识别性分数。

Bridging the Geometry Mismatch: Frequency-Aware Anisotropic Serialization for Thin-Structure SSMs

FGOS-Net 将低频拓扑建模与高频细节筛选分开,用子带匹配的确定性扫描和拓扑条件主动探针减少裂缝断连与纹理误检,在 DeepCrack 上取得 91.29% mIoU、97.12% clDice,并在论文指定的 RTX 3090 测试设置下达到 80.2 FPS。

CURE: Contextual Debiasing and Unbiased Refinement for Training-Free Open-Vocabulary Semantic Segmentation

针对基于预训练视觉语言模型的免训练开放词表语义分割中全局上下文偏置导致的特征同质化与定位退化问题,提出无需额外训练的 CURE 框架,通过异常 Token 剔除重建、非异常均值去偏以及中层特征空间相关性细化三阶段,显著提升稠密预测质量并消除大容量模型的性能倒挂。

查看全部99篇「语义分割」论文 →


🖼️ 图像恢复 (78)

Lumina-OmniLV: A Unified Multimodal Framework for General Low-Level Vision

OmniLV 将任务文字与图像示例分开编码,用投影相加构造视觉条件,再联合训练向 DiT 前半部分注入特征的适配器与生成骨干,使一个模型按提示输出恢复照片、增强结果、稠密图或风格化图像;它提高了接口通用性,但像素保真、感知质量与专用模型性能仍有明显取舍。

Stream-DiffVSR: Low-Latency Streamable Video Super-Resolution via Auto-Regressive Diffusion

Stream-DiffVSR 用四步扩散去噪、光流对齐的历史输出引导和时序解码,逐帧恢复高清视频,在不读取未来帧的条件下取得 REDS4 LPIPS 0.099 与 RTX 4090 上 720p 首帧延迟 0.328 秒,但尚非通常意义的实时高清视频处理。

TaskTok: Delving into Task Tokens for Task-driven Image Restoration

TaskTok 提出了任务驱动图像恢复 (TDIR) 框架,利用 1D tokenizer 中 token 按索引位置专业化编码不同视觉属性的特性,通过可学习 token 开关和轻量级 token 精炼模块,选择性地只恢复与下游任务(分类/分割/检测)最相关的 token 子集,在显著提升下游任务性能的同时大幅降低计算开销。

QualiTeacher: Quality-Conditioned Pseudo-Labeling for Real-World Image Restoration

QualiTeacher 把教师伪标签的质量分数变成学生网络的控制条件,再用质量排序与裁剪一致性约束输出,使不完美监督支持可控的真实图像恢复,在 RTTS 去雾中将 CORUN 配合 Colabator 的 FADE 从 0.824 降至 0.590。

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

Freqformer 提出平滑抗混叠的频域分解机制,将图像解耦为局部高频纹理与尺度鲁棒的低频色彩畸变,结合非对称裁剪/缩放双分支与可学习频域合成变换(FCT),以仅 6.065M 参数在多项高清去摩尔纹基准上刷新 SOTA。

From Local Windows to Adaptive Candidates via Individualized Exploratory: Rethinking Attention for Image Super-Resolution

IET 让每个 token 从局部起点独立筛选和探索注意力候选,再复用相似邻居进行通道融合,在相同的 1.26T FLOPs 下将 Urban100 四倍超分辨率的 PSNR 从 PFT 的 28.20 提高到 28.43 dB。

Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length

Live Avatar 针对 14B 参数大规模视频扩散模型,提出含噪历史缓存(History Corrupt)与时间步强迫流水线并行(TPP)的软硬件协同架构,首次实现了在 5 张 H100 上以 45.2 FPS 实时流式生成突破 10,000 秒且无漂移的超长高保真数字人视频。

LogicIR: Logic Gate Networks for Image Restoration

LogicIR 是首个专为图像恢复设计的逻辑门网络(LGN),通过全逻辑门 UNet 架构、可微比特解码层和 Index Shuffling 跨组通信机制,在去噪、去块、去雨任务上以远低于 BNN 和 LUT 方法的运算量(BOPs)达到竞争性恢复质量,证明了纯逻辑门计算在图像恢复中的可行性。

SLER-IR: Spherical Layer-wise Expert Routing for All-in-One Image Restoration

SLER-IR 将退化特征映射到单位超球面,以余弦相似度为编码器—解码器逐层选择独立专家,再用全局内容与局部退化先验指导恢复,在五任务设置下取得 31.73/0.928 的平均 PSNR/SSIM,比 MoCEIR 高 1.15 dB/0.009。

Stokes-Informed Diffusion for Robust Linear Polarization Estimation

GenPolar 把单张 RGB 到偏振的病态逆问题改写为逐通道 Stokes 分量预测,在可靠区域监督偏振角,并通过单步蒸馏支持 VAE 编码器适配,在三类测试集上同时改善偏振强度与角度估计。

查看全部78篇「图像恢复」论文 →


🛰️ 遥感 (41)

Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

Skyfall-GS 先从多视角、多时相卫星图像建立受观测约束的 3D 高斯底座,再逐轮降低合成相机仰角,用每视角多个扩散编辑结果监督同一场景,补足低空浏览时的立面与纹理;DFC2019 的 FIDCLIP 为 27.03,但新生成的门窗是合理外观假设,不是对真实街景细节的测量。

M4-SAR: A Multi-Resolution, Multi-Polarization, Multi-Scene, Multi-Source Dataset and Benchmark for optical-SAR Object Detection

M4-SAR 从 Sentinel-1/2 构建 112,174 对弱对齐光学–SAR图像、981,862 个六类静态设施实例,并用统一融合检测基准与 E2E-OSDet 证明两种传感器可以互补;主表 mAP 为 61.4,比最佳光学单源高 5.1 个百分点,而非已解决像素级跨模态配准。

OpenEarthAgent: A Unified Framework for Tool-Augmented Geospatial Agents

OpenEarthAgent 把视觉感知、GIS、光谱指数和地理配准栅格操作接到统一执行器上,再用经过回放校验的轨迹微调 Qwen3-4B,使自建测试集上的严格工具顺序匹配率从 14.71% 提升到 67.24%,但非生成任务答案准确率仍只有 45.26%。

PKINet-v2: Towards Powerful and Efficient Poly-Kernel Remote Sensing Object Detection

PKINet-v2 用异构卷积核兼顾遥感目标的形状与尺度,再将训练时的多分支聚合等价合并以加速部署,在单尺度 DOTA-v1.0 上以 80.46% mAP 和 54.60 FPS 超过 PKINet-v1-S 的 78.39% 与 14.05 FPS。

DOGE: Differentiable Bézier Graph Optimization for Road Network Extraction

DOGE 将遥感道路提取变成“用像素掩码指导曲线图优化”的问题,通过 DiffAlign 调整连续几何、TopoAdapt 修改离散连接,在不需要曲线级真值的条件下取得 SpaceNet 84.58、City-Scale 80.59 的 TOPO F1,并输出更紧凑的 Bézier 路网。

Align and Segment: Unsupervised Learning for Building Segmentation From Misaligned Labels

Align and Segment(AnS)通过联合学习建筑分割与标签几何校正,并用自监督一致性和成对几何增强阻止模型记住错误偏移,在不使用准确对齐标签训练的条件下,将 Las Vegas 系统错位测试集的分割 IoU 从朴素联合模型的 0.39 提高到 0.78。

Beyond 2D Matching: A Unified Single-Stage Framework for Geometry-Aware Cross-View Object Geo-Localization

GAGeo 用 CMA-Loc 的建筑跨视角配对与相机标注适配三维基础模型 π3,把查询提示、目标定位和相机预测放进一次前向传播,并以卫星视角为对比学习桥梁,在未训练的地面到无人机组合上达到 43.86 mAcc、57.88 mIoU。

Beyond Attention: Convolutional Global Context for Remote Sensing Change Detection

ChangeGCC 用场景级描述子调节卷积核,再依次进行帧内跨尺度聚合和帧间对称门控,在不构造全局成对注意力矩阵的情况下完成遥感变化检测,Base 版本在 LEVIR-CD 上取得 85.28% IoU,参数量为 13.60M。

Capturing Spectral and Spatial Patterns for Federated Remote Sensing Segmentation

FedDap 不再要求所有遥感客户端共用完全相同的类别中心,而是用光谱与空间线索对共享原型做受约束的本地调制,在 Potsdam(IRRG) 与 Vaihingen(RGB) 的复合偏移设置下报告 70.42% mIoU,比 FedSeg 高 1.60 个百分点。

Compact Low-Cost Hyperspectral Imaging via Angular-to-Spectral Diversity Conversion

提出基于角度-光谱多样性转换的紧凑低成本快照高光谱成像系统,利用锥形万花筒产生多视角入射光线并由离轴双折射滤光片调制为互补光谱透射谱,结合条件数优选器件参数,实现非学习、逐像素快速稳定重建 25 个光谱波段。

查看全部41篇「遥感」论文 →


🔍 异常检测 (8)

DeltaDeno: Zero-Shot Anomaly Generation via Delta-Denoising Attribution

DeltaDeno 用正常与异常提示驱动两条同步扩散轨迹,将去噪后的潜变量差异累积成缺陷定位图,再用该图约束局部生成,在不微调生成器、不使用真实异常样本的条件下,将 MVTec AD 下游图像级 AUROC 从 AnomalyAny 的 77.6 提升至 84.7。

Anomaly Factory 3D: A Modular Framework for Diverse Pseudo-Anomaly Synthesis in Unsupervised 3D Anomaly Detection

AF3AD 把局部几何形变做成独立的伪异常生成器,通过局部坐标、空间核、方向门控和随机预设扩展训练缺陷类型,配合改进的偏移预测器,在 AnomalyShapeNet 与 Real3D-AD 上分别达到 91.5% 和 85.2% 的物体级 AUROC。

ArcAD: Anomaly-Rectified Calibration for Cold-Start Supervised Anomaly Detection

ArcAD 不替换重建式工业异常检测器,而是在训练时用均衡的超球面正常原型、受原型约束的伪异常和少量真实缺陷校准潜在空间,使 Dinomaly 在 Real-IAD 多类别冷启动设置下的图像级 AUROC 从 88.8% 提升到 92.5%,推理仍使用原有重建误差。

BAAF: Universal Transformation of One-Class Classifiers for Unsupervised Image Anomaly Detection

BAAF 通过不相交分袋、袋外异常评分和多数投票先清洗训练图像,再训练一个原样的单类检测器,在 MVTec AD 的 10% 训练污染设置下,使八种检测器的平均图像级 AUROC 从 0.762 提升至 0.933,而不增加测试时的模型数量。

Beyond Common Sense: Grounding Logical Anomaly Detection in Inspection Criteria

SCAN 将工业逻辑异常检测改为“拿图像逐条核验显式检验规则”,通过 FLAW 数据、结构化监督微调和规则级强化学习,让 8B 模型在 MVTec-LOCO 上的严格评分准确率从 56.73% 提高到 64.58%,但高精度并不意味着已经解决漏检。

IMMoE: Incomplete Multi-View Anomaly Detection via Mixture of View Experts Fusion

IMMoE 用局部特征丢弃缓解遮挡模式过拟合,再以视图专家融合引导正常特征重建,在产品区域遮挡 50% 的 RIMAD 上取得 84.7 I-AUROC / 33.1 P-AP,但这不是对真实遮挡下隐藏缺陷可恢复性的完整证明。

Pistachio: Towards Synthetic, Balanced, and Long-Form Video Anomaly Benchmarks

Pistachio 用场景约束故事线驱动连续视频生成,构建兼顾异常检测与文本理解的合成基准,暴露复杂正常行为和长时理解的困难,并在 CLIP-TSA 实验中以合成数据结合 10% UCF-Crime 训练数据超过仅用完整 UCF-Crime 训练集的结果。

A Comprehensive Analysis about Unsupervised Outlier Detection for Images

VUOD 先用细粒度聚类与距离排序一致性筛选可靠正常/异常伪标签,再训练轻量特征映射并接入 OCSVM,使同一无监督图像离群检测框架能覆盖自然、工业和医学图像,CIFAR-10 的汇总 AUROC 从 FlexUOD 的 0.942 提升至 0.972。


🧑 人体理解 (172)

Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-View Videos

Forge4D将动态人体与交互物体的重建拆成尺度一致的流式3D高斯预测和双向稠密运动匹配,再通过遮挡感知融合生成中间时刻;在DNA-Rendering的新时刻与新视角联合评测中达到29.0378 dB PSNR,无需输入相机标定参数。

VersatileMotion: A Unified Framework for Motion Synthesis and Comprehension

VersatileMotion 通过保留世界坐标的因果人体分词器 VerMoVQ,把文本、音频和多人动作组织为统一的下一 token 预测问题,在同一个模型中覆盖九项动作任务,并在作者评测协议下取得有竞争力的生成与理解结果。

GRAFT: Geometric Refinement and Fitting Transformer for Human Scene Reconstruction

GRAFT 是一个学习到的"人体-场景交互先验",它将基于优化的物理合理性拟合过程"摊销"进一个前馈 Transformer 中——通过几何探针将人体-场景的相对关系编码为 24 个紧凑 token,在循环迭代中预测"交互梯度"纠正漂浮和穿透,最终以 0.2s 的前馈速度达到优化方法级别的交互质量,且可作为即插即用先验提升任何前馈方法。

BackTranslation2.0 -- A Linguistically Motivated Metric to Assess Sign Language Production

提出 BackTranslation2.0,一个语言学驱动的文本到手语翻译评估指标,通过两阶段智能体框架(10 个专用工具提取证据 + 4 个 LLM 交叉比对模块)在语法正确性、音系准确性、运动流畅度和生成保真度四个维度上给出确定性评分,在已知损坏和合成数据上与人类判断达到 Pearson r=1.00 / Spearman ρ=1.00,远超现有反向翻译和运动相似度基线。

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

DETRPose 把 D-FINE 的实时检测架构搬到多人 2D 姿态估计上,用基于关键点相似度(KS,即 COCO 的 OKS)的去噪关键点策略、KSVF 损失和轻量 Pose-LQE 分类头改造 GroupPose 解码器,得到首个端到端实时 Transformer 姿态模型:COCO val 上 DETRPose-X 达 73.3 AP,DETRPose-L 在 test-dev 上 71.2 AP / 4.66 ms,比 GroupPose-R50 快一个数量级以上且少 37% 参数。

Face Anything: 4D Face Reconstruction from Any Image Sequence

本文提出Face Anything,将4D人脸重建与跟踪统一为规范坐标预测问题——网络从任意图像序列中同时估计深度和规范人脸坐标,稠密对应关系直接通过在规范空间做最近邻搜索获得,无需显式建模帧间运动,在深度估计(RMSE降低16%)、对应关系精度(3倍提升)和推理效率(32倍加速)上全面超越现有方法。

Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need

AvaImg 先把裸体模型可靠地放进衣服内部,再逐步拟合衣物表面并展开为统一 UV 图像,在主比较中达到 2.62 mm 表面 Chamfer 和 34.48 dB 纹理渲染 PSNR,并验证冻结 FLUX VAE 往返仅增加 0.76 mm 几何误差。

ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video

ReViV 提出了首个基于单目第一人称 RGB 视频联合重建观察者与场景的统一 4D 生成框架,通过离散多模态标记化与掩码生成 Transformer(MGET),在无需外部 SLAM 轨迹或辅助传感器的前提下实现了观察者身体、手部、视线与场景深度、相机轨迹的高精度实时前向推理。

StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring

StreamTalk 将流式手势生成改成“粗生成、检索尾部关键姿态、重新细化”的片段级闭环,在 BEAT2 上取得单说话人 FGD 0.383、全说话人 FGD 0.293,并以稀疏目标姿态约束减轻分钟级动作漂移。

CoMind: Understanding Collaborative Human Activity from Multiple Minds and Views

提出了一个包含 81 小时双目第一人称与第三人称多视角视频、精确眼动追踪、密集 3D 场景与物体网格扫描的大规模多人协同数据集 CoMind,并系统构建了共同注意力估计、社交条件动作预测和协作式交接预测三大递进式心智理论基准任务。

查看全部172篇「人体理解」论文 →


📹 视频理解 (111)

Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos

Vinci2 把「第一人称助手该不该主动开口」重新形式化为一个依赖长时上下文的决策问题,并同时给出首个连续第一人称视频主动服务基准 EgoServe(3000+ 服务实例、4 个时间记忆跨度、10 个子类)与免训练的记忆增强 agent EgoMemo(多尺度时间摘要 + 演化知识图谱 + 视觉嵌入档案,配三路并行检索与字幕重建),在 EgoServe 上把总体 F1 从基线 GPT-5-mini 的 4.7 提到 8.0,并在 5 个已有基准上保持或刷新成绩。

History-Aware Transformation of ReID Features for Multiple Object Tracking

HATReID-MOT 将已有轨迹当作在线伪类别,用时序加权的 Fisher 线性判别构造当前视频专用的 ReID 子空间,再融合原始相似度,在不额外训练网络的条件下使 SportsMOT 测试集的默认外观基线 HOTA 从 67.3 提升到 78.1。

VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

VDC-Agent 让同一个多模态模型生成、评价并反思视频描述,再用轨迹偏好对进行由易到难的 DPO,将多轮改进转化为单次生成能力,在 VDC 上达到 49.08% 平均准确率,在 DREAM-1K 上达到 37.4% F1。

EgoExo-Con: Exploring View-Invariant Video Temporal Understanding

本文提出 EgoExo-Con 基准(1,148 对同步 ego-exo 视频 + 2,269 条人工精炼的时序查询),首次系统评估 Video-LLM 在不同视角下时序理解的一致性,发现现有模型跨视角一致性仅勉强达到单视角性能的一半;并提出 View-GRPO 强化学习框架,通过语义对齐与结构一致性双重推理奖励,显著提升跨视角时序理解的鲁棒性和一致性。

STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding

STRIDE 用一个基于 Qwen3-VL-2B 的掩码扩散激活模型,在滑动窗口内联合修订“该不该响应”的状态,再按需调用冻结的视频大模型,将 ET-Bench 在线激活评测的平均 F1 从 Baseline-AR 的 24.3 提升到 32.6。

DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding

DART 将同一个查询条件化 DPP 核同时用于关键帧选择和难度估计,仅对复杂事件启用结构化时序推理,在不做任务微调的条件下取得 Charades-STA 48.93、ActivityNet Captions 39.89 的 mIoU。

Learning Consistent Temporal Grounding between Related Tasks in Sports Coaching

本文利用「生成技术反馈」与「验证反馈是否正确」这两个紧密相关任务必须关注同一批关键帧这一观察,在共享 Vid-LLM 的选定视觉层与选定注意力头上做跨路径的注意力一致性自监督(验证路径带 stop-gradient 当参照),在不增加任何帧级标注的前提下把 ExAct / FitnessQA / ExpertAF 分别提升 +3.0 / +14.1 准确率与 +0.9 BERTScore。

Learning Probabilistic Embeddings for Unsupervised Action Segmentation

PEOT 用局部时序图预测每帧的高斯嵌入,以多次采样驱动最优传输伪标签和交叉熵训练,测试时只用均值,在 Desktop Assembly 上相对代码复现的 ASOT 将 MoF 从 59.0 提高到 71.2、F1 从 63.7 提高到 75.8,但并非所有数据集的所有指标都领先。

TETO: Tracking Events with Teacher Observation for Motion Estimation and Frame Interpolation

TETO 从约25分钟无人工运动标注的真实配对记录中,把 RGB 跟踪器的对应关系知识迁移到事件模态,以物体运动感知采样改善点轨迹和光流,并用显式运动约束提升扩散式帧插值的感知质量。

TransVLM: A Vision-Language Framework and Benchmark for Detecting Any Shot Transitions

TransVLM 把镜头切换从单个边界点改为完整转场区间,以不增加视觉 token 序列长度的颜色与光流融合配合混合训练及滑窗推理,在 STD Benchmark 的公开数据上取得 0.783 区间级 F1,在合成数据上取得 0.938 帧级 F1。

查看全部111篇「视频理解」论文 →


🚗 自动驾驶 (162)

DriveVA: Video Action Models are Zero-Shot Drivers

DriveVA 把未来视频潜变量和自车轨迹作为同一个条件流匹配模型的联合生成目标,以稠密视频监督帮助轨迹学习,并通过历史视频续写组织滚动规划;NAVSIM 主表达到 90.9 PDMS,NAVSIM 训练后的跨数据集测试在 nuScenes 得到 0.84 米平均 L2 误差,但这些结果并不等于验证了真实道路闭环安全性。

Driver-WM: A Driver-Centric Traffic-Conditioned Latent World Model for In-Cabin Dynamics Rollout

把「舱内驾驶员未来会怎么动」当成一个在潜在空间里、由舱外交通事件因果驱动的 rollout 问题来做:用冻结的 Qwen3-VL 特征当感知接口,双流分别编码交通和驾驶员,再用一个「门控因果注入」让外部环境单向调制驾驶员内部状态的自回归演化,最终解码成未来 5 步的人体骨架轨迹(外加行为/情绪语义作辅助正则),在 AIDE 上于安全攸关的高动态片段上取得稳健的长时预测。

HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving

HAD 先筛选驾驶意图,再围绕少量意图生成结构化轨迹并细化,用逐指标强化学习和离线奖励检索训练,在 NAVSIM v2 达到 88.6 EPDMS,纯相机 HAD-L 在 HUGSIM 公共集达到 47.5 路线完成率。

MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning

MindDrive 用共享语言模型、独立 LoRA 的决策专家与动作专家,把在线探索限制在离散驾驶意图上,再由实际轨迹的闭环奖惩优化决策;3B 版本在 Bench2Drive 上达到 80.59 DS、58.26% SR,但验证范围仍限于 CARLA 仿真。

BEV-GS: Feed-forward Gaussian Splatting in Bird’s-Eye-View for Road Reconstruction

BEV-GS 把单帧道路重建从透视像素上的高斯预测改为规则 BEV 网格上的高程与纹理预测,在 RSRD 上获得 1.73 cm 高程平均绝对误差、28.36 dB 新视角 PSNR 和 26.3 FPS 参数预测速度,但单帧指推理输入,训练仍使用高程标签与双目图像监督。

UniDrive-WM: Unified Understanding, Planning and Generation World Model for Autonomous Driving

UniDrive-WM 在单一 VLM 框架中联合实现场景理解、轨迹规划和轨迹条件未来图像生成,通过规划→生成的可微双向耦合,在 Bench2Drive 闭环评估中将 Driving Score 从 77.74 提升至 79.31,L2 轨迹误差降低 7.3%、碰撞率降低 10.4%,并在两个互补的图像生成分支(离散自回归与连续扩散)之间系统分析了速度-保真度的权衡关系。

EgoDyn-Bench: Evaluating Ego-Motion Understanding in Vision-Centric Foundation Models for Autonomous Driving

EgoDyn-Bench 用确定性 oracle 把连续的自车运动学映射成离散的运动概念,将「自车运动理解」形式化为 3 秒片段的语义视频问答基准,对 20+ 个视觉基础模型(闭源 MLLM、开源 VLM、驾驶 VLA)做大规模拟真审计,发现它们普遍存在「感知瓶颈」——有物理逻辑却无法把它落到视觉观测上,甚至打不过经典几何基线;而一旦显式给出轨迹文本,性能大幅回升,暴露出自车运动逻辑几乎完全来自语言模态、视觉贡献近乎为零的功能解耦。

YouTube-Occ: Learning Indoor 3D Semantic Occupancy Prediction from YouTube Videos

YouTube-Occ 将房产视频加工成室内几何与语义伪标签,再通过可微渲染和双对齐特征蒸馏预训练占据网络;在 NYUv2 仅用 10% 标签微调时,网络视频预训练把 Symphonies 从 17.43 提升到 22.52 mIoU(+5.09),而直接用这些噪声伪标签做监督在联合训练中反而把 mIoU 从 40.17 拖到 37.38。

CausalDrive: Real-time Causal World Models for Autonomous Driving

CausalDrive 仅以初始前视图、自车轨迹和全局交互提示生成可反应的驾驶视频,通过因果自回归教师与上下文强制 DMD 将推理压缩到 1–4 步,在单张 A100 上达到 12.4 FPS,并在 SocioDrive-Bench 的 Polite 条件下取得 82.0% 的让行率,但并未消除所有虚假碰撞。

FreeGen: Feed-Forward Reconstruction–Generation Co-Training for Free-Viewpoint Driving Scene Synthesis

FreeGen 提出了一种统一前馈 3D 高斯重建与视频扩散细化的闭环协同训练框架,无需逐场景优化或昂贵的激光雷达标注,仅凭单轨迹图像输入即可在兼顾轨迹内几何一致性的同时实现高保真的任意偏航视角场景合成。

查看全部162篇「自动驾驶」论文 →


🤖 机器人/具身智能 (135)

Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight

UniWM 用同一个 Anole-7B 骨干先预测导航动作、再生成该动作的未来视图,并通过当前视觉 KV 和历史轨迹 KV 的检索融合稳定多步推演,在 Go Stanford 上取得 0.75 成功率、未见 TartanDrive 上取得 0.42;这是离线导航与想象评测,不是已完成的实机闭环部署。

MobileVLA-R1: Reinforcing Vision-Language-Action for Mobile Robots

MobileVLA-R1 先用多尺度轨迹推理与结构化动作监督教会四足 VLA 输出可解析命令,再离线采样候选并按运动方向、离散行为和格式进行 GRPO 优化,在 R2R-CE Val-Unseen 达到 68.3% SR;其真机验证使用固定远端推理,不是完全机载或在线学习系统。

EvoVLA: Self-Evolving Vision-Language-Action Model

EvoVLA 在 OpenVLA-OFT 上联合阶段对齐奖励、位姿探索和选择性记忆,减少“看起来完成、实际未完成”的阶段幻觉,将 Discoverse-L 平均成功率从 59.0% 提高到 69.2%,幻觉率从 38.5% 降到 14.8%。

SPEAR: A Simulator for Photorealistic Embodied AI Research

SPEAR 将 Unreal Engine 的运行时反射、确定的帧内执行顺序和 NumPy 共享内存通路组合成通用 Python 仿真接口,开放 14,485 个底层 UE 函数,并在两帧渲染延迟下以 73.4 FPS 向 Python 交付 1920×1080 图像。

Tactile Modality Fusion for Vision-Language-Action Models

TacFiLM 把预训练触觉编码器的嵌入经 MLP 转成 FiLM 的逐通道 scale/shift,直接调制 OpenVLA-OFT 视觉骨干的中间特征——不往语言模型里加任何 token,在真机插销、USB/HDMI 插拔与拉抽屉任务上把分布内平均成功率从 58.10% 提到 86.67%,峰值接触力降到约三分之一。

CoMaTrack: Competitive Multi-Agent Game-Theoretic Tracking with Vision-Language-Action Models

CoMaTrack 让两台 VLA 机器人竞争跟随同一个语言指定目标,以非对称奖励和带 SFT 约束的 GRPO 形成动态训练课程,使 3B 跟踪模型在 EVT-Bench 的 STT、DT、AT 成功率达到 92.1%、74.2%、57.5%,其中同模型 STT 从单智能体 RL 的 89.5% 提升到 92.1%。

Let's Reward Step-by-Step: Step-Aware Contrastive Alignment for Vision-Language Navigation in Continuous Environments

SACA 用冻结的视觉与语言模型定位导航轨迹中“前面做对了什么、从哪里开始出错”,按采样组是否存在成功轨迹分别修复或救援失败样本,在不增加审计器推理开销的情况下,将无额外数据的 R2R-CE / RxR-CE 未见验证集成功率提升至 60.3% / 60.3%。

AeroVLA: A Vision-Language-Action Model for UAV Navigation via Minimalist End-to-End Control

AeroVLA 用前向与下视图、粗粒度目标方位和原生数值 token,把无人机运动与终止决策统一进 OpenVLA-7B 的反应式策略,在 TravelUAV 未见地图上取得 37.58% SR,高于 LongFly 的 11.27%,但仍依赖目标方位先验和底层飞控。

PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models

PolicyTrim 提出两阶段 GRPO 后训练框架,通过动态执行窗口探索扩展可靠动作块长度、配合节省步数奖励与群锚定稳定性正则消除冗余物理步骤,在不改架构、不增示范数据的前提下将 VLA 机器人端到端部署速度提升最高 5.83 倍。

Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain

RoboBench 用覆盖五类具身认知的 6092 道问答和基于动作依赖图的 MLLM 世界模拟裁判评估 18 个模型,发现较强的通用问答与规划表述能力仍不能保证隐式需求理解、空间落地和真实执行错误诊断。

查看全部135篇「机器人/具身智能」论文 →


🎮 强化学习 (12)

ELVA: Exploring Ranking-Driven Universal Multimodal Retrieval

ELVA 提出基于规则的可验证奖励 RL 框架,通过排序奖励和间隔奖励联合优化 MLLM 的检索排序能力,解决对比学习适配检索任务时产生的"粒度盲区"(grain blindness)问题,在 M-BEIR 和自建多粒度基准 MRBench 上均取得 SOTA,其中 MRBench 提升 13.1%。

FedDO: Dynamic Client Optimization for Adaptive Federated Learning

FedDO 将联邦学习中的客户端协同建模为连续动作控制问题,利用带三重精化的分布软行动者-评论家(DSAC-T)强化学习代理动态分配各客户端的数据使用比例,并引入低秩参数化重构支持大规模扩展,有效克服了统计异质性与样本规模不平衡导致的梯度漂移。

From Illusion to Intention: Visual Rationale Learning for Reliable Evidence Acquisition

针对多模态大模型在“以图思考”时因仅受结果奖励监督而出现的动作与推理脱节、“思考幻觉”及冗余裁剪问题,本文提出视觉意图学习(ViRL),通过端到端强化学习结合证据对齐数据、阶梯式保真度奖励与细粒度信用分配,实现了忠实且高效的视觉证据获取。

GoStop: Reinforcement Learning for Adaptive Temporal Aggregation in Event-Based Feature Tracking

针对传统事件特征跟踪采用固定时间窗导致在剧烈变速或微小运动下崩溃的难题,GoStop 首次将事件累积建模为时序决策过程,通过带特权信息引导的强化学习智能体动态决定继续累积(go)还是触发推理(stop),在大幅降低推理延迟的同时显著提高跟踪精度与鲁棒性。

HERO: Enhancing Multimodal Faithfulness via Dynamic Entropy-Aware Reinforcement Learning

提出 HERO 在线强化学习框架,揭示多模态 CoT 推理在图像退化下退守语言先验导致低熵高置信幻觉的“置信度陷阱”,通过动态熵感知加权反向严惩高置信错误,并结合方差门控采样高效挖掘困难负样本,显著提升多模态忠实度。

Molecular Identifier Visual Prompting and Verifiable Reinforcement Learning for Chemical Reaction Diagram Parsing

针对化学反应图解析中视觉化学实体与预训练先验割裂及序列化监督失配问题,本文提出基于分子标识符的视觉提示策略(IdtVP)与反应级可验证强化学习算法(Re3-DAPO),显著提升零样本理解与跨年代扫描文献的泛化鲁棒性。

Table-MCR2TR: Merged-Cell-Aware Table Recognition via Reinforced Multimodal Language Models

Table-MCR2TR 针对表格识别中合并单元格难以准确解析的痛点,构建了富含复杂合并单元格的 MCT-350K 数据集,并通过多任务渐进式对齐与基于 GRPO 的三元协同奖励强化学习(M-CRL),使 3B 规模模型在多基准上超越 Gemini-2.5-Pro 等顶尖模型。

Teaching an Agent to Sketch One Part at a Time

本文先把矢量草图自动标注为语义部件,再以 SFT 和多轮过程奖励 GRPO 训练视觉语言智能体,使其观察当前画布、逐部件添加曲线;用户研究中,完整模型相对 SketchAgent 的最终质量偏好率为 77.5%。

TiCRL: Textual Image Classification with Reinforcement Learning-Based Curriculum Learning

TiCRL 提出了一种无需 OCR 的视觉-文本混合难度度量器与基于 DDPG 的动态训练调度器,通过强化学习根据分类器训练反馈自适应调控样本难度门限,在仅用约 58%~82% 训练样本的情况下显著超越全量数据基线与预设课程学习方案。

VPA-WM: Vision-Priors-Aligned World Models for Robust Visual Reinforcement Learning

针对复杂视觉扰动下世界模型表征易崩溃及预训练视觉先验与控制动力学不兼容的问题,VPA-WM 提出了控制导向对齐(COA)与时空协同集成(STCI)机制,使世界模型兼具鲁棒感知不变性与连贯动力学建模,在多项视觉干扰基准上取得显著 SOTA。

查看全部12篇「强化学习」论文 →


🔄 自监督/表示学习 (26)

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

V-JEPA 2.1 把视频潜空间预测的监督扩展到可见位置和多个网络深度,在增强局部时空结构的同时恢复全局语义能力,其 ViT-G 在冻结特征评测中达到 NYUv2 深度 RMSE 0.307 和 SSv2 动作识别准确率 77.7%。

Tri-Efficient Transfer Learning for Point Cloud Videos

PoinTriE 用静态点云的刚体伪运动与跨模态对齐学习动态先验,再以冻结主干、低秩侧网络和单元掩码实现高效迁移,在 MSR-Action3D 的四种帧长设置上取得 94.37% 平均准确率,同时只微调表 1 所列的 2.2% 参数。

Φeat: Physically-Grounded Material Feature Representation

针对通用视觉基础模型聚焦语义而忽略材质反射率与微观结构的缺陷,Φeat 基于 DINOv3 架构,利用海量高保真物理渲染在可控光照与几何变化下进行弱监督自监督预训练,使特征对宏观光影几何保持不变的同时对内在物理材质高度敏感。

Bottom-up modeling of repeated elements via single image analysis-by-synthesis

本文通过可调外观的共享二维原型、单图裁剪课程优化和整图筛选精修,把重复元素发现转化为可解释的重建问题;在精选的 116 张 FSC-147 图像上,整图 PSNR 达到 23.76,计数 MAE 为 14.11,但这并不意味着整个系统没有预训练或尺度先验。

DP-BOA: Dirichlet-Process Birth-or-Assign for On-the-Fly Category Discovery

DP-BOA 将逐样本的在线类别发现改写为“已有类归属证据与新类出生证据”的贝叶斯比较,通过已知类先验校准、全协方差预测和在线统计更新,在 CUB 上达到 53.4% 总体、51.6% 新类聚类准确率,但并非所有数据集或已知类指标都领先。

DSeq-JEPA: Discriminative Sequential Joint-Embedding Predictive Architecture

DSeq-JEPA 在 I-JEPA 的潜在空间预测目标上加了两个归纳偏置——先用目标编码器的 CLS–patch 相似度显著图挑出并按判别性给区域排序(决定「预测哪里」),再让预测器沿这个顺序逐区域预测下一个区域的嵌入(决定「按什么顺序预测」)——在 ImageNet 线性探针上比 I-JEPA 提升 1.1/0.8/1.3 个点(ViT-B/L/H),并在细粒度识别、COCO/ADE20K 与 CLEVR 上一致获益,而推理端零额外开销。

ExPLoRe: Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling

ExPLoRe 将 Soft-MoE 的调度权重 (dispatch weights) 重新用作多目标掩码图像建模中逐 patch、可学习的损失系数,通过损失耦合 (loss-coupling) 机制让路由器依据不同区域的语义特性动态调整各目标的权重,在 ImageNet-1K 上以更低的推理计算量(11.93 GFLOPs vs. 17.45)达到了 80.6% linear probe 和 85.3% finetuning 精度,并提出了三组下游迁移策略(Freeze Routing / Expert Dropout / Freeze Attention)将语义分割的 mIoU 差距从 2.5–2.9 完全弥合。

From Phase to Phenomenon: Self-Supervised Learning of Subsurface Scattering with Minimal Phase-shift Inputs

提出一套自监督预训练框架,利用投影仪-相机系统仅需8张高频相移条纹(PSP)图像即可学习通用的次表面散射(SSS)表征,再通过解码器预测各向异性散射足迹,实现零样本重光照,将新物体的数据采集量从数千张降至8张。

GhostPoint: Self-Supervised Representation Learning by Hallucinating Occluded LiDAR Structure

GhostPoint 指出 LiDAR 自监督预训练的学习信号几乎只定义在可见表面的回波点上、对遮挡与无回波区域不加约束,于是用「实例体素膨胀」在伪实例周围生成同时含可见、掩码与无回波体素的邻域体素集,让一个轻量预测器从观测上下文幻觉出这些位置的特征,并用不对称教师目标(占据体素对齐教师编码器、无回波体素对齐教师预测器)把伪遮挡与真遮挡统一到同一个自蒸馏目标下,在 nuScenes 与 Waymo 上把预训练骨干的下游 3D 检测推到 SOTA(全参数微调后 nuScenes 67.5 mAP / 71.2 NDS)。

Human-like Object Grouping in Self-supervised Vision Transformers

本文把经典「双点同/异物体判断」心理物理学范式放大成 255 张 COCO 自然场景、1020 个试次的人类行为基准,用两个点所在 patch 特征的简单 MLP 读出预测人的判断与逐试次反应时,发现 DINO 系自监督 ViT 对齐最好(分组准确率最高 91.9%),并提出基于亲和图 ROC 的「物体中心性 AUC」——该指标跨 9 个模型与行为对齐强相关(Spearman r=0.950),最后用 Gram 矩阵蒸馏把监督模型的分组准确率提升约 8–18 个百分点。

查看全部26篇「自监督/表示学习」论文 →


📐 优化/理论 (16)

Why Can Accurate Models Be Learned from Inaccurate Annotations?

论文把「不准的标注为什么还能训出准模型」拆成可分析的问题:错误标注只把噪声沉积在分类权重矩阵的低阶奇异分量上,中等错误率下主奇异子空间几乎不旋转,因而任务相关知识仍在——作者用奇异值谱、Grassmann 子空间相似度和 Davis-Kahan 角度界从实证与理论两侧论证这一点,并据此提出免训练后处理插件 LIP(保留前 k 个奇异分量 + 用训练集重估被压平的尾部奇异值),在 11 个基线、6 个真实部分标签数据集与 CIFAR/CUB 噪声设置上普遍涨点。

Closing the Capacity–Convergence Gap: Globally Optimal Configuration of Implicit Neural Representations

将隐式神经表示(INR)的层级激活函数、初始化尺度及学习率联合配置重构为混合变量全局优化问题,利用混合核高斯过程与经验期望提升进行贝叶斯搜索,有效弥合了容量与收敛的权衡鸿沟。

Coordinate Singularities Break Conformal Coverage for Gaze and Head Pose

揭示了视线与头部姿态估计中由于采用偏航-俯仰或欧拉角等局部坐标图定义符合预测非符合性度量,会导致奇异点附近出现严重的局部覆盖率坍塌(名义90%覆盖率在极点附近暴跌至38.9%),证明了标量自适应校准无法修复形状畸变,并提出基于流形内蕴测地距离的免重训、零开销解决方案。

Dive into the implicit biases of low-rank vision-language alignment

本文挑战了视觉语言对齐必须进行全参数微调的传统认知,实证发现低秩对齐在大幅降低训练开销的同时全面超越全参数基线,并从行为、特征几何与优化理论三个维度揭示了低秩对齐保留模态共性结构、抑制线性可分性崩溃(LS-curse)并偏好平坦鲁棒子空间的隐式偏差机制。

H-SFP: Hierarchical Federated Learning with Decoupled Split-Model Prototyping

针对传统切分联邦学习跨层传输高维激活与反向传播梯度的带宽瓶颈,H-SFP 提出解耦统计原型机制,仅上传类别一阶均值与二阶方差并在边缘与云端合成高斯特征分布进行分层训练,在削减超两个数量级通信开销的同时显著抑制非独立同分布下的客户端漂移。

HEM: a margin-based loss for visual categorisation tasks

针对交叉熵损失(CE)过度自信、持续改写权重及多类别边距损失(MM)梯度不稳定的缺陷,本文提出了高误差边距损失(HEM),通过动态截断低误差和自适应类边距,在未知类拒识、对抗鲁棒性、长尾学习和语义分割等多项任务中全面超越 CE 与专用损失。

HSFM: Hard-Set-Guided Feature-Space Meta-Learning for Robust Classification under Spurious Correlations

HSFM 冻结 ERM 预训练骨干,把一小撮训练样本在特征空间里的嵌入当作可学习参数,用"模型自己在高损失样本上的表现"构造双层元目标(内层适配线性头、外层最小化硬集损失)来优化这些嵌入;只需单卡几分钟,就在 Waterbirds、Dominoes 等伪相关基准上取得与使用组标签的方法相当的最差组精度,还能把优化出的特征位移经 unCLIP 解码回图像、直观暴露模型的伪相关依赖。

LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control

LDC-MTL 用双层优化显式约束任务损失差异,再通过省略一个经验上很小的梯度项实现单循环一阶训练,在 CelebA 上取得 -1.31 的综合相对性能下降指标,训练耗时为线性标量化基线的 1.07 倍。

Prototype Normalization: Optimizing Prototype Separation for Heterogeneous Federated Learning

针对异构联邦学习中加权平均原型分离度差与客户端计算负担重的问题,本文提出 ProtoNorm 框架,将全局原型建模为超球面上的电荷并求解汤姆逊问题,以极低的纯服务端计算复杂度实现了类别原型的最大角间距分离与欧氏尺度缩放。

RBE-Flow: Recurrent Bayesian Estimation on Feature Manifolds for Cross-Modal Registration

将跨模态密集光流估计重新建模为特征流形上的闭环递归贝叶斯状态估计问题,通过 RMO(递归流形优化)生成带不确定性的流观测、UAPU(不确定性自适应概率更新)用 Sigma 点投影进行 MMSE 最优贝叶斯融合并将后验协方差反馈调节下一次优化,在 OSdataset、WHU-OPT-SAR 和 RoadScene 三个跨模态数据集上一致达到 SOTA,AEPE 相比此前最佳方法降低 45.4%。

查看全部16篇「优化/理论」论文 →


📐 学习理论 (1)

Pay Attention to Attention Distribution: A New Local Lipschitz Bound for Transformers

本文把注意力概率分布引入自注意力 Jacobian 的局部上界,以更紧的 softmax 谱估计构造 JaSMin 正则项,在 ViT-B 上提高部分对抗攻击下的准确率,同时揭示鲁棒性、干净准确率与梯度传播之间的取舍。


🔗 因果推理 (3)

CausalVAE as a Plug-in for World Models: Towards Reliable Counterfactual Dynamics

把 CausalVAE 的因果层拆成一个只作用于隐空间的即插即用模块,插在任意「编码器 + 动作条件转移」主干之间,用一个可学习的 DAG 邻接矩阵组织隐变量,在不改动主干预测架构的前提下显著抬高干预场景下的反事实检索(Physics 3-body 上 GNN_NLL 的 CF-H@1 从 11.0 涨到 41.0),同时基本保住事实预测精度。

SPARC: Scalable Path-Specific Counterfactual Fairness via Causal Conditional Independence

SPARC 将高维输入上的路径特定反事实公平性转化为标签条件下的敏感属性独立性目标,以互信息预训练保留诊断信息、以条件对抗掩码抑制不公平路径,在三个医学数据集上改善公平性,但相对无约束模型仍存在预测性能代价。

FD\(^2\): A Dedicated Framework for Fine-Grained Dataset Distillation

FD\(^2\) 针对现有解耦式数据集蒸馏方法在细粒度数据集上忽略了判别性局部区域的问题,通过引入反事实注意力学习(CAL)提取判别性注意力图和类别原型,并在蒸馏阶段加入细粒度特征约束和同类样本相似度约束,作为即插即用模块显著提升 SRe2L++ 和 FADRM+ 在 CUB-200-2011、FGVC-Aircraft、Stanford Cars 等细粒度数据集上的蒸馏质量,IPC=1 时最大提升 +15.1%。


🔬 可解释性 (33)

Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

B2G 通过探测冻结视觉语言编码器的中间层,把位置敏感的视觉特征和跨语言更一致的文本特征重新用于区域排序,在多语言指代表达分割的九个基准上将平均 mIoU 从 42.42 提高到 49.62,但需要额外的多语言推理开销。

Caption Bottleneck Models

CaBM 将图像先转成去除类别名称的自然语言描述,再由独立的纯文本分类器识别类别,并从分类证据中发现概念,在切断视觉特征旁路的同时取得有竞争力但并非全面领先的分类表现。

Causal Intervention in Concept Bottleneck Models

提出无需额外训练的因果干预(Causal Intervention, CI)方法,利用已训练概念瓶颈模型中编码的概念关联结构,将输入图像作为共享上游载体反向传播人工反馈,在极少干预步数下实现对未干预概念的自适应重对齐。

CFM: Language-aligned Concept Foundation Model for Vision

CFM 将语言对齐视觉特征分解成有空间位置、层级关系和文本名称的稀疏概念,在基本保留分类、分割与图像描述性能的同时,让下游预测能够被概念化解释和干预。

DEX-AR: A Dynamic Explainability Method for Autoregressive Vision-Language Models

DEX-AR 把每个生成步的注意力图对中间 logit 的梯度当作归因信号,再用"视觉 vs 文本最大梯度差"动态筛选注意力头与生成 token,为自回归 VLM 同时产出逐 token 与整句两个级别的图像热图,在 ImageNet/VQAv2 的扰动评测与 PascalVOC 的分割定位上稳定超过 Grad-CAM、注意力类与扰动类基线。

Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations

本文提出一套基于人类概念标注的 SAE 可解释性评估框架,包含支持多对一匹配的 FBMP 算法和基于目标属性扰动的 TAPAScore 因果验证指标,并构建了 synCUB/synCOCO 两个合成扰动数据集;实验表明现有自动评估指标(FMS、MS、CKNNA)无法通过健全性检验,而本文的匹配指标和 TAPAScore 能可靠区分训练/未训练 SAE,且过完备度增加反而会降低扰动对齐质量。

From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs

本文不在 MLLM 上加任何新模块,而是用三组可干预的实验拆解适配器式 MLLM 的分割能力:逐层线性探针发现 adapter 把视觉特征投影进语言空间时出现表示 drop-off,而 LLM 各层又逐步把 mIoU 找回来;注意力阻断证明这种恢复不是残差连接的被动副作用,而是靠跨 token 注意力让分类正确的 token 充当「语义锚点」把误判邻居拉回正确标签;最后指出因果掩码让序列最前面的图像 token 缺乏全局上下文,这一损失可由图像 token 之间的双向注意力消除。

GridVQA-X: A Diagnostic Framework for Evaluating Multimodal Explainability Methods

针对现有后验多模态可解释性(MxAI)方法缺乏真值因果验证的瓶颈,本文构建了首个具备数学可证因果真值与捷径解耦特性的闭世界诊断基准 GridVQA-X,系统揭示了主流解释算法在识别空间关系协同与词袋匹配捷径时的严重失效。

Learn to Rank: Visual Attribution by Learning Importance Ranking

针对视觉归因方法在计算效率、因果忠实性与高分辨率空间细节间的三难困境,本文提出摊销混合归因框架 AHA,通过 Gumbel-Sinkhorn 连续松弛将离散的排序与 Top-k 掩码选择转化为可微置换学习,直接端到端优化 Deletion 与 Insertion 评估指标,单次前向即可生成像素级精细归因热力图。

Mapping the Concept Landscape: Structural Perception of Global Distributions for Transparent Data Pruning

针对传统基于黑盒嵌入向量的数据剪枝无法反映细粒度语义覆盖且不可解释的问题,本文提出 Mapping the Concept Landscape (MCL),将图文样本显式解耦为实体、事件和属性构成的概念图并聚合为数据集全局语义景观,基于结构化稀缺度与关系度数以贪心最大化边际覆盖的方式实现高效、透明的数据剪枝。

查看全部33篇「可解释性」论文 →


📦 模型压缩 (97)

RT-DETRv4: Painlessly Furthering Real-Time Object Detection with Vision Foundation Models

RT-DETRv4 把冻结视觉基础模型的语义蒸馏到实时检测器的 AIFI 输出,并用该模块的梯度占比按轮调节蒸馏权重,使同规模 DEIM-L 在不改变推理图和 8.07 ms 延迟的条件下,从 54.7 提升到 55.4 COCO AP;它改进的是教师到学生的训练方式,不是另造一个部署检测器。

Quick ViTs: Speeding up Vision Transformers through Equivariance

Quick ViTs 将旋转与反射等变性变成傅里叶域线性层的结构化稀疏和权重共享,使 H8(ViT-H/14) 在 ImageNet-1K 监督分类中以 102.3G 而非 167.8G FLOPs 达到 85.0% 而非 84.6% Top-1,同时说明理论 FLOPs 节省为何不等于同倍率实际加速。

Neutralizing Token Aggregation via Information Augmentation for Efficient Test-Time Adaptation

本文把"在测试时自适应(TTA)里插拔式地加 token 聚合来省算力"这件事形式化为 Efficient Test-Time Adaptation(ETTA),用互信息分析指出聚合是 many-to-one 映射、其信息损失无法被 TTA 常用的 LayerNorm 微调补回,于是提出 NAVIA:在聚合发生之前给 [CLS] 挂上"输入级嵌入增强 + 浅层特征级偏置增强"两个可学习信息载体,只多训极少参数(ViT-B/16 上比纯 LayerNorm 多 5.3K),在 4 个 OOD 基准上比 TTA SOTA(FOA)最高 +3.1%,同时获得 14%–26% 的墙钟加速。

AVQ-Attention: Adaptive Vector-Quantized Attention

AVQ-Attention 先用粗粒度码本计算注意力,再按每个查询块的注意力质量选择父码字并启用预学习的子码字,通过融合预计算和增量校正改善速度与精度的折中;在 ADE20K 的受控比较中达到 43.33% mIoU,但仍低于精确注意力的 49.0%。

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

GenRecal 在训练时用 Recalibrator 将小型视觉语言模型的隐藏特征接入教师的语言头,绕过跨 tokenizer 的直接 token 对应问题,使 InternVL2.5-8B 的 MMMU 从 56.0 提升至 68.1,部署时则移除全部辅助模块,保持学生原有架构。

Learning to Recover Task Experts from a Multi-Task Merged Model

ReTeX 将模型合并干扰视为可学习的参数偏移,通过 SVD 子空间识别任务并按需恢复专家,使单个合并检查点在 ViT-B/32 八任务设置下达到 92.2% 平均准确率,同时避免推理时保存完整专家检查点。

Stokes-Informed Diffusion for Robust Linear Polarization Estimation

GenPolar 把单张 RGB 到偏振的病态逆问题改写为逐通道 Stokes 分量预测,在可靠区域监督偏振角,并通过单步蒸馏支持 VAE 编码器适配,在三类测试集上同时改善偏振强度与角度估计。

Accurate Zero-shot Quantization via Hierarchical Teacher-Assistant Distillation

Zest 在不访问原始训练图像的条件下,以中间位宽教师助理、量化感知图像重校准和逐块重建连接全精度 CNN 与低位宽学生,在 ImageNet-1K 上取得 ResNet-18 W4A4 的 70.50% Top-1 准确率,距文中全精度基线仅 0.51 个百分点。

Aggregating Cross-Domain Knowledge via Learnable Tokens for Multi-Teacher Distillation

ACTok在学生骨干之后加入通道拼接的可学习令牌和跨空间/域内交替交互,用ImageNet-1K汇聚CLIP、MAE、DINO等教师的互补表征,使ViT-B在Caltech101上达到94.4%,但并未在所有任务上超过最强教师或蒸馏基线。

Audio-Visual Continual Test-Time Adaptation without Forgetting

AVReCAP 在视听模型持续测试时适应中,用输入统计检索并复用历史融合层参数,而非一直覆盖同一状态;在 VGGSound-2C 上平均准确率达到 43.51%,比不适应的源模型高 6.28 个百分点,并显著缓解源域遗忘。

查看全部97篇「模型压缩」论文 →


🕸️ 图学习 (1)

MG2-RAG: Multi-Granularity Graph for Multimodal Retrieval-Augmented Generation

针对多模态检索增强生成中扁平向量检索忽略结构依赖、传统图检索依赖昂贵 MLLM 抽取文本三元组导致视觉细节丢失的问题,MG2-RAG 结合轻量句法解析与实体驱动开放词表分割构建统一多模态节点,并通过密集相似度聚合与重启随机游走实现跨模态高保真多跳检索与推理。


🤝 联邦学习 (2)

Neural Collapse-Inspired Multi-Label Federated Learning under Label-Distribution Skew

FedNCA-ML 先从图像中提取逐类特征,再用各客户端共享的固定等角紧框架及正负特征正则统一表示几何,在多标签 CIFAR-10 的一个偏斜设置中将 macro-AUC 从最佳对照的 83.63 提高到 87.55,但收益并不覆盖所有微平均指标。

Prevention over Correction: Learning Aligned Representations in One-shot Federated Learning

FACE 把单轮联邦学习中的跨客户端表征对齐提前到本地训练,通过共享固定类别方向和防塌缩正则化,让服务器无需再校准即可融合特征,在极端异质划分下将 CIFAR-10 准确率从最佳比较方法的 60.28% 提高到 69.21%。


📈 时间序列 (7)

Geometry-Aware Visual Representation for Remaining Useful Life Prediction

针对振动信号时频表征忽略系统本征动力学几何结构的问题,提出相空间密度图像(PSDI)与全局锚定重构机制,将退化过程显式建模为吸引子空间发散,并结合滑动窗口时间聚合与紧凑知识蒸馏实现高鲁棒 RUL 预测。

PMGC-SimVP: Parametric Multi-scale Gated Convolution for Global Ionospheric TEC Prediction

针对空间天气强扰动下全球电离层总电子含量(TEC)剧烈非平稳与纬度异质性问题,本文提出基于纯卷积骨干的 PMGC-SimVP,通过双阶段低秩时间适配器、纬度分带参数调制与双基线残差学习,在参数量缩减 95% 的同时显著提升了磁暴期预报精度与长程稳定性。

RainODE: Continuous-Time Precipitation Forecasting with Latent Neural ODEs

RainODE 用离散教师引导的潜在神经常微分方程学习连续降水轨迹,再以 Brownian Bridge 随机细化强度与细节,在支持未见时间间隔查询的同时,将 RAPID-60min 的 CSI-M 从 SimVP 的 0.141 提升到 0.220,但不保证逐像素误差同步下降。

Social-Mamba: Socially-Aware Trajectory Forecasting with State-Space Models

Social-Mamba 将无序邻居关系组织成可扫描的社交网格,用 Cycle Mamba 支撑时间、自我和目标三路交互,在 NBA-Full 上以 1.9M 参数获得 0.72/0.92 米 ADE/FDE,但低计算量不等于所有场景下延迟最低。

Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild

针对真实场景下视频受众反应多样且随时间演化的难题,本文构建了首个包含 10,348 个电影片段、389 小时视频与 21 类细粒度情绪标签分布的大规模基准数据集 Video2Reaction,提出两阶段多智能体 LLM 标注流水线,并系统评测了经典分布学习与微调视觉语言模型在受众反应预测上的表现。

Forecasting Animal Motion

将稠密点轨迹确立为行为建模的视觉 Token,结合局部 DINOv3 视觉特征与相机运动补偿管线,构建了基于扩散 Transformer(DiT)的无序轨迹预测架构,实现了跨物种、免 3D 骨架先验且具备长尾泛化能力的野生动物非刚性运动预测。

NeuralDMD: Interpretable Untrained Neural Network for Imaging from Sparse and Noisy Observations

提出无需数值仿真训练与预设物理方程的单实例重建框架 NeuralDMD,将动态模态分解(DMD)的空间模态参数化为连续坐标神经网络,并通过联合时序约束与可微分观测算子直接从极度稀疏、带噪的直接或间接观测中重建并外推时空动力学。


🏥 医学图像 (114)

Render-FM: Feedforward Model for Real-time Photorealistic Volumetric Rendering

Render-FM 提出一个基于 nnU-Net 风格 3D U-Net 的前馈模型,在单次 2.8 秒前向传播中直接从 CT 体数据回归 6D 高斯泼溅(6DGS)参数,消除逐扫描优化瓶颈(约 500 倍加速),并通过解剖引导初始化(AGP)将分割掩码和传递函数作为结构与外观先验,桥接自然场景重建与医学体积渲染的领域鸿沟,支持实时交互渲染(328+ FPS)和零额外开销的器官组合可视化。

MedSynapse-V: Bridging Visual Perception and Clinical Intuition via Latent Memory Evolution

MedSynapse-V 将医学分割编码器的解剖先验压缩成连续记忆,用区域遮蔽反事实奖励训练模型利用这些记忆,再蒸馏到无需外部编码器的自主分支,在七项离线医学基准上取得论文报告的 59.6 平均分,但这不构成临床有效性证据。

RAU: Reference-based Anatomical Understanding with Vision-Language Models

RAU 先让 Qwen2.5-VL-7B 学会比较参考图与目标图的解剖空间关系,再把分割标记作为软提示接入 SAM2 参考记忆,在仅用 RAOS 和 Arcade 训练的分割设置下,取得 CAMUS 的 Dice 0.7503 与 LERA 的 Dice 0.7010。

Atlas is Your Perfect Context: One-Shot Customization for Generalizable Foundational Medical Image Segmentation

AtlasSegFM 用一例带标注的解剖图谱自动提示冻结的医学分割基础模型,再通过测试时学习的逐体素融合保留两者优势,在 SegRap 上把 nnInteractive 五点击基线的 Dice 从 50.02 提高到 69.19,但仍依赖支持病例与目标病例的解剖对应关系。

Decoding Children’s Gait Behavior

针对儿童神经肌肉与发育障碍步态筛查高度依赖主观肉眼评估且现有基础模型无法捕捉细粒度微小运动异常的痛点,本文构建了首个开源儿童步态多视角视频数据集 CGV(110 名患儿、1185 段视频、34 项双侧 EVGS 临床金标准标注),并提出了结合骨骼运动学提示与掩码引导空间补丁剪枝的端到端视频分析模型 ChildGait-Video,在全项步态评分预测上达到 84% 的平均准确率。

Discrete Diffusion Models with MLLMs for Unified Medical Multimodal Generation

MeDiM 将预训练 Liquid 改造成带双向注意力和时间步条件化的离散扩散模型,以同一套去噪网络支持医学报告到图像、图像到报告及图像报告联合生成,在 MIMIC-CXR 和 PathGen 上分别取得 16.60 与 24.19 的图像生成 FID。

MedSPOT: A Workflow-Aware Sequential Grounding Benchmark for Clinical GUI

MedSPOT 是第一个面向临床软件界面的「工作流感知顺序接地」基准:在 10 个真实医学影像软件上录制 216 个交互任务、标注 597 个关键帧,把 GUI 接地重写成 2–3 步状态依赖的点击序列,并用「首次错误即终止」的严格协议与六类失败分类体系评测 16 个 MLLM——最强模型 GUI-Actor 的任务完成率仅 43.5%,而人类标注者达到 82.22%。

TopoAgent: An Agentic Framework for Automated Topology Learning in Medical Imaging

针对医学图像拓扑特征学习中描述子选择与参数配置高度依赖人工试错的难题,本文提出首个基于大语言模型的拓扑学习智能体框架 TopoAgent,通过感知-推理-行动-反思闭环与提炼技能集实现自适应描述子决策,在 26 个数据集构成的 TopoBenchmark 上将平均平衡准确率提升至 68.21%。

3D Field of Junctions: A Noise-Robust, Training-Free Structural Prior for Volumetric Inverse Problems

提出 3D Field of Junctions (3D FoJ),将 2D FoJ (ICCV 2021) 的显式几何参数化推广到三维体积——用三平面交于顶点的 junction 对每个 3D patch 建模,逐 patch 离散坐标下降初始化后全局联合梯度精炼,无需任何训练数据即可在极低 SNR 下保留锐利边角,并可作即插即用的近端正则项嵌入任意体积逆问题(低剂量 CT、冷冻电镜、点云去噪均验证有效)。

A Dual-space Patch-driven Complementary Learning Framework for Semi-supervised Multi-organ Segmentation

DPCL 用稀有类别与预测不确定性共同引导局部裁剪,再以全图—局部伪标签融合和互补对比学习减少相邻器官的特征混淆,在 Synapse 的 2 个有标注病例设置下获得 68.89% 平均 Dice。

查看全部114篇「医学图像」论文 →


🧬 计算生物 (8)

CellFluxRL: Biologically-Constrained Virtual Cell Modeling via Reinforcement Learning

CellFluxRL 不改动生成架构,而是把七项可自动计算的生物学评估器(MoA 一致性、核是否被胞质包含、核圆度、核与胞质的尺寸/数量统计)当作奖励,对已训练好的流匹配虚拟细胞模型 CellFlux 做 RL 后训练,把「看起来逼真」的细胞图像推向「生物学上可信」,七项奖励全部优于基线,再用 best-of-N 测试时扩展进一步放大收益。

FPicker: Topology-Guided Evolution for Filament Tracing in Low-SNR Microscopy

清华大学团队提出 FPicker,通过中心-端点表示构建粗粒度拓扑骨架先验,并结合截断边界的开曲线图卷积演化网络与桥接渐进学习策略,攻克了冷冻电镜极低信噪比(SNR = -20 dB)下连续细丝蛋白追踪的拓扑断裂与端点收缩难题。

Revisiting Scene Graph Generation from the Perspective of Detector-Conditioned Reachability

本文从目标检测器条件可达性(Detector-Conditioned Reachability)的新视角,首次定量揭示了基于检测器与基于查询的两类场景图生成方法在预测行为上的互补性,并提出了融合自顶向下(TD-Qs)与自底向上(BU-Qs)双重查询的 Dual-SGG 框架,在无需后验校准的前提下取得了显著的性能提升。

Score-Based Matching with Target Guidance for Cryo-EM Denoising

针对冷冻电镜(Cryo-EM)显微图像极低信噪比与无洁净真值监督的瓶颈,提出结合低通参考三维结构投影先验的目标引导分数匹配(TSM)框架,通过自适应置信度加权与退火学习,在有效抑制结构化低频背景的同时保全弱颗粒微细结构,显著提升下游颗粒拾取与高分辨率三维重构质量。

Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos

SVG2 将真实视频自动标注扩展到 636K 视频规模,并训练轨迹条件模型 TraSeR,以分割对齐和全局/局部双重采样器生成时空场景图,在 SVG2test 上达到 79.0% 对象准确率和 27.1% 属性召回率,但关系预测并未全面超过 GPT-5。

Together, Then Apart: Balancing Alignment and Distinctiveness for Multimodal Survival Analysis

针对多模态生存分析中过度跨模态对齐导致模态特异性信息塌陷的痛点,提出“先聚合、后分离(Together, Then Apart, TTA)”框架,通过共享原型与带课程调度松弛质量的不平衡最优传输捕获共有预后模式,再通过模态特异性锚点与对比正则化显式保留各自独特生物学信号,在五个 TCGA 癌症队列上取得显著超越 SOTA 的一致提升。

TopoFuse: Topology-Aware Tri-Planar Fusion for 3D Cryo-Electron Tomography Segmentation

TopoFuse 针对冷冻电镜断层三维分割中因极低信噪比与缺失楔伪影导致的膜结构断裂和腔室塌陷,将拓扑先验从软损失函数重构为前向前向通道的可微投影算子,结合三平面 SAM 基础特征与拓扑条件化 FiLM 融合,仅需编辑约 3.1% 的关键体素即在贝蒂数误差上取得 54% 的大幅下降。

Trust-Region Noise Search for Black-Box Alignment of Diffusion and Flow Models

针对扩散与流匹配模型在推理时对齐面临的高显存开销、无法支持黑盒昂贵奖励及易脱离数据流形等瓶颈,本文提出置信域噪声搜索(TRS),仅对源噪声进行结构化扰动与动态尺度调整,在文生图、小分子和蛋白质生成任务上均显著超越现有黑盒与序列搜索基线。


⚛️ 物理/科学计算 (9)

Complex-Valued 2D Gaussian Representation for Computer-Generated Holography

提出基于复数2D高斯基元的紧凑全息图表示与定制化CUDA光栅化传播管线,借助Gabor最小空频不确定度将优化参数空间缩减至1/5,并在两类主流相位全息格式上保持高保真衍射重构。

Resolution-Agnostic Neural Operators for Multi-Rate Sparse-View CT

本文提出了首个面向稀疏视角 CT 重建的神经算子框架 CTO,利用函数空间中的离散-连续(DISCO)卷积以及正弦图频空双分支滤波,实现了单模型跨多采样率与网格分辨率的零样本高保真重建。

ELHINN: Unifying Dense Crowd Simulation Across Scales via Eulerian–Lagrangian Hydrodynamics

针对密集人群模拟中宏观集体流动与微观个体真实感割裂的根本矛盾,提出跨尺度欧拉-拉格朗日流体力学网络 ELHINN,以可学习控制方程结合 KAN 残差修正演化宏观速度场,并将其作为物理先验引导微观个体轨迹求解与碰撞规避。

Event-based Sparse-view Background-Oriented Schlieren Tomography

针对高速气流三维层析成像中传统帧相机受限高帧率带宽与强光照补偿的瓶颈,本文提出首个基于事件相机的稀疏视角背景纹影(EventBOS)层析方法,利用可微折射光线追踪将神经隐式流体场与异步对数亮度变化事件流对齐,并融入热对流 Navier-Stokes 物理正则化与边界约束,在单视角与正交双视角下均超越了 1000 fps 传统帧相机重建质量。

High-speed Imaging through Turbulence with Event-based Light Fields

针对高速动态场景穿透大气湍流成像中运动模糊与几何抖动交织的顽疾,本文构建了首个纯事件光场成像系统,利用万花筒光学获取 9 个子孔径视角,基于“跨视角强相关的场景运动 vs 跨视角弱相关的湍流扰动”统计解耦原理,结合循环神经重建网络,在强湍流下实现了高达 12,000 fps 的清晰无畸变视频重建。

Learning Implicit Constitutive Laws for Dynamic 3D Gaussian Splatting from Monocular Videos

针对单目视频反演物体动力学中严重的几何与材料欠定问题,本文提出 GCA 框架,结合 LoRA 微调、基于秩次一致性的深度几何锚点与本构先验软正则化,实现了高质量隐式本构关系的稳健学习。

NeuralGarSim: Geometry-agnostic Garment Simulation with Neural Fields

针对传统网格仿真分辨率敏感以及前序神经仿真器强依赖二维参数化平面的瓶颈,NeuralGarSim 首次借助切向微分算子(TDC)在三维欧几里得空间直接构建非线性 Kirchhoff–Love 薄壳模型,实现了无缝兼容多裁片复杂拓扑及网格、UDF、点云、3D高斯等多模态几何输入的无参数化准静态布料神经仿真。

ThermoGS: Decoupling Physical Surface Attributes for Spatio-Temporal Thermal Field Emulation via 4D Gaussian Splatting

ThermoGS 将 4D 高斯泼溅与热力学物理定律相融合,通过 PINN 显式解耦地表材质的发射率、对流换热系数、体积热容与吸收率,实现了全天候动态环境下的高保真时空热场仿真与绝对温度预测(误差小于 1℃)。

TurboMPLE: Joint Infrared Turbulence Mitigation and Physical Fields Estimation via Mutual Progressive Layered Extraction

针对红外成像中大气湍流引起的光学畸变、模糊与灰度漂移,TurboMPLE 首创端到端多任务架构,通过双向特征互引导与大气物理定律约束,同步实现高质量视频湍流去除与四个动态二维物理场的高精度反演。


🌍 地球科学 (4)

Less Tokens, Better Forecasts: Sparse Residual Routing for Efficient Weather Prediction

针对数据驱动气象预报中全图令牌均质计算导致的严重冗余与显存瓶颈,Sparse-Reslim 提出免参数的稀疏残差路由架构,仅让 25% 空间令牌通过深层变换块并以残差增量散射回原序列,不仅实现约 2.5× 训练加速与 2.2× 显存节省,更在确定性与扩散模型下全面超越全量稠密基线的预报精度。

Lessons and Open Questions from a Unified Study of Camera-Trap Species Recognition Over Time

本文把相机陷阱物种识别从「跨站点泛化」重构为「固定站点随时间流式评测」,构建了覆盖 17 个数据集 / 546 个相机点的 StreamTrap 基准,系统回答生态实践者的四个部署问题,发现朴素累积微调甚至会低于零样本,并给出 LoRA + 平衡 Softmax(BSM)加后处理的可用适配配方以及一串明确的开放问题。

Mapping Dark-Matter Clusters via Physics-Guided Diffusion Models

本文发布迄今最大的星系团质量制图数据集 DARKCLUSTERS-15K(15,000 组配对的表面质量密度图与 HST 三波段光度仿真观测),并在此之上训练一个以光度为条件的扩散先验,把强、弱引力透镜的物理前向模型写成似然引导项,用 DAPS 退火后验采样在几分钟内自动输出 512×512 的无参数质量图与校准的逐像素不确定度,在 TNG/SIMBA 留出测试集上全面超过 Kaiser-Squires、Napier et al. 与 UNet 基线,并在真实星系团 MACS 1206 上逼近专家调优的重建结果。

RainODE: Continuous-Time Precipitation Forecasting with Latent Neural ODEs

RainODE 用离散教师引导的潜在神经常微分方程学习连续降水轨迹,再以 Brownian Bridge 随机细化强度与细节,在支持未见时间间隔查询的同时,将 RAPID-60min 的 CSI-M 从 SimVP 的 0.141 提升到 0.220,但不保证逐像素误差同步下降。


📡 信号/通信 (11)

FreqPhys: Repurposing Implicit Physiological Frequency Prior for Robust Remote Photoplethysmography

FreqPhys 在每轮条件扩散去噪中引入心率频带约束、可学习频谱调制和带内噪声选择,再用跨域注意力恢复脉搏波形,在六个数据集上展示较强鲁棒性,其中 BUAA 的心率 RMSE 为 1.31 bpm,但并非所有数据集上的所有指标均最优。

Controllable Generative Reference for Stereo Image Compression via Reliability-Aware Gating

针对传统双目图像压缩在视场外(OOV)区域匹配失效与强量化伪影传递的瓶颈,提出利用预训练扩散模型并结合联合语义-空间控制合成高质量目标视点参考,再通过可靠性感知门控自适应调节熵模型信息流,实现了显著超越现有 SOTA 的率失真性能。

Experts-Guided Unbalanced Optimal Transport for ISP Learning from Unpaired and/or Paired Data

EGUOT 不改 ISP 推理网络,而用内容锚点、非平衡最优传输和颜色/结构/频域专家联合训练,在 ZRR 的同一 Restormer 非配对设置下取得 21.69 dB PSNR,并支持配对监督。

HybridSim: A Physics–Learning Hybrid Digital Twin for mmWave Human Sensing

针对毫米波人体感知仿真中高阶多径射线追踪计算爆炸与神经隐式场纠缠运动微多普勒的瓶颈,HybridSim 将电磁波传播解耦为基于微表面逆向渲染的直射径与基于代理虚拟接收器 3D 高斯泼溅的间接多径,实现了高保真、低开销的动态人体中频毫米波信号合成。

Incentive Noise and Structural Prior Infusion for Multi-Modal Object Re-Identification

针对多模态目标重识别中文本噪声干扰与跨光谱细粒度几何结构失配难题,本文提出将不确定文本重塑为任务感知正激励噪声以自适应调制视觉全局特征,并联合 DINOv3 结构先验提示与上下文引导稀疏融合,大幅提升异构传感器与恶劣工况下的检索鲁棒性。

Markov-Renewal Single-Photon LiDAR Simulator

把 SPAD 死时间下的光子注册过程写成马尔可夫更新过程(MRP),用闭式公式解析预测每个像素的光子计数分布(高斯均值与方差)和时间 PDF,再靠「延迟不变性 + 预计算查表」一次并行采样出整幅 H×W×n_b 直方图立方体:统计上与逐光子拒绝采样的 gold standard 无法区分,但生成 128×128×1024 立方体只要 1.01 s 对 40.8 s(>40×)。

MaterialFlow: Attribute-Disentangled Material Transfer via Trajectory-Aware Velocity Modulation

针对材质迁移中参考特征纠缠与反演累积漂移导致的结构畸变问题,MaterialFlow 在预训练 Rectified Flow 模型上提出了无需反演的轨迹感知速度调制与颜色-纹理-中尺度结构三维属性解耦范式,实现了高保真且结构严格保持的免训练材质迁移。

MixCompress: Mixture of Experts for Variable Rate Learned Image Compression

针对传统稠密调制可变码率图像压缩中高低码率梯度严重冲突的痛点,MixCompress 通过引入率条件门控的稀疏混合专家(MoE)与自适应深度扩展(MoD),结合条件辅助小波变换(CAT),在单一模型内实现了超越独立单码率模型的最优率失真性能。

Prototype-Conditioned Imagination for Compositional Zero-Shot Learning

针对视觉语言模型在组合零样本学习(CZSL)中存在的视觉-文本原语对齐模糊以及属性-对象相互孤立的问题,本文提出了结合最优传输双向解耦与属性原型驱动仿射调制的两阶段认知想象框架 PCI,在四大基准测试中显著提升了未见组合的泛化性能。

Raw-JPEG Adapter: Efficient Raw Image Compression with JPEG

针对原始 Raw 图像体积庞大且无法直接适配标准 JPEG 编解码流水线的问题,本文提出了一种轻量、可逆且自监督学习的 Raw-JPEG 适配器,通过神经网络预测通道查找表、频域 DCT 缩放及像素级 Gamma 参数并嵌入 JPEG 注释段,实现了小于 64 KB 额外开销下极低解码延迟的高保真 Raw 图像压缩与重建。

查看全部11篇「信号/通信」论文 →


👥 社会计算 (7)

Dual-Margin Embedding for Fine-Grained Long-Tailed Plant Taxonomy

针对真实生态监测中细粒度差异、长尾类别分布与开放世界域偏移并存的挑战,本文提出 TaxoNet,通过双边界惩罚损失抑制头部类别对尾部原型的排斥梯度,结合范数引导的样本选择策略,显著提升了植物层级分类在罕见类别与跨域场景下的泛化能力。

Evidence Triangulation for Multimodal Fact-Checking in the Wild

针对真实社交网络多模态误导信息缺乏自然训练基准及现有核查架构推理割裂的问题,本文构建了首个源自 X (Twitter) Community Notes 的众包基准 X-POSE,并提出了基于三路交叉注意力与蕴涵/矛盾关系融合的轻量级证据三角互证模型 TRENT。

Fourier Self-Supervision for Fine-Grained Generalized Category Discovery

针对细粒度广义类别发现中类间差异微弱导致难以聚类新类的问题,本文提出基于傅里叶变换的双频自监督对比学习框架,通过信噪比确定自适应截止频率并解耦表征空间,以低频提取粗粒度抽象层级、高频捕捉微小判别特征,显著提升新已知类别的发现精度。

HCSU: A Dataset and Benchmark for Fine-Grained Historical Calligraphy Style Understanding

针对视觉语言模型在书法艺术上“通晓文字却不懂笔墨”的认知断层,HCSU 构建了首个解耦真迹墨迹(Tie)与石刻拓本(Bei)的大规模细粒度书法风格理解基准(39,307 字/49 位名家/10 个朝代),并引入层次化专家美学描述以驱动风格判别与可解释美学推理。

PanoRec: Spatially-Structured Sequence Modeling for Multi-Granularity Panoramic Retrieval

针对传统视觉语言模型将全景图压缩为单一全局向量导致的严重语义稀释难题,PanoRec 通过将无畸变六面体投影面、下采样全局全景图与可学习空间锚点标记序列化,结合动态 MaxSim 路由与联合空间 InfoNCE 目标,在单次前向传播中实现了高效的多粒度全景图跨模态检索。

Coarse-to-fine Contrast: A Hybrid Self-supervised Method for Non-rigid 3D Shape Matching

本文提出了一种由粗到细的混合自监督非刚体 3D 形状匹配方法,通过在正交拉普拉斯基底与非正交弹性基底构建的对称双分支中引入空间、谱域及跨域的由粗到细对比约束,并彻底舍弃耗时的最小二乘求解器与推理期微调,在保持高效计算的同时显著刷新了非等距变形与拓扑噪声场景的匹配精度。

MED-LCDS: Multi-Expert-Domain CLIP Classification via Logit Calibration

针对独立微调的多个特定领域 LoRA 专家合并到统一模型时因 logit 尺度不一致导致的跨域干扰与虚高置信度问题,本文提出 MED-DSLC(MED-LCDS),结合领域监督门控路由与可学习的领域级温度校准,恢复跨领域全局 logit 可比性,在联合类别空间下取得大幅性能提升。


📂 其他 (68)

FedLAS: Feature-Modulated Bidirectional Label Smoothing for Neural Network Calibration

提出 FeDLaS(Feature-modulated Bidirectional Label Smoothing),利用隐藏层特征 L1 范数作为置信度代理以绕过 softmax 饱和缺陷,搭配双向校准门控实时判断每个样本的过置信/欠置信状态,逐样本动态调制标签平滑强度,在保持 Top-1 精度的前提下显著降低 ECE 和 AECE。

RPM-Distill: Physiology-guided Adaptive Cross-modal Distillation for Robust Remote Physiological Measurement

针对视频远程生理测量在光照、肤色与运动干扰下易失效且雷达推理部署代价高的问题,RPM-Distill 将同步毫米波雷达作为训练期特权信息,在频域解耦生理基频、背景噪声与形态尖锐度构建生理结构化蒸馏,并通过双层元学习驱动的谱策略网络自适应门控与加权,实现了纯视频推断下的高鲁棒生理测量。

AirZoo: A Unified Large-Scale Dataset for Grounding Aerial Geometric 3D Vision

AirZoo 构建了一个百万级航空合成数据集,通过 AirSim-Cesium-Unreal 三位一体仿真管线从 Google 3D Tiles 自动渲染出带像素级深度和 6-DoF 地理参考位姿的无人机航拍序列,覆盖 22 个国家 377 条多天气轨迹,在航空图像检索、跨视角匹配和多视图三维重建三个任务上微调现有 SOTA 模型均取得显著提升,尤其是真实场景零样本泛化能力大幅增强。

Articulat3D: Reconstructing Articulated Digital Twins From Monocular Videos with Geometric and Motion Constraints

Articulat3D 提出一个两阶段优化框架,从单目随意拍摄视频中重建铰接物体的可交互数字孪生:第一阶段用低维运动基(motion bases)对 3D 点轨迹做结构化部分级运动分解,第二阶段用显式运动学基元(旋转/平移关节的轴、枢轴、逐帧标量)约束运动使其满足物理刚体规律,在合成和真实数据上均达到 SOTA 精度且无需静态预扫描。

Color Pass-Through via Camera-Display Coupling

针对智能手机与沉浸式设备在相机拍摄并即时于屏幕呈现时产生的显著色偏与亮度失真,本文提出将相机与屏幕视作端到端联合耦合系统,通过轻量级神经映射器与基于第一主成分的相机零空间色彩修正,实现了仅需单步校准即可高保真复现真实场景感知色彩的色彩透视(Color Pass-Through)框架。

Combining Discrepancy-Confusion Uncertainty and Calibration Diversity for Active Fine-Grained Image Classification

针对细粒度图像分类中类间视觉极度相似导致传统主动学习度量失效的痛点,DECERN 通过局部特征融合解耦并量化样本的结构稳定性与类别方向性,配合不确定性加权聚类与校准多样性采样,在极低标注预算下实现判别性样本的高效筛选。

Compact and Structurally Transparent Cervical Cytology with Geometry-Driven Features and Closed-Form Attention

论文将宫颈细胞病理学临床筛查(初筛定位-精细阅片-归因诊断)流程内化为网络计算图,通过四个病理先验特征定义诊断势场并以自由能极小化求解出闭式空间注意力,结合固化几何算子与非负近对角混合的紧凑解析骨干网络,仅用 2.2M 参数就在 DSCC、SIPaKMeD 和 Herlev 上达到或超越大模型 SOTA,并实现了端到端从概念像素到预测对数的内生证据溯源。

CubicSplat: Differentiable Vector Graphics via Error-Bounded Forward Relaxation

CubicSplat 针对可微矢量渲染中几何前向保真度与反向梯度质量之间的“梯度跷跷板”矛盾,提出误差有界的前向松弛框架,通过 \(\mathcal{O}(S^{-2})\) 几何误差界的均匀折线代理消除迭代最近点求解,配合符号残差覆盖核与透射率基尼系数剪枝,在训练速度提升最高达 4 倍的同时在闭合填充上实现超 2 dB 的 PSNR 飞跃。

Degradation-Robust and Temporally Consistent Infrared–Visible Video Fusion via One-step Diffusion Framework

针对现有视频融合方法因单模态退化导致时序运动估计不可靠的问题,本文提出“先融合后时序(fusion-first)”的单步整流流扩散视频融合框架 DRT-VF,通过模态协同注意力构建鲁棒的帧内联合表征,并结合全局闪烁抑制与局部运动补偿实现高保真度且时序稳定的视频融合。

Disentangling Rotation and Translation from SE(3)-Equivariant Features for Shape Assembly

针对三维形状装配中旋转与平移混合编码阻碍模型泛化的问题,本文提出 SOT 编码器,通过正交补空间投影抑制平移构建 SO(3) 等变旋转分支,并通过平移监督与特征差分构建 T(3) 等变平移分支,实现刚体运动因子的显式解耦与即插即用提升。

查看全部68篇「其他」论文 →