🧩 多模态 VLM¶
🧠 NeurIPS2026 · 175 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (240) · 📷 CVPR2026 (427) · 🔬 ICLR2026 (214) · 💬 ACL2026 (82) · 🧪 ICML2026 (91) · 🤖 AAAI2026 (74)
🔥 高频主题: 多模态 ×102 · LLM ×13 · 对齐/RLHF ×10 · 推理 ×8 · Agent ×6
- 3D-PLOT-LLM: Part-Level Object Tokens for 3D Large Language Models
-
3D-PLOT-LLM 提出了一种无需分割解码器或边界框预测头的轻量级 3D 视觉语言模型,通过无监督几何区域划分将点云 Patch 组织为 \(K\) 个局部相干区域,并引入连续标记与专属词汇词元
<part_k>以及标记空间精炼(MSR)模块,首次让大模型能够在自身词表中双向寻址并推理 3D 局部部件。 - A Closer Look at Dynamic Scene Graph Generation In the Era of Multimodal Large Language Models
-
本文系统反思了动态场景图生成(DSGG)在评估体系和模型架构上的固有弊端,提出首个面向实用性的5项评估新指标,并构建了自顶向下“先推理后定位”的MLLM动态场景图基准模型,通过时序关系集合预测(TRS)与重要性感知微调(IAF)在Action Genome、VidVRD和PVSG上全面刷新SOTA。
- A Matched-Budget Audit Framework for Recaptioned Image-Text Supervision Distributions
-
本文将视觉语言模型 (VLM) 重新标注的图文语料形式化为受标注策略、生成模型与源数据决定的监督分布,提出了固定文本预算下的五维审计框架与 CBU 原子视觉声明体系,并开源了约 4.9 亿规模的审计后多源重标注语料库。
- AdaCodec: A Predictive Visual Code for Video MLLMs
-
AdaCodec 将预测编码思想引入视频 MLLM 视觉接口,仅对高预测成本帧分配完整 ViT token,而对可预测帧提取紧凑的运动与残差 P-token,在节约超 84% 视觉 token 的同时大幅降低首字时延并全面超越独立逐帧 RGB 基线。
- Aligning Forest and Trees in Images: Long Captions for Visually Grounded Understanding
-
提出分层视觉语言对齐框架 CAFT,通过细粒度到粗粒度的图像超像素分组编码器与部分到整体的文本分块编码器,将长文本子句定位到中间层局部视觉区域,在最终层聚合为全局图文嵌入,在无区域级标注下显著提升长文本跨模态检索与零样本指代分割性能。
- AMPS: Adaptive Modality Preference Steering via Functional Entropy
-
AMPS 针对多模态大语言模型在全局统一强度干预下易崩溃或导向不足的矛盾,基于连续泛函熵与对数索伯列夫不等式构建模态贡献率诊断指标,并利用轻量辅助网络自适应预测样本级缩放的导向向量,在大幅矫正模态偏好的同时维持推理生成的稳定性。
- Animation2Code: Evaluating Temporal Visual Reasoning in Video-to-Code Generation
-
本文提出首个评估视频到可执行Web动画代码(HTML/CSS/JS)反渲染基准 Animation2Code(含 1,069 个样本),并设计外观与时序解耦的双重评测指标,揭示了前沿多模态大模型在静态外观重建出色(达 0.84)但时序动态推理严重不足(仅约 0.31)的本质瓶颈。
- Are Multimodal Benchmarks Really Useful? Item-Level Multimodal Benchmark Diagnosis via Structure-Response Co-Calibration
-
提出结构-响应协同校准诊断框架 SRCoD,将基于偏信息分解的样本级内在模态结构先验作为软锚点,融入模态条件化项目反应理论,实现了高保真、抗模型池偏差且具可解释归因的题目级模态依赖性诊断。
- Are We Making Progress in Multimodal Domain Generalization? A Comprehensive Benchmark Study
-
构建了首个涵盖 6 个数据集、3 大任务、6 种模态组合及 9 种代表性方法的统一评测基准 MMDG-Bench,在训练 7,402 个模型后揭示出专用方法相较强 ERM 提升微弱、模态竞争导致三模态收益不稳定、在数据损坏与模态缺失下严重衰退且预测准确率与模型可信度脱节等核心事实。
- Attention Alignment Between Humans and Vision-Language Models
-
本文通过构建编码器(CNN vs. ViT)与解码器(LSTM 单门控加性注意力 vs. Transformer 多头交叉注意力)的 \(2 \times 2\) 析因实验并对比前沿 VLM,发现解码器的注意力瓶颈结构是决定模型与人类眼动注视点空间对齐的主导因素(提升 40–50 个百分点),并揭示了注视对齐度与脑神经响应预测力之间的显著解离。
- Automotive-Env: Benchmarking Multimodal Models in Automotive Cockpit Environments
-
针对传统 GUI 智能体基准无法评估车载交互特性的问题,本文基于 Android Automotive OS (AAOS) 构建了包含 420 项任务的交互式座舱评测基准 Automotive-ENV,揭示了当前通用大模型与专有 GUI 视觉语言模型在隐式意图理解、车辆控制常识与安全关键推理上的显著性能瓶颈。
- BalCapRL : A Balanced Framework for RL-Based MLLM Image Captioning
-
针对现有基于强化学习的 MLLM 图像描述方法易偏向单一评估维度而引发质量权衡的问题,本文提出 BalCapRL 框架,联合优化实用感知正确性、参考覆盖率与语言学质量,并通过连续解耦归一化强化学习(c-GDPO)与双侧长度条件奖励掩码实现全方位质量提升。
- BayesRAG: Probabilistic Mutual Evidence Corroboration for Multimodal Retrieval-Augmented Generation
-
针对富视觉文档检索中图文割裂与伪相关噪声问题,BayesRAG 将多模态检索重构为贝叶斯证据融合过程,结合 Dempster-Shafer 证据理论与图拓扑/版面先验动态惩罚模态冲突,大幅提升检索召回与下游问答精度。
- Behavior Pack Optimization for Video MLLM Post-Training
-
针对视频多模态大模型(Video MLLM)过度依赖外观与语言先验而在视频时序/证据篡改下输出不变的“虚假正确”问题,本文提出行为包优化(Behavior Pack Optimization, BPO),将后训练的优化单元从单响应扩展为包含原始片段与问题类型条件化反事实视角的“行为包”,结合跨视角行为契约奖励与锚点相对优势估计,在相同算力预算下显著提升模型在时序困难推理与拒答任务上的真实因果落地能力。
- Beyond Modality Fusion: Deep Ensembles for Multimodal Classification
-
本文颠覆了多模态分类必须依赖显式特征融合的既有认知,证明由独立训练的单模态网络构成的异构深度集成(HeDEs)在同等参数量下不仅显著优于 SOTA 防失衡晚期融合与中间融合网络,还提出基于验证损失比率的近最优模型配比启发式准则及渐近损失缩放法则。
- Beyond Prediction: Steering VLM Agents with Retrospective World Modeling
-
RWM 让 VLM 智能体根据相邻观测的文本信念状态反推前一轮动作,并把动作与转移的一致性转成训练奖励;完整配置在四类交互任务上取得原表报告的 0.81 Overall 成功率,但其提升同时涉及回溯推理、双层 GAE、外部评审和 SCR,不能全部归因于 SCR。
- Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings
-
提出了 SAGA 框架,利用冻结的多模态大语言模型作为训练期判别监督者,通过 GRPO 将二值类别判断转化为富含属性梯度的学习信号,并结合注意力蒸馏与度量学习损失,大幅提升零样本图像检索性能。
- Beyond SFT-to-RL: Pre-alignment via Black-box On-policy Distillation for Multimodal RL
-
针对传统 SFT 带来的分布漂移会严重扭曲视觉感知与逻辑推理、损害后续多模态强化学习的问题,PRISM 在 SFT 与 RLVR 之间引入黑盒在线策略对抗蒸馏作为显式预对齐阶段,利用视觉与推理专家的解耦奖励校准模型生成分布,显著提升下游强化学习性能。
- Beyond SFT-to-RL: Pre-Alignment via Black-Box On-Policy Distillation for Multimodal LLMs
-
针对监督微调向强化学习过渡时的分布偏移与感知/推理异质退化问题,本文提出三阶段后训练框架 PRISM,在 SFT 与 RLVR 之间引入基于 MoE 判别器的黑盒在线策略对抗蒸馏,在 Qwen3-VL 上显著提升了下游多种强化学习算法的多模态推理性能。
- Beyond Single Expert: Harmonizing Diverse Visual Priors in MLLMs for Spatial Understanding
-
针对单一视觉专家先验表征受限及多模型集成推理开销线性的矛盾,提出 ViPS 框架,通过高效先验代理(单基座+轻量 MLP 蒸馏)与基于零初始化卷积的任务自适应动态融合,在保留单编码器级推理成本的同时刷新了空间推理与 3D 具身理解 SOTA。
- Beyond Thinking: Imagining in 360\(^\circ\) for Humanoid Visual Search
-
本文提出解耦的类人视觉搜索框架 Imagining in 360\(^\circ\),通过轻量想象器(Imaginator)以掩码空间建模单步生成全景语义布局与概率空间先验,引导执行器(Actor)打破单体思维链的探索盲区,在大幅削减轨迹标注成本的同时显著提升搜索成功率与收敛速度。
- Binding Multiple Modalities via Multimodal Wasserstein Barycenter
-
BaryBind 用可学习的 Wasserstein 重心映射替代固定模态锚点,再围绕重心对多模态差向量做体积对比学习,在 VAST 骨干上的零样本检索与分类实验中取得提升,但其公开公式的对偶推导、势函数抵消及部分实验数字存在需要核实的不一致。
- Binding Visual Features Point by Point
-
本文从认知科学与神经机制切入,证明视觉语言模型(VLM)在多目标场景下的绑定错误源于组合性表示的注意干扰,而通过文本输出离散空间坐标(pointing-via-text)能诱导模型在中间层涌现出由特定“搜索头”控制的串行视觉注意机制,从而消除特征绑定错误并实现跨目标数量与复杂度的分布外泛化。
- CAC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating
-
针对生成视频中微弱且在时空上高度稀疏的结构、物理与运动异常,提出基于视觉语言模型的粗到细两轮聚焦奖励模型 CaC,配合三阶段渐进式训练与过程级时空 IoU 奖励,并在下游生成对齐中将视频异常率降低 11.7%。
- Can Complementary Signals Bridge Similarity Islands? Manifold-Augmented Graph Embedding for Multimodal Recommendation
-
本文针对多模态推荐中互补品因特征远隔而形成的“相似性孤岛”难题,提出了结合离线流形几何增强与在线非对称图传播的 MAGE 框架,在四个基准数据集上超越了主流多模态 GNN 模型。
- Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces
-
针对感知-推理解耦架构中视觉描述遗漏关键数学细节的接口失配问题,提出自适应澄清强化学习(AC-RL),以训练阶段澄清交互产生的分级奖励作为隐式监督,促使视觉描述模型前置推理所需完备信息,在 7 个视觉数学推理基准上平均提升 4.4 分且完全保持单轮推理部署。
- CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
-
CogArena 将社会与行为科学的 10 项经典实验范式部署为真实浏览器交互任务,通过三层评估机制(完成度、客观表现、认知行为特征)揭示了当前多模态智能体“能完成实验但难以复现人类认知特征”的本质差距。
- CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation
-
针对多模态大模型(MLLM)在开放域任务中不确定性来源交织且候选答案空间无界的难题,CoMet 提出将后验不确定性严格解耦为上下文特定项(量化问题约束下的答案空间广度)与多重性特定项(量化与输入视觉证据兼容的答案重数),并通过轻量化后验回归头实现高效、无需自回归生成或重复采样的免生成推断。
- COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision-Language Learning
-
针对任务不可知的视觉-语言持续学习中多模态漂移、专家间冲突与容量不足三重耦合压力,COMET 提出机制解耦框架,结合三亲和度蒸馏、跨专家注意蒸馏与上下文老虎机容量合并,在冻结主干与免回放条件下取得最强持续适应性能与亚线性专家增长。
- Conceal, Reconstruct, Jailbreak: Exploiting the Reconstruction–Concealment Tradeoff in MLLMs
-
论文揭示了多模态大语言模型(MLLM)意图混淆越狱攻击背后固有的“重建-隐藏权衡”(Reconstruction–Concealment Tradeoff),提出了感知隐藏的变体构建算法与基于有害关键词的干扰图像生成策略,利用模型自身的跨模态重建能力绕过安全对齐,并在主流闭源与开源 MLLM 上取得了高达 99.7% 的越狱成功率。
- CondenseVLA: Learnable History Condensation for Efficient Multi-Frame VLA
-
CondenseVLA 在多帧 VLA 的扩散动作解码器前引入可学习历史压缩(LHC)模块,利用可学习槽位查询跨注意力将 FIFO 缓存的变长多帧特征浓缩为固定数量的上下文槽位,并配合注意力多样性与特征去相关正则,在保持极低延迟的同时大幅提升机械臂多阶段与部分可观测任务的成功率。
- Cross-Attentive Bayesian Low-Rank Adaptation for Multimodal Uncertainty Estimation
-
本文提出 SPECTRA 框架,通过在冻结的大模型 LoRA 低秩空间中引入紧凑随机潜在矩阵,利用分层词元级文本-音频交叉注意力调制变分后验均值与方差,在保持轻量适配的同时实现了对跨模态局部可靠性敏感的异方差不确定性估计。
- CSI-TextBench: A Dataset and Benchmark for Language-Grounded Ambient Sensing Perception
-
针对泛在无线信道状态信息(CSI)缺乏自然成对文本的问题,本文构建了首个包含 285,790 个样本、7 项任务与 200 万对多对多 CSI-文本元组的大规模基准 CSI-TextBench,证实无类别标签对比对齐可逼近全监督分类,并支持开放词汇与复合场景理解。
- DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation
-
本文揭示了现有多模态推理数据集中高达 69% 的样本属于教师与学生输出完全一致的“零分歧陷阱”,并提出通过答案分歧度度量与两阶段定向合成管道 DeltaPrompts,显著提升紧凑型 VLM 的在策略蒸馏与迁移性能。
- Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models
-
针对多模态大语言模型难以甄别任务无关虚假信号的“跨模态胜任力”缺陷,本文基于因果干预框架系统诊断了模态干扰现象,并提出结合跨模态掩码对抗扰动与预测一致性正则化的统一微调方案,在大幅提升单模态鲁棒性的同时保持并增强了多模态基准表现。
- Do Composed Image Retrieval Benchmarks Require Multimodal Composition?
-
系统审计 CIRR、FashionIQ、LaSCo 与 CIRCO 四大组合图像检索基准,揭示 32.2% 至 83.6% 的查询仅凭单模态即可求解,并构建消除单模态捷径且经人工校验的高可靠评测集 CIRCUS。
- Do Multimodal Models Imagine Electric Sheep?
-
研究发现多模态大模型(VLM)在纯开环动作监督下解决空间几何谜题时,其隐藏激活层自发涌现出编码中间世界状态的“心理意象”(mental imagery);在此基础上引入紧凑视觉思维链或辅助视觉预测损失,可将平均解题成功率从 83% 显著提升至 89.5%。
- DocAtlas: Long-Document Understanding as Mutable-State Interaction
-
将长文档理解建模为智能体与外部可变环境的交互过程,通过在探索中动态向分层文档树写回证据与结构化笔记,结合端到端强化学习,彻底摆脱传统静态检索与提示词工程的瓶颈。
- DocPTBench: Benchmarking End-to-End Photographed Document Parsing and Translation
-
DocPTBench 建立了首个面向真实拍照文档的端到端解析与翻译评测基准,包含 1,300+ 张高分辨率多领域图像与 8 个翻译语向,揭示出现有 MLLM 与专用解析模型在拍照退化下平均遭遇 18% 至 25% 解析性能滑坡以及 12% 翻译断崖的核心瓶颈。
- Does the Question Really Matter? Training-Free Data Selection for Vision-Language SFT
-
针对视觉指令微调数据中普遍存在的纯语言捷径与弱跨模态监督问题,提出基于冻结 VLLM 条件判定偏移的免训练数据筛选方法 CVS,通过量化引入问题前后答案有效性判定的对数似然比过滤语义冲突噪声并优先保留决策边界附近的硬正样本,在仅用 10%~15% 数据下显著超越全量微调。
- doomed to re-annotate forever the imagenet story
-
通过内部标注团队与视觉模型/MLLM协同的迭代式多轮修正,重标注整个 ImageNet-1k 验证集(ReImageNet),引入多标签定位边界框与5类语义属性,揭示约12%原标签错误、33.3%图像具备多标签,并证实标注噪声向其衍生基准严重放大。
- Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning
-
针对多模态持续指令微调中静态模块复用无法适应任务内样本多样性的痛点,Drape 提出了由文本指令引导视觉交叉注意力的实例级连续软提示生成框架,并结合共享映射层的零空间梯度投影与免标签 CLIP 原型路由,在实现细粒度样本自适应的同时有效抑制灾难性遗忘。
- Dynamic Resolution Routing for Efficient Egocentric Grounding
-
针对第一人称视觉定位中目标极小且计算受困于高分辨率视觉编码开销的难题,SmartRes 放弃潜空间启发式剪枝,提出在像素空间由低分辨率全局引导并以动态分辨率路由精准激活目标区域高分辨率 Patch,结合间隔正则化损失缓解严重的前景背景失衡,在削减高达 67% 视觉 Token 的同时保留了 86.4% 的全分辨率定位性能。
- EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs
-
本文提出无需额外训练的视频 Token 剪枝框架 EchoPrune,将时序冗余建模为由前一帧重构的“时间回声”,结合文本查询相关性与时空重构误差(局部位置对应与邻域回声匹配)进行投影层全局 Top-K 筛选,在固定 LLM 计算预算下使输入采样帧数扩展达 20 倍,显著缓解长视频理解中的欠采样与幻觉问题并实现高达 5.6 倍预填充加速。
- EDMA: Entropy-Driven Multimodal Answering
-
本文提出 EDMA 框架,通过引入逻辑熵将多模态问答形式化为候选答案空间上的迭代划分精炼与熵减过程,实现了每一步推理与各模态贡献的显式量化归因,并在大幅削减假阳性错误的同时显著超越现有 CoT 与规划提示基线。
- EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
-
提出了首个结合第一人称动态视频、多跳工具调用与动态多轮用户交互的多模态 Agent 评测基准 EgoBench,涵盖五大生活场景的 1,590 个任务,并建立了基于调用过程与数据库状态等价性的确定性评测机制。
- ES-Merging: Biological MLLM Merging via Embedding Space Signals
-
针对现有生物多模态大模型(MLLM)局限于单模态且传统模型融合依赖盲目参数空间启发式的问题,本文提出基于嵌入空间信号的模型融合框架 ES-Merging,通过设计多模态探针输入提取层级粗粒度分布位移(SWD)与元素级细粒度梯度敏感度,计算互补的融合权重,在免微调条件下大幅提升跨模态相互作用预测与单模态专业知识保留能力。
- Exemplar2VQA: A Scalable Exemplar-Driven Visual Question Answering Generation Framework via Multi-Agent Coding
-
Exemplar2VQA 将空间问答样例编译成可复用的仿真采图与几何标注程序,以四角色协作及执行反馈减少生成错误,仅用约 10K 合成样本便将 Qwen2.5-VL-3B 在 VSI-Bench 多项选择子集上的作者报告平均分从 35.3 提升至 42.9。
- Exploring MLLM-Diffusion Information Transfer with MetaCanvas
-
MetaCanvas 提出在 MLLM 输入端引入可学习多维画布标记(Canvas Tokens),使多模态大模型能够在空间与时空潜空间中直接进行结构化规划,并通过轻量级双模块连接器无损注入扩散生成器加噪潜变量中,在极低训练开销下大幅提升图像与视频编辑及生成的位置精度与跨模态对齐。
- FineVision: Open Data Is All You Need
-
FineVision 整合并清洗了 200 余个公开多模态数据源,构建包含 2430 万样本、8890 万对话轮次和统一 GUI 动作空间的开源多模态指令微调数据集,并在严格基准去污染后全面超越同规模开源数据混合。
- FLAME: Adaptive Mixture-of-Experts for Continual Multimodal Multi-Task Learning
-
FLAME 提出了针对异构模态组合多任务预训练与部署后持续学习的自适应 MoE 架构,通过按模态路由解耦模态与任务绑定,并利用专家功能能量的低秩饱和特性实现免灾难性遗忘的低秩知识增量压缩。
- From Failure Taxonomy to Intervention: A Diagnostic Methodology for Industry-Scale AVLM in Video and Live-Streaming Platform Moderation
-
针对工业级万亿规模视频与直播审核中通用多模态模型难以归因和修复策略性失效的难题,本文提出一套将部署故障映射至可观测特征并关联具体干预空间的系统性诊断方法论,成功研发并部署了全球首个万亿级工业 AVLM 基座模型。
- From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs
-
首次系统揭示多模态音视频大语言模型(AVLLM)内部的信息流路径:单音视频视频输入下遵循“模态→问题文本→预测token”的串行间接路由,交错多输入下呈现多分支并行汇聚流,并证明深层注意力峰值源自无语义的视觉信息汇(Vision Sink),在信息汇聚后提前丢弃多模态与非选项token可无损模型表现并降低端到端首字延迟。
- Fusion or Confusion? Multimodal Complexity Is Not All You Need
-
论文在统一标准化实验与贝叶斯分层检验下严格重构并对比了 19 种高影响力多模态学习架构,揭示出复杂的多模态融合、梯度调节与模块设计并未显著超越单模态最优模型或极简的晚期融合基准 SimBaMM。
- FusionAudit: Pathway-Conditioned Robustness Auditing for Native Multimodal Models
-
针对原生多模态模型跨模态深层融合带来的防御机理变化,本文提出通路条件化鲁棒性审计框架 PaRMA 与 FusionAudit,揭示了传统 PGD 梯度稀释缺陷与排版文字“看见却不上当”的视觉排异特征,并设计针对性攻击算法 MANTIS 与 Nat-Evid,对 18 个开源 VLM 全面曝光了被传统单标量评测掩盖的显著残余风险。
- GeoRouter: Dynamic Paradigm Routing for Worldwide Image Geolocalization
-
针对全球图像地理定位中检索范式与生成范式在细粒度地标与语义推理上的互补误差特性,本文提出首个动态范式路由框架 GeoRouter,借助多模态大模型视觉理解与连续距离感知偏好优化,自适应将查询指派给最优定位范式。
- Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails
-
本文首次揭示并形式化了多模态大模型在持续学习中“精度存活但证据接地失效”的隐式遗忘现象,提出了免回放的依赖约束持续学习框架(RCL),通过反事实通道介入与置信门控对齐模态依赖轮廓,在保持推理零额外开销的前提下大幅抑制证据漂移并提升持续推理稳健性。
- Hierarchical Semantic Tree Anchoring for CLIP-based Class-Incremental Learning
-
针对基于 CLIP 的类增量学习缺乏显式语义层次建模导致细粒度特征漂移与灾难性遗忘的问题,Hasten 利用动态构建的语义层级树在双曲洛伦兹流形中建立偏序锥约束与对比锚定,并借助历史协方差特征近似零空间投影冻结共享映射层的旧任务响应,在九大基准上显著降低特征漂移与遗忘率。
- Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs
-
基于认知心理学因子参照认知测验(FRCT),构建涵盖4大认知领域、20个纯视觉子测验的评测基准 VisFactor 及可控难度的参数化生成算法,揭示前沿 MLLM 缺乏底层视觉认知基石且存在“中等得分异常”的本质缺陷。
- HYDRA: Representation-Harmonized Tokenization for Multimodal Generation and Understanding
-
针对多模态统一模型中图像理解(高层抽象)与图像生成(紧凑结构基元)表征冲突的难题,本文提出纯 ViT 统一分词器 HYDRA-TOK 与原生双向统一多模态框架 HYDRA,通过“生成-语义瓶颈(GSB)”渐进式协调生成基元与语义表征,在单一参数空间内实现视觉理解与生成的相互促进。
- Hydra-X: Native Unified Multimodal Models with Holistic Visual Tokenizers
-
Hydra-X 首次将图像与视频的分词与重构统一于单个原生 Vision Transformer(Hydra-XTok)中,借助管状因果时序注意力、分层时序 patchify 与解压缩器双教师蒸馏构建紧凑且语义丰富的多模态潜空间,并利用分词器内部的源-目标图生因果交互实现了图像编辑保真度与全模态任务的全面突破。
- I Don’t Miss You, but I Do: Self-Explanation Faithfulness of Modality Missingness in Vision-Language Models
-
针对视觉语言模型在模态缺失情境下自我解释是否可靠的核心问题,本文提出了可执行的模态干预评估协议,发现当前模型在回顾归因与前瞻反事实判断中普遍存在系统性的“信息充足性过度声称”,严重低估了补全缺失模态对自身预测的真实影响。
- I-Perceive: A Foundation Model for Vision-Language Active Perception
-
I-Perceive 构建了首个面向大尺度室内场景的开放指令主动感知基础模型,将 VLM 的多层语义特征注入多视角几何推理骨干网络,直接端到端回归物理可行且满足语言意图的 6D 目标相机位姿,并在零样本跨场景与闭环主动探索中取得突破。
- InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories
-
InduceKV 冻结多模态大模型骨干参数,通过双层优化选择固定内存预算内的诱导 KV 记忆并学习轻量检索标定参数,在推理时无缝注入注意力机制以实现无灾难性遗忘的持续适应。
- Instruction Anchor: Dissecting the Mechanistic Dynamics of Modality Arbitration
-
本文从信息流视角解构多模态大模型在模态冲突下的仲裁机制,发现指令标记扮演了信息聚合与决策裁决的“结构锚点”,揭示了浅层注意力作为隐式缓冲、深层注意力由极稀疏注意力头主导模态仲裁的分层动态。
- IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams
-
本文提出了首个面向连续视频流下多模态大语言模型(MLLMs)交互式主动智能的评测基准 IPIBench,并构建了包含交互控制策略与时间门控机制的免微调框架 IPI-Agent,显著提升了模型在流式环境下的触发稳定性与多轮协调能力。
- ITO: Multi-View Alignment and Training-Time Fusion for Image-Text Pretraining
-
针对 CLIP 等双编码器模型中因单实例对齐导致的模态诱发分离问题,ITO 提出解耦实例判别与全局特征正则化:通过多视图多重对齐强化跨模态对比监督,并引入仅在训练阶段反向传播、推理时完全丢弃的轻量自注意力融合模块,在保持标准双编码器推理零额外开销的前提下,显著提升跨模态检索、分类与多模态大模型底座迁移性能。
- JMed48k: A Multi-Profession Japanese Medical Licensing Benchmark for Vision-Language Model Evaluation
-
基于日本厚生劳动省 2005–2025 年间 11 项国家医疗执业资格考试官方真题构建包含 48,862 道试题(其中 9,646 题配有图像,按 8 类视觉分类法标注)的权威多模态基准 JMed48k,并通过成对图像消除审计(Paired Image-Removal Audit)揭示出专有模型与医疗专有模型在临床视觉证据利用上的巨大鸿沟与跨专业差异。
- K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos
-
提出了首个聚焦真实家庭与户外场景犬类细粒度动作与交互理解的视频问答基准 K9-Bench(包含 907 个视频、4,744 个五选一问答对),并配套构建了基于行为学本体与双重偏置过滤的自动化生成管线,揭示了前沿多模态大模型在长程犬类姿态识别与因果推理上的显著瓶颈。
- LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
-
构建并开源包含 1000 万小时视频的大规模开放多模态视频数据集 LAION-BVD,设计多模态自动化字幕标注流水线生成 5500 万视频/音频片段描述与 3 亿场景切换帧,在跨视频、音频及图像模态的基础模型预训练中取得超越既有开源数据的泛化与缩放性能。
- Language-Assisted Image Clustering Guided by Discriminative Relational Signals and Adaptive Semantic Centers
-
针对语言辅助图像聚类中候选文本表征区分度弱以及受限于预建对齐空间的问题,本文提出基于岭回归重构的跨模态关系矩阵与连续类别语义中心提示学习框架,在 8 个基准数据集上超越现有 SOTA 平均 2.6%。
- LARGO: Low-Rank Hypernetwork for Handling Missing Modalities
-
LARGO 摒弃传统的特征空间插补策略,在权重空间利用典范多元(CP)张量分解对所有 \(2^N-1\) 个模态组合的专用卷积权重进行联合低秩重参数化,以仅相当于单模型的参数预算实现了对任意缺失模态子集的极致自适应和前沿分割性能。
- Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding
-
针对基于强化学习的 GUI 定位依赖多重采样且易遭遇奖励稀疏的瓶颈,GUI-SD 提出首个面向 GUI 定位的在线自蒸馏框架,通过引入带高斯软掩码的视觉特权上下文与熵引导 token 级自适应加权,在单次生成下提供稠密监督,实现了大幅超越 GRPO 基线与近 4 倍的训练加速。
- Less Language, More Latents: Annotation-Efficient VLAs for Driving
-
针对自动驾驶视觉语言动作模型(VLA)极端依赖昂贵且稀缺的自然语言标注问题,LADA提出三阶段解耦流水线,仅用约5%的高级导航指令与反事实标注,即可在闭环驾驶评测Bench2Drive上以87.98驾驶得分超越全量语言监督基线。
- LoMo: Local Modality Substitution for Deeper Vision-Language Fusion
-
针对视觉语言模型在文本问题渲染为图像输入时性能剧烈崩塌的“载体敏感性”缺陷,本文提出无需改动架构的局部模态替换数据范式 LoMo,将纯文本指令重塑为细粒度图文交错序列,为模型注入跨模态表征不变性的隐式对齐监督。
- Look-Before-Move: Narrative-Grounded World Visual Attention in Dynamic 3D Story Worlds
-
提出先确立观察契约与搜索可行视点、再进行连续轨迹运动落地的 Look-Before-Move 框架,解决动态3D故事世界中叙事导向的主动视觉注意力规划问题。
- M*: A Modular, Extensible, Serving System for Multimodal Models
-
针对传统自回归服务框架难以承载复合多模态模型多样化计算拓扑的瓶颈,提出将多模态推理形式化为计算图遍历的通用服务系统 M*,通过 Walk Graph 抽象与细粒度分布式运行时实现了任意循环、并行分支及流式传输的高效调度与物理放置。
- Magnifying What Matters: Attention-Guided Adaptive Rendering for Visual Text Comprehension
-
针对视觉文本理解(VTC)中多模态大模型“能定位证据却难以有效利用”的瓶颈,提出免训练的自适应排版渲染框架 AGAR,利用中后层注意力反向映射并物理放大关键证据字符,以极低 token 增量显著提升问答准确率。
- magnifying what matters attention-guided adaptive rendering for visual text compression
-
针对视觉文本理解(VTC)中模型能准确定位证据却无法正确回答的“定位未利用”瓶颈,提出免训练、无视模型架构的自适应渲染方法 AGAR,利用 VLM 中后层注意力定位关键视觉补丁并将其文字放大重渲染,使 Qwen3-VL、InternVL3.5 等模型在 9 项基准上获得显著且稳健的性能增益。
- MARS: Harmonizing Multimodal Convergence via Adaptive Rank Search
-
针对视觉语言模型全模块 LoRA 微调中模态间收敛步调不一致导致的性能瓶颈与振荡,MARS 提出模态自适应 rank 搜索算法,借助收敛时间与任务性能的双重缩放律在单次轻量标定下先剪枝后优选,实现多模态收敛动态对齐并显著提速微调搜索。
- MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios
-
MDPBench 是首个针对真实拍摄与数字生成场景的多语言文档解析基准,覆盖 17 种语言共 3,400 张高保真标注图像,揭示出开源与专用模型在非拉丁语系与复杂拍摄畸变下性能急剧崩溃的严峻瓶颈。
- Measuring Cross-Modal Synergy: A Benchmark for VLM Explainability
-
本文指出传统单模态扰动指标因语言偏置与跨模态冗余会导致多模态解释器评测排名严重崩溃,提出了基于 Shapley 交互指数与两方 Harsanyi 红利的协同忠实度指标 \(\mathcal{F}_{syn}\)(实现 24 倍加速且 \(\rho=0.92\)),并在 3 个模型与 3 个基准上系统评估 8 种 XAI 方法,证实注意力解释方法在跨模态协同忠实度上显著超越过度依赖视觉显著性的 VLM 原生解释器。
- MemLeak: Diagnosing Information Leaks in Multimodal Agent Memory
-
提出了多模态智能体记忆信息溯源图(IPG)分类学与 MemLeak 评估基准,揭示出常规删除文本与关联图像后,VLM 仍能利用保留图像的隐式视觉线索恢复 12.0% 的已删事实,并证明基于内容的语义删除可将该残留泄露率降至 2.0%。
- Meow-Omni 1: A Multimodal Large Language Model for Feline Ethology
-
Meow-Omni 1 是首个面向计算行为学的开源四模态大语言模型,通过将视频、音频与高频生物传感器时间序列原生对齐并投影至语言隐空间,在专家构建的 MeowBench 基准上实现 71.16% 的猫类意图识别准确率,显著克服了由外在生理状态诱发的语义混淆瓶颈。
- MicroWorld: Empowering Multimodal Large Language Models to Bridge the Microscopic Domain Gap with Multimodal Attribute Graph
-
MicroWorld 从海量显微图文文献中构建包含约 11.1 万节点与 34.6 万边的多模态属性属性图(MAPG),在无需领域微调的前提下通过图增强检索注入结构化生物医学知识,使开源 8B 模型在 MicroVQA 基准上超越 GPT-5 达 13.0%。
- MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome
-
针对现有深度研究评测仅盯静态终稿且缺乏多模态支持的痛点,MiroEval 构建了包含 100 个真实需求任务(70 文本 + 30 多模态)的双路径可刷新基准,并提出结合自适应任务评语、动静态跨源事实性核查与过程级因果轨迹审计的三维评估体系,全面诊断 13 款前沿系统的研究全流程。
- Mirror, Mirror on the Wall: Can VLM Agents Tell Who They Are at All?
-
论文构建了一个受经典动物镜子测试启发的 3D 具身评测基准,要求第一人称 VLM 智能体通过无标签镜面反射推断自身隐藏身体颜色并执行匹配动作,系统揭示了当前模型中视觉线索探查与因果自我接地的深层解耦现象。
- Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment
-
针对长文本图文对齐中模型过度依赖显著前景描述而忽视上下文导致的“显著性崩塌”缺陷,本文提出 RoSA 框架,通过模态独立的显著/上下文互补视图解耦与辅助对齐目标,在不增加推理成本的前提下显著提升了检索表现与显著性缺失下的鲁棒性。
- Mixture of Layers: Dynamic Layer Routing for Visual Reasoning
-
针对多模态大模型仅采用预训练视觉编码器末层表征而丢失底层细节的弊端,本文提出 Mixture of Layers (MoL),通过指令引导在 Patch 级别对中间层隐状态执行动态稀疏路由与回退门控,显著提升了细粒度视觉推理能力。
- MLLMs Fail to Refuse when Using Tools Agentically
-
揭示了具身/智能体多模态大模型在使用缩放、OCR、目标打标等外部工具进行多轮推理时,拒绝有害危险请求的能力发生严重退化,拒绝失败率相对上升最高达 68.7%。
- MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Issue Localization
-
针对现有软件工程评测将定位与补丁合成混淆、遮蔽视觉输入实际效用的弊端,本文提出首个受控的多模态仓库级缺陷定位基准 MM-IssueLoc,通过多语言全代码库快照、细粒度文件/函数级真值、7 类图像属性与 4 级相关度分层,并配套提出视觉上下文提取(VCE)诊断协议与基线检索器 MM-IssueLoc-VL-Embedding,系统揭示了前沿智能体与多模态检索模型在视觉证据利用上的显著能力鸿沟。
- MMA-SafetyBench: A Benchmark for Multimodal Agent Safety Evaluation
-
MMA-SafetyBench 构建了包含5大交互环境共1,083条轨迹的视觉语义劫持(Visual Semantic Hijacking)安全评测基准,提出区分坐标命中与语义破坏的1–3–5分制与语义沦陷率(SCR),揭示出前沿视觉语言模型在伪造系统弹窗与嵌入指令面前普遍存在高危决策漂移(最高 ASR 87.96%,SCR 98.09%)。
- MMFineReason: Closing the Multimodal Reasoning Gap via Open Data-Centric Methods
-
提出了大规模开源多模态推理数据集 MMFineReason(177万样本、51.5亿思维链 token),通过三阶段标准化清洗、Qwen3-VL-235B 结构化思维链蒸馏与难度感知过滤,微调 Qwen3-VL-Instruct 打造出以小博大的 MMFineReason-2B/4B/8B 模型家族,并发现仅需 7% 极具挑战性样本即可匹敌全量数据训练效果的“少即是多”规律。
- MMLongCite: A Benchmark for Evaluating Faithfulness of Long-Context Vision-Language Models
-
MMLongCite 是首个针对长上下文多模态大模型(16K~128K tokens)细粒度引用忠实度评测的基准,通过跨 4 大任务体系与高分辨率空间重排测试(MMLongCite-HR),系统揭示了当前 28 个前沿模型在“回答正确率”与“引用忠实度”之间的严重脱节现象。
- MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos
-
针对现有 MLLM 缺乏长时程音视频联合推理评测的问题,本文提出了包含 20,000 道专家标注多选题与开放式问答、涵盖 11,877 段真实长视频(最长 121 分钟)与 13 种基础推理技能的大规模全模态理解基准 MMOU,揭示当前最强闭源模型仅获 64.2% 准确率、开源模型仅 46.8% 的严峻能力鸿沟。
- MMSkills: Towards Multimodal Skills for General Visual Agents
-
针对传统智能体技能库仅依赖文本而缺乏状态视觉线索的瓶颈,提出将可复用经验组织为耦合文本过程、运行时状态卡片与多视角关键帧的多模态技能包(MMSkills),并结合自动化生成管线与分支加载机制,在GUI与游戏基准上大幅提升多模态智能体的长程决策与完成效率。
- Model Guides You How to Draw: Adaptive Visual Gating for Unified Multimodal Reasoning
-
针对统一多模态模型在交织视觉思维链中自生成图像容易引入错误视觉证据并消耗极高算力的问题,本文提出了免训练的自适应视觉门控方法 AdaViG,在图像扩散去噪早期(第 5 步)依据生成意图与视觉保真度双重内省注意力信号动态评估并中止有害视觉生成,在降低至多 91.0% 生成 FLOPs 和 45.6% 推理延迟的同时将数学推理准确率最高提升 5.7%。
- MPDocBench-Parse: Benchmarking Practical Multi-Page Document Parsing
-
针对现有评测多局限于单页、纯文本或孤立子任务的痛点,MPDocBench-Parse 构建了首个覆盖中英双语15类真实文档、3,246页的实用级多页端到端解析基准,提出涵盖文本/表格/公式识别、跨页跨栏截断合并、细粒度视觉元素抽取、阅读顺序及标题树恢复的八维评测协议。
- MSP: Modality Self-Play for Training Multimodal LLMs without Paired Cross-Modal Data
-
本文提出模态自博弈(Modality Self-Play, MSP)训练框架,仅依靠单模态-文本成对数据与对比预训练编码器,利用冻结单模态模型生成的锚点支撑文本代理(proxy text)与线性对齐桥接模块替代真实非文本跨模态配对,实现了在零真实音视频配对监督下跨模态推理能力的涌现。
- MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image
-
MulTaBench 用“多模态确有互补收益”和“目标感知表示优于冻结嵌入”两道经验筛选,构建包含 20 个图像–表格与 20 个文本–表格任务的基准,并发现表示适配的收益可推广到新学习器,但并非每个入选数据集都稳定受益。
- MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation
-
MUNI 将统一潜在扩散框架拓展至端到端任意模态互生(any-to-any generation),通过非混合后验聚合、目标截断梯度自重构与留一子集先验路由,在单一共享随机潜空间下实现了高质量跨模态条件生成与高一致性无条件联合采样。
- Neural Bayesian Filtering
-
提出神经贝叶斯滤波(NBF),通过集合编码器将带权粒子集压缩为紧凑分布嵌入,并借助条件流匹配在每个时步重新生成无偏粒子集进行动态演化与贝叶斯更新,消除了传统粒子滤波的样本贫化瓶颈,并在高维与多峰后验下展现出对未知动力学的零样本泛化能力。
- Not Another Text Benchmark: Putting the “Visual” Back in Visual Question Answering for Large Video Models
-
针对主流视频大模型基准全靠文本选项导致视觉接地能力被虚假繁荣掩盖的问题,本文提出了首个以视觉帧为评测模态的新基准,涵盖时序帧检索、物理未来预测和认知因果记忆扭曲三大任务,揭示了前沿视频大模型在纯视觉查询与选项下的显著缺陷。
- Object-Uni: A Unified Model for Object-Centric Spatial Understanding and Controllable Generation
-
Object-Uni 将物体级空间智能建模为统一的理解与生成问题,通过视角级朝向抽象将连续 3D 位姿桥接到语言空间,并结合物体词元对齐位姿锚点(PoseAnchor)与 CNOCS 几何引导,实现了单/多物体场景下精确的位姿感知、推理、可控图像生成与物体级新视角合成。
- OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following
-
OmniGF 提出了一个统一的视觉-语言视线跟随框架,通过头部条件视觉标记注入与“结构化语言分支+连续空间热图分支”双分支解码架构,使大模型在单次前向中联合完成高精度的多人连续空间视线定位、注视目标语义理解与复杂社交视线关系推理。
- OmniSpace: Efficient Geometry Awareness for Autonomous Vehicles MLLMs
-
OmniSpace 通过相机位姿注入器(普吕克光线嵌入)、多视角极线注意力和时序几何聚合蒸馏,使多模态大模型在纯 2D 推理时无需外部 3D 辅助网络即可获得强几何感知与轨迹规划能力。
- OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Vision-Language Models
-
本文提出 HEVC 编解码器驱动的视觉编码器 OneVision-Encoder(OV-Encoder),通过提取 P 帧运动矢量与残差能量自适应保留 3.1%~25% 的高信息熵 Patch,配合 3D RoPE 与百万级概念聚类判别,在保持密集时序覆盖的同时节省 75%~96.9% Token,视频理解与多模态下游性能显著超越 Qwen3-ViT 与 SigLIP2。
- OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents
-
针对前沿多模态深度搜索智能体训练数据封闭与长程交互级联崩溃的痛点,OpenSearch-VL 提出了包含基于维基图谱的源锚点多跳问答数据合成、主动感知修补与检索一体化工具库、以及带单侧优势截断的致命感知 GRPO 强化学习算法的完整开源方案。
- OpenView: Empowering MLLMs with Out-of-view VQA
-
本文针对当前多模态大模型局限于视野内图像推理的盲区,提出了基于全景图像构建视野外(Out-of-view, OOV)多选问答的自动合成管线 OpenView,构建了包含 15.8 万个样本的高质量微调数据集 OpenView-Dataset 与基准评测集 OpenView-Bench,使多种开源 MLLM 的 OOV 综合推理准确率从 48.6% 大幅跃升至 64.1%。
- P\(^3\)-VLM: A Point-based Alternative for Grounded 3D Vision-Language Models
-
揭示了现有3D VLM基于包围盒提示中严重的几何“语义泄漏”与视觉盲区问题,提出严格的单点空间提示协议,并构建包含位置、任务与上下文三通路的无检测器场景级3D VLM(P\(^3\)-VLM),在显著削弱几何捷径的同时实现了SOTA的视觉定位与跨域鲁棒性。
- PathView-Bench: Can Multimodal Large Language Models Achieve Fine-Grained Multiscale Pathology Analysis?
-
针对现有病理学 MLLM 评测仅关注文本诊断结果而忽视视觉理解证据的问题,本文提出首个以视觉为锚点的多尺度病理理解基准 PathView-Bench,涵盖双视野(Region-FOV 与 Slide-FOV)、14 种确定性评测任务与 30.8 万样本,揭示了当前模型在视觉接地与跨尺度判断上的严重缺陷。
- Pathways of Visual Information Flow in Vision-Language Models
-
通过因果干预与注意力敲除分析,揭示视觉语言模型中并存的“直接读取”与“文本中介”两条视觉信息流路径,证明路径选择由任务与数据分布调控,且文本中介可在直接路径受阻时作为弹性备用回路。
- PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop
-
针对现有物理评测任务割裂与缺乏生成视频场景的问题,PhysVista 构建了覆盖感知(Seeing)、推理(Reasoning)与评估(Assessment)闭环认知体系的基准数据集,系统揭示了当前主流视觉语言模型在精细尺度量化、因果预测反事实及生成视频合理性标定上的显著瓶颈。
- ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder
-
ProCLIP 提出了一种受课程学习启发的渐进式视觉-语言对齐框架,通过跨架构双重蒸馏继承 CLIP 文本先验,并在对比微调中引入视觉自蒸馏正则化,在解锁 LLM 长文本与多语言能力的同时克服了灾难性遗忘,将零样本分类准确率相对 LLM2CLIP 大幅提升 6.8%–13.5%。
- PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping
-
针对多模态推理中关键感知 token 稀疏且被语言先验淹没的粗粒度信用分配痛点,提出感知强化策略优化(PRPO),通过强弱扰动联合量化鲁棒视觉依赖度(RVD),并结合 S 型突触激活曲线动态重塑 token 级优势函数,显著提升 LVLM 的视觉对齐与复杂多模态推理能力。
- RankAlign: Vision-Language Representation Alignment via Rank Transformation
-
针对独立训练视觉与语言编码器之间无跨模态监督的类别级未配对匹配难题,RankAlign 提出一种即插即用的秩变换规整化策略,将模态内相似度核转化为单调重参数化不变的序数关系表征,在无需任何锚点与监督的前提下大幅提升置换匹配精度与鲁棒性。
- ReaLM: A Unified Red-Teaming Benchmark for Physical-World VLMs
-
构建了首个针对物理世界视觉语言模型(VLM)的统一红队测试基准 ReaLM,通过智能体驱动的目标生成管线构建场景自适应的物理反事实目标,在严格黑盒威胁模型下系统评测了 12 种跨模态攻击、3 类防御与 13 款主流 VLM 的物理功能性失误。
- ReefNet: A Large-Scale Dataset and Benchmark for Fine-Grained Coral Reef Recognition
-
提出了统一汇聚 76 个 CoralNet 数据源与红海 Al-Wajh 潟湖新数据的细粒度珊瑚识别基准 ReefNet,包含约 92.5 万个基于 WoRMS 权威分类学对齐的点级石珊瑚标注,并构建了涵盖零样本、少样本跨域与全微调的多模态评测体系。
- Reinforcing VLAs in Task-Agnostic World Models
-
提出了 RAW-Dream 范式,将世界模型与奖励机制从具体下游任务中彻底解耦,利用无任务偏置的泛化物理先验世界模型生成自回归想象轨迹,并由通用 VLM 提供零样本成功奖励与双噪声验证机制,在无需下游交互数据的前提下高效后训练 VLA 策略。
- Representation Forcing for Bottleneck-Free Unified Multimodal Models
-
针对统一多模态模型中独立预训练 VAE 构成的结构性瓶颈与质量上限问题,提出 Representation Forcing(表征强制),让解码器自回归预测理解编码器提取的高层离散表征 token 作为上下文脚手架,以原生端到端方式无缝引导像素空间流匹配图像生成,在消除 VAE 的同时全面匹配 SOTA 图像生成质量并显著提升视觉理解性能。
- Rethinking Projector Training in Multimodal LLMs
-
揭示多模态大模型第一阶段投影层训练本质上只是将视觉特征粗粒度映射到语言模型输入几何空间的充分条件,提出基于高斯最优传输的完全免训练闭式投影器 PORTAL,零配对图文数据且无需梯度优化即可达到 558k 图文对预训练的基线水平。
- ReToken: Improving Long-Context VLMs with Visual Retrieval Token
-
针对长上下文视觉语言模型在海量干扰帧下注意力检索失效且显存受限的难题,本文提出仅引入单个可学习检索向量 ReToken 与一层投影矩阵,直接利用冻结 VLM 内部深层的 Value 空间表征进行精准视觉检索,在极低训练与推理开销下实现图像到长视频检索问答的显著性能跃升。
- Rosetta: Composable Native Multimodal Pretraining
-
针对统一多模态大模型在同时学习离散自回归语言理解与连续流匹配图像生成时由剧烈梯度冲突导致的表征覆盖与路由崩溃难题,Rosetta 提出了模块化即插即用专家网络、全局共享专家语义桥梁以及零显存额外开销的动量锚定正交投影优化算法,实现了免于遗忘且相互增益的原生多模态可组合预训练。
- Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction
-
从表示几何视角揭示多模态输入引起的模态漂移会压缩拒答方向上的几何可分性空间(安全几何坍塌),并据此提出一种利用隐式前向自纠正动力学生成自适应门控的免训练推理期漂移校正方法 ReGap,在大幅降低多模态越狱成功率的同时保持通用多模态能力。
- SALART-VQA: Diagnosing Whether VLMs Understand Salient Artifacts in Generated Images
-
SalArt-VQA 构建了一个包含 950 张图像与 3,681 道人工标注选择题的细粒度诊断性 VQA 基准,将生成图像伪影分析拆解为存在检测、语义区域识别、边界框空间定位与视觉证据描述四阶链条,结合真实照片与成对未编辑生成图的拒答对照,揭示了前沿多模态大模型普遍存在的“高检测召回率掩盖定位与证据缺陷”以及在伪影敏感度与校准拒答之间的显著权衡。
- Scaling Laws for Multimodal Data Mixtures
-
针对文本、视觉与音频原生统一的多模态大模型预训练,本文基于稀疏混合专家(MoE)架构系统构建了解耦容量稀释、数据重复饱和与有向跨模态干扰的统一扩展律框架,揭示出音频偏好模型扩展、非文本重复超两轮收益骤降、以及视觉模态对音频造成强干扰等关键规律。
- See it to Place it: Evolving Macro Placements with Vision Language Models
-
提出无需微调的视觉进化优化布局框架 VeoPlace,利用视觉语言模型的空间推理与上下文学习迭代生成宏单元放置区域,通过动作空间掩码与软锚点约束协同强化学习及解析式布局器,在 ICCAD 和 ISPD 等芯片基准上实现高达 32% 的线长缩减与更优的布线后 PPA。
- Seeing Is Not Screening: Multimodal Hidden Instruction Attacks on Agent Skill Scanners
-
论文揭示了现有智能体技能扫描器仅依赖文本与代码而忽视图像载体的严重安全盲区,提出了将恶意指令隐藏于技能图像并经文档自然锚定的攻击范式 SkillCamo,以及通过多模态工件分析与真实情境执行模拟防御该攻击的检测框架 ExecScan。
- SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete Data
-
SemMSA 将残缺的文本、视觉和音频证据送入冻结 LLM,递归追加连续隐状态获得辅助语义,再用实例内核谱对齐和实例间分离学习稳健表示,在十档模态内缺失率平均评测中取得 MOSI Acc-2 74.36/73.91、MOSEI 79.61/79.38、SIMS 75.46。
- SenseBench: A Benchmark for Remote Sensing Low-Level Visual Perception and Description in Large Vision-Language Models
-
针对传统遥感图像质量评估缺乏语义可解释性及通用视觉语言模型存在遥感物理退化先验偏置的难题,构建了首个涵盖6大类22种退化、10,815个实例的遥感低层视觉感知与诊断描述基准 SenseBench。
- Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
-
针对传统单头蒸馏在少样本/低标注半监督场景下监督损失与蒸馏损失间的严重梯度冲突,本文提出双头优化(DHO),解耦监督分类头与蒸馏头并在推理阶段轻量线性插值,以极低开销实现全免重训调参且全面超越单头蒸馏及教师模型。
- SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows
-
本文提出结构化隐式视觉推理框架 SLVR,通过文本掩码诱导模型摆脱语言偏置并建立视觉依赖,进而将多模态推理划分为规划、定位、证据提取与融合四个类型化隐状态进行显式监督,在无需自回归生成长思维链文本的前提下显著提升细粒度视觉推理性能。
- SMMBench: A Benchmark for Source-Distributed Multimodal Agent Memory
-
针对现有评测多局限于单一预组装上下文的弊端,本文提出首个源分布式多模态智能体记忆评测基准 SMMBench,涵盖 264 个独立源与 1,877 个样本,评测跨源证据检索、对齐、时序冲突消解与动作执行,揭示出当前主流记忆与检索系统在跨源协同上的严重瓶颈。
- Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
-
针对多模态大模型在三维空间遮挡计数中普遍依赖表面捷径而非真实因果推理的缺陷,本文提出了受发育心理学启发的层次化诊断基准 Spatial-IQ 与两阶段可验证奖励强化学习范式,首次在理论与实验中将空间智能解构为显式的因果依赖链条。
- Spherical Interpolation for Backward-Compatible Multimodal Representations
-
在不重建旧图库索引的条件下,先用 Procrustes 将新模型查询对齐到旧空间,再与同一输入的旧模型查询做球面插值;多数平均检索增益来自两端表示的互补,而支持集选权重进一步提高兼容成功率。
- Squeezing Capacity from Multimodal Large Language Models for Subject-Driven Generation
-
针对现有主体驱动图像生成中多模态推理不足与 VAE 编码器容易引发“复制-粘贴”伪影的困境,本文通过双层聚合模块显式解耦并汇聚 MLLM 各层表征,并结合两阶段训练与多阶段去噪策略协同 VAE 高频细节,实现了极具创意姿态变化且身份高保真的主体生成。
- STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation
-
STARFlow2 提出将因果 Transformer 参数化的自回归归一化流引入多模态模型,通过垂向交织冻结 VLM 与 TARFlow 流的 Pretzel 架构,实现了在统一因果掩码与共享 KV-Cache 下无缝执行多模态理解与高质量连续图像生成。
- Steering Visual Generation in Unified Multimodal Models with Understanding Supervision
-
清华大学与快手团队提出理解导向后训练框架 UNO,通过冻结理解专家反向监督生成专家的带噪中间表征,结合语言描述与元查询视觉特征回归双重目标,打破统一多模态模型单向解耦瓶颈,在零额外推理开销下显著提升图像生成与编辑质量。
- SynDORBench: Evaluating LVLM Perceptual Robustness Under Physically Constrained Visibility Conditions
-
提出了首个基于欧洲安防标准 BS EN 62676-4 DORI 物理成像约束标定的大视觉语言模型感知鲁棒性基准 SynDORBench,构建了包含 54k 问答对的受控单人场景合成评测管线,并引入基于掩码条件统计特征与 RF+XGBoost 集成的可辨识度自动标注机制,系统揭示了 LVLM 在长距离、低照度极端条件下的感知失效机理与尺度律边界。
- SynIB: Informational Bottleneck for Maximizing Synergy in Multimodal Learning
-
SynIB 通过在单模态特征扰动或掩蔽的反事实输入下惩罚融合模型的预测置信度,迫使多模态网络摆脱捷径并最大化跨模态协同信息,在 MultiBench、Hateful Memes 及 CREMA-D 讽刺扩展等协同子集上取得显著增益。
- TasteBench: multimodal benchmark for sensory prediction, from molecules to sustainable foods
-
TasteBench 构建了首个连接微观分子成分与宏观食品感官表现的多模态基准,基于 215 款植物基食品的 2.1 万次真实人类感官品评构建成对相似度排序任务,并结合 1.5 万个风味分子的五分类任务,证明多模态大模型与物理特征集成的成对排序准确率(0.683)超越未经训练的人类品评员中位数(0.650)。
- Text as Partial Constraint: Core–Residual Alignment for Robust Vision–Language Learning
-
将自然语言文本建模为图像的“部分约束”,提出 TPC 框架对齐多视角一致语义核心并抑制视角专有未言残差,在单文本推理下大幅提升跨模态表征鲁棒性并显著减少下游 LVLM 幻觉。
- The Alignment Illusion in Multimodal Large Language Models
-
本文在 13 个多模态大语言模型中用等范数噪声与无关图像检验内部视觉—文本对齐,发现共享 MLP 权重足以制造高相似度,并提出主角度间隙区分单方向塌缩与多方向结构,但明确指出几何结构不能单独证明模型使用了与问题相关的视觉内容。
- The Design Space of Tri-Modal Masked Diffusion Models
-
本文首次提出并从零预训练了覆盖文本、图像与音频的统一离散掩码扩散模型(Tri-Modal MDM),基于SDE重参数化消除了最优批大小调节,并给出了计算最优缩放定律与各模态专属采样超参数。
- The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric
-
针对传统感知度量(如 LPIPS、DreamSim)将图像相似度坍缩为单一标量而无法区分多维度视觉属性的问题,本文构建了包含 100 万人工标注判断的文本条件三元组感知数据集,并提出支持自由文本提示调控的图像感知相似度度量 TPIPS,显著缩小了机器度量与人类感知共识的差距。
- The Value of Being Wrong: Self-Mined Visual In-Context Learning from Errors
-
针对视觉上下文学习中反事实范例构建流程复杂且脆弱的痛点,SMILE 提出直接挖掘目标模型自身的离线预测错误构建难负例池,并在测试时以零样本预测为引导在语义空间检索高相关负例,以更少范例实现平均 +3.09 分提升与 5 倍推理加速。
- THEIA: A Multimodal Dataset and Benchmark for Vision-Language Analysis of Layout
-
针对模拟集成电路物理后端严重依赖人工试凑与刚性脚本的痛点,本文提出了首个面向模拟GDSII物理版图的多模态数据集与基准THEIA,包含30,034个DRC/LVS合规版图与77,354条五级复杂度问答,通过微调VLM实现了高达81%~100%的版图语义推理精度,相比通用VLM提升最高达73个百分点。
- Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning
-
针对专业领域视觉语言模型适应中成对标注稀缺且成对对齐易割裂全局流形结构的问题,本文提出拓扑感知多模态表示对齐框架(ToMA),通过 1-骨架持续同调将样本间关系低成本解构为 \(H_0\)-death 连通骨干与 \(H_1\)-birth 闭环关系,并对齐其跨模态方向,在遥感与时尚多项基准上显著提升零样本分类精度与长尾难例检索能力。
- TorchUMM: A Unified Multimodal Model Codebase for Evaluation, Analysis, and Post-training
-
提出了首个涵盖统一多模态模型(UMM)评测、机理分析与后训练的标准代码库 TorchUMM,评测覆盖 15 个主流骨干、12 个基准与 5 种后训练策略,揭示了强架构统一性并不等价于表征统一性的关键结论。
- Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents
-
提出支持中间视觉证据持久化复用的视觉原生 Agent Harness 与闭环在线策略数据进化(ODE)框架,打通工具生成图像可再次消费的工作流,并通过策略 rollout 轨迹诊断自适应调节任务合成难度与模式,使 Qwen3-VL 在 8 个多模态深度搜索基准上大幅提分并超越 Gemini-2.5 Pro。
- TRACER: Verifiable Generative Provenance for Multimodal Tool-Using Agents
-
针对多模态工具智能体中回答主张缺乏观测证据支持关系的“溯源断层”,TRACER 在生成每个回答句子的同时产出结构化溯源记录,并通过严格的多维可验证性检验与局部信用引导的组相对强化学习,在将测试集工具调用量削减 29.56% 的同时使回答准确率提升至 78.23%。
- Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
-
系统探究了视觉语言模型长上下文持续预训练(LongPT)的数据配方与训练策略,提出基于长文档 VQA 的高效扩展方案 MMProLong,仅需 5B token 预算即可将 7B 模型从 32K 稳步扩展至 128K 并外推至 512K。
- TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models
-
提出了首个面向全模态大语言模型(OMLLM)的“三模态严格互解消歧”评测基准 TRIAD,包含跨中英双语的 327 个查询与 86 个扰动场景组,揭示了当前顶尖模型在脱离选项脚手架后组准确率跌至个位数、重度依赖文本锚点与忽视音频韵律等多模态推理瓶颈。
- Triggering Generalist Reasoning via Predictive Uncertainty for Dual-System VLA
-
针对双系统视觉-语言-动作(VLA)模型固定频率调用通用大模型导致的计算浪费与环境突变响应迟钝问题,本文提出 TUD 框架,利用专家模型在当前推理步对未来动作块的跨时间重新预测离散度作为预测不确定性信号,零额外参数、无需辅助模型地自适应决定何时触发慢速通用推理,在真实机械臂和仿真评测中大幅削减计算开销并提升任务成功率。
- Uncertainty Quantification for Computer-Use Agents: A Benchmark across Vision-Language Models and GUI Grounding Datasets
-
Argus 用统一的单步 GUI 点击记录比较不同可观测接口下的不确定性方法,发现固定模型时方法排序较易跨数据集迁移,而跨模型与开放权重到 API-only 的迁移明显减弱,且错误识别能力不能代替概率校准或空间覆盖检验。
- Uncertainty Quantification for Multimodal Large Language Models with Incoherence-adjusted Semantic Volume
-
针对多模态大模型易生成看似合理却与视觉/音频/视频输入相悖的虚谈错误,提出免训练且无需外部检验工具的通用不确定性量化框架 UMPIRE,通过在模型固有嵌入空间构建由条件概率不协调度加权的行列式点过程(DPP)质量-多样性核,有机结合全局语义体积与二次熵估计,在图文、音频和视频等多种任务上显著超越现有基线并具备极高计算效率。
- Uncovering and Shaping the Latent Representation of 3D Scene Topology in Vision-Language Models
-
本文发现视觉语言模型(VLM)中间层已隐式涌现出保持3D场景拓扑的内部认知地图,但其表征被颜色与形状等非几何语义严重掩盖;通过跨场景平均提取空间子空间,并引入基于Dirichlet能量的隐表征正则化微调中间层,仅需500步微调即可在真实世界3D空间推理基准上取得最高达12.1%的性能跃升。
- Unlocking Fine-Grained Perception in CLIP via Structurally-Aware Latent Masked Modeling
-
针对 CLIP 因对比学习目标偏向全局语义而丧失局部空间与几何细粒度感知的瓶颈,本文提出无监督嵌入对齐框架 SALM 及其无外挂自蒸馏版本 SALM-Self,通过二阶双矩阵空间几何显式对齐与跨引导自适应隐空间掩码建模,在完全保留预训练图文零样本能力的同时显著跃升密集预测与 MLLM 空间感知指标。
- V-GIFT: Boosting Visual Instruction Tuning with Self-Supervised Guidance
-
V-GIFT 将经典自监督前置任务重构为标准自然语言指令-回答对,在现有视觉指令微调中仅混合 3%–10% 的自动生成样本,在不引入额外损失、特殊网络层或分阶段训练的前提下,迫使模型利用视觉线索并打破纯语言捷径。
- ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution
-
ViCO 提出视觉一致性学习与轻量级视觉分辨率路由器(ViR),依据图像 Patch 的语义复杂度自适应选择压缩率,在保留多模态大模型感知、推理与 OCR 能力的同时减少高达 50% 的视觉 Token,首字吞吐量提升近一倍。
- VisGym: Diverse, Customizable, Scalable Environments for Multimodal Agents
-
VisGym 构建了包含 17 个长程视觉交互环境的基准测试与训练平台,通过参数化控制观测结构、动力学与反馈,对 12 款前沿多模态大模型进行跨领域受控诊断,揭示了长上下文反向缩放与视觉感知瓶颈,并通过显露信息的专家示范微调实现了显著的泛化提升。
- VistaQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence
-
提出了联合评测自由格式文本答案正确性与像素级支撑证据分割掩码的基准 VistaQA,并设计非补偿性几何平均联合指标 Grove,揭示了前沿多模态大模型在推理与视觉证据对齐上的显著鸿沟。
- Visual-Advantage On-Policy Distillation for Vision-Language Models
-
针对视觉语言模型在线蒸馏中均匀 KL 损失稀释关键视觉监督信号的问题,提出视觉优势度反事实探针与双层级在线蒸馏(VA-OPD),在轨迹级与分组 Token 级重构蒸馏权重,显著提升小模型的视觉依赖与几何推理能力。
- Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models
-
针对基于离散扩散的多模态大模型并行解码容易选出视觉接地区域重叠的高置信度 token 的问题,本文提出基于视觉冗余控制的免训练解码方法 VRCD,通过跨注意力显著性重排并行位置,显著降低生成熵并提升多模态推理表现。
- Visual Grounding First, Multimodal In-context Learning Follows
-
针对多模态上下文学习因视觉定位薄弱导致的幻觉与文字捷径依赖,提出命题级对比奖励强化学习框架 ProCoRe,无需任何 ICL 格式微调数据即可大幅提升跨任务上下文学习泛化能力,并构建 PICL 基准验证跨范畴实体指引效果。
- Visual Instruction Tuning Aligns Modalities through Abstraction
-
揭示多模态大模型的视觉指令微调本质上是将视觉特征对齐到语言骨干网络的中间语义抽象层,并据此提出仅更新中间层的局部微调策略,在节约最高 24% 训练时间的同时几乎完全保留全量微调的多模态性能。
- VisualWorldBench: A Fine-Grained Multi-Task Benchmark for Evaluating Visual World Knowledge in MLLMs
-
VisualWorldBench 构建了涵盖 8 个视觉领域、21,291 个叶节点的分类学层级树与 32,541 道多任务评测集,通过闭集识别、对比选择、精确定位与开放命名四项互补任务及 50K 级微调资源,系统性揭示并弥合多模态大模型在细粒度实体认知上的多维能力断层。
- VLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon
-
针对动作块 VLA 模型在开环执行中因盲区累积误差导致任务失败的问题,本文提出无需微调骨干网络的轻量级纠错推理框架 VLA-Corrector,通过隐空间视觉监控器在线检测动态漂移并触发截断,结合在线梯度引导重规划实现自适应动作时域与鲁棒闭环恢复。
- Wasserstein Gradient Flows and Forward-Only Diffusion Are Not Enough for Multimodal Sampling
-
通过 JKO 方案与 Otto 微积分建立 Wasserstein 梯度流与前向扩散过程在边缘密度演化上的等价性,揭示基于纯局部梯度的采样方法在多峰分布下面临亚稳态与指数级混合时间瓶颈,且常规对数线性退火无法消除该复杂度。
- When Are Multimodal Predictions Biologically Supported? A Diagnostic Evaluation Framework
-
提出了模型无关的事后诊断评估框架 DECAT,仅依赖冻结表征与五项零假设置换校准指标,即可在无需已知混杂标签的前提下,判别多模态预测是由跨模态共享生物学、单模态特异生物学还是伪相关混杂所驱动。
- When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models
-
本文首次跨越图像、视频、音频、时间序列及图谱五大模态系统揭示了多模态大模型中普遍存在的“文本主导”(Text Dominance)现象,提出模态主导指数(MDI)与注意力效率指数(AEI)双量化指标,证明该偏差源于非文本Token冗余引起的注意力稀释,并证实免微调的Token压缩可显著将注意力重新平衡。
- When to Align, When to Predict: A Phase Diagram for Multimodal Learning
-
针对多模态表征学习中跨模态对齐(CA)与跨模态预测(CP)选择缺乏理论指导的问题,本文在具有结构化跨模态冗余相关性的尖峰模型下推导出精确分离比,构建了四区域相图与轻量级无训练机制判别算法。
- Where Do Long Captions Fail? Position-Aware Diagnosis and Reinforcement Learning for Detailed Image Captioning
-
针对自回归视觉语言模型在长描述生成中“中段细粒度幻觉激增”与“尾段空泛套话逃逸”的位置异质性缺陷,提出位置感知细则诊断体系与 PAGER 强化学习方法,通过位置分治的奖励函数显著修复局部缺陷并提升整体图文对齐质量。
- Who Says What: Symbolic Trimodal Binding Mechanisms in Audio-Visual LLMs
-
本文在受控成功轨迹上用表征分析和激活干预解释视听大模型如何经由时间与位置 ID 绑定“谁说了什么”,据此以现成活跃说话人检测器生成视觉提示,并通过可选轻量微调改善对话理解,但免训练收益依赖模型的视觉标记理解能力。
- WorldMemArena: Evaluating Multimodal Agent Memory Through Action–World Interaction
-
提出了 WorldMemArena 基准,将多模态智能体记忆形式化为涵盖写入、维护、检索和使用四阶段的“动作-环境交互回环”,通过 461 个多会话任务与细粒度金标证据链,首次系统解耦并对比了长上下文、人工设计记忆与 Harness 自主管理记忆三大范式。