跳转至

🧩 多模态 VLM

🎞️ ECCV2026 · 238 篇论文解读

📌 同领域跨会议浏览: 🧠 NeurIPS2026 (2) · 📷 CVPR2026 (418) · 🔬 ICLR2026 (211) · 💬 ACL2026 (82) · 🧪 ICML2026 (89) · 🤖 AAAI2026 (74)

🔥 高频主题: 多模态 ×115 · 对齐/RLHF ×13 · LLM ×11 · 对抗鲁棒 ×10 · 少样本学习 ×10

ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models

ViewSpatial-Bench 用相机与人物参照系下的五类空间定位任务暴露视觉语言模型的视角转换短板,并通过约 43K 条定向监督数据将 Qwen2.5-VL-3B 的基准准确率从 35.85% 提升到 82.09%,提高 46.24 个百分点,而不是相对提高 46.24%。

Visual Spatial Tuning

VST 不增加专用 3D 编码器,而是先用多模态几何数据教 VLM 感知空间,再用 BEV 辅助生成的文本重建思维链与强化学习训练空间推理,使 Qwen2.5-VL-7B 的 MMSI-Bench 得分从 25.9 提升至 34.8、VSI-Bench 从 38.9 提升至 61.2。

Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain

RoboBench 用覆盖五类具身认知的 6092 道问答和基于动作依赖图的 MLLM 世界模拟裁判评估 18 个模型,发现较强的通用问答与规划表述能力仍不能保证隐式需求理解、空间落地和真实执行错误诊断。

Render-in-the-Loop: Vector Graphics Generation via Visual Self-Feedback

Render-in-the-Loop 让 Qwen3-VL-8B 在生成每段 SVG 后观察累计画布,通过专门的多轮监督训练和推理时重复过滤,用 0.85M 训练样本在 MMSVGBench 上超过多种更大数据规模的自回归基线,但增加约 1.50 倍的 VSF 推理时延。

Real5-OmniDocBench: A Full-Scale Physical Reconstruction Benchmark for Robust Document Parsing in the Wild

Real5-OmniDocBench 将 OmniDocBench v1.5 的全部 1,355 页文档各自重建为五种真实采集版本,用 6,775 个内容配对样本检验解析鲁棒性,显示数字文档上的能力不等于物理场景可靠性,且本次评测中 0.9B 的 PaddleOCR-VL-1.6 以 93.19 综合分领先所列大型通用模型。

Towards Interactive Global Geolocation Assistant

MG-Geo 用地理元数据、图像线索和多轮推理对话训练 GaGA,使街景定位从一次性猜坐标变为可接收事实约束的交互过程,在 GWS15k 上取得 63.06% 国家准确率和 6.28% 城市准确率,但细粒度坐标精度并非全面领先。

How to Teach Large Multimodal Models New Skills

本文将多模态模型的部分遗忘解释为任务诱发的输出偏置,并发现只训练注意力投影或 MLP 的 Gate&Up 层,就能在 LLaVA-OneVision 五任务连续学习中分别取得 +24.9 / +30.5 个百分点的当前任务增益,同时将通用评测变化限制在 -0.6 / -2.1 个百分点。

MMR-Bench: A Comprehensive Benchmark for Multimodal LLM Routing

MMR-Bench 将图文查询在异构多模态大模型之间的选择做成可复用的离线评测,比较不同特征与路由策略的成本—性能曲线;作者报告某个路由工作点能以最强单模型约 33% 的成本匹配其精度,但该结论不是所有方法和任务都成立的统一节省比例。

UniRec-0.1B: Unified Text and Formula Recognition with 0.1B Parameters

UniRec-0.1B 用约 4000 万多粒度样本、显式行段监督和文本/公式解耦分词,从头训练一个 0.1B 编码器—解码器,在 UniRec-Bench 上达到 0.100 平均编辑距离,并在论文规定的单卡测试条件下将平均块识别耗时降至 0.37 秒。

DiaDem: Advancing Dialogue Descriptions in Audiovisual Video Captioning for Multimodal Large Language Models

DiaDem 在 AVoCaDO-7B 上结合对话感知合成数据与难度分阶段 GRPO,使完整视听描述更准确地回答“谁说了什么”,在 DiaDemBench 上达到 REF 65.9、ASR 79.3,同时保持有竞争力的通用描述质量。

OmniMamba: Efficient and Unified Multimodal Understanding and Generation via State Space Models

OmniMamba 以 Mamba-2 为共享自回归主干,通过解耦视觉编码、输出词表和任务适配器,在作者所称约 2M 图文对的统一模型训练规模下兼顾理解与生成,在 COCO 上取得 5.50 FID-30K,但这一数据口径不包含继承的预训练组件成本。

UEval: A Benchmark for Unified Multimodal Generation

UEval 用 1,000 道必须同时生成图像和文字的问题及 10,417 项人工校验评分标准,检验统一模型能否真正用图文共同回答问题;GPT-5-Thinking 总分仅为 66.4,最佳开源模型 Emu3.5 为 49.1。

DiffusionVL: Translating Any Autoregressive Models into Diffusion Vision Language Models

DiffusionVL 保留强自回归底座的网络结构,通过块级扩散微调与缓存分块解码生成视觉问答文本,7B 版本仅新增 738K 微调样本便在 MMMU-Pro vision 上达到 25.0,但其速度和质量收益依赖任务与解码配置。

GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding

GUI-AIMA 用末尾锚点词元、按指令自适应的注意力头加权和图块监督,将多模态模型已有的注意力转化为 GUI 点击定位器,3B 模型用 509k 条指令训练后在 ScreenSpot-Pro 上达到单步 53.8%、裁剪放大两步 61.5% 的准确率。

MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding

MinerU-Diffusion 将文档 OCR 视为从图像恢复结构化符号的逆渲染,通过块间自回归、块内扩散和两阶段课程学习,在有真实布局的 OmniDocBench v1.5 上取得 93.37 Overall,并在默认解码阈值下实现约 2.1 倍解码加速。

Personalize Your Large Vision-language Models With In-context Prompt Tuning

ICPT 用共享的自适应概念投影器将多张参考图压缩为标签锚点和变长视觉提示,并通过环境去偏与跨概念分离约束支持冻结 LVLM 的即时个性化,在 LLaVA-NeXT-7B 上将加权存在识别召回率从 MC-LLaVA 的 0.811 提升到 0.868。

StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production–Living Simulations with Stardew Valley

本文基于《星露谷物语》构建了 StarDojo——首个把「生产活动」与「社交生活」耦合在一起评测的开放世界 MLLM 智能体基准,含 1000 个精标任务,最强的 GPT-4.1 也只有 12.7% 成功率,暴露出当前 MLLM 在视觉理解、多模态推理与低层控制上的严重短板。

UniTac: A Unified Multimodal Model for Cross-Sensor Tactile Understanding and Generation

UniTac 是第一个把「理解」与「生成」统一到单一框架里的触觉多模态大模型,通过同时建模「物体级语义」和「传感器级配置」这两层信息,在跨 GelSight/DIGIT/Duragel 等异构触觉传感器上既能推理物体物理属性、又能合成逼真的触觉信号。

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec 通过对比多模态模型在「有图 vs 无图」两次前向传播的损失差,量化每条训练样本对视觉输入的依赖程度,进而筛选出真正需要跨模态推理的高价值子集——仅用 15% 的 LLaVA-665K 数据就恢复甚至超越全量训练的性能。

CurveStream: Boosting Streaming Video Understanding in MLLMs via Curvature-Aware Hierarchical Visual Memory Management

CurveStream 用视觉特征轨迹的转向程度识别语义变化,再以在线双阈值决定帧的高清保留、低清保留或丢弃,在不训练模型的条件下,将 Qwen2.5-VL-7B 的 StreamingBench / OVOBench 准确率从 73.31% / 59.90% 提升到 84.00% / 73.48%。

HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task

HomeGuard 用“先定位操作对象与环境约束、再判断风险”的上下文引导思维链及定位过程奖励训练独立安全防护模型,使 8B 模型在 HomeSafe-Bench 上的风险匹配率从 33.20% 提升至 74.90%,同时将安全场景误报率从 32.62% 降至 13.14%。

Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs

Magic-MM-Embedding 在 InternVL3 基础上引入无参数视觉 token 压缩(降至 25%)并搭配三阶段渐进式训练(生成恢复→对比预训练→MLLM裁判精调),不仅克服了压缩带来的性能损失,还在 MMEB / VisDoc / 跨模态检索上全面超越先前 SOTA 同时大幅降低推理延迟。

MMEarth-Bench: Global Model Adaptation via Multimodal Test-Time Training

MMEarth-Bench 用五个全球环境任务和十二种对齐模态检验遥感模型的地理泛化,并通过测试时重建这些模态来调整编码器;相对联合训练基线,TTT-MMR 在各任务与两种测试划分的汇总评估中获得改善,地理分批尤其有助于长尾样本。

PanoGrounder: Bridging 2D and 3D with Panoramic Scene Representations for VLM-based 3D Visual Grounding

用「全景渲染图」当作 2D 和 3D 之间的中间表示,让预训练的 2D VLM(CogVLM-17B)在一张 360° 全景图上直接输出 2D 框,再把多视角预测提升融合成 3D 框,从而把 2D VLM 的强语言推理能力搬到 3D visual grounding 上,在 ScanRefer 和 Nr3D 上取得 SOTA 并对未见场景/改写文本泛化良好。

Small Vision-Language Models are Smart Compressors for Long Video Understanding

Tempo 用 2B 小型视觉语言模型把视频片段压缩成查询相关记忆,再交给 4B 全局语言模型回答问题,并在推理时按相关性分配 token;在最多 1024 帧、4K 视觉预算下,LVBench 得分达到 52.7,超过 VideoChat-Flash 的 48.2。

StrucTab: A Structured Optimization Framework for Table Parsing

StrucTab 让 1B 表格解析模型先数行列、再定位合并单元格、最后生成 HTML,并通过关注首个结构错误与消除内容表达风格差异的 Uni-TabRL 优化,在 TableVerse-5K 上将 SFT 模型的 TEDS 从 84.59 提高到 87.81。

Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs

UG 将 MLLM 的回答熵或肯定置信度变成视觉证据选择信号,在不更新参数的情况下完成局部搜索、视频选帧和时序定位,使 InternVL2.5-8B 的 V*Bench 准确率从 71.7% 提升至 91.1%,但需要额外的候选评分计算。

360° Image Perception with MLLMs: A Comprehensive Benchmark and a Training-Free Method

论文以 360Bench 揭示高分辨率全景图像中的细节和空间理解缺口,再用免训练 Free360 将问题相关实体、局部属性、实体间关系及观察者方位汇成场景图,使 Qwen2.5-VL-7B 的总体准确率从 CMP 输入下的 38.1% 提升至 45.3%。

Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs

针对消化内镜诊断中多模态大模型"推理不遵循专家认知流程、诊断被背景伪相关带偏"这两个问题,本文先用 Gemini 3 Pro 生成、专家复核出带"解剖定位→形态评估→微细节分析"三段推理链的数据集做 SFT,再从理论上证明标准监督微调必然收敛到背景捷径,最后用"掩膜生成反事实正常样本 + 临床认知中心奖励"的 GRPO 做因果矫正,在五个内镜基准上平均准确率 67.67%,比 Qwen3-VL-Plus 高约 26 个百分点。

Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models

把首个待生成 token 的预测熵反向传播到视觉嵌入,据此检索多个图像区域并自适应放大,在不更新模型参数的条件下,将 Qwen2.5-VL 7B 的 V* 准确率从 73.30 提升至 86.91,但需要额外前向与反向计算。

Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

提出一个失败驱动的推理时自我改进循环:LLM 作为元控制器分析 Agent 在 GUI 任务中积累的失败轨迹,归纳出 grounding 错误、能力缺口、知识不足和冗余循环四类瓶颈,分别为每类设计推理时优化策略(视觉搜索 / 终端执行 / 知识支持 / 重复告警),以代码补丁形式注入 Agent 工作流,在 OSWorld 上将 OpenCUA-72B 的 success rate 从 42.3% 提升至 48.9%(+6.6 点),零额外训练开销,仅增加约 8% 推理计算量。

LiveK12Bench: Have Large Multimodal Models Truly Conquered High School-level Examinations?

LiveK12Bench 用持续补充的真实高中试卷和兼顾答案、过程、效率及整页视觉输入的评测协议,揭示高分解题模型仍不等于可靠的考试参与者,例如原文复杂版式表中 GPT-5 的准确率从标准输入的 82.7% 降至整页输入的 50.4%,但该表的配对样本口径存在待核实之处。

Skin-R1: Clinical Knowledge-Guided Dermatological Diagnosis Using Vision-Language Models

Skin-R1 提出三阶段训练框架——先由权威皮肤科教科书自动构建分层感知和鉴别诊断推理轨迹数据集 SkinRationale,再通过 SFT 初始化模型的临床推理能力,最后用 GRPO 强化学习配合层次化奖励设计将推理能力泛化到大规模稀疏标注数据集,在多项皮肤病诊断基准上全面超越现有 Med-VLM。

Towards Trustworthy Dermatology MLLMs: A Benchmark and Multimodal Evaluator for Diagnostic Narratives

本文为「皮肤病图像 → 诊断叙述」这个任务搭了一套可信评测基础设施:DermBench 用 4000 张 DermNet 图像配皮肤科医生认证的参考叙述、由 DeepSeek-R1 裁判在六个临床维度上打 0–5 分;DermEval 是一个基于 LLaVA v1.5-7B、用医生评分做强化对齐的免参考多模态评估器,只看图像与待评叙述就能给出结构化评语与六维分数,两者的六维平均绝对误差分别为 0.363 与 0.178,且给出的模型排序高度一致。

UniDDT: Unifying Multimodal Understanding and Generation with Decoupled Diffusion Transformer

UniDDT 用「Noisy ViT 编码器 + LLM 主干」统一理解与生成的语义编码、用一个独立扩散解码器把扩散解码从文本解码中解耦,并把同一批图文对构造成双向数据做联合训练与对偶后训练,在 MME 上拿到 1699.5、GenEval 0.87、DPG 86.9。

VersaViT: Enhancing MLLM Vision Backbones via Task-Guided Optimization

VersaViT 用语言、几何和像素定位三类监督联合后训练同一个 MLLM 视觉骨干,使 Qwen2-VL-ViT 的 ADE20k 冻结线性探测从 33.6 提升到 49.6 mIoU,同时将统一评测配置下的 OpenCompass 均分从 64.8 提升到 66.4。

VisCoP: Visual Probing for Video Domain Adaptation of Vision Language Models

VisCoP 在冻结视觉编码器旁建立逐层读取中间特征的探针分支,使视觉语言模型适应新的视角、模态和控制任务,其中深度视频目标域均分从 45.86 提升到 65.13,同时 RGB 来源域均分从 72.79 提升到 74.63。

AutoV: Loss-Oriented Ranking for Visual Prompt Retrieval in LVLMs

AutoV 不再为所有问题固定使用同一种视觉提示,而是用冻结 LVLM 的答案损失自动标注候选优劣、训练轻量排序器逐样本选择提示,使 LLaVA-OneVision 7B 在 VizWiz 上从 58.2 提升到 68.4,同时支持将选择策略迁移到其他模型。

Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation

Cheers 让共享语言主干处理压缩后的视觉语义,再由级联流匹配头按生成进度注入图块细节,以 1.5B 语言主干和 83M 训练样本取得 GenEval 0.78,同时保留有竞争力的图像理解能力。

Concept-as-Tree: A Controllable Synthetic Data Framework Makes Stronger Personalized VLMs

CaT 将用户概念组织成可编辑的树,分别生成正样本、简单负样本和困难负样本,再以扰动筛选保留概念相关信息;在增加正样本预算的设置下,MC-LLaVA 在同名数据集上的识别准确率由 0.917 提升至 0.963。

Dual Distribution Estimation for Zero-shot Noisy Test-Time Adaptation with VLMs

DDE 冻结 CLIP,用类包含/排除高斯分布校准分类、用正负图像响应差筛选负标签,在零样本噪声测试流上同时改善分类与拒识,ImageNet 平均调和准确率由 AdaND 的 73.09% 提升至 76.79%。

EpiBench: Benchmarking Multi-turn Research Workflows for Multimodal Agents

EpiBench 把"做一小段文献调研"实例化成多轮问答情节:任务里不给目标论文、只给图片段或书目线索,智能体必须自己检索出多篇论文、抽取其中的图与表作为证据、把证据按顺序存进记忆池,并在末轮被禁用全部工具的条件下完成跨论文多证据融合;评测除最终对错外,还用「证据正确率 EC」和「最小性差距 MG」把"是否走到正确证据"与"是否走得高效"单独量出来。

FingerCap: Fine-grained Finger-level Hand Motion Captioning

FingerCap 用手势与手物交互视频建立手指级描述任务,并通过 FiGOP 将密集二维手部姿态注入稀疏 RGB 视频模型,使同一 Qwen3-VL-8B 微调基线的 CIDEr 从 107.28 提升至 155.27、HandJudge 从 2.13 提升至 2.74。

Global-Local Dual Perception for MLLMs in High-Resolution Text-Rich Image Translation

GLoTran 把高分辨率文本图像翻译改写成「先检测文本区域并按阅读顺序切成局部切片,再让多模态大模型在低分辨率全局图的语境参照下逐区域递进翻译」的流程,用带源类型与空间偏置的早期层跨注意力把全局语义注入局部 token,并用 η 窗口译文回放和四段式结构化提示维持跨区域一致,在 MCiTon 英中翻译上把平均 BLEU 从 Qwen3-VL 8B 的 46.7 提到 50.2。

HippoCamp: Benchmarking Contextual Agents on Personal Computers

HippoCamp 将个人电脑中的异构文件组织为三个隔离的用户原型环境,用 581 个有文件证据的问题同时评测事实保留与用户画像;最强受测系统的画像回答正确率仅为 48.3%,说明找到相关文件距离可靠理解用户仍有明显差距。

LaVPR: Benchmarking Language and Vision for Place Recognition

LaVPR 用 Gemini 2.5 Flash 为 GSV-Cities、Pitts30K、MSLS、AmsterTime 等既有 VPR 数据集补上 651,865 条密集自然语言描述,并在同一套视觉骨干与同一套地理划分上把「语言-视觉后期融合」和「文本→图像盲定位」两条路线做成受控基准:语言在视觉退化的子集上稳定回血(紧凑骨干加一条语言通道即可追平更大的纯视觉模型),而跨模态盲定位必须靠 LoRA + 多相似度损失微调,才能把零样本不足 3% 的 R@1 提到 12–38%。

OneVAE: Joint Discrete and Continuous Optimization Helps Discrete Video VAE Train Better

OneVAE 在共享视频 VAE 中交替训练连续与离散重建,并结合渐进初始化和结构改进,使统一训练消融的 PSNR 从 27.22 提升到 28.15,同时让同一压缩配置的模型支持两种潜表示。

OpenSpatial: A Principled Data Engine for Empowering Spatial Intelligence

OpenSpatial 把「空间训练数据怎么造」做成一个开源、可复现的数据引擎:以世界坐标系的 3D 有向框(OBB)为统一基元,用「人工标注 + 自动化 3D lifting」两条路产出场景级 3D 框,再经投影/过滤/掩码精修转成对象–帧索引,最后由场景图程序化枚举生成单视图与多视图两类 QA,据此合成 300 万样本的 OpenSpatial-3M,让多个开源 VLM 在 BLINK/AllAngles/VSI/MMSI 等空间基准上平均提升 14.1%(最好一档 19%),同时基本不损伤通用多模态能力。

ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models

本文提出 ProactiveBench——首个评测多模态大模型「主动性」的基准,把 7 个现有数据集改造成「初始画面模糊、需要用户干预才能答对」的多轮交互环境,评测 22 个 MLLM 后发现它们几乎都不会主动求助(要么弃答要么幻觉),且主动性不随模型规模涌现,但用 GRPO 加定制奖励微调可以让模型学会主动、并泛化到没见过的场景。

RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

RSICCLLM 是首个面向遥感图像变化描述(RSICC)的大模型后训练框架:先利用二值变化掩码作为几何先验、借助 Qwen-VL-Max 自动生成大规模指令数据集 RSICI,再通过差分感知监督微调(CDC 几何纹理提取 + Hough 投票 + Cross-Attention 融合)显式注入变化表征,最后以双负样本偏好优化(DNPO)精炼输出质量,仅 7B 参数即在全部 8 项指标上超越 Qwen3-VL-235B、InternVL-3.5-241B 等数百 B 级通用模型和 RSICC 专用模型。

T-REN: Learning Text-Aligned Region Tokens Improves Dense Vision-Language Alignment and Scalability

T-REN 在冻结的 DINOv3/dino.txt 上学习“一点多个区域”的池化与文本对齐,将 ADE20K 开放词汇分割提升至 30.6 mIoU,并在另一套视频定位评测中以 187.5 倍表示压缩取得 52.4% Recall@1。

UrbanAlign: Post-hoc Semantic Calibration for VLM-Human Preference Alignment

UrbanAlign 不微调视觉语言模型,而是让它提取可解释的城市视觉概念,再借助有人类标注的相似图像对做局部校准,在 Place Pulse 2.0 上取得 70.8% 的六类平均准确率,比零样本 GPT-4o 高 14.1 个百分点。

ViTexQA: A Multi-Frame Temporal Perception Dataset for Video Text Question Answering

ViTexQA 把“必须跨帧整合文字”作为数据准入条件,并用 FrameThinker 的时空证据监督与强化学习训练显式感知过程,在不使用 ViTexQA 训练数据时取得 73.5 ROUGE-L,使用该数据后的完整配置达到 83.5。

Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO

CycleGRPO 让同一个多模态模型先描述区域、再根据自己的描述找回区域,用重建掩码的交并比同时训练描述与定位,在不需要区域描述真值的主要训练流程中,将 SAMTok-4B 的 DLC-Bench 平均分从 61.9 提高到 67.7、GroundingSuite 总体 gIoU 从 57.5 提高到 67.6。

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

ADAPT 从早期解码的多层交叉注意力中提纯语义对齐的视觉锚点,在推理时以锚点为参照在线监测注意力保真度、仅检测到显著退化时稀疏纠正,并通过视觉条件对比的偏好优化强化模型对视觉证据的依赖,在多个幻觉基准上降低 40–60% 幻觉率,仅 1.42 倍推理开销。

Art Beyond Semantics: Sheaf-Informed Contrastive Learning for Multi-Relational Representations

CANVAS 把同一艺术图像或文本按关系类型调制成不同表征,再用训练图的线图热核缓和假负样本惩罚,在三个艺术数据集上取得最好的图到文检索结果,同时不要求推理时提供完整图连接。

Beyond Language: Grounding Referring Expressions with Hand Pointing in Egocentric Vision

本文建立包含 15,338 张图像的 EgoPoint-Ground 基准,并用 SV-CoT 将手势指代拆成方向解析、射线筛选和语义核验,在真实场景 EDG 的 [email protected] 上取得 0.818,相比 Qwen3-VL-8B 的 0.701 提高 11.7 个百分点。

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

DIPE 为同模态与跨模态注意力分别使用顺序查询和分段锚定查询,在保留图像空间结构与文本顺序的同时减轻长上下文中的视觉衰减,使 8K 干扰文本条件下 MRoPE 的跨基准汇总分数从 44.69 提升至 48.79。

CLIMP: Contrastive Language-Image Mamba Pretraining

CLIMP 把 CLIP 的两个塔整体换成状态空间模型——视觉侧用 VMamba 的 SS2D 四向交叉扫描、文本侧用 Mamba-1/Mamba-2 语言模型做末位 token 池化——在 CC12M 上沿用 CLIP 原有的对称对比目标训练,以线性复杂度换来更好的零样本检索、更强的分布外鲁棒性(ImageNet-O 上超过在 167× 数据上训练的 CLIP-ViT-B/16),并天然支持任意分辨率与任意长度文本。

CoSPlan: Corrective Sequential Planning via Scene Graph Incremental Updates

本文提出 CoSPlan——一个在图像 + 文本下评测 VLM"纠错式顺序规划"能力的基准(四个任务,每题在已执行动作中注入恰好一个错误,要求模型既指出错误、又选出能纠正错误并抵达终局的剩余动作),并给出免训练的 SGI(场景图增量更新):把图像读成文本场景图后,沿着动作序列一步步改写节点、属性与边,再逐选项模拟并与目标场景图比对打分选优,在 CoSPlan 上平均提升约 4.4%,并可泛化到 VQA 与 PlanBench。

CountEx: Fine-Grained Counting via Exemplars and Exclusion

CountEx 将“数什么、不要数什么”共同编码成检测查询,通过保留共享特征并抑制负类独有模式来消除细粒度歧义,在 CoCount 的新类别与已知类别测试中分别达到 26.61 和 12.72 MAE。

DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning

DecepGPT 用结构化视听报告监督和 SICS、DMC 两个训练组件改进数据集内的欺骗分类,在 DOLOs 达到 73.23% 准确率,但这些结果不构成可靠现实测谎的证据。

Delineating Knowledge Boundaries for Honest Large Vision-Language Models

本文用目标模型自身的高温多采样一致性探针把知识密集型问答逐条标成「已掌握 / 未掌握」,再按掌握与否反向构造偏好对做 SFT + DPO/CPO/ORPO 对齐,让 VLM 在参数知识缺口处学会诚实地拒答而不误拒已掌握的事实,把 LLaVA-1.5-7B 在 V-Idk 上的 Truthful rate 从 57.9% 提到 67.3%。

Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams

Diagram-MMU 用六类科学图的 TikZ 解析、编辑和开放式问答联合评测 12 个多模态模型,发现 Gemini-3.0 Pro 的问答准确率虽达 86.46%,其解析对象 F1 仅为 54.64%,说明答对问题并不等于能忠实重建图形。

EGM: Efficient Visual Grounding Language Models

EGM 先用专有 VLM 为每条定位样本蒸馏出一条「怎么找到目标」的推理轨迹做 SFT,再用 IoU 与定位成功率混合奖励的 GRPO 做强化学习,让 8B 小模型在 RefCOCO 上拿到 91.4 平均精度、超过 235B 模型的 90.5,同时把端到端延迟从 4320ms 压到 737ms(5.9×)。

ESC: Emotional Self-Correction for Reliable Vision-Language Models

ESC 发现把人写的情绪化表达插到问题前面就能让 VLM 主动"慢下来"重走一遍推理,于是用一个独立验证器判断初始回答是否可疑、再据此注入情绪反馈触发一次免训练的自我校正,最后在原答案与修订答案之间二选一;在安全、幻觉、视觉感知与多模态推理四类基准上一致降低攻击成功率或提点,且没有出现性能退化。

From Macro to Micro: Benchmarking Microscopic Spatial Intelligence on Molecules via Vision-Language Models

本文提出 MiSI-Bench:把「微观空间智能」拆成平移 / 旋转 / 缩放 / 相互作用四个基本操作,用约 4,000 个 PDBbind 晶体复合物的正交投影渲染出 16.3 万道 QA、58.8 万张图,覆盖 9 个单元与组合任务;主流 VLM 平均分只有 16–34(人类 81.18),而在该训练集上微调的 7B 模型平均 62.96、在旋转类任务上反超人类,却在氢键识别等依赖领域知识的任务上仍大幅落后。

From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion

用 Adaptive Multi-Projection(逐层 LoRA 投影)与 Adaptive Gating Fusion(按解码上下文算门控)两个参数高效模块,把 VLM 里「视觉编码器最后一层 → LLM 第一层」的单点连接改造成「多个视觉层级 → 多个解码层」的动态多对多桥,在 LLaVA-OneVision 与 LLaVA-1.5 上的 28 个基准取得一致增益(LLaVA-OV-7B 综合 +9.7,LLaVA-W +6.5、OCR +4.7、MME +3.3)。

Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval

Paracosm 首次将 LMM 的图像编辑能力引入零样本组合式图像检索,对多模态查询直接生成"心理图像"(mental image)并同时为数据库图像创建合成对等物,将查询和数据库统一到一个合成空间(paracosm)中进行匹配,以无训练方式大幅超越此前所有零样本方法,甚至媲美有监督方法。

Incentivizing Vision Language Models to Search for Long Video Question Answering

把长视频问答从「均匀抽帧、一次作答」改成「多轮自然语言检索」,并用时序逻辑把问题与参考答案编译成一份可核验的视觉前提清单,据此给出稠密奖励做 GRPO 后训练(VSeek + VETL),在 5 个长视频基准上以约 32 帧/次的视觉预算取得论文报告的 Pass@1 最高 +8%、Pass@4 +15%。

Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models

Know3D 将 Qwen-Image-Edit 的背面生成中间特征注入 TRELLIS.2,使单图到 3D 生成能够接受不可见区域的语言约束,在 HY3D-Bench-test 上取得 ULIP 0.2174、Uni3D 0.3518,但背面指令遵循能力主要由定性案例展示。

Learning Sample-wise Rank-Aware Interpolation Weights for Composed Visual Data Retrieval

SRAIN 用批内目标排名估计每个查询的球面插值权重,再通过两阶段训练和原型条件预测代替查询时的多模态大模型融合,在 WebVid-CoVR 上取得 61.07% R@1,但与使用真实测试目标的 oracle 仍有明显差距。

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

MMBU 用 410 个公开数据集、11 种模态(35 个子模态)、7.8 万条样本和每条 13 项结构化元数据,把"生物医学视觉感知"操作化成无锚定分类、两种锚定分类与目标检测四类任务 × 开/闭两种形式的统一评测矩阵;评测 15 个开源与 2 个前沿 VLM 后发现,最好成绩也只有 0.693 F1(闭集、分割锚定分类),闭集到开集平均掉 0.26,目标检测没有任何模型超过随机基线,医学适配带来的增益有限且难以迁移到 MMBU 的分布外数据上。

Multi-label Instance-level Generalised Visual Grounding in Agriculture

本文构建了首个面向农业田间场景的广义视觉定位基准 gRef-CW(8,034 张高分辨率图像、82,592 条模板化指代标注,含图像级与实例级负样本),并给出模块化框架 Weed-VG——在 GroundingDINO 之上把定位拆成「全局存在性检测 + 实例相关性排序」两级、用层级约束把两者绑定,测试集 Top-1 达 62.42%、Neg-Acc 达 78.35%,而四个通用定位基线零样本评测的 Top-1 最高只有 34.88%、Neg-Acc 不足 26%。

OmniColor: A Unified Framework for Multi-modal Lineart Colorization

OmniColor 根据条件是否需要像素对应来选择编码方式,用密集特征监督守住线稿边界、用历史去冗余和语义门控整合多种参考,在支持逐帧上色的同时,将 L+T+H 消融基线的单样本推理时间从 452 秒降至完整模型的 152 秒。

Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models

论文提出 RIO-VQA 任务与 RIO-Bench 基准,用"问题意图 × 文本条件"的同场景反事实四格统一评测 LVLM 的排版攻击鲁棒性与场景文本读取能力,指出物体中心防御存在"靠全面降低文字敏感度换稳健"的隐性代价,并给出数据驱动的 RIO-RT 微调基线在两侧同时改善。

ReflectCAP: Detailed Image Captioning with Reflective Memory

ReflectCAP 用一条离线多智能体流水线,把目标 LVLM 反复出现的幻觉与遗漏分别蒸馏成 Avoid / Include 两类"结构化反思笔记",推理时分开注入生成有据基础描述与细节聚焦描述、再以图像为锚保守合并,完全不需要训练就让 8 个 LVLM 在事实性与覆盖度上同时受益,并且比放大模型规模和现有多智能体流水线更省算力。

Safe Responses Matter: Output-Aware Safety Guardrail Mitigate Over-Refusal in MLLMs

OutGuard 不再因输入敏感就直接拦截,而是用实际回答的安全标签训练隐藏状态分类器,通过多实例对比学习和跨层投票识别真正有害的输出,在同分布测试中把两种 MLLM 的 ARSP 降至 0.0749 和 0.0634,但仍存在漏检、分布外退化与较高的困难良性查询误拒率。

Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective

本文从自动标注的现实视角研究半监督小样本学习(SSFSL),发现现有SSL方法直接微调VLM时会因VLM产生"平坦"的softmax概率分布而完全失效(未标注数据利用率为零、训练监督不足),提出用两个简单的温度参数(置信度温度 \(T_{conf}\) 和损失温度 \(T_{loss}\))来锐化softmax输出并增强训练信号,结合三阶段分步训练与外部开放数据检索,在5个细粒度基准上超越现有方法约5个点,甚至媲美全监督学习。

SPAR: Semantic-Pixel Self-Alignment and Adaptive Routing for Unified Multimodal Models

SPAR 先用非对称双流 tokenizer 协调语义保持与像素重建,再以逐 token 跨层路由和内部表征对齐驱动扩散生成,使 SPAR-3B 在 GenEval 达到 0.91、WISE 达到 0.64,同时大体保持原始视觉理解能力。

Towards Spatial Supersensing in the Wild

VSI-Super-Wild 用 442 段真实长视频和 6,980 组人工核验问答,从观察者、物体、环境三个参照中心测试多模态模型的持续世界状态建模,最佳模型 Gemini-3.1-Pro 的总体得分也只有 44.36。

Transferability Between Understanding and Generation in Unified Multimodal Models

本文用单任务微调、跨任务评测检验统一多模态模型的能力迁移,发现共享主干与视觉编码器的 Lumina-DiMOO 双向迁移最强,并以仅训练理解的方式改善生成计数、空间关系和部分文字指标,同时减轻直接生成微调造成的分布偏移。

UniStitch: Unifying Semantic and Geometric Features for Image Stitching

UniStitch 把稀疏关键点编码成与图像特征对齐的网格,再用自适应专家融合驱动全局到局部的拼接形变,在 UDIS-D 上达到 25.07 dB / 0.813,并通过低分辨率 TPS 与 B 样条恢复降低高分辨率形变的显存开销。

Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild

AgentHOI 把 HOI 检测重构成「MLLM 做开放式交互推理 + 定位模型做空间落框」的智能体式流程:用上下文感知多轮推理把漏掉的交互问出来、用实例级描述式提示消解定位歧义,全程不训练任何 HOI 参数,在 HICO-DET 零样本与分布偏移测试上超过监督和弱监督方法。

What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features

论文逐层追踪 CLIP 文本编码器的「否定可分性」与「视觉对齐」两条曲线,发现否定信息在中间层达到峰值后被末层作为「表征坍缩」抹掉,于是提出全程冻结 CLIP 的轻量后处理系统 PeakPatch(嵌入校正网络 ECN + 分数校正网络 SCN,仅 5.2M 参数,占骨干 3.5%),在 NegBench COCO 选择题上把准确率从 39.2% 提到 74.3%。

Why Do Vision Language Models Struggle To Recognize Human Emotions?

本文把视频动态表情识别(DFER)当作探针任务,用「词频代理相关性 + 帧序乱序 + 帧率密度扫描」三条证据链把当代 VLM 的情绪识别失败归因到预训练数据的长尾头类偏差与固定 token 预算下的时序失效两层,并用平衡数据解耦微调与把帧间运动翻译成文本的 MSCE 推理管线做诊断性验证,在 MAFW / DFEW 的均衡测试集上取得一致的 F1 提升。

Why Far Looks Up: Probing Spatial Representation in Vision-Language Models

本文提出一套表示层分析框架:用「只交换物体顺序」的最小对比问题对抽取中间层隐状态差向量,度量三条空间轴在 VLM 表示空间里如何被组织,发现模型普遍把图像的垂直位置当作距离的代理(垂直-距离纠缠);作者用解耦了垂直位置与深度的合成基准 SpatialTunnel 证明该偏置是模型内禀的,并指出距离轴一致性高的模型才是真正在反先验样本上更稳的模型。

3D FaceShell: Attribute Transfer in 3D Face Avatars as a VLM Defense Mechanism

3D FaceShell 在冻结的三维人脸外附加可学习高斯外壳,用多视角语义对齐改变 VLM 对人脸属性的判断,在正面视角上实现 VideoLLaMA3 属性注入率 48.7%、LPIPS 0.1499 和身份相似度 0.7629,强调的是语义干预与外观保真的折中,而非所有攻击指标最高。

3D-Aware VLMs with Implicit and Explicit Geometries

VLM-IE3D 把同一 RGB 视频的隐式几何特征与重建深度的显式几何 token 一起注入 Qwen2.5-VL,三维视频检测 [email protected] 从基座的 30.9 提升至 42.8,但相对已有几何增强模型的空间推理平均分提升较小。

AdaBoosting Text Prompts for Vision-Language Models

本文提出 Text Prompt Boosting (TPB),将 AdaBoost 框架引入 VLM 的文本提示构造中——把每个类别的提示词集合视为一个弱分类器,通过迭代重加权困难样本、逐轮构造新的提示弱分类器并集成为强分类器,从而在少样本场景下实现样本数驱动的性能持续提升(shot scalability),且该自然语言提示集成可在异构 VLM 间直接重嵌入迁移,保持跨模型迁移后的性能增益。

Adapting MLLMs for Nuanced Video Retrieval

TARA 将生成式 MLLM 改造成统一检索编码器,仅用 20,000 个精心构造的文本三元组微调共享语言模型,就让 Tarsier 2 在 CiA-SSv2 的 Chiral mAP 从 77.7 提升至 88.9,并同时改善否定查询与组合视频检索。

AnchorGUI: Asymmetric Memory for Dual-Scale Learning in GUI Navigation

AnchorGUI 用认知状态锚比较动作的预期效果与真实界面变化,把正常步骤压成文字、为异常步骤保留视觉证据,使同一 VLM 同时实现单轮纠错和跨轮经验提炼,在 AndroidWorld 上取得 57.3% 单次成功率与 69.2% 三次累计成功率。

Attention is Case-Sensitive

本文通过13个模型的受控大小写干预发现:大写或交替大小写能吸引注意力,但交替大小写可能同时降低准确率;在VLM中,局部目标聚焦还伴随整体图像注意力流失,因此不能把注意力增强等同于理解改善。

BaFCo: A Document Understanding Benchmark for Complex Bangla Form Comprehension

BaFCo 以人工精标的孟加拉国政府表单建立版面分析与信息抽取基准,通过标签粒度、提示方式和推理预算的对照,发现 Gemini 3 Pro 在高推理零样本设置下的细粒度 [email protected] 仅为 0.1177,而孟加拉语信息抽取 Macro-F1 可达 0.848,暴露出“能读出字段值”与“能精确还原版面结构”的差距。

Benchmarking Vision-Language Models for Microscopic Plant Image Understanding

PlantMicro把5,410张植物显微图像整理成9,718组问答、10项任务,发现通用VLM识别成像模态可以接近满分,却仍难以辨认宿主和病原体;任务内视觉检索能明显改善识别,但提示推理和单个示例并不保证有效。

Beyond Atomic Layouts: Compositional Design Understanding with Vision-Language Models

本文构建多图层设计问答数据集 CoDeLayout,并提出 MASON,以元素视觉对齐监督和显式图层空间关系帮助 Qwen2.5-VL 7B 识别需要协同编辑的元素,将全量直接微调的加权配对准确率从 88.80% 提升到 91.66%。

Bridging Visual Representation and Reinforcement Learning from Verifiable Rewards in Large Vision-Language Models

针对大视觉语言模型在可验证奖励强化学习中因稠密视觉编码与稀疏几何图表信息失配导致的视觉感知瓶颈,本文提出即插即用的奖励重加权机制 KAWHI,通过结构引导并查集提取几何关键区、筛选视觉关键注意力头进行非对称 Q-K 空间对齐并在段落级重分配信用,在显著提升多模态数理与图表推理表现的同时仅引入 3.6% 的轻微训练开销。

CMDR: Contextual Multimodal Document Retrieval

针对现有视觉文档检索方法将页面独立编码而丢失跨页依赖的瓶颈,提出首个长文档上下文感知检索基准 CMDR-Bench 与 CMDR-Embed 模型,通过滑动窗口联合编码切分策略配合块内/文档内难负样本对比学习,实现了大幅超越非上下文模型的检索精度。

COMPASS: Grounding Composition-Intent Guidance in Unified Multimodal Models

COMPASS 在 Ming-Lite-Uni 上加入构图专家分支和专家 token,再用灰度像素化参考与受限信息通路指导生成,在 Comp-11 上报告构图识别 mAP 90.6、生成构图一致性 0.74,但其 mAP 汇总口径和自评式构图指标仍需谨慎解读。

Controlling Embedding Spaces with Text-Conditioned Transformations

通过轻量三层 MLP 超网络根据自然语言属性描述动态生成全局仿射变换参数,无需重新编码底层图库或微调骨干网络,即可以极低推理开销实现冻结图库的属性感知检索与全局多属性聚类。

CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA

针对传统知识密集型 VQA 仅评测端到端准确率而掩盖内部失效机理的问题,本文构建了包含目标边界框与消歧元数据的评测基准 CRAG-MM-Diagnostics,将全流程解耦为视觉定位、实体识别以及知识检索与推理三个阶段,并提出先定位裁剪后检索的定位增强型双模态 RAG 方案。

Curvature-Guided Mixing for MLLM Adaptation

提出Curvature-Guided Mixing(CGM)框架,通过对预训练和微调两个损失曲面进行二阶泰勒展开与Hessian对角近似,推导出基于相对曲率的闭式软混合比(CGM),并进一步设计基于曲率感知评分的稀疏硬混合策略(CGM†),在MLLM微调中实现下游适应与通用知识保留的最优平衡。

Decompose, Compare, and Decide: Multimodal LLMs are Implicit Few-Shot Learners

提出无需训练的 DeCoDe 推理框架,将少样本分类解耦为独立的“支持-查询”成对二值对比,利用 "Yes" token 的生成 logit 进行排序与决策,彻底攻克 MLLM 在多轮上下文少样本提示中对文本先验过度依赖与长上下文干扰的缺陷。

DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues

DiCoBench 提出首个以隐式视觉线索(差分与共性)驱动的高分辨率多图像细粒度感知 benchmark,包含 765 个高质样本、8 种任务,用 MCQ 范式消除 n-gram 评测偏差;18 个 MLLM 中最好的 Gemini-3-Pro 仅 58.1%(人类 98.3%),揭示了现有模型在自主视觉线索发现上的严重不足。

Disentangling Pictorial Cue Understanding from Language Bias in VLMs via Depth Ordering Task

构建首个严密隔离 9 种单/双绘画深度线索与指称清晰度的异类深度排序基准 O3-D,提出组内均值标准差量化模态敏感度,揭示主流 VLM 深度感知普遍处于随机猜测水平且受语言偏置主导。

Domain Arithmetic: One-Shot VLA Adaptation under Environmental Shifts

DART 提出一种基于权重空间类比运算的 VLA 模型 one-shot 域适配方法:用单个源域+目标域 demonstration 分别微调,通过子空间对齐过滤后相减提取纯域向量,再将其加回基座模型,在 LIBERO 多视角、视觉扰动、跨实体和真实机器人场景下,仅用 1 条 demonstrations 就显著超越现有适配基线。

Domain Generalization via Text-Anchored Information Bottleneck

论文揭示了高表达力视觉编码器在跨域蒸馏中会传递虚假域风格偏差,提出完全摒弃视觉引导、以冻结文本嵌入作为语义锚点的条件熵信息瓶颈(CEB)框架,通过最大化类别互信息并压缩类内与文本不一致的域风格,在各类骨干网络和基准数据集上均取得显著 SOTA。

Dynamic Cluster Data Sampling for Efficient and Long-Tail-Aware Vision-Language Pre-training

针对视觉语言预训练计算成本高昂且网络噪声数据长尾概念代表性严重不足的问题,本文提出结合幂律聚类缩放与跨轮动态重采样的 DynamiCS 方法,在大幅削减 GPU 训练预算的同时显著提升长尾识别能力。

EgoSAT: A Comprehensive Benchmark of Egocentric Streaming Interaction Understanding

EgoSAT 是首个面向第一人称(egocentric)流式交互理解的系统性基准,将过去(回顾)、现在(实时)、未来(前瞻)三类推理统一在严格的在线协议下,通过可回答性量化与置信度诊断揭示当前 VLM 不仅在时序推理上表现薄弱,更存在严重的"自信地犯错"(confidently wrong)校准失效问题。

Enhancing Alignment for Unified Multimodal Models via Semantically-Grounded Supervision

针对统一多模态模型(UMM)中文本条件稀疏与视觉目标致密的粒度不匹配痛点,本文提出 SeGroS 微调框架,通过双重亲和度过滤判别性文本词元并构建语义视觉定位图,分别提取高对齐区域作为视觉提示、保留低对齐背景作为可见上下文,将图像重构监督严格聚焦于核心语义区域,显著提升文生图对齐度与生成保真度。

EraseLoRA: MLLM-Driven Foreground Exclusion and Background Subtype Aggregation for Dataset-Free Object Removal

EraseLoRA 提出一种无数据集的物体移除框架:先用 MLLM 对单张图像做三路分割(目标前景 / 非目标前景 / 背景子类型),再通过测试时 LoRA 自适应优化将多个背景子类型聚合重建到 mask 区域,全程不需要任何训练数据、不做 self-attention 的显式遮挡或重定向,在背景保真度上比此前 dataset-free 方法提升至少 23%、前景再生率近乎减半,且超越所有 dataset-driven 方法。

Evaluating and Enhancing Negation Comprehension in Remote Sensing MLLMs

针对遥感 MLLM 在否定查询下性能严重退化的问题,本文构建首个遥感否定理解基准 RS-Neg(22K 样本,覆盖区域级到场景级四类任务),并提出测试时自适应方法 NeFo,将否定的逻辑角色(真值翻转算子)显式建模为优化目标,仅用约 5% 无标签测试样本即可显著提升多个基座模型的否定理解能力,并在未见任务上展现强泛化性。

Evaluating and Understanding Model Editing for Medical Vision Language Models

针对医学视觉语言模型部署后错误修正难题,本文构建了首个立足临床严苛场景的多模态模型编辑基准 M3Bench,涵盖 10 项细粒度评测任务与 16,276 道问答,系统揭示了基于梯度与基于记忆两类编辑范式的根本缺陷及其背后的潜在空间“锥形效应”几何机理。

Explicit Logic Channel for Validation and Enhancement of MLLMs on Zero-Shot Tasks

提出显式逻辑通道(ELC),与 MLLM 黑箱通道(ILC)并行运行,通过 LLM 提取语义事实、VFM 视觉接地、概率逻辑推理三步产生可解释的决策;定义一致性率 CR 作为无标注下的模型质量代理指标,并通过跨通道对齐融合提升零样本 VLC 任务性能,在 3 个 benchmark 上对 11 个 MLLM 验证有效。

GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models

GAP-MLLM 提出了首个面向纯 RGB 视频输入多模态大模型的几何对齐预训练范式,通过视觉提示驱动的稀疏几何-语义联合预训练任务与逐层门控融合/DeepStack注入机制,在仅极少稀疏点监督下彻底激活了 MLLM 的公制度量空间感知能力。

GeMoE: Gating Entropy is All You Need for Uncertainty-aware Adaptive Routing in MoE-based Large Vision-Language Models

将 MoE 动态路由建模为最小描述长度 (MDL) 优化问题,利用门控熵作为不确定性与信息增益代理,通过单调性损失训练专家分配预测器实现自适应稀疏路由,在保持 99.5% 性能的同时使专家激活稀疏度提升 36.5%。

General Incomplete Multimodal Learning via Dynamic Quality Perception

针对真实场景中模态完全缺失与模态内严重噪声污染共存的难题,提出统一不完整多模态学习框架 GIML,将异构缺失模式抽象为连续信息退化,结合噪声-语义解耦表征与可控注入校准的噪声感知质量估计器实现动态自适应融合。

Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

针对多模态大模型(LMM)依赖同模态数据且难以泛化到未见非 RGB 模态的问题,哈工大团队提出 VVM-Tuning 框架,通过直方图扰动与伪彩色映射合成虚构图像以解耦语义感知与摄影感知,并结合模态文本上下文实现免真实目标模态微调的零样本跨模态泛化。

GKDT: General Keypoint Detection Transformer

本文构建了包含130万实例的大规模统一关键点数据集MegaKPT,并提出基于DINOv3的通用关键点检测Transformer GKDT,通过Kernel Generation机制将视觉/文本关键点原型转化为动态卷积核,在22个测试集上以单一模型于多数类别实现90%+ [email protected]精度。

Global Graph-Validated Optimization for VLM-based 3D Indoor Scene Generation

针对现有 VLM 生成 3D 室内布局时依赖局部关系约束导致全局矛盾、以及依赖初值梯度下降易陷于物理不可行局部最优的瓶颈,本文将语义连贯与物理可行显式解耦,提出规则驱动的全局场景图验证机制(GSV)与演化-梯度混合搜索框架(GPFS),无需依赖 VLM 初始位姿即可生成全局语义自洽且物理无碰撞的高质量 3D 室内场景。

Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models

针对强安全护栏导致传统属性推断 prompt 频繁拒答的问题,提出将人像解耦为背景上下文用户信息的护栏无关评测范式,在三项与人无关任务上实现零拒答并全面揭示 20 个主流 LVLM 的隐式社会偏见。

HAS: Highlight-guided Attention Steering for Multimodal LLM Video Summarization

针对传统视频摘要硬采样关键帧导致上下文断裂与信息不可逆丢失的顽疾,HAS 提出一种推理期连续注意力导引机制,利用提示词条件化的平滑高光分布轻量介入冻结多模态大模型的交叉注意力头,在保留完整视频上下文的同时引导模型聚焦精彩片段。

Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels

HopS 针对多模态少样本提示学习中的偏标签歧义难题,结合基于近邻表决的局部密度滤波(LDF)与基于 Sinkhorn 的全局最优传输规划器(GOP),在冻结视觉编码器表征的前提下提供互补的高置信度伪标签监督,在 8 个基准上全面刷新 SOTA。

Hybrid Advantage Estimation with Unified Critic for VLM Agentic Reinforcement Learning

针对多轮视觉语言智能体决策中近视与信用分配割裂的问题,本文提出了结合Token级与Turn级优势的HyGAE框架,利用统一Critic与混合回报广播机制实现低偏差与低方差的端到端强化学习优化。

Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting

对知识驱动视觉问答(KB-VQA)基准 InfoSeek 和 E-VQA 进行系统性审计,揭示答案-证据错位、问题欠指定和单实体视觉捷径三类普遍缺陷,提出四阶段修复协议和受控多实体增强协议,实验表明修复后模型排名反转、增强后检索召回和 QA 精度大幅下降,说明当前 KB-VQA 评估对知识接地推理能力的衡量严重失真。

Isotropic Embedding Perturbations for Robust Vision Language Encoders

针对传统像素增强使表征各向异性且破坏多模态跨模态对齐的饱和瓶颈,本文提出即插即用的 Aether 方法,在词元嵌入空间执行扩散风格方差保持的各向同性扰动混合,显著平滑表征空间并提升视觉语言编码器的鲁棒性与泛化能力。

Learning to Deny: Action Denial in Multimodal Large Language Models

本文提出 UCF101-AD 基准(1.1 万条「动作在场/动作缺席」配对视频)专门测 MLLM 能否在「场景、物体、人都在但定义性动作没发生」时正确否定该动作,发现 20 个 SOTA 模型正样本识别 >85% 却在否定样本上普遍跌破 50%;再提出 CausalAct 因果图框架(把场景拆成 P/O/L/S/I/M/A 七节点的 DAG,用自然语言 prompt + 图概念微调),显著降低误报、证明「否定」是可学习的推理技能。

LENS: Adaptive Spatio-Temporal Zooming for Keyframe Sampling in Long-Form Videos

提出无需训练的自适应时空缩放关键帧采样框架 LENS,根据文本查询动态在“空间放大(视觉提示精细化局部细节)”与“时间缩小(视频图消息传递与超帧聚合扩展时序视野)”之间分配固定帧预算,使 7B MLLM 在极低 8 帧预算下将 Video-MME 准确率从 53.3% 显著提升至 60.7%。

Let ViT Speak: Generative Language-Image Pre-training

GenLIP 摒弃了对比学习双塔和级联文本解码器的繁杂设计,仅用单一 Vision Transformer 统一处理拼接的图像-文本序列并通过自回归生成语言 token,以 1/5 的训练样本量即超越 SigLIP2 等强基线。

Linear Scaling Video VLMs for Long Video Understanding

针对长视频 VLM 预填充时空自注意力引发的二次方计算复杂度与延迟膨胀,StateKV 提出在冻结模型上解耦预填充与解码,利用固定容量的动态重要性时间状态传递跨帧上下文,实现单帧常数开销与全局 \(O(N)\) 线性缩放。

LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models

针对现有视频质量评测局限于短片段与孤立失真、无法衡量长时间累积退化与深层推理的问题,提出首个长视频质量理解基准 LongVQUBench,包含 1,200+ 跨数分钟至两小时的多元视频及 1,500 个问答对,建立从局部事件到跨事件再到全局质量的三级分层评测与针失真问答范式,全面揭示了 14 款前沿 LVLM 随视频时长与推理深度增加而性能严重衰减的瓶颈。

MedQ-Deg: A Multidimensional Benchmark for Evaluating MLLMs Across Medical Image Quality Degradations

MedQ-Deg 构建了涵盖 7 种模态、18 类退化(3 级专家校准严重度)与 30 维临床技能的 24,894 题医学 MLLM 鲁棒性基准,首次系统揭示了模型在图像退化下精度崩溃却过度自信的“AI 邓宁-克鲁格效应”。

MIRROR: Aligning Semantic Relations from Language to Image via Gromov-Wasserstein

MIRROR 提出 Semi-Inverse Gromov-Wasserstein(SI-GW)几何正则化框架,通过闭式解将语言空间中概念间的关系结构映射到视觉空间,在不引入额外参数和推理开销的前提下显著提升 MLLM 的关系推理能力。

Mitigating Modality and Language-Style Gaps for Zero-Shot Video Moment Retrieval

针对零样本视频时刻检索中查询匹配受制于模态鸿沟与语言风格鸿沟的问题,本文提出自相似时段提议与打分框架(Self-SiMS),利用纯视频内部的时序自相似性构建候选时段与上下文打分,并结合多模态大语言模型进行查询感知二值验证重排序,刷新多项基准 SOTA。

Multi-modal Knowledge Preserving Adapter for Embedding Backward Compatibility

针对多模态大语言模型检索系统升级时全库重索引开销巨大的难题,本文提出首个无需微调骨干网络的纯适配器向后兼容训练方案 MKP-Adapter,通过点对点循环重构、距离与角度多阶几何保持以及难样焦点动态重加权,在保护新模型高维表征结构的同时实现与旧特征库的无缝兼容。

Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction

AMG-Fuse 提出掩码引导的恶劣天气多模态图像融合框架,通过从"伪真值"(Pseudo Ground Truth)中解耦模态贡献掩码,结合掩码引导特征提取模块(MFEM)中的跨模态交叉注意力(MCCA)、掩码引导学习策略(MGLS)和任务耦合退化感知学习策略(TDAS),在统一网络中同时完成特征恢复与跨模态交互,在雪/雨/雾三类恶劣天气及真实场景下全面超越 SOTA,并在下游目标检测任务中取得最优 mAP。

MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learning

提出了首个面向任意模态组合对比学习的通用样本记忆度量 MultiMem,揭示跨模态语义失配是引发异常高记忆的核心根源,并基于此设计了训练中自适应定向加噪与后训练子集微调的记忆缓解策略,显著改善多模态检索与零样本泛化能力。

NegAS: Negative Label Guided Attention and Scoring for Out-of-Distribution Object Detection with Vision-Language Models

NegAS 针对 VLM 目标检测器在 OOD 场景下的两个特有挑战——文本引导注意力的背景区域无差别处理和 sigmoid 多标签输出与 softmax OOD 评分不兼容——分别提出负标签引导注意力模块 NegA 和负标签引导评分函数 NegS,在 YOLO-World 和 Grounding DINO 上均大幅改善 OOD 检测性能,且推理时零额外开销。

Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference

针对现有MLLM视觉Token粗暴剪枝破坏背景细节与外围上下文的问题,ParVTS提出基于[CLS]注意力的主体与非主体分组并行调度机制,在浅层自注意力中将双路语义充分迁移至问题Token后舍弃非主体路径,在无须训练或额外模块的前提下实现88.9%视觉Token精简与1.77×推理加速。

Personalizing MLLMs via Reinforced Multimodal Reference Game

将多模态大模型个性化重塑为「说话者-听者」多模态参考博弈,利用难正例(视角/状态变化)与难负例(同类干扰)构建概率归一化的可验证对比奖励,并通过 GRPO 强化学习训练说话者生成本质、判别且状态无关的概念描述,在三项基准上全面刷新个性化生成与问答表现。

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

针对视觉语言模型剪枝中现有方法依赖 LLM 激活幅度离群值导致模态偏置与校准敏感的缺陷,本文提出 PORTA 框架,利用跨模态稳定的特征激活方差度量表示效用,并结合基于输出特征空间变异性的自适应分层稀疏度分配,实现仅凭通用数据剪枝一次即可免微调零样本泛化至分类、检索和问答等异构下游任务。

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D 基于 Qwen2.5-VL 构建,利用深度与位姿进行 3D 体素特征合并与 3D 旋转位置编码(3D MRoPE),并通过密集共享视觉特征的 Mask2Former 掩码解码器打破语言与几何预测的通信瓶颈,实现了 SOTA 的 3D 定位与实例分割,同时保持了强大的 2D 多模态理解能力。

Rank-Aware Hyperbolic Alignment for Vision–Language Dataset Distillation

把图文特征 lift 到 Lorentz 双曲空间做对比对齐(hITC),再把真实批次图文协方差按累积能量 SVD 拆成 range(主共享方向)与 residual(弱耦合方向)两个子空间,分别用 Sinkhorn 最优传输匹配相关性分布并加非对称正则,从而在极限压缩预算下只选择性对齐信息量大的共享结构、放行模态私有多样性,取得更好的跨架构迁移与鲁棒性。

RegRet: Enhancing Region-Level Retrieval in Large Multimodal Models

针对大多模态模型在区域级检索中难以权衡局部细节与全局背景上下文的瓶颈,本文提出 RegRet 架构,通过逐层交叉注意力的区域感知编码器与独立投影解耦全局和区域表征,并配合三阶段训练流水线及 225k 对多任务评测基准 REGMB,在显著提升区域检索精度的同时保持甚至增强全局检索性能。

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

针对多模态 VLM 智能体在长程工具调用中遭遇失败即崩溃、且缺乏定位修复信号的问题,ReGRPO 构建结构化反思数据引擎并结合组相对策略优化(GRPO),在局部轨迹中联合优化反思标记与纠正动作,在零验证器单路径推理下显著提升了多模态工具调用的鲁棒性与成功率。

Show Me Examples: Inferring Visual Concepts from Image Sets

针对现有多模态大模型无法仅从图像示例集推断隐式视觉概念并迁移至新图像的缺陷,本文提出了视觉集合概念推断任务(VICIS)以及基于集合学习器、投影实例化与流匹配扩散生成相结合的架构,实现了纯视觉示例驱动的概念提取与高保真多样化生成。

SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation

针对遥感基础模型微调与端侧部署计算开销巨大的痛点,SIMPLER 在微调前基于无标注任务数据计算层级表征相似度(CKA),通过自动评分函数无梯度截断冗余深层,在仅保留 21%~30% 参数量的前提下保留高达 94%~97% 的基线性能,同时大幅削减训练与推理开销。

SPOT-E: Test-Time Entropy Shaping with Visual Spotlights for Frozen VLMs

针对冻结视觉语言模型在证据密集型任务中细粒度视觉线索易被忽略的问题,SPOT-E提出基于答案跨度熵与低熵锚点保护的熵整形原则,通过轻量级测试时GRPO优化问题条件视觉聚光灯,在不调整主干权重的前提下显著提升模型证据利用能力与鲁棒性。

Starve to Perceive: Taming Lazy Perception in VLMs with Constrained Visual Bandwidth

针对视觉语言模型在工具调用中流于形式的“懒惰感知”现象,本文提出通过在后训练全程严格压缩视觉 token 带宽,切断粗粒度全局视图与语言先验的作弊捷径,在无需辅助奖励设计的前提下倒逼模型学会真正基于视觉证据的主动感知与局部多步探索。

StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning

StochasT提出在LVLM视觉指令微调时随机剪裁对话历史上下文,将固定链条展开为对话树,训练出一个隐式多深度集成模型,使单轮与多轮评估性能同时达到最优,并配套提出基于平衡拉丁方的鲁棒性评估框架与CRA/CRA+指标。

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Stream3D-VLM 提出了首个仅依靠单目流式视频的在线 3D 视觉语言模型,通过自回归 next-token 预测自主学习响应时机,利用轻量级 VSFI 模块增量注入前馈重建几何先验,并结合几何自适应体素压缩(GAVC)实现长时序视频流下高效实时的 3D 空间理解与交互。

SVI-Bench: A Dynamic Microworld for Strategic Video Intelligence

论文提出首个覆盖“感知-因果推理-战略仿真-智能体综合”四层进阶认知堆栈的真实多智能体视频基准 SVI-Bench,基于篮球、足球、冰球约 3.5 万小时转播视频与 1500 万动作标注,揭示出顶尖多模态模型从高感知得分(73.91%)到智能体跨语料综合极度匮乏(仅 4.6%)的严重“能力断崖”。

TecoPrompt: Temporal-Conservative Prompt Learning for Vision-Language Models

针对少样本视觉语言提示学习在带噪标签下易受误导的问题,提出闭环鲁棒学习框架 TecoPrompt,通过全局最优传输生成伪标签候选,结合 K-epoch 时间稳定性窗口与 EMA 置信度门控进行保守的硬标签重写,并配合三元分组目标函数实现高效防过拟合优化。

To Adapt or Not to Adapt? Selective Adaptation for Vision-Language Models

针对测试时自适应(TTA)中超过 90% 的自适应属于无效或有害更新的痛点,本文提出了选择性自适应(Selective Adaptation)问题与跨增强相似度(CAS)基线,通过度量样本跨视角预测一致性与分布相似度来跳过无效自适应,在跳过高达 85% 计算量的同时维持乃至提升了模型精度与校准性能。

Token-Based Affordance Grounding with Large Vision-Language Models

提出无需下游微调与监督信号的零样本可承受性定位框架 TokAG,通过聚合大视觉语言模型全层全头的交叉注意力图并结合物体空间掩码筛选主导词元,将模型隐式语义先验转化为高精度功能区域热力图。

Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation

针对传统多模态蒸馏中仅关注 Prompt-Vision 注意力且采用统一监督目标的不足,TRAG 提出将跨模态注意力蒸馏聚焦于响应生成阶段(Response-to-Vision),并基于教师注意力熵自适应加权 Forward 与 Reverse KL 散度,在下游 VQA 与组合推理任务上大幅超越现有基线。

Towards Purified Multi-Label Test-Time Adaptation of Vision-Language Models

针对多模态 VLM 在多标签测试时自适应(MLTTA)中全局特征多对象耦合导致缓存被显著类污染、以及后期缓存饱和僵化的问题,PuRF 提出区域提纯结合情境-时序双重缓存提纯策略,实现了无需微调模型主干的细粒度特征对齐与持久自适应能力。

Two Birds, One Projection: Harmonizing Safety and Utility in LVLMs via Inference-time Feature Projection

针对多模态大模型在安全防御时普遍面临的“安全-效用权衡(降质税)”难题,TBOP 揭示了视觉编码器与语言模型骨干未完美耦合所引起的模态诱导偏差是损害安全与效用的共同根因,通过在推理时将跨模态特征单次正交投影至偏差子空间的零空间,实现单次前向兼顾极低越狱攻击成功率与多模态感知推理性能提升。

UC-VLM: Consistency-Driven Learning for AI-Generated Image Detection with Vision-Language Large Models

针对现有多模态大模型在 AI 生成图像检测中过度依赖人工推理标注且忽视底层取证线索的痛点,UC-VLM 提出一种仅依赖二值真假标签的统一多阶训练框架,通过局部乱序视觉适配增强非语义伪造表征、基于 LLM 进化优化结构化判定指令,并在冻结视觉塔后利用标签条件重生成监督文本输出,在 GenImage 和 Chameleon 基准上分别达到 96.1% 和 77.9% 的顶尖准确率。

UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models

针对多模态大语言模型端侧部署中视觉编码器计算重、延迟高的瓶颈,UltraViT 基于真实端侧 NPU 延迟系统搜索并构建了宏块级异构金字塔视觉编码器,结合密集特征蒸馏与动态混合容量语言模型直接监督的两阶段生成式预训练,在端侧推理速度提升 1.7× 至 19.1× 的同时刷新了多项密集多模态基准 SOTA。

Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection

提出无需微调的头部集成分类器(HEC),通过将文本提示词与图像共同输入多模态大模型解码器进行条件约束,并基于高斯判别分析和软准确率指标自适应筛选最具判别力的稀疏注意力头,彻底弥合了 LVLM 与 CLIP 之间的少样本及零样本分类性能鸿沟。

VisReflect: Latent Visual Reflection for Fine-Grained Perception in Long Visual Context

VisReflect 提出潜空间视觉反射机制,让 LVLM 在生成 <VR> 特殊令牌时用其隐状态直接召回图像/视频中与查询相关的视觉特征,从而在单次前向传播内实现注意力重聚焦,避免现有"缩放-重编码"范式中的坐标预测误差与多次前向开销,在图像和视频细粒度感知任务上分别提升 4.1% 和 1.8%,推理速度比多轮缩放方法快 44%。

Visual Prompt Discovery via Semantic Exploration

针对大视觉语言模型(LVLM)在细粒度感知任务上的系统性失效及传统逐样本工具调用的高昂开销,本文提出自动化语义探索框架 SEVEX,将视觉提示搜索空间抽象至高层语义理念层,通过新颖性引导树搜索与样本级失败回传,高效发现兼具高准确率与低推理成本的任务级视觉提示策略。

VLZip: Unified Visual and Textual Compression for Interleaved Long-Context Modeling

VLZip 针对图文交错长上下文推理中的注意力二次复杂度瓶颈,提出将视觉与文本分块统一蒸馏为层级软前缀并在解码器每层残差注入,在纯 Transformer 架构下将训练序列上限扩展 6 倍至 120K tokens,并在超长叙事推理基准 LongVLBench 上取得领先性能。

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

本文提出 Splash,一种掩码隔离的触觉对齐框架,通过 Wanda 风格的重要性评分将小 MLLM 的 LLM 参数划分为"休眠"与"关键"两个子空间,只更新休眠子空间来编码触觉能力,冻结的关键子空间则作为稳定锚点保持原有视觉语言推理不受损害。

Where to Look Matters: Learning Influential Views for VLM-based 3D Visual Grounding

针对基于多模态大模型的零样本 3D 视觉定位中启发式可见性视角选择无法反映定位判别力的问题,提出 IVSGround 框架,利用冻结的推理 VLM 生成拒绝采样两阶段反馈微调轻量视角选择器,在保持主干 VLM 零样本的前提下显著提升定位准确率。

AMCI: Unlock the Potential of Large Multimodal Models for Fine-grained Open-world Classification via Adaptive Memory Context Injection

AMCI 把测试流中已经观察到的图像及属性描述变成可检索记忆,再让语言模型将近邻上下文精炼成识别提示,无需更新参数便将 Qwen2-VL 7B 在五个细粒度数据集上的平均 CFI 从 36.6 提升至 63.0,但它仍依赖流式上下文质量和额外的语言模型推理。

An Inverse-Adversarial and Difficulty-Adaptive Robust Vision-Language Model

IADA-RVLM 用朝正确类别移动的逆对抗样本约束对抗训练,以视觉提示和文本适配器学习专门知识,再按类别语义距离调节文本知识融合,在五个数据集的新类别上取得最佳 Nat/Rob 调和均值,其中 Caltech101 的 PGD-100 鲁棒准确率为 52.52%。

Anchored, Not Graded: Vision-Language Models Fail at Slant-from-Texture Perception

本文系统评估了多种VLM在纹理驱动斜面感知任务上的表现,发现VLM的零样本预测严重锚定在少数离散值(0度、±25度、±45度)上,与人类和自监督CNN展现的连续有偏感知完全不同,且这种锚定来源于语言输出端的读取瓶颈而非视觉编码器的几何信息缺失。

ATOMIC: A Domain-Specific Vision-Language Model for Transmission Electron Microscopy

ATOMIC固定LLaVA-v1.5架构,将文献中的TEM子图和图注转成互补的视觉与领域监督,再做两阶段适配,使7B模型获得75.2%的TEM-MCQ准确率和37.5%的TEM-VQA答案词覆盖率,但尚不能替代定量显微分析。

ATP-Bench: Towards the Agentic Tool Planning for MLLM Interleaved Generation

ATP-Bench 将图文交错生成中的五类视觉工具纳入统一规划空间,用 7,702 条人工核验问答和三智能体 MAM 分别检查调用是否合理、该用图时是否遗漏以及整体编排质量,发现最强受测模型 Gemini 3 Pro 的平均 FS 为 79.88,但复杂旅行与装修回答仍存在明显缺口。

Attention-Logit Steering to Compositional Generalization for Continual VQA

Q-STEER 用共享控制器把“给新任务增加专家容量”和“修正回答时看向哪里”联合起来,在无需推理任务标签、无需样本回放的持续 VQA v2 上取得 53.68 AP、4.51 AF,以及 51.00/51.48 的 Novel/Seen 组合得分。

Background Blurring Matters: Improving Visual Grounding by Merging Text-Irrelevant Tokens

ToB 在视觉编码器深层优先合并“视觉相似且文本无关”的 token,保留目标区域的细粒度表示,使 DINOv2-B/BERT-B 基线在 RefCOCOg test-u 上从 76.05% 提升至 80.36%,推理速度由 20.80 提升至 21.57 fps。

Benchmarking MLLMs on Mistake Recognition and Explanation in Single-Step Components of Cooking

Cook-MRE 保持烹饪视频不变、只替换指令中的一个操作要素,以 1,289 个样本测试模型能否发现并解释偏差,发现 13 个开源 MLLM 中默认设置的最佳 Full Pass Accuracy 仅为 57.0%,会“报错”远不等于看清并说对错误。

Beyond Categorical Matching: Intra-Class Graded Relevance Estimation for Cross-Modal 3D Retrieval

ReMU3D通过SCI重参数化图像、文本与点云的联合语义空间,再用Q-MoE按查询模态动态聚合,在新建的INGRE渐进相关度基准上将NDCG@10从最佳基线的0.76提高到0.93。

Beyond Disjoint Tasks: Towards More Natural Continual Learning for Vision-Language Models

针对现实多模态持续学习中任务存在语义重叠而导致传统独立专家模型性能崩溃的问题,本文提出了 SOCiaL 框架,通过高斯混合模型建模任务上下文相似度以指导无交叉项干扰的全权重空间 LoRA 合并与弹性上下文赌博机路由,在显著缩减专家数量的同时大幅刷新主流及重叠基准的 SOTA。

Beyond Filter Pruning: Top-K Spatial Selection for Efficient Neural Networks

针对传统结构化剪枝仅移除通道/滤波器而忽略卷积核内空间冗余的问题,本文提出 Top-K 空间剪枝(TKP),通过两阶段“指数衰减正则化聚拢信息 + 确定性 Top-K 空间掩码”将密集卷积转为高效的局部稀疏采样,在 CNN、ViT、LLM 及量化联合压缩中均取得极低精度损失下的显著加速。

Beyond Script Family Boundaries: Towards Unified Open-Set Scene Text Recognition

提出首个跨语系统一开集场景文本识别框架,通过 CAM-CTC 联合对齐、动态字形原型匹配与异构字词双层协同训练,首次实现单个模型在 CJK、印度语系与低资源彝文上的零样本跨语系开集识别。

BIP: Bi-level Information Transfer and Completion Prompting for Visual Recognition with Missing Modalities

针对多模态视觉识别中模态缺失导致的特征分布不一致与跨层提示干扰,BIP 提出了结合实例级语义对齐补全提示(AlignPrompt)与全局缺失类型感知超网络提示(HyperPrompt)的双层提示学习框架,在冻结 CLIP 主干下仅需 3.8% 可训练参数即取得超越特征重构类与现有提示调优方法的 SOTA 性能。

Break Visual-Linguistic Asymmetry: Unleashing VLM's Cross-Modal Potential for General Face Forgery Detection

针对视觉语言模型(VLM)在人脸伪造检测中跨模态和模态内部的不对称性瓶颈,本文提出不对称引导的参数高效检测框架 Asy-Det,通过两阶段元伪造适配器(MFA)与不对称引导交互器(AGI)实现多粒度跨模态双向对齐,仅用 4.41M 可训练参数在未见数据集 Celeb-DF-v2 上取得 92.94% 的 AUC。

Ceptor: Vision-Language Model-Infused Diverse Guidance for Detecting Anything

Ceptor 借鉴人类视觉搜索机制,将预训练视觉语言模型(VLM)同时作为检测骨干与提示生成器,结合空间增强金字塔 RoI 提取器与多路径谐调网络,实现了交互式视觉、通用视觉、文本及混合提示的统一开放词表目标检测。

Co-Steer: Cross-Modal Collaborative Steering for Jailbreaking MLLMs

Co-Steer 揭示了视觉与文本越狱扰动在多模态大模型隐空间中指向统一的脆弱表征方向,通过奇异值分解(SVD)提取跨样本通用的引导向量,并利用引导对齐损失协调视觉噪声与离散文本后缀的块坐标交替优化,以单对通用扰动在 MM-SafetyBench、HarmBench、AdvBench 及闭源商业模型上刷新越狱攻击成功率。

CoCo-IR: Conversational Composed Image Retrieval

针对传统组合图像检索仅支持单轮孤立查询的缺陷,本文提出多轮交互式组合图像检索新任务 CoCo-IR,并设计了基于大多模态模型的可变图像表征架构 TIE 与自反思数据引擎,在严格轨迹评估下将 4 轮检索 R@1 从基准的 28.2% 提升至 44.1%。

D-VLAM: Differential Vision and Language Mixing for Rehearsal Free Continual Learning

针对无回放类增量学习中语言引导方法严重依赖大语言模型描述符且类别特征易受注意力噪声干扰的问题,D-VLAM提出在轻量提示生成中显式混合视觉与语言模态,并结合任务自适应差分前缀微调消除注意力噪声,以极低参数量实现免回放持续学习新SOTA。

DeCoPatch: Revealing Causal Latent Subspaces in Vision-Language Models for GUI Grounding

清华大学与鹏城实验室通过机制可解释性揭示视觉标记在 VLM 解码器深层诱导了低秩潜在子空间,并提出无须渲染图像标记的解码期因果干预方法 DeCoPatch,在 Prefill 阶段在线筛选关键 FFN 神经元并在解码时进行激活微调(Scaling),在四大基准上以近乎零的计算开销全面提升 GUI 定位精度。

DICE: Disentangled Instance-Class knowlEdge prompt tuning via SAE for Vision-Language Models

针对预定义 LLM 类别描述缺乏视觉落地且与具体图像实例失配的问题,DICE 创新性地将稀疏自编码器(SAE)重构为可学习概念词典,提出协同激活评分动态解耦与选择实例特定概念向量并与类嵌入融合,实现了类别先验与实例细节兼备的高泛化即插即用提示调优。

DIGS: Differentiable, Incremental, Global, Scalable Pruning for Language Models

针对基于对偶上升的 \(L_0\) 结构化剪枝在长周期训练中因乘子累积导致的梯度震荡与崩溃问题,DIGS 提出每步门控梯度范数显式约束与闭式求解,并结合单反向传播引擎 GNCL-Opt,首次将大模型结构化剪枝的数据预算平稳扩展至 100B+ Token 级别,在固定稀疏度下实现了性能随训练数据规模单调提升。

DiscoVL: Unveiling Disentangled Cross-Modal Representation Learning via Orthogonal Adversarial Regularization for Vision-Language Models

DiscoVL 提出跨模态解耦表征学习框架,通过多分支低秩残差对齐器显式解耦共享语义与下游任务特征,并引入正交对抗三元组正则化抑制表征向类别质心坍缩,在 15 个基准测试中显著提升了视觉语言模型的基础与新类泛化能力。

Disentangling and Reusing Interaction Cues for Zero-Shot HOI Detection

针对视觉语言模型在零样本 HOI 检测中细粒度交互线索被全局语义掩盖及深层易陷入背景捷径偏差的双重表征瓶颈,提出 DRIC 框架,通过正交残差解耦模块分离交互特异性线索,并利用分层局部融合机制聚合多层特征以恢复接触细节。

Divide and Align: Disentangled Vision-Language Learning for Text-Based Person Anomaly Search

针对基于文本的行人异常检索中外观、动作与背景混杂导致的误匹配问题,本文提出解耦视觉语言检索框架 SeDA,通过语义 Token 投影与大模型分解监督,将表征解耦为外观、动作与背景三路子空间并自适应重组,显著提升异常行为检索与跨域泛化能力。

Do Vision Language Models Recognize Visual Ambiguity?

针对视觉语言模型在视觉歧义输入下易过度自信的问题,本文提出视觉语义熵(VSE),仅对图像施加局部视觉扰动并在语义原型层面进行加权离散度聚合,在 5 款主流 VLM 和 5 个 VQA 基准上显著超越现有不确定性估计方法。

DriveFine: Refining-Augmented Masked Diffusion VLA for Accurate and Robust Driving

针对传统自回归VLA解码不可逆与连续扩散策略弱对齐易退化的问题,DriveFine基于掩码扩散LLM构建端到端自动驾驶规划器,通过轻量级块级MoE在最小开销下解耦轨迹生成与自我精炼,并结合在线离线混合RL策略,在NAVSIM与Navhard基准上取得显著的准确率与鲁棒性提升。

Dual-Generalization-aware Minimization for Continual Fine-Tuning of Vision-Language Models

针对视觉语言模型在持续微调中因单任务局部平坦性难以抵御跨任务分布偏移而导致灾难性遗忘与零样本能力崩塌的问题,本文提出双重泛化感知最小化(DGM),通过在扰动生成中显式耦合预训练零样本对齐与任务内视觉不确定性,引导模型收敛至兼顾泛化与鲁棒性的联合平坦极小值。

ECC: Encoder-Centric Corruption for Fine-Grained Vision in VLMs

针对视觉语言模型因粗粒度图文对齐导致的低频偏置与物体幻觉,本文提出编码器中心损坏框架(ECC),通过在编码器浅层特征空间注入高斯噪声、保留联合掩码并通过扰动损失解耦去噪与掩码重建任务,显著提升细粒度视觉识别能力与多模态对齐精度。

EmbedCopilot: Evaluating Vision-Language Models for Hardware-Aware Embedded System Development

提出了首个面向硬件感知嵌入式系统开发的多模态基准 EmbedCopilot-Bench,结合基于自反思的 LLM-as-a-Judge 与仿真/实机执行成功率(ESR),系统揭示了前沿 LVLM 在微控制器引脚定位与硬件物理对齐上的关键瓶颈。

Enhancing prompt-image alignment evaluations via cyclic mutual information maximization

针对生成图像评测中视觉质量高不等于提示词对齐高、以及高密度视觉特征淹没稀疏文本的矛盾,本文提出循环互信息最大化框架 CMIM-AIGIQA,通过前向变分互信息最大化滤除模态噪声、后向对比互信息约束防止文本语义丢失,在三大基准上取得最优图文对齐评估性能。

Finding Highlight Images In Your Albums: From Benchmark To Agentic MLLMs

针对相册精彩图像推荐(AHR)中主观歧义大与基准缺失的难题,本文重标注构建了包含 1,010 个相册、9.7 万张图像的三套基准(含首个机主真实标注的 C-AHR-100),并提出结合局部高光分布聚合与全局多模态参考再推荐的两阶段智能体框架 Highlight4U。

FontCopilot: Towards Generalist Multimodal Large Language Models for Holistic Chinese Font Engineering

FontCopilot 是首个将中文字形矢量化、贝塞尔曲线轮廓稀疏化、缺陷标注与几何修复统一为单一模型的多模态大语言模型框架,通过将连续贝塞尔几何拓扑序列化为声明式 SVG XML 代码,结合原生分辨率视觉编码、多尺度跨层几何特征残差注入以及少样本参考/零样本通用双重推理范式,在工业级高质量字形输出和生产效率上显著超越传统几何拟合工具与通用大模型。

Fragmented Text Is Insufficient for Image Representation: Fine-Grained Correspondence in Multimodal Dataset Distillation

针对多模态数据集蒸馏中单句片段文本无法覆盖图像丰富语义以及对比学习机械惩罚所有非配对样本的痛点,本文提出 P2DE 框架,采用视觉引导的成对文本融合与基于条件信息熵的跨样本贡献控制器,在极端压缩预算下大幅提升跨模态检索性能。

Going Deep: Deep Visual Prompting with LoTeP

针对视觉提示向深层特征扩展时引发的参数爆炸与预训练语义破坏难题,提出低秩张量视觉提示方法 LoTeP,利用 Tucker 与 CP 张量分解协同建模跨通道与空间相关性,配合层级余弦秩衰减策略,在仅引入极小参数量的前提下实现深层特征的无损平滑调优。

Group3D: MLLM-Guided Semantic Grouping for Open-Vocabulary 3D Object Detection

Group3D 针对多视图 RGB 开放词表 3D 检测中几何聚合容易不可逆过度合并的问题,提出利用多模态大模型构建场景自适应词表与语义兼容分组,在 3D 片段合并时引入语义兼容门控与非对称包容几何校验,无需真实点云或 3D 监督即在姿态已知和无姿态设定下刷新 SOTA。

Inductive Visual Logic for Few-Shot Out-Of-Distribution Adaptation in VLMs

针对视觉语言模型在医学与工业等远距离分布外领域中表征缺失导致的判别失效问题,本文提出免训练的 Inductive Visual Logic (IVL) 框架,利用模型未崩溃的通用视觉描述能力构建双模态特征字典,并通过层级空间接地完成高精度的可解释少样本分类。

iSyncTab: Learning Cross-Modal Feature Sequencing for Image-Tabular Data via Neural Synchrony

针对图像-表格多模态融合中特征无序导致自注意力优化失稳的痛点,本文提出 iSyncTab,利用神经同步机制计算能量与相位相干性完成跨模态特征聚类匹配与排序约束,并结合线性复杂度的内存增强 Transformer,在 6 个多模态基准上取得最优分类性能与轻量推理开销。

Iterative Perceptual Alignment for VLMs via Deterministic Reconstruction Feedback

本文提出一种基于确定性视觉重建反馈的自监督视觉语言对齐框架,通过少步扩散蒸馏模型与感知距离度量构建“重建-对比-精炼”闭环,以仅 20% 的偏好数据量训练出高判别力奖励模型并在 DPO 下显著提升 VLM 的密集属性对齐能力。

Kilometer-Vision: A New Frontier for Large-Scale Spatial Awareness in VLMs

KilometerVision 是首个评估多模态大模型在真实世界长达 1 公里、最长 10 分钟视频中城市级空间智能的基准,基于认知科学的地标-路线-地图三层范式设计了 1000 道五选一视频问答,揭示出当前顶尖 VLM 严重缺乏物理路径积分与几何概览认知、高度依赖 2D 视觉匹配和 OCR 文本走捷径的本质缺陷。

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

本文把视觉 prompt tuning 里「prompt 与 image token 怎么融合」这件一直被写死为拼接/相加的事,重新表述成一个双层优化问题,用可微架构搜索(DARTS)为冻结 ViT 的每一层各自挑选一个融合算子(concat / add / affine / cross-attention),在只调 0.75% 参数的前提下把 VTAB-1k 均值刷到 77.01%,并揭示「融合方式本身」是 prompt tuning 里此前被忽视的一阶变量。

LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

LocateAnything 提出了并行框解码(Parallel Box Decoding, PBD)范式与统一的块级表示,将 2D 几何边界框作为不可分割的原子单元进行单步并行生成,在 1.38 亿大规模定位数据预训练与混合回退推理策略驱动下,实现了相比基线 2.5 倍以上的吞吐量提升和更高的定位精度。

MedRegion-CT: Region-Aware Multimodal Large Language Model via SlowFast Tokenization and Pseudo-Mask Guidance for 3D CT Report Generation

MedRegion-CT 提出一套区域感知的 3D CT 报告生成框架,通过区域 SlowFast Tokenizer、掩码驱动视觉提取器和病灶属性文本编码三个模块,将放射科医生的层级化诊断流程显式建模到 MLLM 中,在结构化胸部 CT 报告生成基准上达到 SOTA。

Mitigating Sycophancy in Multimodal Chart Understanding via Vision-Grounded Verification

针对多模态大模型在图表理解中盲目顺从用户错误前提的迎合偏见(Sycophancy)与过度拒答(Over-refusal)权衡困境,本文提出免训练的 Re-Check 框架,通过纯文本盲分解原子主张、基于 KL 散度的对比视觉依赖度(CVDS)校验视觉因果性,并结合自适应三路路由实现了安全纠偏与通用效用兼得。

Molmo-Point: Better Pointing for VLMs with Grounding Tokens

针对现有视觉语言模型依赖文本坐标导致学习低效与高解码开销的痛点,MolmoPoint 提出一种利用三阶段定位 Token(<PATCH>、<SUBPATCH>、<LOCATION>)直接跨注意力索引视觉特征的粗到细定位机制,在 PointBench、PixMo-Points 及 ScreenSpotPro 等图像、GUI 与视频追踪任务上刷新多项最先进纪录。

MotionAtlas: Detailed Region Captioning for Motion-Centric Videos

MotionAtlas 把「描述整段视频运动」这个难以量化评测的任务,收窄为「给定视频 + 时空掩码,只描述目标区域内的运动」,并配套交付了一个 2073 题 MCQ 的诊断性 benchmark、一条能规模化产出 15.9 万条高保真运动描述的自举数据流水线,以及一套让 Qwen3-VL / Molmo2 在八个运动理解 benchmark 上普遍涨点的训练配方。

MoVA:非对称双投影实现模块化长视频-文本对齐

MoVA将视频-文本对齐问题建模为潜变量识别问题,提出非对称双投影架构——文本侧时域遮罩网络逐帧筛选相关文本概念、视频侧概念遮罩网络隔离文本相关的视觉因子——配合模块化对比学习目标实现长视频与长文本的结构化解耦对齐。

NaVLM-PVC: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs

针对切片编码割裂全局语义与原生分辨率编码计算量暴涨的核心矛盾,NaVLM-PVC 提出渐进式视觉压缩(PVC)范式,通过精细化 Patch 嵌入(RPE)与层级内容自适应局部窗口压缩(WTC),在保留完整全局上下文与细粒度感知的同时将首字延迟降低达 1.9× 至 2.4×。

PhyMAGIC: Physical Motion-Aware Generative Inference with Confidence-guided VLM

针对单张图像推断物理属性严重欠约束的痛点,PhyMAGIC 提出了一种免训练的主动探测框架,利用预训练图生视频模型主动合成探测动态,由 VLM 基于置信度反馈闭环迭代精炼材料属性与仿真原生描述符,并在可微物质点法仿真器中生成物理自洽的动态 3D 内容。

Preventing Expert Collapse in MoE-dVLMs via Modality-Wise Norm Alignment

针对离散扩散多模态模型中 MoE 路由极易出现的视觉 token 专家选择塌陷问题,本文发现根源在于视觉与文本 token 之间高达 167 倍的范数差异引发 Pre-Norm 残差溺水与表征惯性,提出了在投影层后通过全局仿射压缩对齐范数统计量的轻量方法 TowerAlign,以极低开销恢复了专家分工与注意力判别力。

Probe, Anchor, and Amend: Active Test-Time Adaptation of Vision-Language Models

提出 PAA 框架,将视觉与文本原型视作动态演化的目标域语义状态,通过“主动探测(Probe)-原型正则锚定(Anchor)-记忆驱动修正(Amend)”三步循环,仅凭极其稀疏的二值验证反馈即可实现稳定且具备高塑性的跨模态测试时自适应。

ReDesign: Recovering Editable Design Structures from Raster Images via Agentic Decomposition

将光栅图像还原为可编辑设计文件建模为层次树生长过程,通过 VLM 控制器调度异质多模态工具链,并在每次节点扩展时执行带修剪与重试的局部宽容验证,实现了高保真且支持实时图层级精准编辑的逆向逆渲染。

Region-Aware Multimodal Interleaving for Animal Re-Identification

针对野生动物重识别中全局特征易过拟合背景且纯文本难以精细刻画个体纹理的问题,本文提出 RAMI 框架,利用轻量级无监督图像处理挖掘具生物学辨识度的前景局部区域,并在浅层 Transformer 中将区域视觉 token 与文本占位符交错融合进行密集跨模态交互,显著刷新了多个基准与野外数据集的 SOTA。

Rethinking Attention Reallocation for Multimodal Emotion Recognition

揭示了注意力重新分配在双模态与三模态情感识别中增益方向完全相反的反直觉现象,提出利用结构化浅层注意力作为先验残差来校准深层纠缠注意力的免训练推理方法,在 MER-UniBench 基准上实现 SOTA。

ROSE: Real-Time Open-World Scene Understanding from Monocular Video via Compact Multimodal 4D Scene Graphs

针对视觉语言模型在动态 4D 空间推理中缺乏结构化几何表征与时空接地能力的问题,ROSE 提出通过单目视频以 10 Hz 实时构建紧凑的多模态 4D 场景图(VISTA 节点分离外观图像与几何/轨迹数值序列),并首次将 4DSG 作为训练时结构化监督信号,在 DSR-Bench 上达到 67.5% 的最新 SOTA(+8.6%)。

SafeSAE-VLA: Interpreting OpenVLA Progress Dynamics with Sparse Feature Analysis

本文提出面向视觉语言动作(VLA)模型的稀疏表征分析管线 SafeSAE-VLA,在 OpenVLA 残差流中通过稀疏自编码器(SAE)提取解耦特征,发现仅靠 Top-20 稀疏特征即可实现 0.894 的任务进度判别 AUROC,证明具身策略内部隐藏着紧凑、可读且可干预的任务进展子空间。

Same Person, Different Depiction: Counterfactual Evaluation of Vision-Language Models on Individuals with Limb Deficiencies

本文提出了 InclusiveCFImageBias 反事实基准评测集(462 对共 924 张图像、超 2.2 万次查询),在固定人物身份、背景和动作且提示词完全无关身体能力的前提下,系统评估了主流 VLM 在可见肢体残障视觉线索下的判断与表述漂移,发现模型普遍存在向更高评分、更肯定决策和过度评价性语言漂移的现象。

Same Pool, Different Answer: Stable Best-of-N Selection for Vision-Language Models

针对视觉语言模型在固定候选池下基于似然打分易受微小扰动导致胜出答案频繁翻转的问题,本文提出 DSPA 方法,通过结合冻结参考模型的逐 token 对数似然比均值锚定选择器与训练期多维偏好捷径过滤,将扰动翻转率从 44.3% 降至 24.9%,并将 POPE 目标幻觉率从 9.6% 降至 6.2%。

SAMPLe: A Sharpness Aware Minimization based Optimizer for Prompt Learning in Vision-Language Models

针对视觉语言模型提示学习中小参数量极易收敛至尖锐极小值导致新类泛化退化的问题,本文提出即插即用型优化器 SAMPLe,通过自适应平衡经验风险梯度对齐(利用)与全批次梯度正交探索(探索),在保证基类精度的同时显著提升跨类别与跨域泛化性。

SCoT: Similarity-guided Conflict-aware Task Consolidation for Continual VQA

SCoT 提出基于预训练锚点的任务向量几何整合框架,在层级粒度测量任务相似度自适应分配整合权重,并通过条件投影精准剔除反向破坏性参数冲突与对编解码接口实施深度感知稳定,在 VQAv2 和 NExT-QA 上实现了近乎零遗忘(AF 0.07 与 -1.90)以及罕见的反向正迁移,性能甚至超越多任务联合训练上限。

SDSA: Shallow-Deep Squeezing Adapter for Vision-Language Models

针对视觉语言模型适配器中跨模态交互过于密集且对齐容量失控导致新类别泛化退化的问题,SDSA 提出了分层两阶段“浅深压缩”适配器,在浅层通过 Token 级随机掩码引入结构化稀疏性,在深层通过模态共享低秩变换与双向交叉注意力约束对齐容量并选择性交换互补信息,在 11 个基准数据集上显著提升了少样本 Base-to-Novel 泛化能力。

Seeing Isn't Orienting: A Cognitively Grounded Hierarchical Benchmark for Object Orientation in MLLMs

本文提出面向多模态大语言模型(MLLM)的认知分层物体朝向基准 DORI,将朝向解构为四个认知维度与粗/细双粒度评测,揭示出即使在宏观空间基准表现优异的模型在几何朝向与连续旋转推理上也普遍接近随机水平。

SiGMA: Sign-Guided Merging and Adaptation framework for Multimodal Continual Instruction Tuning

针对多模态持续指令微调中权重整合引发的负向干扰与知识覆盖痛点,SiGMA 提出基于符号一致性的参数解耦框架,在训练期利用通用子空间实现低漂移自适应微调,在推理期通过显著参数筛选与余弦距离缩放合并专有子空间,大幅兼顾新任务适应与旧任务防遗忘。

Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs

针对 MLLM「明明看到了正确视觉证据却被语言先验带偏」的视觉惰性问题,本文提出 VIGIL,把一个「屏蔽视觉注意力的反事实盲态」当作负锚点塞进 DPO 偏好优化,用几何约束显式拉大「看得见」与「看不见」两种状态下的对数似然差距,从而强迫模型的高置信度回答因果地锚定在像素上——仅用 25% 偏好数据就超过 SOTA,还意外涌现出空间定位能力。

Synesthesia via Direct Latent Augmentation: Bypassing the Decode-Encode Loop for Cross-Modal Distillation

针对生成式多模态数据增强中“解码-重编码”引入感知噪声与算力开销的瓶颈,提出直接潜在增强(DLA)与多层显式模拟联觉(MESSy)蒸馏,使纯视觉学生模型无需真实配对数据即可内化 3D 几何与声学先验。

Towards Reliable Medical Large Vision-Language Models via Counterfactual Preference Optimization

针对医疗视觉语言模型过度依赖非病灶背景与病理共现等虚假偏倚导致幻觉的问题,本文提出反事实医疗偏好优化框架(CoMedPO),通过因果中介分析解耦有害的背景直接效应与有益的解剖结构间接效应,在不增加推理开销的前提下显著提升了多模态医疗推理的事实性与可靠性。

Unbalanced Optimal Transport for Efficient Visual Document Retrieval

针对以 ColPali 为代表的多向量视觉文档检索中 Patch Token 爆炸与晚期交互(MaxSim)计算开销巨大的瓶颈,本文提出基于非平衡最优传输(UOT)的无训练 Token 压缩框架,将语义冗余最小化、注意力重要性保留与锚点容量约束统一为交替优化问题,并在理论上证明其上界约束了检索误差。

Unleashing the Power of Large-Scale ViT in Zero-Shot SBIR: A Strong Baseline with Multi-Layer Feature Aggregation

针对零样本草图检索(ZS-SBIR)中大尺度视觉语言模型顶层语义过度压缩导致底层几何基元丢失的问题,本文基于 ViT-L-14 提出显式反压缩的多层特征聚合(MLFA)与分阶段跨模态交互(PCMI),在浅层几何与深层语义间实现粗到细动态对齐,建立了极具竞争力的强基线。

VISOR++ : VISUAL INPUT BASED STEERING FOR LARGE VISION LANGUAGE MODELS

提出 VISOR++(基于视觉输入的输出重定向引导技术),将传统侵入式的内部激活层转向向量(steering vectors)映射至纯输入图像空间,通过可微预处理流水线与双重动量谱增强对抗优化,生成单张通用引导图像,在零运行时模型内部访问权限下实现对拒绝行为、谄媚性与自保本能的精准双向行为干预。

VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision

针对现有视觉语言模型因文本主导优化偏差而丢失细粒度视觉感知的问题,VIVAS 在预训练阶段引入统一 Token 空间与密集结构-语义视觉离散化词表,实现图文统一自回归监督,在 12.4T Token 训练下显著提升细粒度多模态理解与定位能力。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

本文把大视觉语言模型里的"视觉注意力汇聚点"拆成来自视觉编码器的 V-sink 和在 LLM 深层新生的 L-sink 两类,揭示它们编码全局场景先验、有利于粗粒度推理却压制细粒度感知的双刃剑效应,并提出一个冻结主干、只训练轻量 MLP 的逐层门控 LSG,按输入和层深动态调整 sink 的 Key 缩放,在多模态 benchmark 上普遍涨点。

World-in-Loop: Online Correction via Event-Triggered World Models for Robust VLA Policies

针对传统VLA开环执行易累积复合误差且传统世界模型全时程推演开销巨大的瓶颈,提出事件触发的World-in-Loop框架,仅在抓取决策关键帧处触发鉴别式风险评估与生成式轨迹“想象”,通过状态回滚与逆动力学解码在执行前主动扭转潜在失败。

X-Stream: Benchmarking MLLMs as Multiplexers for Multi-Stream Understanding

X-Stream 是首个面向多路并发视频流的流式理解基准,用充分性+必要性双验证管线构建 4,220 个跨流 QA,并把 MLLM 抽象为带有限 token 带宽的朴素复用器来系统比较空间/时间/语义三种复用策略;最优模型 Gemini 3 Pro 综合分仅 49.60,前向(主动)问答分数普遍不到 21,暴露当前流式模型在并发多流与主动响应上的巨大缺口。