🧩 多模态 VLM¶
💬 EMNLP2026 · 80 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (176) · 🎞️ ECCV2026 (240) · 📷 CVPR2026 (427) · 🔬 ICLR2026 (214) · 💬 ACL2026 (82) · 🧪 ICML2026 (91)
🔥 高频主题: 多模态 ×42 · 推理 ×10 · LLM ×9 · 模型压缩 ×4 · 对齐/RLHF ×4
- Anchoring What Matters: A Dual-Level Learning Framework for Visually-Grounded Multimodal Reasoning
-
针对多模态可验证奖励强化学习(RLVR)中高质量视觉定位轨迹随抛弃而流失、标量优势均匀分配稀释关键视觉与逻辑步骤优化的双层瓶颈,本文提出 PIVOT 框架,通过自校准经验回放构建历史回顾锚点,并结合局部反事实视觉支撑与未来熵门控影响动态重构 token 级优势,在 Qwen2.5-VL 上显著提升多模态几何与数学推理性能。
- Beyond Visual Memory: Mechanistic Diagnostics of Latent Visual Reasoning
-
本文将多模态大语言模型的隐空间视觉推理分解为隐式槽位、边界标记符与格式三要素,构建高精度强探针 MVH 证明槽位内容并非可恢复的视觉记忆,增益实质来源于标记符格式控制与视觉注意力路由。
- Can Humans Dream of Electric Sheep? Human-Written Samples for Fine-Grained Vision-and-Language Hallucination Benchmarking
-
针对视觉语言模型(LVLM)幻觉评测基准严重依赖特定模型生成、极易快速过时且难以覆盖罕见错误类型的问题,本文提出了跨 4 种语言、涵盖 5 种 LVLM 与人类手写伪造样本的 20,000 条细粒度字符跨度级幻觉基准 SHEEP,实证了人类编写幻觉在标注一致性、类别均衡可控性及评测有效性上完全可替代传统依赖模型的合成评测基准。
- Causal Probing for Internal Visual Representations in Multimodal Large Language Models
-
本文提出基于激活引导的因果探测框架,通过差异均值提取四类视觉概念向量并干预残差流,揭示了实体知识高度局部化而抽象概念全局分布的内在表征机制,并发现了逆向引导下的隐式过补偿以及视觉感知与几何推理动作的严重脱节。
- Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models
-
CHARTOGRAPHER 将图表逆向工程解析为语义数据与可执行绘图代码,在自反思与人工验证保证保真度后生成底层数据受控改变的反事实图表,并用可执行逻辑重新计算答案,系统揭示了前沿 VLM 在原始图表做对后仍广泛无法随视觉证据改变而更新答案的泛化盲区。
- Co-Evolutionary Prompt Optimization with Cross-Category Transfer for Zero-Shot Anomaly Detection
-
CoEvoAD 针对零样本工业异常检测中连续提示词可解释性差与源域过拟合问题,提出了离散自然语言规则的双种群协同演化搜索框架,并引入基于源域留出类的跨类别迁移目标(CCTO),在保持语言可读性与毫秒级推理速度的同时刷新了六大基准 SOTA。
- Correlation-Flip Visual Injection for Hallucination Mitigation in Large Vision-Language Models
-
本文发现大型视觉语言模型在深层存在视觉证据被语言先验反向压制的“相关性翻转”现象,并提出一种完全免训练、轻量级的推理期视觉注入方法(CFVI),在保持 35.01 token/s 高吞吐的同时显著压低 CHAIR 和 POPE 幻觉指标。
- Exposía: 针对研究项目开题报告与同行评审反馈的学术写作技能教学与评估基准 (Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback)
-
达姆施塔特工业大学 UKP 实验室提出首个贯通“初稿撰写-双源反馈-修订终稿”完整教学链条的学术写作基准 Exposía,配套 36 项开题与 24 项评审细粒度评估量表,揭示了联合提示在大模型自动化写作与评审评测中的显著优势与开闭源模型特性。
- E^3-Pruner: Towards Efficient, Economical, and Effective Layer Pruning for Large Language Models
-
针对大语言模型结构化剪枝中性能受损严重、掩码搜索代价高昂以及端到端加速受限的三重矛盾,本文提出两阶段剪枝框架 E^3-Pruner,通过基于 KL 散度初始化的可微 Gumbel-TopK 采样器与渐进调度实现精准经济的层掩码搜索,结合 Token 预测熵加权的自适应知识蒸馏恢复模型能力,在仅消耗 0.5B token 的极低预算下显著刷新 SOTA 表现。
- Divide-and-Adapt: Fine-Tuning VLMs via Model Division and Routing
-
针对传统微调始终保持密集预训练架构完整而导致的计算冗余与下游适配瓶颈,本文提出 Divide-and-Adapt 范式,通过 Wanda 与 SparseGPT 结合不同校准数据将预训练 FFN 剪枝切分为多样化子网络专家,并以交替 DA-MoE 模块配合 top-2 动态路由协同微调,在大幅降低推理激活参数的同时超越全量微调与 LoRA。
- Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs
-
针对多模态大语言模型(MLLMs)在思维链(CoT)推理中因早期视觉注意力偏离导致错误级联和文本先验幻觉的瓶颈,本文提出 SAYO 模型,通过提取关键决策步的高熵 Token 并引入基于相对注意力密度的区域级强化学习奖励(GRPO),显著增强模型的视觉验证与持续聚焦能力,在不借助外部视觉工具的前提下实现了跨领域与数学几何任务的强泛化。
- E2E-VisRAG: End-to-End Visual Retrieval-Augmented Generation with Differentiable Retrieval
-
E2E-VisRAG 摒弃 OCR 序列化与全局向量粗粒度池化,基于原生视觉 patch 编码与 MaxSim 细粒度交互,利用直通估计器实现可微 Top-K 检索并将下游生成梯度反传至检索器,配合门控残差融合自适应抑制噪声,实现了检索与生成的真正端到端联合优化。
- FlowMM: Cross-Modal Information Flow Guided KV Cache Merging for Efficient Multimodal Context Inference
-
针对多模态大模型在长上下文自回归生成中因海量视觉token引发的KV Cache显存爆炸与跨模态盲目合并导致的语义混淆问题,本文提出无须微调的即插即用框架FlowMM,通过逐层量化跨模态信息交互强度动态切换模态内与模态间合并策略,并结合敏感度自适应匹配保护高价值token,在降低80%~95%显存并实现1.3~1.8倍解码加速的同时近乎无损保持多模态长文本理解精度。
- FLUID-V: Elastic-Horizon Diffusion Decoding for Vision-Language Models
-
FLUID-V 针对自回归多模态模型(AR-VLM)长序列推理效率低下以及现有扩散块解码视界僵化、中间态易崩塌的问题,提出了一种轻量级 AR 转扩散适配框架,通过动态预测弹性精炼视界并将未决位置建模为演化软语义混合体,在保持严格因果前缀与 KV 缓存兼容性的同时实现 2 倍以上的推理加速与更优的跨基准性能。
- FPCO-Dialog: A Multi-Turn False-Premise Benchmark for Correction and Cooperation in Vision-Language Models
-
针对视觉语言模型在多轮交互中面对用户持续性视觉错误前提的行为盲区,本文构建了包含 1,080 张图像与 10,800 轮问答的严格分层基准 FPCO-Dialog,提出模型无关的评测协议与双检测器指标 CorrTP@K,系统揭示了 20 款主流 VLM 在纠错(Correction)与顺从(Cooperation)行为上的显著分歧与演化动力学。
- Gated Contrastive Decoding via Local Candidate Geometry for Audio-Visual Speech Recognition
-
针对传统对比解码在视听语音识别中采用全局固定系数导致局部排序失真与超参敏感的问题,提出利用局部候选几何动态权衡边际支持度与离散风险的门控对比解码(GCD),在完全免训练的前提下显著提升了多样化声学噪声环境下的识别鲁棒性。
- GeoMotionGPT: Geometry-Aligned Motion Understanding with Large Language Models
-
GeoMotionGPT 针对离散动作分词与大语言模型(LLM)词表扩展之间的几何脱节问题,提出以正交性作为跨阶段共享结构先验,结合纯解码器 Gumbel-Softmax 量化器、固定稀疏保距投影初始化及双阶段软正交正则化,在无需多模态对比对齐的条件下显著提升动作描述与文本生成质量。
- GGSS: Geodesic-Gated Spherical Steering for Inference-Time Debiasing of Generative Vision-Language Models
-
GGSS 提出了一种免重新训练的生成式 VLM 推理期去偏框架,通过离线反事实切空间 SVD 提取单位超球面偏置子空间,并在推理期结合校准的偏置范数自适应门控与球形线性插值(Slerp)测地线旋转,在完全保持 token 范数的前提下大幅消除人口统计学偏差且不损通用能力。
- Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents
-
本文针对多变量时间序列事件标注昂贵且依赖跨通道复杂逻辑的难题,提出将文本描述编译为结构化时序逻辑的事件逻辑树(ELT)与神经符号智能体系统 SELA,利用 VLM 进行主动视觉检查与自底向上模糊逻辑置信度传播,在无需标注数据下实现高精度事件定位与可验证的证据树推理。
- GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations
-
GraSP-VL 冻结视觉与文本编码器,通过单个共享的 Cayley 参数化近正交变换重排表征坐标,在数学上严格保持全维余弦几何不变的前提下,让不同前缀长度分别承担实体、属性、关系与完整文本等明确语义粒度的检索责任。
- H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-Policy Distillation
-
针对多模态大模型在线策略蒸馏(OPD)中任务/样本级静态教师分配无法适应自回归解码步动态需求的瓶颈,H-OPD 通过离线视觉-语言描述迁移弥合模态壁垒,并提出基于预测熵的置信度感知 Token 级教师仲裁机制,实现视觉-语言教师与纯文本教师在同一生成轨迹上的优势互补,在 11 项多模态推理基准上全面超越 GRPO 与单教师 OPD。
- Harm or Humor: A Multimodal, Multilingual Benchmark for Overt and Covert Harmful Humor
-
构建涵盖文本、图像模态与短视频模态(英、阿双语及无语言通用视频)的多模态有害幽默基准 Harm or Humor,通过显式与隐式细粒度划分,揭示出前沿大模型与多模态模型在跨文化隐式推理和多模态对齐上的显著安全盲区。
- JPO: Juris Policy Optimization for Structured Legal Argumentation
-
JPO 提出了一个两阶段后训练框架,先通过教师模型生成的标准化四步论证链(事实抽取→法条分析→罪名认定→刑期预测)进行监督微调,再结合预测精度、结构完备性与跨步骤逻辑一致性构建复合奖励,并配合法律逻辑与不确定性加权的 token 级优势重加权及自适应梯度裁剪,显著提升了大语言模型在刑事裁判预测中的决策准确度与法律论证质量。
- Large-scale Multilingual News Image Captioning with Fact-Grounded Context Retrieval
-
针对新闻图像描述强依赖文本背景与实体对齐但高度局限于英语的困境,本文构建了覆盖 59 种语言、超 80 万图文对的首个大规模多语言新闻图像描述基准 LaMuN,并提出将图像分解、多语言跨模态稠密检索聚类、实体链接与区域对齐结合的思维链(CoT)微调范式,显著刷新多语种新闻图文对齐与实体生成 SOTA。
- LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning
-
LongAct 发现长上下文处理时注意力机制的 Query 与 Key 隐藏维度存在固有高幅值异常激活,通过组内注意力头显著性动态生成梯度掩码,仅稀疏更新关键高幅值关联权重,在 LongBench v2 上带来近 8% 的推理性能增益。
- MangaFlow: An End-to-End Agentic Framework for Controllable Story to Manga Generation
-
本文提出了首个面向可控长篇漫画生成的端到端多智能体框架 MangaFlow,将整页直接扩散生成的黑盒过程解耦为叙事规划、片段记忆、显式分镜布局、参考条件渲染、页面合成与嵌字排版六个显式可控阶段,大幅提升了分镜几何依从性与跨面板角色一致性。
- MCA: Modality Composition Awareness for Robust Composed Multimodal Retrieval
-
针对多模态大模型(MLLM)在统一编码组合输入时易学到单模态捷径的问题,本文提出模态组合感知(MCA)框架,通过显式偏好损失拉大组合表征与单模态表征的检索间距,并借助轻量门控原型正则化约束组合语义漂移,在分布外检索与零样本定位上分别提升 3.2 与 3.1 个百分点。
- MemeCULT-1K: Benchmarking South Asian Cultural Context and Humor Understanding of Multimodal Models
-
构建涵盖孟加拉语、印地语和英语共 1,000 张模因的南亚多模态文化基准 MemeCULT-1K,通过“单模因 vs 注入文化上下文”的双轨评测 13 款主流视觉语言模型,揭示出闭源模型受阻于实体与人物混淆、开源模型受阻于区域文化先验缺失,而语言双关则是跨架构最具抗性的核心瓶颈。
- MMDS-Bench: Benchmarking Multimodal Large Language Models on Dynamic Stance in Social Media Interactions
-
MMDS-Bench 针对社交媒体中图文交织的“推文-回复”局部互动场景,构建了首个包含 3,482 个样本的七分类多模态动态立场诊断基准及 800 例结构化推理子集,通过 12 款主流 MLLM 评测与参考扎根裁判协议揭示出:当前模型能够较好地独立理解父帖与回复内容,但瓶颈在于难以从跨模态线索中推断回复相对于父帖的动态立场关系。
- MosaicAudio: Multi-Teacher On-Policy Distillation for Controllable Video-to-Audio Generation
-
针对视频配音中多感知维度相互冲突且标量强化学习反馈稀疏的问题,MosaicAudio 提出了由四位流匹配专家教师分别对齐单一维度、并通过在策略速度场蒸馏与感知流形锚定将其融合至单一学生生成器的后训练框架。
- NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
-
针对视觉文档检索(VDR)中查询与文档在视觉复杂度上的内在非对称性,NanoVDR 提出跨模态知识蒸馏框架,将 2B VLM 教师离线索引能力通过纯查询级点余弦对齐蒸馏到仅 69M 的纯文本编码器中,在 CPU 上实现约 50ms 超低查询延迟与 95.1% 教师性能保留。
- Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reasoning
-
针对多模态在线强化学习中各提示词信息量失衡、浪费采样算力的痛点,本文提出基于 KL 正则化策略提升理论构建的探索潜力评分(EPS),通过异步教师模型将低效提示词重写为保留原始意图的脚手架提示词并动态刷新训练池,在 Geo3K 与 MMK12 上分别取得最高 9.7% 的域内相对增益与 11.5% 的分布外提升。
- OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants
-
OmniInteract 提出了首个面向全模态大语言模型(Omnimodal LLMs)的原生在线视听流式交互基准,通过“触发器-有效响应窗口-目标答案”交互槽位解构评测边界,联合衡量响应质量、时效性、打断控制与上下文嵌套恢复能力。
- PGA-KD: Principal Geometry Alignment and Semantic Consistency for VLM2Vec Distillation
-
针对异构视觉语言嵌入模型(VLM2Vec)蒸馏中容量不对称导致的表征过拟合与跨模态割裂问题,PGA-KD 提出基于谱分解的主几何对齐(PGA)以滤除教师流形的高频尾部几何噪声,并结合四通道互信息最大化的语义一致性学习(SCL),在 MMEB 四大元任务上全面超越现有蒸馏方案。
- PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection
-
针对多模态视觉指令数据冗余度高且现有选择算法开销庞大的难题,本文揭示了视觉表征中均值非零导致的各向异性与全局语义漂移,提出免训练的内生数据选择方法 PRISM,通过隐式去中心化皮尔逊相关度估计样本冗余度,仅用 30% 视觉数据和 1.5 小时筛选时间即可在降低 70% 端到端训练耗时的同时超越全量微调性能(相对提升 1.7%)。
- Probing Commonsense Reasoning in Vision-Language Models
-
针对科学文献中实体属性严重分散、表达异构且与实验测量条件深度绑定的瓶颈,ObSchema 提出了从局部观察到全局模式的分批归纳框架,通过解耦抽取属性-条件元组、双信号证据累积晋升与自适应层次精炼,实现了紧凑且高保真的科学实体属性层次模式构建。
- RIGEL: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation
-
针对大语言模型作为裁判(LLM-as-a-Judge)进行图文与视频字幕评估时存在的词表规模(\(|V|\sim 10^5\))与有限序数评分(\(1\sim 5\) 分)失配问题,RIGEL 提出两阶段自蒸馏评分适配框架,通过从冻结大模型自蒸馏轻量评分头并结合人类判断微调主干,显著提升了机器评估与人类判断的相关性。
- Rubric-Aware Multi-Expert Online Policy Distillation for Chinese Elementary School Essay Writing
-
针对直接提示前沿大模型在中文小学作文生成中面临的文体路由失误、成人化语域失配以及跨维度目标冲突难题,提出 RA-MOPD 四阶段后训练框架,通过评分加权逆向 KL 散度与基于经验迁移先验的跨文体专家混合,将 4B 开源模型打造成在 8 个量规维度和语域真实感上全面领先的前沿作文生成器。
- CaptchaMind: Training CAPTCHA Solvers via Reinforcement Learning with Explicit Reasoning Supervision
-
针对现有 VLM 在复杂验证码任务上因缺少中间推理监督而频繁失效的问题,本文构建了包含 16,000 个带细粒度区域与过程级标注样本的 CaptchaBench 基准,并提出强化学习求解器 CaptchaMind,通过在中间步骤直接奖励关键视觉区域定位(IoU > 0.8 与覆盖率奖励),配合交互反馈与结果奖励,在 8 类验证码任务上取得 82.9% 的平均成功率,并在真实商业验证码上达到 71.0% 的零样本泛化性能。
- From Content Generation to Learning Support: Pedagogy-Guided Generative Video Tutors for STEM Learning
-
华东师范大学与新加坡国立大学提出 PIVOT 框架,将 STEM 教学视频生成从单纯的内容合成重构为以学习者为中心的教学支持系统,通过三阶段教学法规划、多模态形式化验证沙箱与错误驱动的自适应补救视频生成,显著提升了视觉教学的逻辑性与概念纠错效果。
- QUORUM: QUality-Optimized Routing Using Multiple annotators
-
QUORUM 抛弃了传统依赖大模型置信度与不确定度前向推断的高开销范式,改用轻量级语言学与语义距离特征构建上下文表示,结合高斯后验更新与多标注者动态共识聚合,在固定标注预算下实现了标注质量与成本的帕累托最优协同。
- Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery
-
论文系统评测了前沿 VLM 在词汇具象度(Concreteness)与表象度(Imagery)评分任务上的表现,发现输入真实图像往往不但不能增强理解,反而会在抽象词和低表象度词上引入虚假的视觉线索、导致评分严重虚高与校准崩溃,而推理时显式告知图像可能无关的轻量提示词干预能有效减轻这一退化。
- Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization
-
针对多模态大推理模型因整答粗粒度偏好优化导致思维链与最终答案解耦、产生严重视觉幻觉的问题,RC-DPO 提出将思维链显式建模为答案生成条件,结合 MCTS 高质量推理采样与注意力引导的困难负例剪枝,实现了支撑答案的细粒度思维链对齐与多基准幻觉抑制。
- Reflect to Inform: Boosting Multimodal Reasoning via Autonomous Visual Reflection
-
针对多模态大模型长程推理中脱离图像、退化至语言先验产生幻觉的“视觉漂移”问题,本文提出视觉自我检视框架(VRE),无需外挂工具或额外图像输入,通过难度感知数据构造、信息增益约束的同源反思合成、以及闭环的 GRPO 强化学习与后微调蒸馏,激活模型内在潜藏的隐式视觉重注视能力,显著提升多模态长链推理精度并抑制幻觉。
- ReGraP-LLaVA: Reasoning enabled Graph-based Personalized Large Language and Vision Assistant
-
针对现有基于提示或微调的个性化多模态大模型仅关注孤立概念而忽视概念间关系推理的缺陷,本文构建了包含120套个性化知识图谱与思维链问答的数据集 ReGraP,并提出通过软/硬图提示将结构化关系图谱对齐至语言空间的 ReGraP-LLaVA,实现了跨实体属性与关系的深度个性化多模态推理。
- ReGround: Grounding Reviewer Comments in Multimodal Evidence
-
ReGround 利用作者 Rebuttal 中的显式论文引用作为专家级监督信号,自动化构建了首个将审稿意见与原始投稿中细粒度段落、章节、图表等 16,274 处多模态证据隐式对齐的大规模基准,系统评测揭示了现有检索模型在异构长文档证据池上的严重瓶颈(最佳 LLM 仅 21% Recall@10),并证实视觉与文本信号存在显著的模态互补性。
- Rethinking Cross-Modality Prompt Transfer: Geometric Invariance and Feature Orthogonality in Vision-Language Models
-
本文重新审视了跨模态提示迁移(CMPT)的底层机理,实证发现迁移效果并不取决于源任务的语言语义,而是由提示向量的稳定秩(谱展开度)与相对于目标特征主成分的空间方向(特征正交性)等几何先验主导,并据此提出了完全摆脱语言预训练的几何提示初始化方法(GPI)。
- Rethinking the Role of Temperature in Large Language Model Distillation
-
本文重新审视了温度在大型语言模型蒸馏中的核心作用,从理论与实验上揭示了温度对前向 KL(FKL)与逆向 KL(RKL)的非对称效应:温度根本性改变了 FKL 的概率监督目标并释放非主导 token 的暗知识,却仅对 RKL 起到梯度重标定作用,从而彻底逆转了“RKL 优于 FKL”的传统认知。
- Revisiting Greedy Decoding for Visual Question Answering: A Calibration Perspective
-
本文从置信度校准视角重新审视了多模态大模型的解码策略,理论推导出贪婪解码优于随机采样的充分条件,证明 VQA 的长尾答案分布与认识不确定性使随机采样极易漂移至低概率干扰项,并提出结合思维链随机探索与最终答案确定性收敛的 GDRM 解码机制。
- Rigel: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation
-
针对语言模型直接作为字幕评测裁判时 LM 头的海量词表与小基数有序分数标签不匹配并引入显著非分值噪声的问题,Rigel 提出两阶段自蒸馏分值自适应框架并构建 Vid-Lepus 视频评测数据集,在图像与视频基准上显著超越现有 SOTA 评测指标。
- Same Chart, Different Story: Bias in Vision-Language Chart Interpretation
-
本文构建了首个针对视觉语言模型(VLM)图表解释的反事实偏置评测基准 ChartBias(覆盖 6 个社会维度与 820 张图表),揭示了叙事偏移、群体幻觉与偏好极性三大普遍失效模式,并提出了将图表证据提取与群体条件生成解耦的多智能体缓解框架。
- SciFigBench: A Benchmark for Scientific Method Figure Understanding
-
针对现有评测缺乏对科学方法图中稠密文本与有向拓扑流诊断能力的问题,本文构建了包含 4,352 张真实 AI 论文方法图与 40,670 个诊断 QA 对的基准 SciFigBench,并提出免训练显式化箭头拓扑的视觉提示模块 SciFigCue。
- Self-Correction Can Amplify Hallucinations: Fact-Level Repair with Graph-Based Evidence Routing in Multimodal Generation
-
针对传统多模态自我纠错中联合反馈导致幻觉放大和难以细粒度调度的缺陷,提出冻结骨干模型的推理期框架 TIGER,通过解耦抽取输入观测图与输出主张图,并基于确定性支持度与冲突度计算事实级风险以定向精修高风险主张。
- SieveServe: Adaptive Visual Token Pruning for Reliable and Efficient Multimodal LLM Inference
-
SieveServe 提出了业界首个与生产级推理引擎(vLLM)全面兼容的 pre-LLM 视觉 Token 剪枝与自适应路由框架,结合文本查询复杂度分类器(QCR)与图像信息密度守卫(DIG),在保障 8 个基准 ≥95% 精度 SLO 的前提下将 P90 首字延迟降低 5.4 倍,吞吐量提升 2.2–2.7 倍。
- SSPC: Semantic-Structural Propagation Calibration for Multimodal Fake News Detection
-
针对多模态虚假新闻图谱中“帖子关联不等于真实性一致”导致的错误传播问题,SSPC利用高置信度LLM伪标签构建语义边缘重加权与交叉拟合效用门控,将无条件图平滑转变为端到端校准的置信度证据传递。
- Stabilizing Unsupervised Self-Evolution of MLLMs via Continuous Softened Retracing reSampling
-
针对多模态大模型在无标签自进化强化学习中因多数投票离散硬奖励而引发的模型崩溃与早熟收敛,本文提出连续平滑回溯重采样(CSRS),通过回溯重推理局部展开长尾探索、基于频次方差的连续平滑奖励阻尼极化、以及视觉语义扰动剔除浅层视觉捷径,显著提升几何多模态推理能力。
- Streaming Atomic Action Segmentation in Egocentric Videos via Iterative LVLM-to-Streaming Distillation
-
CoTT 提出通过视觉语言大模型(LVLM)构建时序转移链生成无标注伪标签,并将其蒸馏至轻量级因果循环在线模型 CoTT-Lite,结合自迭代自举机制显著提升时序一致性,在无人工标注监督下实现了竞争力的第一人称流式原子动作分割。
- Subspace Alignment for Vision-Language Model Test-time Adaptation
-
SubTTA 针对测试分布偏移下视觉流形旋转与任务无关噪声掩盖核心语义的难题,通过在格拉斯曼流形上最小化弦距离实现跨模态几何对齐,并借助文本子空间语义投影滤除正交视觉噪声,在纯净特征空间上构建高置信度伪标签并引导自适应优化。
- TCC-Bench: Benchmarking the Traditional Chinese Culture Understanding Capabilities of MLLMs
-
针对主流多模态大语言模型受西方数据偏置影响、严重匮乏非西方深层文化理解能力的问题,本文提出了首个覆盖八大文化知识领域的双语多模态视觉问答基准 TCC-Bench,通过严格的纯文本概念生成与视觉解耦重写消除语言捷径,系统揭示了当前开源与闭源前沿模型在中华传统文化理解上的显著能力短板。
- Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models
-
系统揭示并理论证明了多模态大模型在视频微调(Video-SFT)中显著提升时序能力却普遍削弱静态空间感知能力的“时空陷阱”(temporal trap),并提出一种基于指令自适应分配帧预算的 Hybrid-Frame 策略以有效缓解负迁移。
- TIDC: Test-Time Intervention-based Diagnosis and Calibration for Harmful Meme Detection
-
针对冻结多模态大模型在有害模因检测中对图像内可见文本敏感导致的跨视角预测漂移,TIDC在测试阶段通过构建文本擦除参考视角并引入中性探针滤除图像编辑噪声,利用视角不变性目标对原始预测置信度进行自适应对称校准,无需参数微调与思维链生成即可显著提升检测准确率与推理吞吐。
- TimeSense: Decoupling Modality Learning for Robust Time Series Reasoning
-
针对时序多模态大模型在文本主导监督下容易忽略精细时序结构与长程依赖的问题,本文提出融合后解耦架构 TimeSense,结合两阶段训练与时序重构辅助监督,并构建涵盖原子级到组合级推理的开放式生成基准 EvalTS,显著提升多维复杂时序推理的稳健性。
- ToolGate: Token-Efficient Pre-Call Control for Tool-Augmented Vision-Language Agents
-
针对视觉语言智能体(VLM Agent)盲目执行感知工具调用带来的高额 Token 开销与错误传播问题,ToolGate 提出了一种在工具执行前介入的轻量化黑盒门控控制器,仅依据轨迹文本与 9 维结构特征预测跳过/执行决策,在跨域测试中将 Token 成本降至 64%–69% 且保持基准精度,在同域训练下将 Qwen3-VL-30B 平均准确率提升 1.65 个百分点。
- Touch What You Say: Contact-Local Tactile Grounding for Physical-Property Instructions
-
针对传统 VLA 在解析“易碎”、“柔软”等物理属性指令时因全局注入触觉而干扰宏观运动且缺乏属性路由的问题,本文提出接触局部语义驱动架构(CLSA),通过语言引导跨模态瓶颈提取解耦物理属性表征,并由接触门控残差通路仅在实际接触阶段释放调节速度,在 LeRobot SO-101 真机评测中显著提升指令敏感性与交互成功率。
- Touch What You Say: Contact-Local Tactile Grounding for Physical-Property Instructions
-
针对视觉-语言-动作(VLA)模型在物理交互接触阶段因视觉模糊难以解析物理属性指令的难题,本文提出接触局部语义执行架构(CLSA)与动作-属性-约束(APC)分层评测基准,通过语言引导的跨模态瓶颈与接触门控残差流,实现了接触时刻自适应力调制且不扰动宏观名义运动。
- Trait Collapse in Text-to-Image Generation: Evaluating and Mitigating Personality Inconsistency in Visual Storytelling
-
针对文生图视觉叙事中角色虽保持外貌一致却行为均质化、抹杀个性特征的“特质坍缩”缺陷,本文构建了包含150个专家验证视觉线索的诊断基准 ViStoryBench-Personality 与六维评估体系,并提出了无须训练的“特质-行为-视觉”(TBV)三阶段提示框架,使个性对齐度最高提升 22.1%。
- UNISAF-Bench: Intention-Grounded Safety Evaluation for Unified Multimodal Generation Models
-
UNISAF-Bench 针对统一多模态生成模型(UMMG)缺乏跨模态意图一致性评估的缺陷,提出以 1,257 个核心有害意图为唯一样本源的意图锚定评测体系,派生四种模态组合与严格红蓝配对共 20,112 轮对话,实证揭示多模态输入削弱文本安全、文本对齐无法迁移至图像生成、以及多轮历史拒答导致无差别防御放大的系统性安全缺口。
- V-Retrver: Evidence-Driven Agentic Reasoning for Universal Multimodal Retrieval
-
V-Retrver 将通用多模态检索重构为基于视觉检验的智能体推理过程,通过在思维链中交错调用图像选择与局部放大工具主动搜集视觉证据,并结合对比 NDCG 与工具使用奖励的三阶段课程强化学习,显著解决了细粒度多模态检索中的纯文本臆测与幻觉难题。
- ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation
-
针对传统多模态在策略自蒸馏依赖答案侧特权所导致的训练-测试失配与作弊捷径问题,ViCuR 将特权信息重构为输入中可恢复的视觉线索,并设计轻量级注意力汇聚 cross-attention 模块在 prefill 阶段内部隐式聚合视觉证据,无需自回归开销与辅助文本损失即可显著提升多模态推理能力。
- ViD: Vision-Dominant Gender Bias Mitigation for Large Vision-Language Models
-
针对多模态大语言模型中语言先验压制真实视觉证据导致的性别刻板偏见,提出基于结构因果模型的免训练推理期干预框架 ViD,通过构建单向 Visual-to-Language 跨模态注意力掩码阻断语言先验后门路径,在无需微调与额外数据的条件下显著消除多维社会属性偏见并保持通用多模态推理能力。
- VISA: Video Skeleton-Aware Efficient Frame Selection for Long Video Understanding
-
针对长视频理解中均匀采样导致全量解码开销大且缺乏全局时序语义连贯性的瓶颈,VISA直接利用原生GOP中的稀疏I帧构建时序骨架,并结合多层级查询相关度进行动态规划分配与跨GOP边界感知细化,在保持超低解码开销的同时显著提升多模态长视频推理精度。
- VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference
-
VisCache 是一个免训练、即插即用的由粗到细双阶段视觉 KV 缓存剪枝框架,前端利用轻量级 Scout VLM 基于最大边际相关性(MMR)过滤时间冗余关键帧,推理阶段通过 PruneKV 执行层感知抛物线预算分配与“剪 Key 聚 Value”非对称压缩,仅保留 19%–28% 的视觉 KV 缓存即可实现最高 2.35× 端到端加速且在下游基准上超越全量缓存。
- VisEditBench: Can Vision-Language Models Edit Visualization Code from Multimodal Feedback?
-
VisEditBench 构建了包含 1,395 个涵盖两类实用场景与八大编辑意图的人工标注多模态可视化代码编辑基准,揭示了前沿 VLM 代码可执行性与视觉保真度之间的严重脱节,并提出了基于渲染闭环的 VisEditAgent 实现了 12.24% 的通过率飞跃。
- Visual Attention Faithfulness in Vision-Language Models is Heterogeneous
-
本文通过首个针对视觉-语言模型(VLM)中视觉 Token 的 Token 级因果扰动分析(完备性与充分性差距),揭示出视觉注意力忠实度并非全有或全无的二元属性,而是异质性地分布在忠实充分、忠实分布式与非聚焦三种处理模式中,并揭示了模型真实因果依赖与人类标注区域之间仅约 60% 重合的系统性分歧。
- VTCBench: Can Vision-Language Models Understand Long Contexts with Vision-Text Compression?
-
本文提出了首个系统评测视觉-文本压缩(VTC)范式下视觉语言模型长上下文能力的基准 VTCBench 及其实际排版变体 VTCBench-Wild,涵盖检索、关联推理与长程对话记忆三类任务,实验表明现有 VLM 在短程字面检索上尚可胜任,但当上下文扩展并要求跨段落语义关联推理时能力出现断崖式下跌,且该瓶颈主要源自视觉 token 空间的语义推理障碍而非 OCR 识别错误。
- WebRISE: Requirement-Induced State Evaluation for MLLM-Generated Web Artifacts
-
WebRISE 提出了首个面向多模态大模型生成交互式网页工件的需求诱导状态契约评测基准,将显式功能与隐式约束编译为交互契约图(ICG),通过自适应浏览器智能体与 DOM/视觉双通道断言进行执行诊断,揭示了当前模型在状态逻辑与边界反馈上普遍存在的交互一致性缺陷。
- When Does Visual Generation Help Visual Understanding in Unified Multimodal Models?
-
本文提出了细粒度诊断评测框架 VGAU-Diag,通过六类可验证规划任务与 Oracle 解耦协议,揭示出当前统一多模态模型中“视觉生成辅助理解”的主要瓶颈在于模型无法有效利用视觉辅助线索(理解侧瓶颈而非生成侧缺陷),并纠正了此前 Vision-CoT 评测中由于泄漏最优解步数所导致的虚假增益。
- When Modality Gap Reduction Fails: Prediction-Level Misalignment in Vision-Language Models
-
揭示模态差距缩小并不必然提升零样本分类精度的深层机制,证明差距消除引入的类别偏置会导致预测标签向少数类别坍缩(预测级集聚效应),并给出严格的边际分析与诊断干预。
- When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs
-
本文提出了首个系统化解耦视觉匹配与主动信息搜寻的受控交互式视觉定位基准,通过操纵前置信息丰度的四阶递进协议(STATIC / FULL / PARTIAL / NONE),揭示了前沿多模态大模型显著落后于人类水平且在纯主动提问定位中严重溃败的核心瓶颈。
- YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models
-
针对多模态大模型对比解码中退化分支构建粗糙且耗时翻倍的问题,本文提出免训练的 Y 架构寄存器解码(YARD),在 LLM 解码器中间层切分分支,并用吸收全局粗粒度语义的无训练 Register Token 替代局部视觉 Patch,在显著降低推理延迟的同时大幅缓解图文幻觉。