🧠 VLM Reasoning¶
💬 EMNLP2026 · 17 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (81) · 🎞️ ECCV2026 (171) · 📷 CVPR2026 (150) · 🔬 ICLR2026 (112) · 💬 ACL2026 (32) · 🧪 ICML2026 (31)
🔥 高频主题: 推理 ×13 · 多模态 ×9 · 医学影像 ×2 · LLM ×2
- Ada-DeVL: Adaptive Decoupling of Visual and Logical Reasoning Pathways for Efficient VLM Inference
-
Ada-DeVL 将多模态大模型测试时推理显式解耦为视觉感知深度与逻辑推理强度构成的 \(2 \times 2\) 路径体系,通过自蒸馏 SFT 与带多样性/格式长度惩罚的 GRPO 强化学习,实现了按题目复杂度动态分配计算量,在消除过度思考与视觉幻觉的同时大幅缩减 token 消耗。
- Decompose, Look, and Reason: Reinforced Latent Reasoning for VLMs
-
提出 DLR 框架,通过在思维链中交错生成文本前提、抽取前提引导的连续视觉隐变量并生成定位论证,并设计球面高斯潜在策略(SGLP)结合 GRPO 强化学习,显著提升多模态模型复杂视觉推理能力。
- FloCA: Towards Faithful and Logically Consistent Flowchart Reasoning
-
针对大模型在面向流程图的多轮对话中缺乏拓扑约束且极易发生节点跳转幻觉的难题,FloCA解耦语义理解与路径推理,通过拓扑受约束的外部图执行工具确保节点转移忠实一致,在任务成功率与路径覆盖度上大幅超越现有LLM与VLM基线。
- How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations
-
本文提出了首个专注于评估视觉语言模型在受控视觉退化下文本推理稳健性的诊断基准 OCR-Robust,通过双子集评测与多维保留率度量,揭示了高推理能力与模型扩展并不能保证视觉扰动下的鲁棒性,尤其是图表和表格等结构化视觉输入在扰动下表现出极高的符号脆弱性。
- Keeping Eyes on the Image: Dynamic Visual Attention Recalibration for Vision-Language Reasoning
-
针对多模态大语言模型(LVLM)在自回归思维链推理后期严重依赖已生成文本而出现「视觉注意力衰减」的退化问题,本文提出免训练的推理解码方法 DVAR(Dynamic Visual Attention Recalibration),通过提示词空间锚定、语义相关性权重与时间步注意力转移散度联合调度,自适应放大当前视觉目标的 value 向量,在六大基准与多款架构上显著改善视觉忠实度与多步推理精度。
- Learning to Reason Before Masking for Referring Audio-Visual Segmentation
-
针对指代音视频分割中隐式多跳线索推理缺失的瓶颈,本文提出了 Reasoning Ref-AVS 新任务与 ReAVS 基准,并设计了先进行全模态实体多跳推理再条件解码掩码的 Re2Seg 框架。
- MedQA-MM: Shortcuts Behind Medical Visual Reasoning
-
针对医疗多模态多选题基准将单一准确率错误等同于真实图像推理能力的“推理虚增”问题,本文提出了涵盖候选筛查、模态消融、成对微创修复与临床验证的证据阶梯评测框架,实证揭示了选项形式与非视觉文本等捷径对模型决策的显著驱动作用,并构建了具备残差风险审计的千题级捷径抑制基准 MEDQA-MM。
- MeetingToM: Evaluating Multimodal LLMs on Theory-of-Mind Reasoning in Multi-Party Meetings
-
针对现有心智理论评测局限于孤立显式问答的缺陷,本文提出了首个面向真实多方会议场景的层次化多模态心智理论评测基准 MeetingToM,通过解耦主体状态、二元指代态度与群体共识三级社交颗粒度,深入揭示了前沿多模态大模型在捕捉微弱非言语线索、辨识“表面合意、内心异议”的伪共识现象上的系统性缺陷。
- MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Dreaming-Induced Dynamic Working Memory
-
MemDreamer 将长视频理解解耦为流式离线感知建图与基于纯文本分层图记忆的主动智能体推理,通过三层语义拓扑与七大工具驱动的观察-推理-行动循环,仅需 5-6K 上下文窗口即可在 LVBench 上达到 85.5 的前沿 SOTA 水平。
- MR^2-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval
-
提出了首个涵盖知识检索、图解搜索与视觉关系推理三层体系的推理密集型多模态检索基准 MR^2-Bench,涵盖 12 个子任务与 1,309 个经过严格视觉不可替代性验证的查询,揭示了当前顶尖嵌入模型在深度视觉推理上的巨大性能断层,并证明显式思维链重写与两阶段推理重排能带来最高 +15.22 nDCG@10 的显著收益。
- PIVOTS-Bench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models
-
提出了首个面向多模态大模型细粒度人际关系推理的基准 PIVOTS-Bench,基于心理学六维双向李克特量表与关键视觉归因任务,揭示了主流模型在隐式社交语境与视觉因果线索上的关键能力缺陷。
- PIVOTS-Bench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models
-
本文提出首个评估多模态大语言模型细粒度人际关系推理的基准 PIVOTS-Bench,通过心理学六维双向李克特量表结合关键帧与因果视觉线索任务,系统揭示了当前 MLLM 在隐式对话与非对称社会感知上的显著瓶颈。
- ReactBench: A Benchmark for Topological Reasoning in MLLMs on Chemical Reaction Diagrams
-
本文提出首个针对化学反应图拓扑推理的专用基准 ReactBench,通过四层递进任务评测 24 款主流 MLLM,揭示了模型在局部视觉锚点提取成熟(>90%)与全局拓扑抽象薄弱(~50%)之间的显著鸿沟,并证实瓶颈在于核心推理而非视觉感知。
- Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding
-
TAB 提出了一种解耦语义推理与几何重构的零样本 3D 视觉定位智能体框架,利用 2D VLM 结合专业技能在连续 RGB-D 视频流中迭代推理并调用视觉工具,通过创新的“语义锚定几何扩展”机制由点投影穿透遮挡补齐多视角掩码,完全摆脱对预建 3D 点云与离线 3D 候选框生成器的依赖。
- Think, Look, and Revise: Inconsistency-Aware Visual Self-Correction in MLLMs
-
针对工具增强型多模态大模型(MLLM)盲目信任中间工具输出的“开环”缺陷,本文提出闭环自校正框架 ReVISE,通过构造覆盖5类反思轨迹的冷启动数据并引入自校正奖励与轨迹定位改进奖励,使模型能够主动检验视觉证据、重试修正或回退至自身视觉感知,显著提升复杂视觉感知与空间推理任务的准确率与鲁棒性。
- VITAL: Visual-Semantic Dual Supervision for Enhanced and Interpretable Latent Reasoning in Medical MLLMs
-
本文提出针对医学多模态大模型的潜在空间推理框架 VITAL,通过保持严格的单循环训练-推理同构,并引入辅助文本解码器与独立专家视觉投影器的正交双重监督,有效防止潜在状态塌缩为文本主导子空间,在 7 个基准上显著超越同规模基线与显式 CoT 模型,并支持零推理开销的事后文本与视觉双重可解释性分析。
- Which one is banana man? Evaluating vision–language models in multi-turn pragmatic interpretation
-
针对视觉语言模型(VLM)在多轮对话中能否动态建立并利用语用约定的问题,本文利用七巧板迭代参考博弈交互转录构建系统评测基准,通过系统扰动历史上下文与反馈类型,揭示出现有 VLM 严重缺乏从历史错误中学习与理解隐喻性约定的能力,其表现主要依赖对正确历史样本的文本检索捷径。