🧠 VLM Reasoning¶
🎞️ ECCV2026 · 171 篇论文解读
📌 同领域跨会议浏览: 📷 CVPR2026 (150) · 🔬 ICLR2026 (112) · 💬 ACL2026 (32) · 🧪 ICML2026 (31) · 🤖 AAAI2026 (10) · 🧠 NeurIPS2025 (30)
🔥 高频主题: 推理 ×147 · 多模态 ×37 · 强化学习 ×8 · 语义分割 ×8 · Agent ×7
- Video-Holmes: Can MLLM Think like Holmes for Complex Video Reasoning?
-
Video-Holmes 用 270 部悬疑短片的 1,837 道问题检验模型能否自行找到并串联分散线索,主表最佳模型 Gemini-3.0-Pro 仅达 49.6%,而单次观看的人类基线为 96.3%。
- Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens
-
CoVT 让 VLM 在回答前生成受分割、深度和语义专家监督的连续视觉 token,用 16 个潜在感知状态代替单纯文字化的中间观察,在 Qwen2.5-VL-7B 上将 CV-Bench 从 74.5 提至 80.0,其中深度子任务提高 14.0 个百分点。
- LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?
-
LEGO-Puzzles 用从基础空间问答到带干扰项的装配规划、再到逐轮生成中间状态的递进评测,发现 29 个多模态模型仍有明显能力缺口:GPT-5 在 Lite 子集落后人类 21.8 个百分点,在规划测试中从一步的 90% 降到八步的 0%。
- TIR-Bench: A Comprehensive Benchmark for Agentic Thinking-with-Images Reasoning
-
TIR-Bench 将视觉推理评测从裁剪搜索扩展到 13 类图像操作任务,在 1215 个样本上揭示工具执行能显著改善模型表现,但最强的 o3-TU 总分仍只有 46.0,且复杂空间规划与工具选择远未解决。
- Vision-as-Inverse-Graphics Agent via Interleaved Multimodal Reasoning
-
VIGA 让视觉语言模型反复执行“写代码、渲染、主动检查、修改”,用语义技能和有限历史记忆维持可编辑场景的一致性,无需训练便在 BlenderBench 上报告相对单次生成的平均提升 124.70%。
- Reinforcing Video Reasoning with Focused Thinking
-
TW-GRPO 用组内同位置 token 分布的差异重新分配学习强度,并对多答案问题给予受假阳性约束的部分奖励,使 Qwen2.5-VL-7B 在仅 1K CLEVRER 训练样本下将 CLEVRER 准确率从同设置 GRPO 的 41.1% 提升到 50.4%,但收益并非覆盖所有视频基准。
- UniREditBench: A Unified Reasoning-based Image Editing Benchmark
-
UniREditBench 将图像编辑评测扩展到真实世界交互与游戏规则推理,用文本和目标图像共同约束裁判,并通过合成思维链数据训练 UniREdit-Bagel,使其域内总分达到 78.15,但域外 RISEBench 仍落后于最强闭源模型。
- Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings
-
Embed-RL 让冻结的嵌入器用检索反馈训练独立推理器,并把思维链中的图像框、视频关键帧和文本关键词交给嵌入器,使 Embed-RL-4B 在 MMEB-V2 的总体分数达到 68.1,比 UME-R1-7B 高 3.6 分。
- Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously
-
VST 将视频推理前移到用户提问之前,以因果训练的流式思考不断更新文本记忆,使 VST-7B 在 StreamingBench 达到 79.5%,并在 VideoHolmes 上以 0.56 秒查询响应延迟取得 41.9% 准确率。
- LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning
-
LaViT 让 Qwen2.5-VL-3B 在回答前生成四个连续视觉 token,同时学习 32B 教师的视觉语义与关注区域,并通过逐渐开放直接看图路径的门控避免绕过这些 token,在 BLINK 相对深度任务上由 61.29% 提升至 78.23%。
- Towards Spatial Trace with Reasoning in Vision-Language Models for Robotics
-
提出 RoboTracer——一个 3D 感知的 VLM,用可回归监督的 scale decoder 与可插拔几何输入的 universal spatial encoder 学会「3D 空间指代 + 度量测量」,再用带度量敏感过程奖励的 GRPO 强化微调把它拔高到多步、度量落地的空间轨迹推理,在自建 TraceSpatial-Bench 上比 Gemini-2.5-Pro 高 36 个点,并能直接接运动规划驱动 UR5、G1 人形等真实机器人。
- RePlan: Reasoning-Guided Region Planning for Complex Instruction-Based Image Editing
-
RePlan 让视觉语言模型先推理出“改哪个区域、具体怎样改”,再以无需训练编辑器的注意力区域注入并行执行修改,在 IV-Edit 上将 Flux.2-Klein-9B 的 Overall 从 3.45 提升至 3.92,主要改善区域一致性。
- Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning
-
CARVE 用同一模型对“具体问题”和“通用图像描述”的注意力比值提取任务相关区域,再遮蔽背景、裁剪放大并重新作答,无需训练便将 LLaVA-1.5-7B 的 V* 准确率从 38.7% 提升至 66.5%,但需要三次生成流程。
- EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning
-
EgoVITA 将第一人称视频推理显式分解为"自我规划 + 外部视角验证"两阶段推理,用 GRPO 强化学习配合两个密集奖励信号(ACMG 预测性跨模态对齐 + 置信度验证偏好优化)训练,在仅 52k 样本下 EgoBlind 超 Qwen2.5-VL-7B +7.7 点,同时外部视角视频理解性能零退化。
- Thinking in Streaming Video
-
ThinkStream 让视频模型逐片段“观察、思考、决定是否回答”,将历史推理保留为被淘汰视觉 token 的语义替代,并用流式 RLVR 联合优化答案与时机,使 Qwen2.5-VL-3B 在 OVO-Bench 的总分从 51.00 提升至 59.66。
- SyncLoop: A Multimodal Dual-Loop Framework for Self-Improving Mathematical Reasoning
-
SyncLoop 先同步生成更复杂的数学图像与问题,再依据当前模型的答题错误率筛选训练样本,通过数据与模型双循环,在三轮演化后将 Qwen2-VL-7B 的 Geo-Sub-Aux 准确率从 40.4% 提高到 52.4%(表 2,第 10 页)。
- EndoCoT: Scaling Endogenous Chain-of-Thought Reasoning in Diffusion Models
-
EndoCoT 让扩散模型中的多模态编码器递归更新连续思维状态,以终端文本监督和分阶段视觉监督训练推理与生成的配合,在任务专用训练下取得论文所报 92.1% 平均准确率,比 DiffThinker 高 8.3 个百分点,而不是简单增加去噪步数。
- GRADE: Benchmarking Discipline-Informed Reasoning in Image Editing
-
GRADE 将图像编辑变成必须遵守学科知识与图示约束的综合考试,在520个样本上用三维评分评测20个模型,发现最佳模型的严格准确率仍只有46.2%,而提供显式编辑步骤能显著缓解但不能消除失败。
- WeatherReasonSeg: A Benchmark for Weather-Aware Reasoning Segmentation in Visual Language Models
-
WeatherReasonSeg 将可控合成天气与真实恶劣天气下的五维推理查询结合成 44,721 个图像–查询对,揭示现有 VLM 不仅会分割退化,也难以从退化视觉线索中可靠定位语言所指目标,最佳受测推理模型在真实夜间场景仅达到 28.9 gIoU。
- Reliable Reasoning in SVG-LLMs via Multi-Task Multi-Reward Reinforcement Learning
-
CTRL-S 让 Qwen3-VL-8B 先规划绘图步骤、再输出与步骤对应的 SVG 分组,并联合训练文本生成、图像重建和代码修复,使 SArena-Icon 图像到 SVG 的 DINO 从 SFT 的 0.903 提升至 0.980,生成成功率从 90.12% 提升至 99.93%。
- SNOW: Spatio-Temporal Scene Understanding with World Knowledge for Open-World Embodied Reasoning
-
SNOW 用点云引导分割,将对象视觉块与三维形状、位置和时间组成 STEP token,再交给现有 VLM 查询持续四维场景图,无需额外训练便将 Gemma3-4B-IT 的 VLM4D 总分从 39.9% 提升到 72.6%。
- VisReason: A Large-Scale Dataset for Visual Chain-of-Thought Reasoning
-
VisReason 将视觉问答扩展为“描述场景、定位区域、裁剪取证、再回答”的多轮监督数据,提供 489K 样本及其中 165K 的 VisReason-Pro 子集,使 Qwen2.5-VL-7B 在 Visual-CoT 测试套件上的样本量加权评委分数从 0.770 提升至 0.802,但收益主要集中在细粒度识别和空间关系任务。
- Zoom-IQA: Image Quality Assessment with Reliable Region-Aware Reasoning
-
Zoom-IQA 让无参考图像质量评估模型按需裁剪并复检存疑区域,结合 GR-IQA 数据监督和稳定化强化学习,在保持有竞争力的评分相关性的同时,提高模型裁判评估下的解释质量,而不是宣称所有评分基准都达到最优。
- A4-Agent: An Agentic Framework for Zero-Shot Affordance Reasoning
-
A4-Agent 将“如何交互、操作哪个部件、部件在哪里”分别交给生成模型、视觉语言模型和检测分割模型,在不进行可供性任务微调的条件下达到 ReasonAff 70.52 gIoU,但完整流水线需要约 32 秒推理。
- HyLaR: Hybrid Latent Reasoning with Decoupled Policy Optimization
-
HyLaR 通过引入控制 token 在文本离散 token 和连续视觉潜在向量之间无缝切换,实现混合离散-连续推理;针对混合动作空间的高效强化学习,提出 DePO(解耦策略优化),利用 vMF 球面建模和解耦信任域裁剪解决标准 RL 的几何与方差不匹配问题,在细粒度感知和通用多模态理解基准上显著超越现有方法。
- MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction
-
MonoArt 将单图铰接物体重建组织为几何生成、部件表示、双查询运动解码与运动学估计,在 PartNet-Mobility 的 46 类设置取得 0.670 F-Score 和 67.47% 关节类型准确率,但轴方向误差并非最优。
- PosterCopilot: Toward Layout Reasoning and Controllable Editing for Professional Graphic Design
-
PosterCopilot 先用扰动监督、几何强化学习和审美强化学习训练一个输出布局 JSON 的 7B 视觉语言模型,再通过只修改目标图层的生成智能体支持专业海报迭代,在 Crello 零样本测试中达到 54.31% IoU。
- Reasoning Path and Latent State Analysis for Multi-view Visual Spatial Reasoning: A Cognitive Science Perspective
-
本文构建 ReMindView-Bench,并结合推理文本的场景图匹配、自一致性检查、表示探针与 token 熵分析,发现 VLM 的主要困难是跨视角关系整合与后续推断,而不只是看清单张图像中的物体。
- Representation Alignment for Just Image Transformers is not Easier than You Think
-
PixelREPA 针对 REPA 在高分辨率像素空间扩散中损害细节多样性的问题,仅在训练对齐分支加入部分 token 掩码与浅层 Transformer,将 ImageNet 256×256 上 JiT-B/16 的 FID 从 3.66 降至 3.17,并报告按训练轮数衡量的超过 2 倍收敛加速。
- RoboStream: Weaving Spatio-Temporal Reasoning with Memory in Vision-Language Models for Robotics
-
RoboStream 将物体级视觉证据与三维几何绑定为 STF-Tokens,再用 CSTG 持续记录动作与状态变化,使无需任务微调的视觉语言模型能够检查操作前提、追踪遮挡物体,并在八项 RLBench 长程任务上取得 90.5% 平均成功率。
- VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection
-
VDC-Agent 让同一个多模态模型生成、评价并反思视频描述,再用轨迹偏好对进行由易到难的 DPO,将多轮改进转化为单次生成能力,在 VDC 上达到 49.08% 平均准确率,在 DREAM-1K 上达到 37.4% F1。
- 3D-Layout-R1: Structured Reasoning for Language-Instructed Spatial Editing
-
3D-Layout-R1 让模型边推理边更新 JSON 三维场景图,再用 IoU、碰撞和格式奖励进行 GRPO 优化,使 Qwen3-8B 在理想输入排序任务上的 mean IoU 从 Vanilla GRPO 的 0.850 提升至 0.924,但改善幅度与指标表现明显依赖具体任务。
- BrepCoder: A Unified Multimodal Large Language Model for Multi-task B-rep Reasoning
-
BrepCoder 将 B-rep 的曲面几何与拓扑对齐到类 Python CAD 程序,用逆向工程训练建立形状到建模步骤的联系,再适配补全、纠错与问答,在 DeepCAD 逆向工程上将中位 Chamfer 距离从 CADCL 的 0.972 降至 0.464(均为 \(10^{-3}\) 量级),但并非所有任务和指标都领先。
- GeoBrowse: A Geolocation Benchmark for Agentic Tool Use with Expert-Annotated Reasoning Traces
-
GeoBrowse 将弱视觉线索定位与隐藏实体的多跳知识问答组成 300 题基准,并用专家证据轨迹诊断 GATE 工具工作流;Gemini-3-Pro 的表 4 汇总准确率在两级任务上分别达到 48.2% 和 34.7%。
- HART: High-Resolution Annotation-Free Reasoning Technique through a Closed-loop Framework
-
HART 让模型先在降采样全图上预测关键区域,再故意扣留原图、只把该区域从原始高分辨率图上裁出来交给模型作答,从而让「答案是否正确」反过来成为「定位是否准确」的自验证信号,并用按优势动态加权的 AP-GRPO 做免框标注的定位直接优化,把 Qwen2.5-VL-7B 在 MME-RealWorld-Lite 上从 42.3% 提到 62.4%。
- Make Geometry Matter for Spatial Reasoning
-
GeoSR 通过训练时削弱二维外观捷径、融合时逐 token 逐通道分配几何贡献,让已有几何分支真正参与空间问答,在 VSI-Bench 和 DSR-Bench 上分别取得 51.9 和 66.1 的官方平均分。
- PuzLM: Solving Jigsaw Puzzles with Sequence-to-Sequence Language Models
-
PuzLM 用轻量的边界词元化把图像拼块变成符号序列,再让标准编码器–解码器模型预测每块的网格位置,在 ImageNet 3×3 上取得 92.2% 拼块位置准确率和 87.1% 完整拼图准确率。
- REVEAL: Reasoning-Enhanced Forensic Evidence Analysis for Explainable AI-Generated Image Detection
-
REVEAL 先用 8 个轻量专家模型抽取结构化的伪造证据、由大模型整合成"链式证据"(Chain-of-Evidence, CoE)标注并蒸馏出 6 万条的 REVEAL-Bench,再用"CoE 微调 + 证据锚定复合奖励的 R-GRPO"两阶段训练多模态大模型,在域内 95.31%、GenImage 跨域 94.96% 的准确率上同时给出可被低层证据核验的取证解释。
- The Cost of Reasoning: Chain-of-Thought Induces Overconfidence in Vision-Language Models
-
本文在 4 个多模态基准、4 个开源 VLM 上系统评测推理对不确定性估计的影响,发现思维链提示与推理型模型在提升准确率的同时,会让依赖答案 token 似然(ATL)的估计器排序能力大幅退化,并把原因归结为推理轨迹对最终答案的「隐式答案条件化」,而基于答案一致性的估计器在推理下依然稳健、甚至变得更好。
- Think While Watching: Online Streaming Segment-Level Memory for Multi-Turn Video Reasoning in Multimodal Large Language Models
-
Think While Watching(TWW)让多模态大语言模型为每个视频片段写下可复用的文本记忆,再用流式因果掩码、独立位置编码和双 KV cache 支持持续观看与多轮回答;Qwen3-VL-4B 在 StreamingBench 的在线单轮准确率为 60.04%,多轮为 57.40%,后者较离线 Thinking 节省 56.10% 的输出 token,但准确率低 1.12 个百分点。
- VIEW2SPACE: Studying Multi-View Visual Reasoning from Sparse Observations
-
VIEW2SPACE 通过可控三维场景生成跨视图问题及几何可验证的推理轨迹,让 Qwen3-VL-4B 在中间步骤显式输出物体框,达到 64.93% 选择题准确率和 69.34% 定位 mIoU,但增加训练规模仍难解决高难度组合推理。
- VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting
-
VisionCoach 把"视觉提示"从推理时的外部工具改成训练时的教练:VP-Selector 只为难样本挑一种视觉提示(红圈 / 压暗 / 帧号等)叠加到关键帧上重新采样轨迹,再用自蒸馏把高奖励轨迹内化进策略,配合物体感知的空间定位奖励,使模型推理时只走一次前向、直接读原始视频;在 V-STAR 上比 Qwen2.5-VL-7B 提升 +15.0 mAM / +25.1 mLGM 并超过 GPT-4o。
- AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution
-
AnE 根据学生模型反复答错的位置检索真实题目,用教师提示帮助学生生成自己的正确推理轨迹,再通过无提示强化学习撤掉支架,经过三轮演化将 Qwen2.5-VL-7B 的八项基准平均准确率从 51.6% 提高到 61.9%。
- Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR
-
TGRL 将少量强模型的完整推理轨迹混入学生的 RLVR 采样组,通过离策略概率比校正、token 自适应重加权和正确轨迹过滤,教模型把看见的事实接入推理,使 Qwen2.5-VL-7B 在 39K 数据设置下的 DAPO 五基准平均分从 58.15 提升至 60.68。
- E-TTS: A New Embodied Test-Time Scaling Framework for Robotic Manipulation
-
E-TTS 是一个即插即用的具身测试时缩放框架,在推理时对 VLA 模型的推理过程和动作进行联合采样、历史感知验证和反馈引导迭代精炼,无需额外训练或数据即可将多种基座模型在仿真和真实场景中的成功率最高提升 33.14%。
- GAIA: A Data Flywheel System for Training GUI Test-Time Scaling Critic Models
-
本文提出 GAIA 数据飞轮系统,通过让真实 GUI agent 执行任务来采集正/负动作样本,训练一个直觉式(非推理式)裁判模型 ICM;ICM 在测试时以 Best-of-N 方式从 agent 采样的多个候选动作中选出概率最高的正确动作,再用这些选中的动作扩充数据飞轮训练更强的 ICM-r2,形成自我进化的良性循环。
- How Far Are Video Models from True Multimodal Reasoning?
-
本文把「真多模态推理」操作化为一批上下文只给素材、不给结论的零样本视频生成任务,构建了覆盖四模态输入、6 大类 47 子类约 1390 条数据的 CLVG-Bench,并提出用语义集合匹配做自动 prompt 优化的评审器 AVE;评测结果是当前最好的视频模型在常规编辑上能到 60% 以上通过率,一到需要自己补物理因果或逻辑关系的任务就跌到 21% 左右,多轮交互第二轮全部失败。
- Let's Reward Step-by-Step: Step-Aware Contrastive Alignment for Vision-Language Navigation in Continuous Environments
-
SACA 用冻结的视觉与语言模型定位导航轨迹中“前面做对了什么、从哪里开始出错”,按采样组是否存在成功轨迹分别修复或救援失败样本,在不增加审计器推理开销的情况下,将无额外数据的 R2R-CE / RxR-CE 未见验证集成功率提升至 60.3% / 60.3%。
- MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents
-
MultiHaystack 用 46,260 个异构候选与 747 道唯一证据问题,把“找到文件”和“依据文件答对”分开测量,显示 GPT-5 在 E5-V 跨模态 Top-5 检索条件下的总体回答准确率只有 51.41%,不能用已给定正确证据时的推理能力替代端到端可靠性。
- OmniSch: A Multimodal PCB Schematic Benchmark For Structured Diagram Visual Reasoning
-
OmniSch 通过 EAGLE 源文件驱动的自动标注构建 1,854 张原理图的结构推理基准,发现多模态模型即使更准确地识别元件,也仍难恢复正确网表,工具辅助定位主要改善细粒度属性读取。
- PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning
-
PerceptionComp 用「多条感知子条件必须共同满足」的方式构造了 1,114 道五选一视频题(279 段高场景复杂度真实视频,100% 人工标注),使任何单一时刻或一次观看都不足以给出答案;人类在允许反复回看时可达 100%、单次观看则跌到 18.97%,而最强 MLLM(Gemini-3-Flash)只有 45.96%。
- VideoTIR: Accurate Understanding for Long Videos with Efficient Tool-Integrated Reasoning
-
VideoTIR 让 MLLM 在多轮循环里答题——低分辨率低帧率起手,由「文本路由器」判断当前画面够不够,不够就调用分层内部视觉工具(全局浏览 / 段检索 / 帧检索 / 局部放大)取回更细的线索再拼回上下文,同时用 TAGPO 把轨迹级奖励按「离答案的步数」衰减地拆到每一次工具调用上,抑制工具的滥用与过度使用,在 Video-MME / MVBench / LongVideoBench 上同时改善准确率与效率(平均 1.42 次调用、4.6s 延迟)。
- When Thinking Hurts: Mitigating Visual Forgetting in Video Reasoning via Frame Repetition
-
FrameRepeat 用单帧重复带来的正确答案对数概率增益训练一个 3.7M 参数评分器,在视频输入中原位复制最值得强化的帧,无须微调主干或增加推理轮次,就能在 Qwen2.5-VL 和 Qwen3-VL 上改善视频问答。
- Benchmarking Dynamic Affective Reasoning: A Viewer-Centric Video Emotion Dataset
-
DAR 用事件边界、27 类观众情绪和上下文因果解释重新定义视频情绪理解,并用 Qwen2.5-VL-3B 经 SFT 与 GRPO 得到 DAR-R1,在其测试集上实现 41.5% 片段数准确率、52.3% 时间 mIoU 和 28.6% 情绪准确率。
- Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views
-
针对多视角 3D 视觉问答里 MLLM「只拿最终答案对错做稀疏监督、跨视角推理不一致、视角选择乱跳」的顽疾,本文把任务显式拆成「建全局俯视认知地图 → 按问题规划看图顺序 → 转成自我中心视角作答」三段,用冻结的 3D 视觉基础模型(VGGT+SAM3)生成的几何一致伪地图当全局奖励、用基准元数据推出的参考轨迹当局部奖励,在 GRPO 下做轨迹级优化,让一个 3B 模型在 MindCube 上从 37.8 提到 66.5。
- EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning
-
论文形式化了一个新任务「长时程推理的自我中心场景预测」——给定一张初始场景图和一段长原子动作序列,让模型想象并描述全部动作执行完后的最终场景;作者据此构建 EXPLORE-Bench(1,157 个实例,动作序列平均 113 步、最长 694 步,含对象/属性/关系三层结构化标注),并用「对象覆盖 + 属性评分 + 关系评分」的统一指标评测 20 余个模型,发现最好的模型仍落后人类 7.39 分,且单纯把动作序列切段做逐步推理会因模型只描述「变化」而丢分。
- Falcon: Functional Assembly and Language for Compositional Reasoning in X-ray
-
本文把 X 光行李安检中的「威胁」从「检测到某个类别的物体」重新定义为「空间上分离的部件能否按功能兼容性组合成一件可用装置」,给出约 7,000 张真实扫描 + 反事实扩展的基准 Falcon-X(密集掩码 + 部件存在/功能链接/场景风险的结构化监督),并提出 Falcon:用分割感知的区域编码与三个部件查询把可变数量的部件实例压成固定结构化安全状态,再把该状态 token 化注入 LLM,在指代功能定位(RFG)上以 50.45 cIoU 超过次优方法 30.38 个点。
- Foveated Reasoning: Stateful, Action-based Visual Focusing for Vision-Language Models
-
FoveateR 让视觉语言模型在同一自回归轨迹中按需触发连续裁剪动作并吸收高分辨率证据,在低分辨率输入下以更少视觉 token 改善多项视觉问答结果,而不要求人工标注聚焦轨迹。
- GeoSolver: Scaling Test-Time Reasoning in Remote Sensing with Fine-Grained Process Supervision
-
GeoSolver 用高熵树搜索和视觉幻觉注入训练词元级 GeoPRM,再将其接入过程感知 Tree-GRPO 与测试时搜索,使遥感模型不仅优化最终答案,也受到中间视觉证据的约束;原文表 3 中,生成预算为 32 时视觉定位得分由 58.19 提升至 68.04。
- How Far Are Vision-Language Models from Constructing the Real World? A Benchmark for Physical Generative Reasoning
-
DreamHouse 让视觉语言模型根据住宅多视图生成可执行建造代码,并用十项结构测试与视觉相似度共同验收,发现即使在最优配置下,两类要求的联合通过率也只有 7.1%。
- MediRound: Multi-Round Entity-Level Reasoning Segmentation in Medical Images
-
MediRound 用 MR-MedSeg 数据集训练可引用历史分割实体的医学对话模型,再以判断与修正机制 JCM 改善跨轮传递的掩码,使验证集整体 cIoU 从 55.8 提高到 58.9。
- MultihopSpatial: Multi-hop Compositional Spatial Reasoning Benchmark for Vision-Language Model
-
本文提出 MultihopSpatial:把「属性 / 位置 / 关系」三类空间线索按 1–3 跳串成链式四选一题的 VLM 基准(4,500 题、题题带人工标注的真实边界框、自我中心与外部视角各半),配套主指标 Acc@50IoU(选项答对且预测框 IoU ≥ 0.5 才算对)与 6,791 条训练语料;对 37 个 SOTA VLM 的评测显示最强模型也仅 40.6% Acc@50IoU,而用该语料做 GRPO 后训练可同时提升模型的内在空间推理与下游 VLA 操作成功率。
- NarrativeTrack: Evaluating Entity-Centric Reasoning for Narrative Understanding
-
本文提出 NARRATIVETRACK,首个以「实体中心」方式评测多模态大模型视频叙事理解的基准:用一条全自动管线(集成检测 → ReID 身份追踪 → 高亮上下文识别)从原始视频里抽出带时间戳的人体实体表示,再按「实体存在性 → 实体变化 → 实体歧义」三级组合式推理递进(CRP)程序化生成 1006 道题并做精确匹配判分,结果最强的 Gemini-2.5-Pro 也只到 83.80%,开源模型全部低于 57%,暴露出「感知落地」与「时序整合」二者难以兼得的权衡。
- OmniCoT: A Benchmark for Global and Multi-Step Panoramic Reasoning
-
OmniCoT 把全景问答升级为需要跨视角证据的“看、定位、移动”多步空间推理,同时评测答案与推理过程,并通过结构化思维链监督和 GRPO 将 Qwen2.5-VL-7B 的 OmniCoT-B 准确率从 23.53% 提升到 59.54%。
- OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents
-
OmniMapBench 用九类地图的 2,096 道人工核验问题及受限文本描述对照,检验模型是否真正依赖视觉关系推理;25 个受测模型中最高最终得分为 75.03%,地图在 1,024 token 描述预算下仍保留 0.338 的视觉依赖指数。
- On Test-Time Scaling for Vision-Language Models
-
这是第一篇系统研究「LLM 上的测试时扩展(test-time scaling)方法能否直接搬到大型视觉语言模型(LVLM)上」的实证工作,横跨 13 个模型、9 种扩展策略、6 个 benchmark,颠覆了「小模型不受益」的旧结论——小而强的指令模型受益最大(最高约 +30%,可达到甚至超过大模型),同时揭示了「算力过量反而伤害感知任务」和「视觉信息在推理链早期就被编码进文本 token」两个关键现象。
- ProLaViT: Learning Progressive Latent Visual Thoughts in Structured Latent Space
-
ProLaViT 将程序合成的视觉操作轨迹蒸馏为四步连续潜在状态,再按步骤距离约束状态差异,使 Qwen2.5-VL-7B-Instruct 不调用推理时视觉工具也能逐步推理,BLINK-Jigsaw 准确率由基座的 59.33% 提升至 76.00%。
- SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking
-
SENTRY是一个免训练、即插即用的"写前精炼"(refine-before-write)模块,在SAM2系列跟踪器写入记忆前用短时域循环一致性验证每个候选掩码的时序合理性,替代原有基于置信度的记忆更新机制,集成到五个强基线后在九个benchmark上一致提点,在LaSOT/LaSOText/GOT-10k/VOT20/VOT22/DiDi上达到零样本新SOTA,且SAM2-L版本在A100上仍保持32.8 FPS的实时速度。
- STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation
-
STAC 先用解耦的双向空间扫描与因果时序扫描,把相互独立的 CLIP 帧特征"喂"成带时空上下文的表示,再在增强后的特征空间里做"先时序后空间"的自适应阈值合并,把视觉 token 压掉约 85%,并用直通估计把分割梯度回传进压缩决策,在 Ref-DAVIS17、ReasonVOS 等视频推理分割基准上以约 1.8× 加速超过不压缩的基线,同时支持逐帧流式推理。
- Syn-GRPO: Self-Evolving Data Synthesis for MLLM Perception Reasoning
-
Syn-GRPO 在 GRPO 训练里挂了一个在线图像合成服务:让 MLLM 在推理输出之外再预测"这条样本的多样性"和一句新图像的文本描述,由数据服务把原图抠出前景、按描述重绘背景生成标注依然正确的新样本替换旧数据,并用多样性奖励监督模型挑出真正值得翻新的样本,从而在三个视觉感知任务上把探索空间和最终精度同时撑住。
- Towards Temporal Compositional Reasoning in Long-Form Sports Videos
-
本文提出长视频体育理解基准 SportsTime(14K+ 开放式问答、50K+ 分步时序证据标注)与 Chain-of-Time Reasoning(CoTR)方法:训练时用带时序奖励的 tr-GRPO 把每个推理步对齐到可验证的时间锚点,推理时用"锚定-观察-推断"回环按预测锚点取局部片段逐轮校验证据,在 Qwen3-VL-4B 上把平均准确率从 25.15% 提到 29.24%、跨度 IoU 从 0.26 提到 0.58。
- V-REX: Benchmarking Exploratory Visual Reasoning via Chain-of-Questions
-
V-REX 把开放式多步视觉探索形式化成一串相互依赖的「问题链」(Chain-of-Questions),用每步只有有限候选的选择题把不可复现的自由过程打分变成可判对错的离散判分,从而在同一份真值链上分别测出 VLM 的 Planning(下一步该问什么)与 Following(顺着链能不能答对);702 个样本、2504 道问题覆盖 4 大类 15 个场景,最强模型(o3)两项平均也只有 86.1 / 84.2,且小模型普遍「会答不会问」。
- VideoSearch-R1: Iterative Video Retrieval and Reasoning via Soft Query Refinement
-
VideoSearch-R1 提出了一个将视频检索与时间定位统一在迭代交互循环中的 agentic 框架,用连续隐空间的"软查询优化"替代传统的文本级查询重写,通过 GRPO 联合优化检索与推理,在 VCMR 三项基准上达到最优。
- ViewFusion: Structured Spatial Thinking Chains for Multi-View Reasoning
-
ViewFusion 把多视图空间推理拆成「先跨视图对齐、再按问题作答」的两段式思维链(
<spatial_thinking>→<thinking>→<answer>),用 Qwen3-32B-VL-Instruct 合成的推理轨迹做 SFT 冷启动、再用带格式与长度整形的复合奖励做 GRPO,把 Qwen3-VL-4B-Instruct 在 MMSI-Bench 上从 30.1% 提到 35.4%(MindCube 77.0% vs. 37.0%)。 - What if? Emulative Simulation with World Models for Situated Reasoning
-
WanderDream 是首个大规模"模拟探索"(emulative simulation)数据集,包含 15.8K 全景轨迹视频和 158K 问答对,让 agent 无需物理移动就能通过世界模型想象前往目标情景的完整路径并回答空间"what-if"问题。
- AdaThinking-E: One-Token Entropy Regulation for Adaptive Thinking
-
AdaThinking-E 将“是否思考”的首 token 与后续答案分开优化,用先高熵探索、后低熵收敛的课程学习文档问答中的模式选择,使 Qwen2.5 系模型在 OCR-Reasoning 上达到 26.5,同时在 CharXivRQ 上仅用平均 72 个输出 token 获得接近 R-4B 的表现。
- Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning
-
PRP 让小型视觉语言模型在长推理开始前预测自己与大型目标模型的解题能力,据此分配请求;JRL 在 MathVista 将 60% 请求留给小模型,以 74.2% 准确率和 26.9 秒平均延迟,相比全用目标模型的 74.1% 与 64.8 秒实现论文报告的 2.41 倍加速。
- Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation
-
CRYSTAL 为 6,372 道视觉问答题补充可检查的参考推理链,通过内容覆盖与相对顺序评测暴露“答对但过程不完整”的问题,并以 CPR-Curriculum 将 Qwen2.5-VL-3B 的 Match F1 从 0.480 提高到 0.633、准确率从 39.85% 提高到 47.52%。
- CARE: Causally-Aligned Reasoning Exploration for Medical Large Language Models
-
CARE 不再奖励所有“答对”的医学推理轨迹,而是同时检查答案、可学习难度和推理独立复现能力,再结合在线探索与困难经验回放,使 Hulu-Med-7B 在 PMC-VQA、MedQA、MMMU-Med 的平均得分从 63.9 提升至 65.4,并在共同答对的 MedQA 子集中达到 86.2% 的专家认可有效推理比例。
- Cast and Attached Shadow Detection via Iterative Light and Geometry Reasoning
-
本文让三类阴影分割与三维光照方向估计在表面法线约束下相互反馈,用三轮细化将自建测试集上的附着阴影 BER 从最佳微调基线的 19.49 降至 12.92,代价是更强的几何与类别监督以及更高的推理成本。
- Circuit-MLLM: Topological Logic-Guided Latent-Space Visual Reasoning for Circuit Schematic Understanding
-
Circuit-MLLM 在训练时把多种视觉专家的电路知识组织成沿连接关系推进的潜向量监督,让 Qwen2.5-VL-7B 在推理时不调用这些外部专家也能追踪电路连接,在自建基准上将平均分从 48.28 提升至 76.20,但困难连接识别的完全匹配率仍只有 28.52%。
- CL4D: Contrastive Language–4D Pretraining for Vision-Language Reasoning in Dynamic Scenes
-
CL4D 用逐帧空间编码、跨帧时序编码和语言对比学习建立动态点云表征,再接入冻结的 7B 语言模型构成 4DVLM,在 HumanOnly 的批内文本到动作检索上达到 70.32% R@1,比表中最强基线高 16.75 个百分点,但全局检索与开放环境推理仍有明显证据边界。
- CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts
-
CoLT 用训练期的前向文本解码、后向语义对齐和相邻状态预测,把多模态文本推理压进默认 3 个连续潜在状态,在八项基准上取得 79.1 的平均得分,并在单张 H200 的 MMStar 测试中相对文本 CoT 实现约 10.1 倍端到端加速。
- ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning
-
ConsiSpace 用相机位姿与深度控制视频证据的写入、融合和检索,再以答案、度量和拓扑三类跨视角一致性奖励做 SFT 后训练,在 VSI-Bench、OSI-Bench 和 MMSI-Video-Bench 上分别达到 76.6、53.0 和最高 58.1 分。
- CoReLIN: Constraint-based Reasoning for Zero-shot Lifelong Interactive Navigation
-
CoReLIN 将大语言模型从传统的低级动作序列生成器重塑为场景图上的环境约束推理器,通过显式权衡即时操作代价与长期通行拓扑,在未知的杂乱多房间环境中实现了免微调的零样本终身交互导航。
- CrossView: Can Vision-Language Models Reason Across Cameras?
-
针对现有视觉语言模型普遍基于单相机评测的局限,本文构建了首个涵盖自动驾驶、安防监控、人机交互与机器人操作四大真实多视角领域的评测基准 CrossView,揭示出现有前沿 VLM 在跨机时空缝合、跨视角实例计数与最优视角选择等任务上存在普遍而显著的多相机推理鸿沟。
- CVSBench: A Comprehensive Benchmark for Cross-view Spatial Reasoning and Dreaming
-
针对现有视觉语言模型在真实大尺度极端视点变换下空间认知不足的问题,本文构建了包含 3,297 个图像组和 40,679 个问答对的卫星-街景跨视角空间推理与想象基准 CVSBench,并揭示显式 3D 视觉想象比纯文本思维链能带来更显著的跨视角推理增益。
- Different Changes Require Different Reasoning: Change-Type-Specialized Experts for Robust Change Captioning
-
针对现有变化描述方法用单一网络统揽所有变化导致的推理混淆问题,本文提出 MEDIC 框架,引入两阶段路由将图像对分发至基于键值记忆网络的类型特化专家,并结合对称/非对称一致性损失与专家解耦损失,大幅提升了复杂场景与视点干扰下的变化描述精度。
- Eliciting Self-Verification in Multimodal Reasoning Agents with Reinforcement Learning
-
针对多模态推理智能体在工具调用时搜索时机失准与检索证据噪声严重的问题,本文提出强化学习自验证框架 SVRL,通过弱能力先验校准搜索时机、引入查询多样性奖励,并将结构化自验证分数嵌入推理轨迹进行对齐优化,在推理阶段摆脱外部验证器并实现测试时搜索预算扩展。
- From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models
-
针对视频生成模型擅长感知渲染却欠缺物理与符号推理的核心矛盾,本文提出了覆盖9大维度38项子任务的 VWG-Bench 基准及三级解耦评测协议,并设计了通过纯文本奖励驱动强化学习的通用提示词推理器 Vid-PRE,无需改动下游生成器架构即可大幅提升长程视频推理精度。
- From Reasoning to Pixels: Grounded Medical Multimodal LLMs for VQA and Segmentation
-
MedREAL 针对医学 VQA 中语言推理缺乏像素级空间证据的痛点,提出分割锚定推理池化(SARP)与推理到视觉融合(R2V)机制,将 MLLM 前序临床推理链特征注入 SAM 分割解码器,在涵盖四种成像模态的 MedRAVS-13K 数据集上取得 68.49% gIoU 和 70.47% cIoU 的优异表现。
- Generative Lane Topology Reasoning via Autoregressive Model with Geometry Prior
-
TopoGPT 将车道拓扑推理从"检测-关联"的判别式范式转为自回归序列生成范式,在 330 万大规模地图场景上预训练车道图的几何先验后,通过流匹配感知适配器将对齐到 BEV 图像条件,在 OpenLane-V2 上以 lane-level +6.4、point-level +11.6 的显著优势全面超越此前方法,且生成的车道图在端点几何一致性和结构完整性上大幅改善。
- Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM
-
Ground3D-LMM 提出了首个将 3D 点级掩码定位与真实世界物理公制度量输出联合统一的多模态大模型框架,并构建了涵盖约 250 万问答对的细粒度 3D Grounded Measurement 基准,在对象级与部件级定位及度量推理上全面超越现有方案。
- Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models
-
提出想象感知标记(Imaginative Perception Tokens, IPT),通过统一多模态模型在推理中显式生成未观测空间配置下的中间感知表征(新视角/鸟瞰图),显著提升多模态语言模型的 3D 空间推理能力并展现强大的表征迁移性。
- Improving Reasoning in Vision-Language Models via Perception Verified Self-Training
-
提出基于无监督感知验证的自训练框架,通过解耦“描述-推理-结论”模板、结合 FG-CLIP 与 OCR 双信号过滤幻觉,并利用两阶段课程学习与感知引导重生成增强中等难度样本,使 LLaVA-1.5-7B 在 M3CoT 多个子领域准确率大幅提升最高达 16%。
- Information-Regularized Attention for Visual-Centric Reasoning
-
本文提出 Information-Regularized Attention (IRA),在 VLM 的 attention 模块内对视觉 value states 施加基于信息瓶颈原理的随机正则化——通过变分推断框架注入数据依赖的层级噪声,让模型在端到端全参数微调中学会主动控制视觉信息的注入量,从而同时改善幻觉、视觉定位和灾难性遗忘问题。
- IQA-T1: Tool-based Visual Evidence Reasoning for Image Quality Assessment
-
IQA-T1 提出了首个面向图像质量评估的工具化视觉证据推理框架,通过构建涵盖 15 种底层感知属性的工具库与 Q-Tool 数据集,并结合 SFT 与 GRPO 强化学习,使多模态大模型能够自主按需调用分析工具获取结构化视觉证据,显著克服语义偏置并取得 7 个基准测试的最佳平均性能。
- Latent Visual Diffusion Reasoning with Monte Carlo Tree Search
-
提出 LVDR 框架,将细粒度技能评估中从不确定逐步收敛到确定的认知过程建模为潜空间扩散去噪,并用关键点引导的 Monte Carlo Tree Search 提取可解释的推理轨迹,在运动与手术四个数据集上取得超越 SOTA 的评分精度同时输出透明的决策依据。
- LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning
-
LatentPilot 提出将未来视觉动力学内化至 VLM 决策骨干网络中,利用离线轨迹中的未来帧作为两步特权监督来学习单步传递的 Pilot Token,在推理时无需外置世界模型即可因果化“预见未来”,在 R2R-CE、RxR-CE 及真实机器人导航中取得显著 SOTA。
- LineGraph2Road: Structural Graph Reasoning on Line Graphs for Road Network Extraction
-
提出端到端卫星遥感道路拓扑提取框架 LineGraph2Road,通过构建全局稀疏欧氏候选图并转化为线图,利用图 Transformer 进行对偶边分类推理,并结合显式立交桥分割头与耦合 NMS 抑制策略,有效解决了遮挡断网与立交立体伪连的拓扑难题。
- Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs
-
SmartVL 提出了一个端到端联合调控视觉 Token 序列长度与 LLM 计算深度/宽度的统一多模态自适应推理框架,通过共享预算编码与可微延迟估计器实现跨阶段动态协同调度,在多项多模态基准与多样化算力预算下显著拓展了准确率与效率的 Pareto 前沿。
- MarineEVT: Advancing Event-Centric Marine Video Understanding via Visual Tool Reasoning
-
针对水下视频中关键生态事件稀疏、难以捕捉且缺乏时序因果推理能力的瓶颈,本文构建了首个涵盖 2 万对高质量多维问答的以事件为中心的海洋视频基准 MarineEVT,并提出了融合时空视觉工具多轮交互与双重奖励 GRPO 优化的 EVT-R1 推理框架。
- MV-STRIDE: Enabling MLLMs to Master Multi-View Spatial Reasoning via Hierarchical Capability Modeling
-
针对现有多模态大模型在多视角下缺乏连贯3D空间认知的问题,MV-STRIDE提出分层能力建模框架与跨视角依赖约束机制,结合“感知-建模-推理”问题群构建与SFT-冷启动-RL三阶段训练,使8B开源模型在多视角基准MMSI-Bench上取得38.9%的SOTA表现。
- On Locality and Length-Generalization in Visual Reasoning
-
论文揭示了现有视觉模型因全局单次感知极易习得全局捷径从而丧失长度泛化能力,证明了非线性循环网络结合严格局部注视点感知(Foveated Perception)是实现视觉组合推理与分布外长度泛化的充分必要条件。
- Online Reasoning Video Object Segmentation
-
针对传统推理视频目标分割依赖离线全局信息与未来帧回溯的缺陷,本文提出了在线推理视频目标分割任务(ORVOS)及基准 ORVOSB,并设计了结合连续更新分割提示与结构化时序令牌池的因果流式基线模型。
- ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP
-
提出两阶段持续预训练框架 ReasonCLIP-58M,通过构建 42M 开放式视觉溯源推理数据与 16M 细粒度类别推理数据,在不改变网络架构且无损客观描述对齐的前提下,系统性为 CLIP 注入深层视觉常识推断能力,在检索、组合推理与下游 MLLM 上取得显著增益。
- Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding
-
针对多模态大语言模型(MLLM)在长视频理解中受上下文窗口限制且静态相似度帧采样易丢失时序连贯性的缺陷,ReMem 提出一种免微调的双层记忆增强自适应框架,利用大语言模型长期先验解析问题时序粒度与实体,结合视频结构记忆图扩散与时序连贯事件聚类动态分配采样预算,在四大 LongVideoQA 基准上全面刷新 SOTA。
- Reasoning-Guided Part-Level Visual Grounding via Reinforcement Learning
-
针对多模态大语言模型(MLLM)在部件定位中常退化为整物检测的痛点,提出对象-部件分层反思定位范式(OP-HRG)与部件感知 GRPO 强化学习框架,以 4B 参数量在跨数据集零样本与域内部件定位基准上全面超越 7B 模型与 SAM3。
- RoadBench: Benchmarking MLLMs on Fine-Grained Spatial Understanding and Reasoning under Urban Road Scenarios
-
RoadBench提出首个以道路标线为核心的城市场景细粒度空间理解与推理基准,包含BEV卫星图和FPV车载图双视角下的8个分级任务共3040个人工核验测试用例;对20个主流MLLM的系统评估表明,现有模型在细粒度空间理解上严重不足——最佳模型在BEV车道计数上F1仅0.355,在车道方向识别上甚至不敌基于交通常识的规则基线,揭示了MLLM从"看见"到"推理"之间的巨大能力鸿沟。
- RoboTALES: Learning Reasoning-Guided Robot Policies via Task-Aligned Simulated Futures
-
提出单阶段机器人学习框架 RoboTALES,通过大模型层次化子目标分解引导视频扩散模型生成模拟未来,并借助视觉语言评价器(VLM Critic)通过可微策略优化(DDPO)对隐空间表征实施语义对齐,驱动动作扩散网络实现高成功率的长程操作控制。
- Rule-VLN: Bridging Perception and Compliance via Semantic Reasoning and Geometric Rectification
-
针对真实城市场景中具身导航智能体陷入“只看几何连通、无视交通规则”的目标驱动陷阱,本文提出首个大规模规则合规城市场景基准 Rule-VLN,并设计免训练的语义导航纠错模块 SNRM,通过宏微观视觉提示与认知心智图重规划,将违规率降低 19.26% 并使任务完成率提升 5.97%。
- SafeGuard: A Multi-Agent Perception-Reasoning Framework for Social-Risk AI-Generated Video Detection
-
针对AI生成视频在社会风险场景中高逼真度与结构伪造并存导致的“感知-推理鸿沟”,SafeGuard通过分层感知求解器提取多维度细粒度法医线索,并由自反思验证器执行语义与物理合理性一致性闭环审计,在无需端到端重训的情况下大幅超越现有专用模型与通用大模型。
- ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision–Language Models
-
ScAle提出一种极轻量的VLM空间推理适配方法:在完全冻结的backbone中,为每层每个注意力头和MLP输出学习一个bounded scalar(通过tanh约束在(1-s_max, 1+s_max)范围内),仅对last token的激活值做乘法缩放,以约1K可训练参数在SpatialEval上实现最高134.1%的相对精度提升,参数效率比LoRA高2500倍以上。
- SciIR: A Large-scale Training Dataset and Benchmark for Scientific Image Reasoning Generation
-
本文以皮尔士符号学三分法(Icon/Index/Symbol)为理论框架,构建了 SciIR-82k(80k+ 科学图文对 + 逆向推理链标注)和 SciIR-Bench(原子检查表驱动的细粒度评估基准),并通过微调得到 Qwen-Image-SciIR,将 SciIR-Bench 最终得分从 35% 提升至 43%,系统性地揭示了当前 T2I 模型在科学推理上的严重缺陷。
- Sentinel: Embodied Cooperative Spatial Reasoning and Planning
-
针对城市场景下多具身智能体在动态哨兵威胁中缺乏空间协作能力的难题,本文提出基准 Sentinel Challenge 与框架 CoSaR,将结构化空间记忆与视觉语言模型重规划相融合,实现了高效避障与快速会合。
- SiPhy: Single-Image Physical Property Reasoning
-
SiPhy 针对单张 RGB 图像无法感知 3D 几何与材质机理的核心痛点,结合深度自适应伪体素采样、VLM 驱动的部件级对比对齐与重量感知厚度细化,首次在无需多视角重建的前提下高精度推断物体的质量、密度和杨氏模量。
- SpaR3D-MoE: Adaptive 3D Spatial Reasoning from Sparse Views Meets Geometry-Inductive Mixture-of-Experts
-
针对多模态大模型在稀疏视角下拓扑断裂与模态竞争的瓶颈,SpaR3D-MoE 提出时空流形自适应采样提取关键帧,并构建由指令与位姿感知的异构几何归纳混合专家架构,在无需昂贵 3D 资产的前提下刷新 VSI-Bench、ScanQA 与 SQA3D 的最先进性能。
- SpatialBoost: Enhancing Visual Representation through Language-Guided Reasoning
-
SpatialBoost 提出将 2D/多视图图像中的密集 3D 几何与空间关系转化为分层链式思考(像素级→物体级→场景级)语言描述,借助冻结的 LLM 通过双通道注意力机制微调视觉编码器,使预训练视觉主干兼具卓越的 3D 空间感知与通用视觉表征能力。
- Thinking Ahead: Foresight Intelligence in MLLMs and World Model
-
论文提出了首个面向自动驾驶场景的长时前瞻认知问答基准 FSU-QA 与评测体系 FSU-Bench,构建了从低阶时空动态到高阶反事实因果的 9 类分级认知任务,并创新性地利用 VLM 代理探测验证了世界模型生成未来的语义一致性。
- VERDICT: Training-Free Step-Wise Verification of Multimodal Reasoning via Disagreement-Aware Consensus
-
针对多模态大模型思维链推理中局部合理但全局错误的步级幻觉传播问题,VERDICT 提出一种无需训练且即插即用的逐步验证框架,通过构建视觉、逻辑与上下文三个异构专家的协调博弈闭式解,利用跨模态分歧结构实现步级过滤与置信度排序,在六大基准上实现最高 +5.95% 的精度提升。
- Video-HolmesV2: Can MLLMs Reason with Spatio-Temporal Audio-Visual Evidence in Long Videos?
-
针对长视频评测中忽视听觉线索与依赖纯视觉猜测的缺陷,本文构建了包含 784 个长视频(平均时长 43 分钟)和 4,000 个问答对的音视频深度耦合评测基准 Video-HolmesV2,提出条件化时空证据约束指标与音文双流引导的自适应 Token 压缩算法。
- Attention-based Vision-Language Memory for Spatial Reasoning
-
VLM² 先把单目视频中的语义、预测几何和视角信息对齐,再用滑动窗口工作记忆与固定容量情景记忆持续检索、融合和更新场景表示,以纯视频输入在 VSI-Bench 达到 68.8,较 VLM-3R 提高 7.9 个分数点。
- CabinSI: Omni-Cabin Spatial Reasoning through Explicit Visual Cognitive Maps
-
CabinSI 用 3,758 个真实场景样本评估车内外空间关系与指代定位,并把多相机观察转换成问题相关的俯视认知地图,使 Qwen2.5-VL-7B 在 RelCabin 上的总体准确率从 25.31% 提升到 41.17%,但感知误差与跨座舱定位仍是明显瓶颈。
- Clue Matters: Empower Video Reasoning with Brain-Inspired Latent Clue Learning
-
ClueNet 先把视频转换为带时间区间的实体交互线索,再学习哪些线索既与问题相关又受画面支持,通过两阶段监督在 STAR、NExT-QA 和 MVBench 分别达到 77.6%、84.3% 和 69.8%;可选视觉压缩进一步提速,但不应与最高精度配置混为一谈。
- Constructing and Interpreting Digital Twin Representations for Visual Reasoning via Large Language Models and Reinforcement Learning
-
DT-R1 提出了一个统一的纯强化学习(GRPO)框架,训练单一大语言模型自主规划视觉基座模型以构建结构化数字孪生(DT)表示,并通过显式思维链与可执行 Python 代码对其进行几何与时序推理,终结了多样化视觉推理任务对特定模型架构与监督微调的依赖。
- Context-Interactive Reasoning for Group Activity Detection
-
针对密集人群与多视角视频中群体划分易产生虚假连接以及全局场景噪声干扰的难题,本文提出上下文交互推理框架,通过短期交互正则化器(STIR)显式施加可学习拓扑软约束,并借助长程上下文条件化器(LRCC)通过自适应门控动态注入全局场景语义,在复杂群体活动检测任务上刷新 SOTA。
- CORE-V: Chain-Of-thought REasoning for Image Editing with Visual Interaction
-
CORE-V 针对现有基于文本思维链的图像编辑模型缺乏细粒度视觉感知与空间几何控制的问题,提出了显式视觉思维链(Visual CoT)框架,通过属性视觉想象标记与自适应空间条件动态加权,实现了语义逻辑与低级像素生成的高保真对齐。
- Demystifing Video Reasoning
-
打破了视频扩散模型按时间帧序列推进推理(Chain-of-Frames)的传统假设,揭示了核心逻辑推理实质沿扩散去噪步演进(Chain-of-Steps)并伴随多路径搜索与工作记忆等涌现行为,并提出跨随机种子的免训练隐空间集成方法(TFE)显著提升推理表现。
- Diffusion-Based Immersive Visual Reasoning
-
针对 360° 沉浸式场景中局部可观测性导致传统 VLM 表现不佳的问题,DIVR 将推理重构为去噪扩散引导的概率置信度迭代演化过程,通过隐式假设精炼器与推理引导观察器的闭环协同,实现动态视口主动感知与多步证据聚合,在多项 360° VQA 基准上显著超越 SOTA。
- DoCoG: Mask-based Multi-Type Grounded Chain-of-Thought for Document QA
-
DoCoG 提出了一种基于像素级掩码和多类型证据定位的逐步思维链文档问答架构,通过在视觉语言模型与分割器之间引入地基交互模块(GIM)以及带锚定约束的直接偏好优化(DPO),实现了中间推理步骤与最终答案的高精度多模态证据对齐。
- EgoMAN: Interaction-Structured Reasoning for Egocentric 3D Hand Trajectory Prediction
-
EgoMAN 提出了面向第一人称 3D 手部轨迹预测的交互结构化推理框架,通过包含意图与阶段航点的紧凑四词元接口连接多模态推理模型与流匹配动作专家,从根本上解决了意图与连续轨迹解耦导致的噪声累积与泛化难题。
- EGVLR: Evidence-Grounded Vision–Language Reinforcement for Anomaly Reasoning
-
针对工业异常问答中多模态大模型常凭语言先验走捷径、导致答案正确但定位错误或对正常样本虚构缺陷框的问题,提出基于统一证据驱动诊断协议(EDDP)的四阶段强化学习框架 EGVLR,通过渐进式视觉证据微调、知识指引指令微调、几何-语义解耦偏好优化以及框引导分割渲染,实现了答案、定位与推理逻辑的全局一致性,显著降低了正常样本上的空间假阳性。
- Enhancing Embodied Reasoning and Grounding by Novel View Synthesis
-
SplatReasoner 把三维高斯场景变成可重新取景的视觉记忆,通过可见性检索、局部新视角合成及文本裁判与验证,为 VLM 提供更有用的证据,在 OpenEQA 的 GPT-4o 设置下将 LLM-Match 从 3D-Mem 的 54.6 提高到 57.8。
- Evaluating Reasoning Coherence in Video Generative Models with Text and Visual Hints
-
提出首个解耦提示线索并聚焦过程级中间步骤的视频推理基准 MME-CoF-Pro,系统评测 7 款主流视频生成模型在因果与时序推理中的连贯性缺陷与幻觉现象。
- Exploring Efficient Reasoning Segmentation with Small Language Models
-
LReSeg 不把小模型的单个
<SEG>token 当作全部分割依据,而用统一视觉编码器和文本引导的寄存器 token 补充稠密空间信息,使 805M 参数模型在 ReasonSeg 测试集取得 50.8 gIoU、50.0 cIoU,并在论文计时设置下将 LISA-7B 的 320 ms 延迟降至 98 ms。 - GR-GRPO: Graph-Diffused Credit for Autoregressive Image RL Alignment
-
针对基于向量量化(VQ)的自回归图像生成在强化学习对齐中采样开销巨大、小分组(small-\(G\))GRPO 存在单点信用稀疏的问题,GR-GRPO 利用码本离散空间的局部可替换性,在预计算的码本 K-NN 图上扩散成功轨迹的正向证据构建平滑软目标,以近乎零额外开销实现密集化监督,在 Janus-Pro-1B 上以约 \(4.6\times\) 更少的采样耗时超越 \(G=64\) 的大分组 GRPO 表现。
- GradingBench: Evaluating End-to-End Compositional Reasoning of MLLMs for Automated Exam Grading
-
构建了首个面向真实 K-12 试卷端到端自动化批改的基准 GradingBench(含 300 张整页试卷与 3,284 道带标注子题),系统评估 18 款主流多模态大模型,揭示出视觉定位缺失是主瓶颈,且模型在整合感知与认知推理时存在显著的协同崩塌。
- Hi-Nav: Hierarchical Framework for Continuous Vision-Language Navigation via Map Guidance and Waypoint Reasoning
-
针对连续环境下视觉语言导航(VLN-CE)中决策与物理执行割裂导致的累积误差和 Sim-to-Real 鸿沟,Hi-Nav 提出自顶向下的三层解耦框架,结合高层 LLM 指令拆解、中层基于 Q-Former 与时间嵌入的多任务环境感知及空间软正则化路标推理、底层 ROS 速度控制与避障,在仿真与真实轮式机器人上实现了高精度的长程连续导航。
- HighlightBench: Benchmarking and Diagnosing Markup-Driven Table Reasoning in Scientific Documents
-
针对多模态大模型难以区分“看见视觉标记”与“依标记执行逻辑约束”的评测盲区,HighlightBench 构建了包含 446 张学术表格与 3,283 道问题的细粒度诊断基准,通过五大解耦任务家族、反事实扰动与显式 DSL 参考流水线,系统揭示了视觉显著性劫持模型推理的核心缺陷。
- Human-Level Accuracy, Non-Human Strategies: Revealing Model-Human Divergence in Video Physical Reasoning
-
论文针对视频自监督模型在物理推理基准上达到人类级准确率却策略存疑的问题,提出了将模型多随机种子与人类标注群体进行分布对比的评测框架,揭示出模型内部高度自洽但与人类决策显著分歧、依赖可见场景统计特征而非真实前向模拟的本质差异。
- i-Design: Step-by-Step Graphic Layout Design with Progressive Aesthetic Policy Optimization
-
针对传统单阶段布局生成忽略设计迭代反馈且易致视觉失衡的缺陷,i-Design 将 2D 图文排版重塑为基于已渲染局部画布逐步放置元素的分组轨迹决策过程,并提出结合渐进式模仿学习与真值锚定共识图在线强化学习的审美策略优化范式,在几何对齐与多模型审美胜率上均大幅超越现有 SOTA。
- Learning Active Perception for Pixel-Space Reasoning via Visual-Intent Stratified GRPO
-
针对视觉语言模型在像素空间推理中采用 GRPO 训练导致奖励归一化失衡、诱发“视觉懒惰”并抑制多步缩放的问题,本文提出视觉意图分层 GRPO(VIS-GRPO),通过沿缩放深度与基于空间重叠度的视觉意图(探索 vs 验证)对采样轨迹联合分层,将优势计算严格限定在同质策略层内,显著释放了多步主动感知能力,在 HR-Bench 8K 与 MME-RealWorld 上分别获得 8.7% 与 7.6% 的大幅提升。
- Learning Consistency in Reward Modeling for Multi-Modal Reasoning
-
提出一致性奖励模型(CRM),将多模态推理的奖励判别解耦为基于思维链的候选回答与真实答案语义及数学等价性比对,生成抗奖励欺骗的连续软奖励并结合符号一致性拒绝采样,在大幅扩充 4 倍强化学习可用数据的同时显著超越基于规则的基线。
- Learning from Primitive: Probing Visual Reasoning of LVLMs via Counting
-
本文将视觉计数确立为探测大语言视觉模型(LVLM)内部推理机制的最小探针,提出了视觉激活补丁(VAP)与 HeadLens 工具,揭示了由视觉定位、跨模态路由、计数聚合与难易度感知组成的计数回路,并通过极简合成数据的目标干预使模型在超出分布(OOD)计数及通用视觉推理上取得显著提升。
- Less is More: A Simple yet Effective Object-Centric Prompting Strategy for Vision-Language Reasoning in Autonomous Driving
-
通过在环视图像上直接叠加检测边界框与离散物体 ID,并将坐标回归转换为纯离散 ID 匹配与离线查表映射,以极简提示设计彻底消除多模态大模型的空间定位幻觉。
- Metric-Bench: Exploring In-context Spatial Metric Reasoning in VLMs for Indoor Scenes
-
针对视觉语言模型在单目室内场景中缺乏物理尺度感知且易受刚性像素监督损害泛化能力的问题,本文提出了首个无需相机内参、利用画面内已知参考物尺度进行上下文绝对度量推理的基准 Metric-Bench,并提出结合结构化思维链与可验证数值奖励的强化微调模型 MetricReasoner,在度量估计与通用多模态任务上均显著超越现有开源与商业模型。
- Mitigating Pose–Scale Discrepancy Bias and Reforming Multi-Support Reasoning for Few-Shot Semantic Segmentation
-
针对少样本分割中支持与查询图像因位姿和尺度差异导致的匹配崩溃与多支持粗暴平均问题,本文提出解耦匹配网络(DMNet),通过等变几何解耦自编码器分离语义与几何变异,并结合双向循环集成精炼与空间自适应置信度融合,大幅刷新了 PASCAL-5i 与 COCO-20i 基准。
- Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful MLLM Reasoning
-
针对单一视觉编码器感知盲区及多专家直接拼接造成的特征冗余与同质化问题,本文提出 MoSVE 框架,通过查询引导的 Patch 级自适应互补聚类压缩冗余视觉 Token,并借助基于锚点模型失效样本的最大特征差异路由与拒绝微调(CRFT),以仅 576 个视觉 Token 在 POPE(86.9%)、CHAIR_S(27.1%)和 MMVP(57%)上显著超越现有 SOTA 多专家与大参数多模态模型。
- MonoSR: Open-Vocabulary Spatial Reasoning on Monocular Images
-
MonoSR 构建了首个大规模开放世界单目空间推理数据集(100万+ QA对,覆盖室内/室外/物体中心三大场景共98个语义类别),通过四阶段可观察性过滤机制保证每对QA均可从单张RGB图像回答,并系统性评测了7个开源/闭源VLM以及多种辅助信息对空间推理能力的影响。
- Natural Image Pretraining Improves Abstract Reasoning
-
本文提出 Nat-ARC,首次系统证实将自然图像(ImageNet)上的掩码自编码器(MAE)自监督预训练迁移至视觉中心型求解器,可大幅提升少样本网格抽象推理(ARC)性能,单模型达到 63.4% pass@2,跨范式预测级集成进一步达到 70.2% pass@2。
- PASR: Pattern-Aware Scene-Conditioned Reasoning for Camouflaged Object Detection
-
提出无需像素级人工标注的无监督伪装目标检测推理框架 PASR,将伪装识别重构为基于冻结特征空间的“场景背景锚定与条件偏离推理”,通过检索背景对齐参考集并构建局部偏离原型,在四大基准上显著超越现有无监督与弱监督方案并逼近全监督性能。
- PercepTax: Benchmarking Cross-Property Reasoning in Vision-Language Models
-
提出了首个评估视觉语言模型层次化知觉分类与跨属性推理能力的物理智能基准 PercepTax,覆盖材质、物理属性、可负担性与功能四大族系,揭示出前沿 VLM 在多重物理约束联合决策中存在严重落差。
- PGCR: Pose–Geometry Coupled Reasoning for Image-to-Point Cloud Registration
-
针对传统两阶段配准中显式重叠区预测不可逆丢弃几何一致区域的脆弱性,PGCR 将图像到点云 6-DoF 配准重构为位姿与稠密几何的联合推理闭环,利用阶段位姿自适应约束 2D-3D 交叉注意力,并通过几何感知反馈机制在 KITTI 上实现 100% 配准成功率与 0.15 m / 0.44° 的 SOTA 精度。
- Reflection-Aware Reasoning for Non-Line-of-Sight Pedestrian Localization
-
针对自车运动引发雷达多径传播严重畸变与噪声的挑战,本文提出一种端到端反射感知的多模态学习与物理光线追踪框架,通过融合相机与毫米波雷达BEV特征解耦高阶反射并重构反射面,在实车动态测试中将NLOS行人定位误差降至1.23米并提前0.77秒预警。
- Reinforcing Vision-Language Models for Image Quality Assessment with Grounding Process Rewards
-
针对视觉语言模型在无参考图像质量评价(NR-IQA)中仅依赖结果奖励导致的逻辑归因幻觉与泛化瓶颈,本文提出基于定位过程奖励的强化学习框架 RGPR,通过“先定位后评估”的多步推理轨迹与逐步奖励归一化,显著提升了解释忠实度与分布外泛化能力。
- ROVA: Are Video Reasoning Models Ready to Go Outside?
-
ROVA 提出了一套鲁棒视频推理训练框架,通过结构化时空扰动生成、自反思难度感知在线课程、以及基于 GRPO 的双分支对齐来提升 VLM 在真实世界扰动(天气、遮挡、光照、相机抖动)下的推理鲁棒性。同时提出 PVRBench——首个系统性注入真实扰动的具身视频推理 benchmark,覆盖 9K+ 视频和 51K+ 问答对。
- SEERBench: A Spatial Ego-Exo Reasoning Benchmark for MLLMs with a Simple Yet Effective Baseline
-
针对多模态大模型在结合第一人称与第三人称视角时几何推断严重缺失的问题,提出包含三个认知层级、10项任务的评测基准 SEERBench,发现前沿模型与人类专家存在 46.8% 的巨大性能鸿沟,并通过免训练的鸟瞰拓扑工具 SEER-Map 显著降低跨视角空间推断难度。
- Spatial Amsan: A Benchmark for Perception-Grounded Spatial Reasoning and Action Evaluation in Egocentric Manipulation
-
提出了首个面向第一人称操作视频的具身空间状态心算与动作评估基准 Spatial Amsan(包含七巧板与木质拼图两项任务共 282 个场景、1,801 评估轮次),通过 Q1–Q4 诊断协议揭示了当前顶尖 VLM 存在严重的“能感知但无法随时间维持空间状态并推理动作正确性”的解耦现象。
- STEP: Spatial Thinking and Egocentric Pointing for Embodied Instruction Following
-
STEP 将全局鸟瞰语义图与第一人称可通行区域视觉标记融合,通过自动化构建的 40 万高质量多模态思维链数据引擎,实现了从“看第一人称视角、用全局地图思考、向路径路标点指向”的可解释中粒度具身规划范式。
- StreamSpatial: A Benchmark and Framework for Streaming 3D Visual-Spatial Reasoning
-
针对传统空间基准预设全局静态视角的局限,本文构建了首个涵盖 5,280 个毫秒级对齐问答的流式 3D 视觉空间推理基准 StreamSpatialBench,并提出了结合有界记忆动态整合与隐式潜空间认知图推理的轻量高效框架 Stream3D-Mem。
- TerrainGraphNet: Terrain-Constrained Graph Reasoning for Landslide Segmentation
-
针对传统滑坡分割将数字高程模型(DEM)简单视作额外外观通道而忽视地形地貌拓扑约束的问题,TerrainGraphNet 提出地形调制特征交互与坡度连续性约束的稀疏图注意力推理,显著降低边界泄漏与拓扑破碎。
- Thinking from the Robot’s View: The CoT-HRC Benchmark for Human Intent Reasoning in Embodied Collaboration
-
针对真实四足机器人低矮视角下人类意图推理存在的视空残缺与黑盒评测痛点,本文在 Habitat 3.0 中构建了首个具身协作基准 CoT-HRC,通过高保真模拟低视角遮挡与层次化思维链标注,提出了严密解耦感知崩溃与认知推理的评测体系。
- Toward Interpretable Analysis of Whole-slide Pathology Images via Large Language Model-based Agentic Reasoning
-
针对计算病理学中全切片图像(WSI)黑盒预测缺乏可解释性与诊断溯源的问题,PathAgent 提出了无需微调的 LLM 智能体框架,通过导航器筛选感兴趣区域、感知器提取微观形态特征以及执行器开展多步反思与自适应变焦,构建起贴近病理学家临床决策的透明证据轨迹。
- UniReflect: Self-Reflection Tuning for Unified Multimodal Understanding and Generation
-
UniReflect 提出了首个将视觉理解、生成与“模型内验证反思”紧密融合的统一多模态框架,通过共享语义感知器与解耦式验证策略,无需外部判别器即可在单模型内形成闭环测试时缩放(TTS),在仅 4M 训练数据与 4B 生成参数下实现超越同量级乃至更大规模模型的精细图文对齐生成。
- Unlocking Complex Image Editing via Natively Interleaved Visual Textual CoT with Deep Confidence Reasoning
-
提出统一多模态图像编辑框架 MURE 与 MMDC 推理范式,通过在自回归生成中交替输出文本推理与中间视觉表征(编辑掩码、新生目标),并利用奖励模型在树状搜索中剪枝低质量视觉分支,显著提升复杂空间关系与物体交互场景下的编辑保真度。
- Vero: Open Reinforcement Learning Recipes for Visual Reasoning
-
针对顶尖视觉语言模型强化学习数据与奖励机制闭源的痛点,Vero 提出了首个覆盖六大视觉推理维度的全开源单阶段 RL 方案,构建了含 60 万样本的 Vero-600K 数据集与任务路由奖励,无需多阶段蒸馏即可在 30 项评测基准上全面超越现有开源模型。
- VisWordBench: Bridging the Gap in Cross-modal Reasoning for Multimodal Large Language Models
-
论文构建了包含 4,625 道精标中英双语视觉字谜的基准 VisWordBench,诊断揭示了现有 MLLM 跨模态推理崩溃的核心瓶颈在于“假设搜索欠多样化”,并提出了多阶段合成数据增强与训练无关的注意力激活引导策略。
- VLTR: Vision-Language Tool Reasoning for Instruction-Guided Image Editing
-
VLTR 提出了一种免训练的闭环视觉语言工具推理框架,将抽象图像编辑任务解构为由原子图元构成的有向无环图(DAG),结合 Bayes-UCB 上下文多臂老虎机路由与多层级异方差不确定性验证,实现细粒度局部分支修复,在 PIE-Bench++ 上夺得综合排名第一并在 MagicBrush 上达成 4.8 倍运行加速。
- Wan-R1: Verifiable-Reinforcement Learning for Generalizable Video Reasoning
-
Wan-R1 将 Flow-GRPO 引入流匹配(Flow Matching)视频生成架构,通过提出基于客观真值轨迹的多组件可验证奖励与嵌入级参考锚定奖励,彻底规避了多模态奖励模型的作弊问题,在复杂 3D 迷宫与具身路径规划中大幅提升了分布外视频推理的泛化性能。
- Wavelet-based Intra-video Counterfactual Reasoning for Video Question Grounding
-
针对弱监督视频问答定位中因外观相似导致的“视频内时序偏置”难题,提出 WICI 框架,通过小波多尺度动态建模捕捉帧间微弱运动线索,并结合课程驱动的视频内反事实挖掘与边界间隔损失,实现因果证据的忠实定位与鲁棒推理。
- YesTrack: Referring Multi-Object Tracking via MLLM-based Yes/No Reasoning
-
YesTrack 不让 MLLM 生成目标描述,而是直接读取其词表中 Yes/No 两个决策 token 的 logits 做判别式指代验证,配合时序置信度先验 TCP 与时序参考传播 TRP 两个推理期约束,用最小的 Qwen3-VL-2B-Instruct 在 Refer-KITTI 达到 HOTA 54.00、Refer-KITTI-V2 达到 43.75 的 SOTA,并把同一范式迁移成通用 MOT 跟踪器 YesTrack-MOT(KITTI HOTA 45.10)。