When Does Visual Generation Help Visual Understanding in Unified Multimodal Models?¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/zyb1029/VGAU-Diag
领域: 多模态大模型
关键词: 统一多模态模型、视觉生成辅助理解、视觉思维链、空间规划推理、评测基准
一句话总结¶
本文提出了细粒度诊断评测框架 VGAU-Diag,通过六类可验证规划任务与 Oracle 解耦协议,揭示出当前统一多模态模型中“视觉生成辅助理解”的主要瓶颈在于模型无法有效利用视觉辅助线索(理解侧瓶颈而非生成侧缺陷),并纠正了此前 Vision-CoT 评测中由于泄漏最优解步数所导致的虚假增益。
研究背景与动机¶
近年来统一多模态模型(UMMs)迅速发展,使得单一模型同时具备图像理解与图像生成能力成为可能。在此背景下,学术界开始广泛探索一个核心设想:能否通过自生成中间视觉内容(如视觉思维链 Vision-CoT、先生成后回答 Generate-then-Answer 或直接视觉推理 Vision-Reasoning)来辅助并提升复杂的视觉理解能力。然而,现有文献对于视觉生成能否稳定促进理解给出了高度混杂甚至矛盾的结论。
这种评估结果的分歧主要根源于现有评测基准存在的三大结构性缺陷。首先,现有基准多采用选择题形式且笼统混合不同难度的样本,在小模型随机猜测即可碰巧做对的情况下,难以区分是模型推理能力真正增强还是简单样本上的随机波动。其次,每项任务通常只采用单一视觉辅助范式进行孤立测试,缺乏在统一设定下对 VCoT、GtA 与 VR 的严格横向比对,使得观测到的增益容易与特定提示范式产生混淆。最后,现有工作普遍将模型推理视为闭环黑盒,视觉生成与视觉理解紧密纠缠,导致在推理失败时根本无法诊断究竟是因为生成的图像保真度不足,还是因为模型自身的视觉理解能力欠缺而“看不懂”图像。
针对上述黑盒混淆问题,本文转变了评估视角:不仅要检验模型生成后能否答对,更要建立可解耦因果机制的诊断体系,探究视觉生成到底在何时、以何种机制对理解产生助益。核心 idea:构建基于六类可验证规划任务的细粒度诊断框架 VGAU-Diag,引入难度分层、跨范式统一评测以及注入外部真实图像的 Oracle 解耦协议,严格剥离视觉生成保真度与视觉理解能力,揭示理解侧瓶颈并修复步数先验泄漏。
方法详解¶
整体框架¶
VGAU-Diag 选取了状态可精确验证、需要多步空间推理的二维视觉规划任务作为评测基准,涵盖 Maze、Sokoban、Path、Onet、Parking 和 Klotski 六大任务家族。整个评测管线由难度分层采样、跨范式闭环推理生成、外部 Oracle 解耦诊断以及基于环境求解器的严格轨迹重放验证四部分组成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态规划任务输入<br/>6类可验证二维空间规划图像与目标描述"] --> B["难度分层与可验证规划基准<br/>按最优动作序列步长严谨划分 Easy / Medium / Hard 实例"]
B --> C["Oracle 辅助解耦协议<br/>注入 Ground-Truth 视觉辅助以剥离生成保真度与理解能力"]
C --> D["跨范式统一评测与先验泄漏修复<br/>对齐 GtA / VCoT / VR 范式并移除最优步长泄漏先验"]
D --> E["求解器自动化回放与评测输出<br/>严格重放动作轨迹并检验可行解与最优解成功率"]
关键设计¶
1. 难度分层与可验证规划基准:以可执行动作序列消除多选题随机猜测与黑盒偏差
现有视觉推理基准多采用选择题或单步动作重合度作为指标,既容易被随机猜测污染,又无法真实反映整条长程规划路径的有效性。为此,VGAU-Diag 要求模型必须在 <ANSWER_JSON> 中输出完整的动作序列或坐标序列,并利用确定性规则求解器在网格状态图上完全复现动作。若模型越界、穿墙、违规推箱或发生车辆碰撞,立即判为非法解;只有最终合法到达目标状态才判定成功,并细分为最优解命中率(\(reach\_optimal\))与可行解命中率(\(reach\_feasible\))。同时,基准依据最优路径步长将每个任务的 100 个生成实例划分为 Easy、Medium 和 Hard 三个难度层级,并通过可通行网格数、分支节点数和通道节点数等拓扑图复杂度指标验证了分层的有效性,使得推理能力的鲁棒性得以在不同规划视界下被显式度量。
2. Oracle 辅助解耦协议:剥离生成保真度与理解瓶颈的诊断基准
在纯模型自生成闭环中,当模型最终动作错误时,无法确认是由于自身扩散/自回归模型生成的中间视觉图像结构崩塌,还是因为视觉语言编码器对原本正确的图像理解无力。为了彻底解耦生成质量与理解能力,本文设计了四组受控的外部参考协议:仅依赖纯文本思考的 Text-CoT、向输入图像显式叠加红线网格与坐标注记的 Oracle-GtA、由环境真实状态精准渲染单步转移后图像的单步交互 Oracle-VCoT,以及在每步环境真实状态图像上均保留网格坐标标注的 Oracle-Aug-VCoT。通过比较专有强理解 VLM 与统一 UMM 在 Oracle 辅助下的表现差距,基准得以作为一把标尺,精准量化视觉理解与视觉生成两端的真实短板。
3. 跨范式统一评测与先验泄漏修复:消除步数提示并重估 GtA 与 VCoT
基准横向统一实现了三类模型自生成范式:一次性自生成坐标网格辅助图再作答的 Self-GtA、每预测一步动作生成对应转移画面再自回归推进的 Self-VCoT,以及直接在原始图像上用画笔生成全流程规划红线的 Self-VR。在深入审视已有 VCoT 基准(如 UniG2U-Bench、Uni-MMMU)的实现时,本文敏锐发现了严重的协议缺陷——评测代码往往从标准答案中提前读取了最优步数 \(K\),并强制让模型恰好循环交互 \(K\) 轮。这相当于直接向模型泄漏了最优解路径长度的强先验,大幅降低了搜索难度。本文彻底修复了此漏洞,提出 Self-VCoT-fixed 协议:模型在每轮生成下一步动作及状态图后,必须自主预测剩余所需步数,直至模型显式预测剩余步数为 0 时才终止交互。
一个完整示例¶
以华容道(Parking)停车场移车任务为例:初始输入为一张 8×8 网格图像,目标是将横向红车 R 移至最右侧出口。在 Text-CoT 下,模型仅基于原图在文本中推导各车辆坐标与移动顺序;在 Self-GtA 下,模型首先生成一张带有红色网格线与行列数字坐标的重绘图,再基于该增强图生成移动指令;在修正前的 Self-VCoT 中,若最优解需 3 步,评测循环强制调用模型 3 次,模型即便每步漂移也能依靠轮数截断蒙对;而在 Self-VCoT-fixed 中,模型每移动一辆车(如 {"car": "A", "direction": "up"})并生成新图后,被要求回答剩余步数,若在第 1 步误判状态,后续循环将迅速发散或过早终止,暴露其真实的自回归规划脆弱性。
实验关键数据¶
主实验¶
在六大任务上对比专有闭源 VLM、开源 VLM 与开源统一多模态模型(UMMs)在最优解准确率(%)下的表现。下表汇报了代表性模型在 Easy 难度子集上的核心实验结果:
| 模型分类 | 代表模型 | Text-CoT (Maze/Parking) | Oracle-VCoT (Maze/Parking) | Oracle-GtA (Maze/Parking) | Oracle-Aug-VCoT (Maze/Parking) |
|---|---|---|---|---|---|
| 开源 VLM | Qwen2.5-VL-7B-Instruct | 0.0 / 15.0 | 10.0 / 0.0 | 0.0 / 5.0 | 15.0 / 0.0 |
| 开源 VLM | Qwen3.5-9B | 25.0 / 25.0 | 25.0 / 60.0 | 90.0 / 80.0 | 50.0 / 70.0 |
| 闭源 VLM | Qwen3.6-Plus (reasoning) | 70.0 / 70.0 | 50.0 / 75.0 | 100.0 / 100.0 | 100.0 / 90.0 |
| 闭源 VLM | Doubao-Seed-2.0-pro | 80.0 / 35.0 | 100.0 / 95.0 | 100.0 / 100.0 | 100.0 / 95.0 |
| 闭源 VLM | GPT-5.4 (reasoning) | 100.0 / 85.0 | 100.0 / 95.0 | 100.0 / 95.0 | 100.0 / 95.0 |
| 统一模型 | MammothModa2 | 0.0 / 0.0 | 0.0 / 0.0 | 0.0 / 0.0 | 0.0 / 0.0 |
| 统一模型 | STAR-7B | 0.0 / 5.0 | 10.0 / 5.0 | 10.0 / 10.0 | 10.0 / 10.0 |
| 统一模型 | Janus-Pro | 0.0 / 15.0 | 0.0 / 0.0 | 5.0 / 25.0 | 0.0 / 0.0 |
| 统一模型 | LLaDA2.0-Uni | 5.0 / 5.0 | 10.0 / 35.0 | 0.0 / 0.0 | 5.0 / 60.0 |
| 统一模型 | Show-o2 | 5.0 / 0.0 | 15.0 / 70.0 | 11.6 / 10.0 | 10.0 / 0.0 |
| 统一模型 | LongCat-Next | 10.0 / 15.0 | 13.3 / 10.0 | 60.0 / 10.0 | 5.0 / 61.6 |
| 统一模型 | Nano Banana 2 | 35.0 / 10.0 | 20.0 / 0.0 | 85.0 / 70.0 | 45.0 / 35.0 |
在全 48 组开源 UMM 与对应 Oracle-GtA 上界的对比中,有高达 36 组即便替换为毫无瑕疵的 Oracle 视觉辅助,性能也未见显著提升,直指理解能力的匮乏。
消融实验与先验泄漏修复¶
通过对比先验修复前后的 Self-VCoT 准确率(%),揭示步数泄漏对既有文献结论的巨大干扰;同时控制视觉辅助保真度(Gaussian 噪声 vs 错位图 vs 模型生成图 vs Oracle 真实图)度量理解与生成的交互:
| 评估设置 / 模型 | Maze (修复前 → 修复后) | Sokoban (修复前 → 修复后) | Path (修复前 → 修复后) | Parking (修复前 → 修复后) |
|---|---|---|---|---|
| LLaDA2.0-Uni (Self-VCoT) | 10.0 → 0.0 (-10.0) | 10.0 → 0.0 (-10.0) | 5.0 → 0.0 (-5.0) | 40.0 → 0.0 (-40.0) |
| Show-o2 (Self-VCoT) | 11.6 → 0.0 (-11.6) | 10.0 → 0.0 (-10.0) | 6.6 → 0.0 (-6.6) | 56.6 → 0.0 (-56.6) |
| BAGEL (Self-VCoT) | 6.6 → 5.0 (-1.6) | 13.3 → 0.0 (-13.3) | 5.0 → 0.0 (-5.0) | 0.0 → 0.0 (+0.0) |
| LongCat-Next (Self-VCoT) | 10.0 → 0.0 (-10.0) | 5.0 → 5.0 (+0.0) | 1.6 → 0.0 (-1.6) | 5.0 → 0.0 (-5.0) |
在不同视觉生成质量的受控诊断中(以 Qwen 系列在 Easy 样例上的平均表现为例): - 阶段 1:干扰(Interference):输入高斯噪声时,Qwen3.5-9B 的 Self-GtA 从基线 25.0% 跌落至 8.3%(-16.7%); - 阶段 2:误导(Misleading Guidance):输入错位任务图或较弱生成图时,由于图像看似合理实则状态错误,Qwen3.5-9B 准确率跌至 5.0%(-20.0%),Qwen3.6-Plus 更是从 70.0% 骤降至 15.0%(-55.0%),比纯噪声更具破坏力; - 阶段 3:有效辅助(Assistance):仅当接入 Nano Banana 2 高保真图(83.3%)或 Oracle 图(100.0%)且模型自身规模达到 27B/Plus 级别时,增益才真正稳定显现。
关键发现¶
- 发现 1:难度分层是显化视觉生成增益的前提。在 Easy 样本上,部分 UMM 可展现出微弱增益,但在 Medium 和 Hard 样本上,所有开源 UMM 的成功率近乎全部归零。粗粒度混合评测会彻底掩盖这种难度边界。
- 发现 2:视觉理解侧是核心瓶颈,而非视觉生成。Oracle 实验确凿表明,开源 UMM 即使拿到完美的网格或单步转移图,依然无法转化为准确的动作。瓶颈在于模型的视觉感知与空间定位能力不足以“消化”辅助线索。
- 发现 3:三阶段非单调演化现象。视觉辅助对理解的作用并非随着生成质量线性提升,而是经历“无关噪声干扰 → 看似合理的错误视觉造成严重误导 → 高保真对齐视觉提供稳定支撑”的非单调跃变。
- 发现 4:靶向生成优于盲目累加步数。消除步数泄漏先验后,多步迭代的 VCoT 因误差累积全面溃败;相比之下,GtA 针对定位瓶颈单次生成结构化坐标网格线,展现出显著更高的可靠性与实用价值。
亮点与洞察¶
- 尖锐破除“生成差导致推理败”的直觉偏见:通过巧妙的 Oracle-Assisted 协议构造,令人信服地证明了当前 UMM“即使给它看正确答案图它也做不对”,为社区指明了应当优先增强多模态骨干理解与接地能力、而非单纯死磕生图画质的研发方向。
- 揪出并修复了学术界广泛存在的 Prior Leakage 评测隐患:指出了以往 VCoT 论文中直接把标准答案步数当做循环退出条件的逻辑硬伤,给出了公正的自由步数估计方案,促使后续工作回到同一起跑线。
- 揭示了“以假乱真”生成图的负面诱导性:指出了弱生成器产生的内容比纯高斯噪声更有害,因为模型往往具备一定的多模态先验并倾向于信任视觉证据,虚假证据会直接带偏规划决策。
局限与展望¶
- 作者指出的局限:评测目前集中于二维合成离散网格环境,虽然高度可控且解唯一,但无法完全反映真实世界具身物理交互、连续控制、3D 空间立体遮挡以及复杂时空动态。
- 潜在改进方向:可进一步将 VGAU-Diag 的诊断理念推广至真实街景导航与桌面机械臂操作等具身交互模拟器中;在模型设计端,针对 GtA 范式探索自适应判定机制,让模型仅在自身空间不确定度高时触发网格或特征高亮图像的生成。
相关工作与启发¶
- vs UniG2U-Bench & Uni-MMMU:前者仅在单步动作准确率或选择题上宣称 VCoT 带来普遍增益,而本文指出了其步数先验泄漏与部分匹配评价的局限,并在真实任务级解成功率上揭示了相反事实。
- vs MME-Unify & RealUnify:现有统一评测多偏向宏观打分的大杂烩,本文聚焦于深层空间规划这一高阶认知能力,首创 Oracle 介入式因果诊断,穿透了生成与理解交织的黑盒。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出多维度解耦因果的 Oracle 评测范式,直击多模态统合推理的本质矛盾。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大任务族、18 个开源及闭源代表性大模型、多层次生成保真度控制与严格的步数修复实验。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,问题定义精准,图表与论述极具穿透力与说服力。
- 价值: ⭐⭐⭐⭐⭐ 拨开了 UMM 视觉推理领域关于“生成是否促进理解”的认知迷雾,对未来 UMM 架构演进与公平评测极具指导意义。