Thinking in Pictures: A Systematic Benchmark for Reasoning-driven Image Generation¶

会议: NeurIPS 2026
arXiv: 2609.02864
OpenReview: https://openreview.net/forum?id=N0bv4quGJQ
代码: https://huggingface.co/datasets/Abbyyyt/RIG-Bench
领域: 图像生成
关键词: 推理驱动图像生成, 统一生成模型, 潜规则归纳, 视觉基准, 具身世界模型

一句话总结¶

针对现有生成模型局限于浅层视觉匹配与文本指令渲染的缺陷，本文提出了首个无需语言指定目标、纯由多模态视觉上下文归纳潜在逻辑并生成视觉解的基准 RIG-Bench（包含 4 大族、11 个子任务共 2000 个样本），全面揭示了前沿多模态生成模型在逻辑严谨性上的断崖式落后与“局部合理但全局失序”的核心瓶颈。

研究背景与动机¶

统一多模态生成模型（UGMs）与物理世界模拟器的飞速演进，带来了令人瞩目的感知泛化与高清像素合成能力。然而，现有模型的技术红利主要建立在感知流利度与表面层级的图文配对拟合上，并未真正触及高级视觉认知与逻辑推理的核心。真正的视觉智能必须具备“从推理到生成”（Reasoning-to-Generation）的内生机制——它要求智能体不仅仅是对场景进行表征或风格渲染，而是能够像人类一样调动心理模拟与认知系统，从输入的视觉情境中抽象出潜藏规则，并通过严谨、符合领域物理或结构约束的像素图像表达最终的解。

现有的多模态评估体系呈现出严重的割裂态势：一类是传统的视觉问答（VQA）与认知推理基准，它们虽然考察了归纳与分析能力，但往往将最终的求解空间坍缩为离散的类别标签或低维语言解释，无法检验模型将逻辑推演外化为高维视觉结构的能力；另一类则是文本到图像（T2I）生成与图像编辑基准，它们虽然关注图像合成质量与对齐度，但生成目标与变换规则完全由详尽的自然语言提示显式给出，退化为了单纯的指令执行与材质渲染。模型在遇到 Raven 渐进矩阵、迷宫寻路或有机化学反应机理图等需要严格结构依赖的问题时，往往只会“脑补”出一个看似科学、实则违反质量守恒或撞墙死胡同的伪图像。

为了填补“图像感知 \(\rightarrow\) 逻辑归纳 \(\rightarrow\) 图像生成”闭环评估的盲区，必须剥离语言对推演过程的泄漏与提示，迫使模型仅凭多张上下文图像自行发现深层规则并直接合成答案。核心 idea：将多模态生成重塑为纯由视觉上下文驱动的潜规则归纳任务，构建涵盖概念、变换、模式结构与场景因果四大高阶认知领域的端到端图像求解基准 RIG-Bench，用生成的像素结果对生成式世界模型的深层逻辑推理能力实施“压力测试”。

方法详解¶

整体框架¶

RIG-Bench 将视觉生成重塑为统一的“推理驱动图像生成”（Reasoning-driven Image Generation, RIG）范式。系统输入为一个由纯视觉信息构建的上下文元组 \(\mathcal{C} = (\mathcal{I}, \mathcal{D}, t)\)，其中包含一组蕴含潜藏推理问题的上下文参考图像 \(\mathcal{I} = \{i_1, \ldots, i_k\}\)、可选的若干对展示规则变换的示例示范对 \(\mathcal{D} = \{(a_j, b_j)\}_{j=1}^m\)、以及一句仅声明输出格式约束（如“补全网格序列”）而不提供任何逻辑线索或思维链的中性提示词 \(t\)。模型必须在屏蔽任何文字选项的情况下，直接生成单张高维解图像 \(\hat{y} \in \mathbb{R}^{H \times W \times 3}\)。评估侧结合了像素与特征层面的连续距离度量、以及基于严谨三维细粒度打分细则的 LLM 自动化裁判，形成闭环的诊断体系。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态视觉上下文输入<br/>参考图像集 I 与变换示例对 D"] --> B["任务统一形式化与中性提示约束"]
    B --> C["高难度认知数据多源重塑与三层蒸馏"]
    C --> D["端到端视觉潜规则归纳与目标像素合成"]
    D --> E["双轨制评估体系：解耦感知度量与细粒度裁判"]

关键设计¶

1. 任务统一形式化与中性提示约束：剥离语言作弊通道的潜规则归纳

传统生成基准的核心缺陷在于过度依赖自然语言对生成内容的详细描述，这使得模型实质上仅在充当“文本解析器与纹理贴图机”，而绕过了视觉表征内部的推演。为了杜绝这一作弊通道，RIG 范式将视觉输入抽象为隐式潜藏逻辑的数据集 \(\mathcal{I}\) 与变换演示对 \(\mathcal{D}\)，配合中性陈述提示 \(t\)。该提示词仅明确输出的形式与几何占位要求（如“找出规律并绘制缺失单元格”），严禁透露任何语义实体、类别属性或推理中间步骤。生成模型必须首先调动细粒度视觉感知提取拓扑、基数、几何对称性与颜色状态，随后在隐空间执行抽象逻辑归纳，最后将其投射为精准的像素输出 \(\hat{y}\)。这种设计将求解的判决标准从文字选择题的混淆度转移到了“规则发现准确度 + 像素合成严谨度”的联合分布上。

2. 高难度认知数据多源重塑与三层蒸馏：跨四大认知族群的体系化构建

基准的 2000 个高质量测试项构建遵循一套严苛的三层蒸馏管线：首先是跨域重塑，从 Bongard-HOI、Bongard-RWR+、KiVA、ARC-AGI、MaRs-VQA、BabyVision、EMMA 以及 MMR-Life 等顶尖视觉认知与跨学科推理数据源中汲取底层推演核，将其由分类/多选任务彻底改造为图像生成任务；其次是手工编写中性提示；最后经过启发式过滤与人类预实验，剔除仅凭感知浅层特征即可走捷径的低难度样本。数据集最终覆盖四大认知族群与 11 个细粒度子任务： - 概念族（Concept-based）：包含交互概念（216 题）与抽象概念（152 题），要求从多张情境中归纳共有关系并生成同类新情境； - 变换族（Transformation-based）：包含几何类比（240 题）、属性类比（240 题）与规则迁移（109 题，源自 ARC），考察仿射变换与网格映射机制； - 模式与结构族（Pattern & Structure）：包含矩阵推理（326 题，类 Raven 矩阵）与视觉空间推理（131 题，涵盖迷宫、路径追踪、3D 积木计数与连线）； - 场景族（Scenario-based）：包含科学过程推演（96 题，弯曲箭头有机机理推演）、时序场景推演（180 题）、跨领域类比（180 题）及风格延续（130 题）。任务空间进一步划分为开放域（多解合法）与闭合域（严格单解），使得错误归因可精准解耦。

3. 双轨制评估体系：解耦感知度量与细粒度裁判

在以往的图像生成评估中，DINOv2、CLIP-I、LPIPS 和 FID 等参考保真度度量被广泛采用，但这些指标极易产生“局部纹理高度相似，但整体逻辑彻底颠倒”的欺骗性高分。RIG-Bench 建立了参考感知度量与大模型结构化裁判相结合的双轨体系。对于自动化裁判，设计了 0–5 分的三维手写评分细则（Rubric），涵盖视觉质量（Visual Quality, VQ）、结构对齐（Structural Alignment, SA）与推理正确性（Reasoning Correctness, RC）。最终加权总分公式明确以推理正确性为主导权重：

\[\mathrm{Score} = 0.15 \cdot \mathrm{VQ} + 0.20 \cdot \mathrm{SA} + 0.65 \cdot \mathrm{RC}\]

评分最终线性缩放至 \([0, 100]\) 分区间。采用 Gemini-3.1-Flash 独立评估 3 次取平均，并在 500 个样本的双盲人类一致性校验中取得了 Krippendorff's \(\alpha = 0.791\) 以及 Pearson 相关系数 0.766 的高度可靠一致性（非 Gemini 裁判 Qwen3.5-27B 亦达到 0.791 的 Pearson 相关性），证实了该裁判机制对逻辑推演正误的判别力。

实验关键数据¶

主实验¶

评估覆盖了主流开源多模态生成模型（Qwen-Image、BAGEL、Emu3.5、FLUX.2）、顶尖闭源生成模型（Gemini 3 Pro Image Preview、Gemini 3.1 Flash Image Preview、GPT Image 1）以及视频生成模型（Wan2.2-14B、VBVR-Wan2.2-14B，取最终帧评估）。

模型类别	模型名称	通用 Rubric ↑	全量 Rubric ↑	DINO ↑	CLIP-I ↑	LPIPS ↓	FID ↓
开源图像生成	Qwen-Image	20.79 [19.91, 21.69]	25.71	0.39	0.70	0.66	77.38
开源图像生成	BAGEL	16.76 [16.29, 17.25]	16.68	0.44	0.70	0.67	97.46
开源图像生成	Emu3.5	20.66 [19.91, 21.39]	21.48	0.46	0.72	0.61	62.85
开源图像生成	FLUX.2	26.35 [25.57, 27.14]	31.31	0.43	0.72	0.61	87.29
闭源图像生成	Gemini 3 Pro	59.71 [58.65, 60.77]	64.57	0.58	0.79	0.57	63.25
闭源图像生成	Gemini 3.1 Flash	53.40 [51.99, 54.80]	58.08	0.52	0.76	0.61	75.79
闭源图像生成	GPT Image 1	37.57 [36.34, 38.85]	43.77	0.49	0.75	0.60	66.44
视频生成模型	Wan2.2-14B	20.73 [19.99, 21.48]	20.73	0.58	0.80	0.50	72.06
视频生成模型	VBVR-Wan2.2-14B	21.56 [20.90, 22.23]	21.56	0.63	0.82	0.46	65.84
人类基准	Human Pilot (n=66)	97.30	97.30	-	-	-	-

细粒度子任务与开放/闭合解空间消融分析¶

表 1 汇总了各模型在四大任务族 11 个子任务上的具体得分表现，表 2 进一步按开放解（Open-form，如概念/风格）与闭合解（Closed-form，严格单解逻辑）对得分进行了对比分析：

模型	交互概念	抽象概念	几何类比	属性类比	规则迁移	矩阵推理	空间推理	科学机理	时序推理	跨域类比	风格延续
Qwen-Image	49.88	44.23	13.82	11.29	14.20	18.33	29.82	8.72	28.06	26.81	44.44
BAGEL	17.94	14.08	11.09	16.55	17.39	15.84	27.40	3.50	15.93	9.82	39.24
Emu3.5	16.75	36.65	10.44	8.80	10.53	18.00	39.40	10.74	38.78	17.95	44.38
FLUX.2	64.72	37.60	17.08	10.98	24.27	34.33	32.37	14.77	37.45	11.53	61.90
Gemini 3 Pro	92.08	75.88	52.54	69.94	52.57	57.63	68.51	65.55	34.28	62.43	90.47
Gemini 3.1 Flash	85.98	69.45	50.29	64.12	58.94	36.65	60.55	41.19	58.72	54.43	91.57
GPT Image 1	76.78	63.55	29.59	22.34	40.69	36.93	27.73	25.05	31.31	50.85	90.51
Wan2.2-14B	N/A	N/A	24.67	10.87	22.89	16.80	27.04	11.48	25.93	20.41	33.37
VBVR-Wan2.2	N/A	N/A	25.85	12.59	25.81	17.85	33.17	12.98	26.83	20.18	25.15

模型名称	开放形式（Open-form）	闭合形式（Closed-form）	性能落差（Gap）
Qwen-Image	34.9	17.5	+17.4
BAGEL	25.7	14.7	+11.0
Emu3.5	41.1	15.9	+25.2
FLUX.2	47.7	21.4	+26.3
Gemini 3 Pro	57.8	60.8	-3.0
Gemini 3.1 Flash	72.5	51.1	+21.4
GPT Image 1	56.1	33.4	+22.8
Wan2.2-14B	29.1	18.8	+10.3
VBVR-Wan2.2-14B	26.1	20.5	+5.6

关键发现¶

生成模型的推理能力遭遇全面挫败：最强的 Gemini 3 Pro 全量 Rubric 仅为 64.57/100，开源最强的 FLUX.2 仅为 31.31，其他开源模型均在 16–25 分徘徊；而在人类测试中准确率高达 92.9%、评分达 97.3 分。
开闭源差距远超标准文本生成：在图文 T2I 基准中，开源模型与商业闭源模型差距较小，但在纯视觉推理驱动生成中，最强开源模型落后闭源高达 33.3 分，显示出端到端视觉逻辑推断是当前开源架构的最短板。
感知保真度与逻辑正确性严重背离：视频模型 VBVR-Wan2.2 的 DINO（0.63）、CLIP（0.82）和 LPIPS（0.46）在所有模型中名列前茅，但其逻辑 Rubric 分数仅为 21.56，甚至低于部分纯图像模型。这证实基于特征相似度的度量完全无法评估逻辑一致性。
闭合规则是真正的分水岭：在开放式任务（概念、风格）上模型容易通过视觉联想蒙混过关，而在有唯一逻辑解的闭合任务（几何变换、ARC 规则迁移、矩阵推理、化学反应机理）上性能直接腰斩，开源模型得分普遍跌至 10–20 分区间。

亮点与洞察¶

将视觉生成从“被动服从”转向“主动推理”：彻底颠覆了以往给出详尽提示词让模型“画图”的传统评测，强制模型从无语言指导的多图输入中提取潜藏规则，真正考验模型内部的世界模拟与因果推断机制。
深入定位了端到端系统中的“集成断层”（Integration Gap）：作者在 200 个对齐样本上进行了四种配置诊断（纯文本推理 T、直接生成 D、基于自身文本思考后生成 H、基于 Oracle 答案文本生成 O），发现有 4.5%–9.9% 的样本中模型明明能在文本里推导出正确答案且给其正确提示词就能画出目标图，但在端到端直接从图像生成图像时却完全崩溃，指明了多模态隐空间中认知与生成解耦的关键缺陷。

局限与展望¶

作者承认的局限：目前数据集为了保证标注的高质量与严密逻辑，采用精细化筛选构建了 2000 个样本，在数据体量上不及纯合成的大规模生成基准；此外评测目前侧重于 2D 静态图像，尚未覆盖动态时空三维世界模型。
潜在改进方向：探索引入长思维链（Visual/Text CoT）和多步视觉自反思机制（Self-Reflection）来指导扩散或自回归解码过程，在隐空间显式建模符号推演轨迹以弥补端到端生成的集成断层。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出纯视觉推理驱动生成的统一框架并剥离语言指令偏置，开辟了全新的评估赛道。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大主流图像与视频模型、双轨制评测、500 人工打分校准及细粒度阶段消融剖析。
写作质量: ⭐⭐⭐⭐⭐ 形式化严谨，逻辑层层递进，对“感知-推理-生成”各维度的解耦清晰到位。
价值: ⭐⭐⭐⭐⭐ 为解决通用生成模型“局部逼真、全局逻辑错乱”提供了极具穿透力的标准诊断平台。