Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning¶

会议: NeurIPS 2026
arXiv: 2606.24548
论文: Project Page
领域: 图像生成
关键词: 文本到图像生成, 反事实因果推理, 评测基准, 先验抵抗率, 概念解耦

一句话总结¶

本文提出包含三层递进提示框架的反事实因果推理基准 CF-World 与自动评测流水线 CF-Eval（含先验抵抗率 PRR 和推理保持率 RRR 指标），系统揭示了当前文生图模型因规则与视觉属性严重纠缠而难以摆脱训练集高频常识先验的本质瓶颈。

研究背景与动机¶

近年来，文本到图像（T2I）生成模型在视觉逼真度和复杂指令跟随上取得了显著进展，并在多项推理基准测试中表现优异。然而正如罗素笔下的“归纳主义火鸡”（根据过往每天早晨农夫出现就有食物的统计相关性，在感恩节早晨依然期待喂食而惨遭屠宰）一样，按照 Judea Pearl 的因果阶梯理论，仅凭常规场景下的生成表现，根本无法区分模型究竟是真正爬升到了最高层的“反事实因果推理”，还是仅仅停留在第一层的“统计关联匹配”。现有知识与推理类评测基准（如 WISE、Commonsense-T2I、R2I-Bench、T2I-ReasonBench 等）大多局限在符合现实客观规律的常规场景中，模型完全可以通过检索训练数据中的高频图文共现模式来生成看似合理的画面；而少数反事实评测基准（如 ELNP、LC-Mis）又只停留在不相关物体的浅层语义拼接（如“宇航员骑马”），无法检验模型对客观科学规律的演绎推理能力。

这一评测空白背后的核心痛点在于，当客观规律被系统性改写时，“克服现实高频视觉先验”与“基于新规律进行自主因果推演”是两个不同层级的挑战，如果将二者混为一谈或缺乏事实基线校验，就无法定位模型失败的真正根源。此外，即便模型在反事实生成中全面溃败，学界也缺乏一套诊断机制去拆解这种崩溃究竟是因为模型不会做抽象逻辑规则演绎，还是因为视觉解码器无法重组罕见共现的视觉属性，抑或是被表面名词的词嵌入快捷路径（lexical shortcut）锁定了常识外观。

为此，本文围绕中学科学课程级别的客观规律设计了系统性的反事实测试与归因框架。核心 idea：构建覆盖五大科学领域的三层递进式反事实基准 CF-World（事实基线 \(L_1\) \(\rightarrow\) 显式反事实 \(L_2\) \(\rightarrow\) 隐式反事实 \(L_3\)），配合带条件阈值门控的 VLM 自动评测流水线 CF-Eval 及几何均值指标 PRR 与 RRR 量化模型抵抗先验与保持因果推理的能力，并通过规则解耦、属性解耦和去名词化三项机制探针揭示扩散模型与统一多模态模型截然不同的先验纠缠机制。

方法详解¶

整体框架¶

本文提出的评测与诊断体系由数据集构建（CF-World）、多维自动评测流水线（CF-Eval）以及因果与视觉解耦探针三部分组成。给定一条中学水平的客观规律，系统首先通过三层递进反事实提示框架生成同一场景下的三级提示词与核心评估点，驱动待测 T2I 模型生成对应图像；随后由基于视觉语言模型（VLM）的多维条件门控评测流水线对图像质量、核心评估点遵循度与全局逻辑一致性打分，并在通过事实基线门控后计算先验抵抗率（PRR）与推理保持率（RRR）；最后通过正交机制诊断探针进一步分离逻辑规则推演、视觉属性重组与表面词汇先验的独立影响。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["五大学科基础客观规律<br/>物理/生物/化学/地理/社会学"] --> B["三层递进式反事实提示框架<br/>L1事实→L2显式结果→L3隐式推演"]
    B --> C["待测T2I模型生成三级图像<br/>配对专属评估点(Assessment Point)"]
    C --> D["多维条件门控评测流水线 CF-Eval<br/>三维加权打分 + 事实基线门控"]
    D --> E["几何均值鲁棒性指标 PRR 与 RRR<br/>量化抗先验能力与因果推理保持率"]
    E --> F["正交机制诊断探针<br/>规则解耦 + 属性解耦 + 去名词化"]

关键设计¶

1. 三层递进式反事实提示框架：剥离统计记忆、显式抗先验与隐式因果演绎

针对现有推理基准无法区分“检索训练集高频共现记忆”与“真正理解并演绎物理/客观规律”的问题，CF-World 从物理（含经典力学、光学、热力学、天文学、电磁学）、生物、化学、地理和社会学五大学科中精选了中学课程水平的客观规律，避免因生僻专业知识缺失导致误判，并利用 Gemini-3-Pro 结合专家人工精校构建了 1,091 组场景（共 3,273 条提示词）。每组场景严格拆分为三个递进层级：第一层为事实基线（Factual，\(L_1\)），遵循真实世界规律以检验模型的基础生成与概念认知能力；第二层为显式反事实（Explicit Counterfactual，\(L_2\)），改写客观规律并在提示词中直接给出推演后的视觉结果（例如明确指出“在水面张力无穷大的泳池中，人直接站在水面上行走而不下沉”），专门测试模型能否在直接视觉指令下克服根深蒂固的常识先验；第三层为隐式反事实（Implicit Counterfactual，\(L_3\)），只给出被改写的客观规律而不透露视觉结果（例如仅声明“假设水的表面张力无穷大，画一个人在泳池中涉水”），迫使模型自主完成“规律改写 \(\rightarrow\) 物理结果推演 \(\rightarrow\) 反事实视觉渲染”的完整因果链。每条提示词均配有唯一且视觉无歧义的评估点（Assessment Point），从源头排除了开放式风格差异对评测的干扰。

2. 多维条件门控评测流水线 CF-Eval：防止基础生成失败导致的反事实假阳性

如果直接用通用图文对齐指标（如 CLIPScore）评估反事实图像，裁判极易被画面中出现的常规物体名称欺骗，或者将因基础渲染崩溃而碰巧偏离常态的畸变图像误判为反事实成功。为此，CF-Eval 利用 Gemini-3-Pro 为每条提示词动态生成覆盖三个维度的评测问题，并由双 VLM 裁判（Gemini-3-Pro 与经严格对抗提示校准的 Qwen3-VL-235B）在 \(s_i \in [0, 1]\) 连续区间内独立打分：一是视觉完整性（Visual Integrity，权重 \(w_1 \in [1, 3]\)），作为跨风格的基础画质门槛；二是评估点遵循度（Assessment Point，权重 \(w_2 \in [12, 16]\)），高权重严格核验核心主体是否展现目标事实或反事实状态；三是逻辑一致性（Logic Consistency，权重 \(w_3 \in [7, 9]\)），检验周围环境上下文是否与设定的物理或反事实前提自洽。单张图像的基础得分为三维度的加权平均：

\[S = \frac{\sum_{i=1}^{3} (w_i \cdot s_i)}{\sum_{i=1}^{3} w_i}\]

更重要的是，CF-Eval 引入了序列条件阈值门控（Sequential Conditional Thresholding）：只有当同一场景的事实基线得分满足 \(S_{L1} \geq 0.5\) 时，才保留其 \(S_{L2}\) 和 \(S_{L3}\) 得分，否则直接将 \(S_{L2}\) 与 \(S_{L3}\) 置零。这一 \(0.5\) 阈值经过 150 张边界样本的人类盲测标定（在 \(T=0.5\) 时与人类认知判断的准确率达 94.0%、F1 达 0.93），确保模型必须在真正理解基础事实概念的前提下，其反事实得分才被视为有效推理而非随机崩溃。

3. 几何均值鲁棒性指标 PRR 与 RRR：兼顾绝对生成质量与跨层级保持率的无偏度量

在衡量从 \(L_1\) 到 \(L_2\) 以及从 \(L_2\) 到 \(L_3\) 的性能衰减时，若直接采用简单比值（如 \(\mathbb{E}[S_{L2}]/\mathbb{E}[S_{L1}]\)），那些在低层级上得分极低的弱模型反而会因为分母小而获得虚高的保持率。为了同时奖励高绝对性能与低跨层衰减，本文取绝对得分与相对保持比率的几何均值，定义了先验抵抗率（Prior Resistance Rate，PRR）与推理保持率（Reasoning Retention Rate，RRR）：

\[\mathrm{PRR} = \sqrt{\mathbb{E}[S_{L2}] \times \frac{\mathbb{E}[S_{L2}]}{\mathbb{E}[S_{L1}]}} = \frac{\mathbb{E}[S_{L2}]}{\sqrt{\mathbb{E}[S_{L1}]}}, \qquad \mathrm{RRR} = \sqrt{\mathbb{E}[S_{L3}] \times \frac{\mathbb{E}[S_{L3}]}{\mathbb{E}[S_{L2}]}} = \frac{\mathbb{E}[S_{L3}]}{\sqrt{\mathbb{E}[S_{L2}]}}\]

其中，PRR 专门剥离出模型在获得显式视觉描述时打破常识先验锁定的能力，低 PRR 直接反映“先验锁定（prior lock-in）”；RRR 则度量隐去显式视觉结果描述后，模型依靠内在因果推演维持反事实生成的能力。两个指标在形式上高度统一，能够有效惩罚基础得分低下但比值接近 1 的退化情形。

4. 正交机制诊断探针：分离逻辑规则解耦、视觉属性解耦与表面词汇干扰

为了查明模型在 \(L_2\) 和 \(L_3\) 上性能骤降的底层原因，本文设计了三项递进诊断实验：（1）规则解耦（Rule Decoupling）：构建包含 33 条客观规律、198 条提示词（每条规律含 1–2 个事实基线与 4–5 个多维方向扰动的反事实变体，如将重力方向改为向左、向右或向上）的极简抽象符号基准，剥离复杂自然图像渲染负担，单独测试模型对反事实符号规则的执行力；（2）属性解耦（Attribute Decoupling）：从 LC-Mis 中采样 100 对罕见概念组合作为反事实条件，并构造对应的常见共现概念对作为事实基线，在不涉及物理规律推演的前提下测试纯粹的视觉概念重组能力；（3）去名词化探针（De-nominalization）：在 \(L_2\) 提示词中保持反事实规律不变，仅将推演结果中的高频目标名词或属性词替换为等价的视觉描述短语（例如不直接触发高频实体名词的词向量），以此诊断表层词汇快捷键对激活默认视觉先验的干扰程度。

损失函数 / 训练策略¶

本文为纯评测基准与机制诊断研究，不涉及新生成模型的重训练。在评测校准策略上，针对不同 VLM 裁判的打分偏好差异（初步测试发现 Gemini-3-Pro 标准均衡，而 Qwen3-VL-235B 在 \(L_2/L_3\) 反事实场景下存在明显宽容偏置，常对未能体现反事实变化的常规正常物体给出虚高分数），CF-Eval 采用了模型特定提示校准（Model-Specific Prompt Calibration）：对 Gemini-3-Pro 使用标准分析型裁判人设，而对 Qwen3-VL-235B 显式注入“严格对抗性裁判（Strict, Adversarial Judge）”指令以严厉惩罚逻辑不一致与物理规律违背。在 1,000 张代表性生成图像（采样自 FLUX.2-dev 与 Nano Banana Pro）与 3 名专家标注员均值的对齐实验中，VLM 与人类打分差值 \(Score_{\text{VLM}} - Score_{\text{Human}}\) 高度集中在 \([-0.125, 0.125]\) 的极窄区间内。

实验关键数据¶

主实验¶

表 1 展示了 10 个主流开源 T2I 模型（涵盖扩散架构与统一多模态架构）与 4 个顶尖闭源商业模型在 CF-World 基准（1,091 组场景、3,273 条提示词）上的全面评测结果，由 Qwen3-VL-235B 和 Gemini-3-Pro 双裁判独立打分（所有指标均归一化至 \([0, 1]\)）：

模型	类型	Qwen \(L_1\)	Qwen \(L_2\)	Qwen \(L_3\)	Qwen PRR \(\uparrow\)	Qwen RRR \(\uparrow\)	Gemini \(L_1\)	Gemini \(L_2\)	Gemini \(L_3\)	Gemini PRR \(\uparrow\)	Gemini RRR \(\uparrow\)
SANA 1.5	开源 (Diff.)	0.83	0.36	0.23	0.40	0.38	0.75	0.29	0.17	0.33	0.32
Janus-Pro-7B	开源 (Unif.)	0.80	0.29	0.21	0.32	0.39	0.69	0.21	0.11	0.25	0.24
Show-o2	开源 (Unif.)	0.77	0.32	0.20	0.36	0.35	0.66	0.25	0.14	0.31	0.28
Z-image	开源 (Diff.)	0.82	0.38	0.21	0.42	0.34	0.75	0.33	0.16	0.38	0.28
Lumina-DiMOO	开源 (Unif.)	0.76	0.33	0.20	0.38	0.35	0.70	0.29	0.17	0.35	0.32
BAGEL	开源 (Unif.)	0.80	0.29	0.17	0.32	0.32	0.73	0.29	0.15	0.34	0.28
BAGEL-CoT	开源 (Unif.)	0.88	0.43	0.29	0.46	0.44	0.82	0.41	0.26	0.45	0.41
OmniGen2	开源 (Unif.)	0.76	0.32	0.19	0.37	0.34	0.70	0.29	0.18	0.35	0.33
FLUX.2-dev	开源 (Diff.)	0.81	0.42	0.26	0.47	0.40	0.83	0.48	0.28	0.53	0.40
Qwen-Image	开源 (Diff.)	0.84	0.35	0.24	0.38	0.41	0.80	0.37	0.23	0.41	0.38
Nano Banana	闭源	0.93	0.64	0.55	0.66	0.69	0.88	0.64	0.52	0.68	0.65
Nano Banana Pro	闭源	0.95	0.67	0.58	0.69	0.71	0.93	0.76	0.67	0.79	0.77
GPT-Image-1.5	闭源	0.92	0.66	0.49	0.69	0.60	0.91	0.73	0.55	0.77	0.64
Seedream 5.0	闭源	0.91	0.63	0.50	0.66	0.63	0.89	0.72	0.61	0.76	0.72

消融实验¶

为深入剖析模型在反事实任务上崩溃的机制根源并验证评测门控的有效性，本文在表 2 中报告了三大机制解耦实验（规则解耦、属性解耦、\(L_2\) 去名词化），并在表 3 中给出了事实基线阈值 \(T\) 的人工标定消融结果：

表 2：三大机制解耦探针实验结果（Diff. 为扩散模型，Unif. 为统一多模态模型）

模型	架构类型	规则解耦 (Fact.)	规则解耦 (CF)	属性解耦 (Fact.)	属性解耦 (CF)	去名词化前 (\(L_2\))	去名词化后 (De-norm)	去名词化增益
SANA 1.5	Diff.	0.31	0.30	0.94	0.83	0.36	0.37	+0.01
Janus-Pro-7B	Unif.	0.19	0.07	0.97	0.83	0.29	0.30	+0.01
Show-o2	Unif.	0.39	0.37	0.92	0.80	0.32	0.37	+0.05
Z-image	Diff.	0.61	0.53	0.98	0.89	0.38	0.43	+0.05
Lumina-DiMOO	Unif.	0.38	0.34	0.97	0.82	0.33	0.35	+0.02
BAGEL	Unif.	0.29	0.22	0.98	0.83	0.29	0.31	+0.02
BAGEL-CoT	Unif.	0.38	0.32	0.97	0.90	0.43	0.44	+0.01
OmniGen2	Unif.	0.33	0.25	0.96	0.81	0.32	0.35	+0.03
FLUX.2-dev	Diff.	0.53	0.52	0.99	0.90	0.42	0.51	+0.09
Qwen-Image	Diff.	0.40	0.40	0.97	0.86	0.35	0.37	+0.02

表 3：CF-Eval 事实基线门控阈值 \(T\) 的人类判断对齐消融（150 张边界样本）

门控阈值 \(T\)	与人类判断一致率 (Accuracy)	F1-Score	行为特征说明
\(T = 0.3\)	74.2%	0.71	阈值过低，将主体畸变图像纳入反事实计分（引入假阳性）
\(T = 0.4\)	82.5%	0.80	仍包含部分核心主体语义失真的边缘样本
\(T = 0.5\)	94.0%	0.93	人类认知识别的最优分界点，CF-Eval 最终采用值
\(T = 0.6\)	86.1%	0.84	阈值偏严，开始误杀核心主体可辨识的有效样本
\(T = 0.7\)	78.3%	0.75	阈值过高，大量合格事实样本被置零（引入假阴性）

关键发现¶

普遍且剧烈的“先验锁定”效应，强基线反而可能更顽固：所有模型从 \(L_1\) 到 \(L_2\) 均出现断崖式下跌，开源模型的 PRR 普遍低于 0.50（Gemini 裁判下仅 FLUX.2-dev 达到 0.53）。更反直觉的是，\(L_1\) 基础能力极强的 Qwen-Image（Qwen 裁判下 \(L_1=0.84\)），其 \(L_2\) 仅 0.35（\(\mathrm{PRR}=0.38\)），反而低于 \(L_1=0.81\) 的 FLUX.2-dev（\(L_2=0.42, \mathrm{PRR}=0.47\)）和 \(L_1=0.82\) 的 Z-image（\(L_2=0.38, \mathrm{PRR}=0.42\)），证明过度拟合海量图文共现分布会加深视觉表征与现实先验的耦合。
文本侧思维链（CoT）受制于跨模态表征鸿沟：对比 BAGEL 与 BAGEL-CoT，引入显式文本推理确实将 \(L_2\) 从 0.29 提升至 0.43、\(L_3\) 从 0.17 提升至 0.29（Qwen 裁判），但 \(L_3\) 绝对水平依然很低。这说明尽管离散的自然语言空间可以通过 CoT 推演出正确的反事实状态，但连续的视觉扩散去噪空间依然处于高度纠缠状态，难以忠实执行文本端推导出的逻辑结论。
规则解耦与属性解耦的严重非对称性（Asymmetric Decoupling）：表 2 显示所有模型在属性解耦任务上事实基线均超 0.92，反事实罕见概念组合仍能保持 0.80–0.90 的高分（保留了 81% 以上的事实性能）；然而在极简符号的规则解耦任务上，事实基线最高仅 0.61（Z-image），反事实规则执行更是低至 0.07–0.53。这有力证明当前 T2I 模型真正致命的短板不是底层视觉属性的插值重组，而是高层生成规则的抽象与操纵。
扩散模型与统一多模态模型呈现两种截然不同的纠缠机制（Two Regimes of Entanglement）：去名词化探针中，拥有大规模文本编码器的扩散模型 FLUX.2-dev 获得了 \(+0.09\) 的显著提升（\(0.42 \rightarrow 0.51\)），Z-image 也提升了 \(+0.05\)，说明扩散模型主要受困于绑定在表层词向量上的“浅层词汇纠缠（shallow lexical entanglement）”，通过描述性改写即可部分绕开；而统一多模态模型（如 Janus-Pro-7B \(+0.01\)、BAGEL-CoT \(+0.01\)、Lumina-DiMOO \(+0.02\)）几乎没有收益，表明其先验锁定发生在共享表征空间的“深层语义纠缠（deep semantic entanglement）”，仅靠提示词改写无法奏效。

亮点与洞察¶

“归纳主义火鸡”隐喻与三层递进消融设计极具洞察力：论文没有停留在“模型画不出反常画面”的表面现象，而是巧妙利用 \(L_1\)（事实）、\(L_2\)（给定律+给结果）、\(L_3\)（只给定律+自己推结果）的三级阶梯，把“视觉先验抗拒”（\(L_1 \rightarrow L_2\)）与“因果逻辑推演缺失”（\(L_2 \rightarrow L_3\)）干净地正交拆开，让每个阶段的掉点都有明确的认知归因。
几何均值指标 \(\mathbb{E}[S_{L2}]/\sqrt{\mathbb{E}[S_{L1}]}\) 解决了跨层级评测的分母悖论：在设计递进式难度基准时，直接算保持率比值会让基础分极差的模型占便宜，只看绝对分又无法体现衰减幅度。本文将“绝对得分”与“相对保持率”取几何平均得到 PRR 和 RRR，公式极其简洁且数学物理意义清晰，这一指标构造方法可直接迁移到多跳问答、长程 Agent 规划或复杂指令编辑等任何具有递进依赖关系的基准设计中。
通过“去名词化”探针精准区分浅层词汇快捷路径与深层语义纠缠：将结果中的核心名词替换为等价视觉描述这一轻量级探针，不仅验证了名词触发默认视觉先验的假说，还意外揭示了扩散模型（文本编码器与视觉解耦，易受词汇表面触发）与原生统一多模态模型（共享表示空间深层绑定）在表征缺陷上的本质差异，为两类架构指明了完全不同的改进方向（提示/编码器级干预 vs 表征级物理接地）。

局限与展望¶

纯诊断性质，尚未给出算法级解耦方案：正如作者在结论中所坦承，本文工作本质上是诊断性的基准与机制剖析，并未提出一种能够在训练或推理阶段直接解除概念与规则纠缠的生成算法。
符号规则解耦探针在事实基线上得分偏低：在 5.1 节的抽象符号规则解耦实验中，绝大部分模型即便在事实基线（Fact.）上得分也不足 0.40（例如 Janus-Pro-7B 仅 0.19、BAGEL 仅 0.29），这说明 T2I 模型对抽象几何/符号类画面的生成能力本身较弱，可能在一定程度上混杂了领域分布外（OOD）渲染困难与规则执行困难。
未来可探索显式物理模拟器耦合或因果干预微调：既然实验证明纯文本 CoT（如 BAGEL-CoT）因跨模态鸿沟难以驱动视觉去噪网络执行反事实结果，未来研究可以在扩散模型的交叉注意力层直接实施去名词化特征重加权，或在统一多模态模型的共享隐空间中引入反事实对比配对数据（同一场景在多维规律扰动下的渲染图）进行因果干预微调。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将 Pearl 因果阶梯转化为 \(L_1/L_2/L_3\) 三级渐进反事实测试，并结合规则解耦、属性解耦与去名词化探针给出了深刻的机制解释。
实验充分度: ⭐⭐⭐⭐⭐ 评测涵盖 14 个代表性开源与闭源模型、双强 VLM 裁判交叉验证、1,000 张样本的人类一致性检验及三组正交机制消融实验。
写作质量: ⭐⭐⭐⭐⭐ 从“归纳主义火鸡”的哲学引子到问题定义、指标推导再到“两种纠缠机制”的讨论层层递进，逻辑极其严密且可读性极佳。
价值: ⭐⭐⭐⭐⭐ 不仅提供了高质量的反事实因果评测基准 CF-World，更打破了“大模型已具备物理世界因果理解”的幻觉，对下一代多模态生成架构设计具有重要指导意义。