TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows¶

会议: NeurIPS 2026
arXiv: 2610.02959
OpenReview: https://openreview.net/forum?id=GFzKiLhgHV
代码: https://github.com/ShyFoo/TerraVis
领域: 图像生成
关键词: 文本到图像生成、世界扎根视觉一致性、多模态大模型工作流、评估基准、物理与结构合理性

一句话总结¶

针对文生图模型生成看似高度逼真却违背现实常识与物理规律的问题，本文提出了评估「世界扎根视觉一致性」的 TerraVis 框架，构建涵盖物体、交互与场景三级的 18 类违规分类法，通过 MLLM 资格检验、违规检测、严重度分级与指数惩罚聚合工作流，实现了与人类物理真实性判断的高度对齐。

研究背景与动机¶

近年来文生图（Text-to-Image, T2I）技术发展迅猛，无论是基于扩散模型、自回归架构还是混合架构的前沿模型，在图像美学感知（Aesthetics）、技术保真度（Photorealism）以及文本-图像对齐（Text-Image Alignment）方面均取得了令人瞩目的进展。伴随模型演进而形成的评估体系——涵盖 FID/KID、CLIPScore/TIFA/VQAScore、以及基于人类偏好的 ImageReward/PickScore/HPSv3 等，为生成模型的优化迭代提供了关键牵引。

然而，现有评估指标存在一个显著的认知盲区：它们无法直接判断生成的图像是否符合客观现实世界的物理与结构约束。具体而言，一幅在 CLIPScore 上获得高分、画面色彩构图极度讨喜的图像，完全可能包含融化的非刚性几何结构、六指解剖畸变、猫被反常嵌入鞋底悬空、或是物体缺乏重力支撑与反光倒影等严重的现实违例现象。这种违背真实世界合理性的暗病，严重阻碍了生成模型在科研、工程、医疗与现实仿真等高置信度场景中的可靠落地。现有指标之所以无法捕捉这一问题，是因为它们要么度量特征分布统计相似性，要么只核验文本概念是否出现，未显式建模「现实世界合理性」这一正交维度。

针对这一缺失，本文明确形式化了「世界扎根视觉一致性」（World-Grounded Visual Consistency，简称世界一致性）这一互补评估维度，关注微观与宏观实体在结构、空间、生物与物理常识上的可察觉违规。核心 idea：将世界一致性评估分解为物体、交互与场景三层递进的 18 类违例分类体系，并利用 MLLM 执行「资格审查 → 违规定位 → 语义核心度分级 → 指数非线性惩罚」的模块化工作流，从而精确捕捉并量化文生图结果中的现实世界不一致性。

方法详解¶

整体框架¶

TerraVis 旨在对单幅输入图像进行无需文本提示词绑定的、独立的物理与世界合理性量化评估。整个评估系统不采用直接要求 MLLM 给出粗粒度打分的黑盒方式，而是模拟人类专家审阅流程，将其解耦为四步确定性工作流：输入图像首先经过「资格审查」排除纯抽象、图表、UI 等不可应用宏观物理约束的内容；随后在「违规检测」阶段并行执行针对 18 种细粒度违例类别的目标性视觉问答（VQA）；检测到的违规条目进入「严重度分级」，依据其受影响部位是否为画面核心主体区分为主要违规与次要违规；最后在「分数聚合」阶段采用负指数衰减函数对违规进行惩罚映射，输出范围在 $(0, 1]$ 内的世界一致性得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入待测生成图像"] --> B["资格审查：宏观真实世界实体判断"]
    B -->|非宏观实体/图表UI/抽象图案| C["返回 N/A 排除评估"]
    B -->|符合评估范围| D["分层违规检测：18类细粒度 VQA"]
    D --> E["严重度分级：主体与核心语义判定"]
    E --> F["非线性指数惩罚聚合"]
    F --> G["输出连续世界一致性得分 S ∈ (0, 1]"]

关键设计¶

1. 资格审查与分层违规分类体系：排除无约束图像并建立全维度违例覆盖 为避免在不适用真实物理规律的图像（如纯几何抽象图、UI界面截图、信息图表、纯符号logo及微观切片）上产生误判，TerraVis 首先进行输入合法性校验。对于通过校验的宏观写实或具象风格化图像，框架构建了三层递进结构的 18 类违规分类法（Taxonomy）。 - 物体级（Object-level，7类）：关注独立实体的本质合理性。包含物体身份违例（如现实场景中凭空出现虚构生物或物种特征拼接）、结构扭曲（熔化、几何残缺）、生物解剖学违规（异常手指多肢、视线不兼容）、非生物结构违规（自行车轮轴分离、车辆零件错位）、材质表面违例（人体皮肤呈现石质木纹）、符号文本内容畸变（破损混乱不可读的文字标识）以及物体-场景常识冲突（如办公室伏案工作的狗）。 - 交互级（Interaction-level，8类）：关注实体间动力学与物理现象接触。涵盖接触状态异常（刚体相互穿透 interpenetration）、支撑与平衡稳定性失效（缺乏支撑的反常悬浮、悬崖边缘违背摩擦力的稳定）、受力动态响应缺失（汽车涉水无飞溅水花）、介质交互失真（浮力/吃水线错误）、光学效应违例（阴影投射方向矛盾、镜面反射内容不一致）、能量源缺失（灯泡无电源无灯丝自发强光）、热响应违例（红热平底锅上的冰块不融化）以及行为-事件失配（击球瞬间视线严重脱离网球）。 - 场景级（Scene-level，3类）：关注全局空间的视角与拓扑自洽。包括相对尺度失真（因透视混乱导致远处骑手体量与近景汽车等大）、深度遮挡顺序颠倒（前后物体交叠处肢体反常断裂或重复透视）以及区域连续性断裂（空间出现无物理遮挡的光照硬断裂拼缝）。

2. 目标化原子视觉问答驱动的违规检测与严重度解耦分级 若直接让 MLLM 根据概念标签判断图像是否违例，模型易受先入为主的抽象标签语义干扰，导致幻觉或召回极低。TerraVis 将每一种违例定义转换为高度具体的具象化视觉反思问答（Visual Question Answering）。例如在检测「接触状态」时，Prompt 具体询问：“是否有任意两个物体发生非物理穿透或交叉贯通？”在检测「能量源」时具体询问：“画面中是否存在缺乏可见物理能量供给的异常发光与发热？”这种原子化探针约束了输出空间，要求 MLLM 必须列出受影响的对象及可见视觉证据（Visible Evidence）。当违规集合 $\mathcal{V}_{\text{det}}$ 非空时，流程启动第二步语义核心度分类：若违规部位位于画面的前景主要主体、主要行动承载者或视觉聚焦点，归类为主要违例（Major Violation, $N_{\text{maj}}$）；若违例仅出现在背景微小边缘或次要附着物上，则归类为次要违例（Minor Violation, $N_{\text{min}}$）。这种解耦使模型能够区分毁灭性硬伤与轻微瑕疵。

3. 边际递减的负指数惩罚评分机制：避免线性截断并强化高分分辨力 在最终得分量化中，传统 QA 类评估方法（如 TIFA、DSG）多采用均匀通过率（Uniform Pass-rate），将各项违规等权线性扣减：$S = 1 - (N_{\text{maj}} + N_{\text{min}})/M$。然而人类对物理一致性的感知是非线性的：图像一旦出现一处显著的荒谬物理错误（如人物长了三只手臂），整幅图像的可用性与真实感便呈断崖式下跌；而在已经存在多处明显畸变的画面上，继续叠加细微瑕疵带来的额外心理厌恶是边际递减的。为此，TerraVis 采用带权重调节的负指数衰减函数： $$S = \exp\left[ -\lambda \left( N_{\text{maj}} + \alpha N_{\text{min}} \right) \right]$$ 其中 $\lambda > 0$ 为总体惩罚强度超参数（默认设定 $\lambda = 1.0$），$\alpha \in [0, 1]$ 为次要违规相较于主要违规的权重折损因子（默认设定 $\alpha = 0.5$）。当画面完全无违规时（$N_{\text{maj}} = N_{\text{min}} = 0$），得分严格为 $S = 1.0$；首个主要违规将导致得分骤降至 $e^{-1} \approx 0.368$。该机制有效解决了高表现图像之间的得分压缩问题，同时如实刻画了人类对严重现实违例的零容忍容错心理。

实验关键数据¶

主实验¶

评估在涵盖日常写实与多主体组合的 COCO-T2I（200 prompts）和 GenAI-Bench（1,600 prompts）上开展，横跨 SD 3.5-Large、Qwen-Image、FLUX.2-dev 三款开源模型及 GPT Image 1.5、Nano Banana Pro 两款闭源前沿模型。通过 Amazon Mechanical Turk 收集超 13,500 条人类标注作为基准，计算 Spearman 秩相关系数 $\rho$ 与 Kendall $\tau$。

表1：各评估指标与人类世界一致性判断的相关性对比（汇总池化与基线比较）

指标类型	评估指标	判定依据/模型	COCO-T2I Pooled ($\rho \uparrow / \tau \uparrow$)	GenAI-Bench Pooled ($\rho \uparrow / \tau \uparrow$)
图像技术质量	MUSIQ	KonIQ ViT	0.12 / 0.09	-0.02 / -0.02
美学评分	LAION-Aes	SigLIP + MLP	0.21 / 0.15	0.02 / 0.01
文本-图像对齐	CLIPScore	SigLIP2	0.06 / 0.04	-0.16 / -0.11
文本-图像对齐	TIFA	Gemma 4 31B	0.16 / 0.13	0.06 / 0.05
文本-图像对齐	VQAScore	Qwen-3.5	0.26 / 0.19	0.12 / 0.08
人类偏好评分	ImageReward	BLIP + MLP	0.18 / 0.12	-0.08 / -0.06
人类偏好评分	RAHF	ViT-L + T5	0.29 / 0.21	0.37 / 0.27
人类偏好评分	HPSv3	Qwen2-VL 7B	0.28 / 0.20	0.10 / 0.07
整体MLLM打分	GPTScore	GPT-5.5 (1-5 Direct)	– / – (常数退化)	0.03 / 0.03
世界一致性整体基线	TerraVis-H	GPT-5.5 (单Prompt全分类)	0.28 / 0.24	0.28 / 0.23
世界一致性工作流	TerraVis (Ours)	GPT-5.5 Workflow	0.44 / 0.37	0.43 / 0.35

注：在单模型细分上，TerraVis 在 Qwen-Image (COCO-T2I $\rho=0.55$) 及 FLUX.2-dev (GenAI-Bench $\rho=0.48$) 上达到最高对齐水平；而 GPTScore 由于给绝大多数生成图像盲目打出 4 或 5 分，在 COCO-T2I 上产生常数预测无法计算秩相关。

消融实验¶

消融实验深入剖析了评估层级的覆盖必要性、各违规类别的贡献度、以及不同聚合规则对评估精度的影响。

表2：评估层级消融与聚合规则对比（全集与留一法 LOO）

消融维度	配置 / 规则	类别数	独立相关性 ($\rho$)	留一变化 ($\Delta \rho$)	Pearson $r$	Spearman $\rho$	Kendall $\tau$
评估层级	仅物体级 (Object Only)	7	0.384	-0.149	–	–	–
	仅交互级 (Interaction Only)	8	0.253	-0.033	–	–	–
	仅场景级 (Scene Only)	3	0.174	-0.016	–	–	–
	完整层级 (Full 18 Types)	18	0.428	–	–	–	–
聚合规则	均匀通过率 (Uniform pass-rate)	18	–	–	0.3634	0.4264	0.3471
	均匀指数惩罚 (Uniform exp.)	18	–	–	0.4212	0.4264	0.3471
	严重度加权通过率 (Severity pass-rate)	18	–	–	0.3630	0.4281	0.3477
	TerraVis 加权指数惩罚 (Ours)	18	–	–	0.4229	0.4281	0.3477

关键发现¶

现有指标对物理常识盲视甚至反向对齐：在包含大量负向提示与非现实概念碰撞的 GenAI-Bench 上，CLIPScore ($\rho = -0.16$) 与 ImageReward ($\rho = -0.08$) 均呈现显著负相关。很多提示词要求渲染魔幻超现实事物（如“古籍在空中漂浮的地下图书馆”），模型在图文对齐和美学偏好上得分极高，但在物理真实性上存在重大违背。
工作流解耦显著提升违例检出召回率：单 Prompt 的全貌基线 TerraVis-H 呈现保守检测（COCO-T2I 召回率仅 15.4%），大量人类可察觉错误被漏检；而 TerraVis 多阶段工作流将召回率大幅拉升至 51.9%（提升达 3.37 倍），查准率保持在 75.8% 的高位。
物体级违规占主导，但交互与场景级不可或缺：在各类模型中，物体级违规占检测总量的 50%~72%，其中「结构扭曲」和「物体身份」是模型间分化最剧烈的两项；但去除交互级与场景级检测后，模型与人类的相关性分别下降 0.033 与 0.016，证明复合物理效应同样构成了不可忽视的失真来源。
开源评测主干的强健泛用性：将评测基座从商业闭源 GPT-5.5 替换为开源 Gemma 4 31B 时，在 GenAI-Bench 上相关性甚至达到 $\rho=0.51 / \tau=0.38$，超越 GPT-5.5，二者在模型排序上的 Kendall $\tau$ 高达 0.80，表明评估流程具备低成本平替落地可行性。

亮点与洞察¶

提出独立正交评估维度：清晰界定了世界扎根视觉一致性与照片保真度（Photorealism）、图文对齐（Alignment）及美学（Aesthetics）的边界，明确指出视觉华丽与概念匹配不等于物理可行。
具象化提问规避 MLLM 抽象幻觉：将抽象的概念违例映射为 18 个包含具体视觉反思引导词的原子 VQA 探针，强迫模型输出可溯源的视觉证据，实现了可解释的自动化判定。
契合人类认知的指数衰减打分法：摒弃传统二值打勾清单均摊扣分模式，利用负指数非线性映射刻画了严重物理硬伤对可用性的破坏性冲击。

局限与展望¶

推理开销与并发延迟较高：相较于单遍前向网络（如 RAHF 吞吐量 43.06 张/秒），TerraVis 依赖多阶段 VQA 串行调用，单图平均耗时约 1.17 秒（在 NVIDIA H100 上吞吐量 0.855 张/秒），约为单遍指标的 50 倍，大规模在线实时评估面临成本瓶颈。
极端密集与微小结构检出存在漏网与误报：定性分析表明，在多主体严重拥挤交叠的复杂场景中，MLLM 仍偶发微小肢体畸变漏检；此外对风格化作品中的合理夸张有时会产生误判。
未来方向：作者指出可通过少样本上下文示例（In-Context Learning）与针对性偏好微调构建专用的轻量级单阶段物理一致性判别模型，以在保留结构化解耦精度的同时大幅提升评测吞吐效率。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化了文本生成图像中正交于美学与对齐的「世界扎根一致性」维度，并构建了严密的 18 类违规分层体系。
实验充分度: ⭐⭐⭐⭐⭐ 采集 1.35 万条高质量人类标注，跨越 5 款主流前沿模型与 2 大知名基准，涵盖完备的层级消融、超参敏感性分析与多评测主干泛化验证。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式机制与动机逻辑严谨，案例研究正反论证深入，附录详实透明。
价值: ⭐⭐⭐⭐⭐ 为解决前沿文生图模型中“看似逼真实则反常识”的深层生成安全与可靠性瓶颈提供了极其关键的标准与评测工具。