TailOR: Trimming the Long-Tail of Visual World Modeling Evaluation¶

会议: NeurIPS 2026
arXiv: 2606.24256
OpenReview: https://openreview.net/forum?id=QXhOfEEBll
论文: https://arxiv.org/abs/2606.24256
领域: 其他
关键词: 视觉世界模型、长尾物理交互、可及性推理、反事实评估、具身物理约束

一句话总结¶

TailOR 构建了一个包含常规、非常规与不可能三类工具使用场景及预测/描述双轨设定的诊断性基准，系统揭示了当前前沿图像与视频生成模型在长尾物理交互中因依赖统计共现而引发的可及性理解崩溃与时空因果不一致问题。

研究背景与动机¶

近年来，以自回归 Transformer 和扩散模型（如 Sora-2、Veo-3、GPT-Image-1、Nano-Banana-2）为代表的视觉生成模型取得了令人瞩目的逼真度，被广泛期待作为能够模拟真实物理世界的隐式“世界模型”。在现有的评估基准（如 MMGR、PhyWorldBench、VideoPhy）中，先进视频生成模型展现出了极高的物理准确率与视觉逼真度。然而，现存的大多数评测范式本质上都运行在训练分布的“头部场景”（Head Scenarios）之中——物体始终以最符合日常习惯的常规方式互动，工具始终被用于预设的标准用途（例如使用菜刀切面包、铁锤砸钉子）。在这些高频交互模板下，模型究竟是真正内化了底层物理动力学规律，还是仅仅通过记忆视觉共现规律进行表面模式匹配，在宏观评测中是无法区分的。

真实世界的物理法则具有普适性与组合性，而现实生活中的物理交互却天然呈现长尾分布。除了高频的标准工具使用外，人类能够自如地利用物体属性进行即兴替代与因果推理：例如用硬币边缘传递扭矩来拧松平头螺丝、用硬壳精装书充当临时重物敲碎核桃，或者明确意识到柔软的海绵绝不可能切开坚硬的胡萝卜。这类长尾场景对物理世界建模提出了根本性的认知要求：模型不能依赖记忆中的“工具-动作”语义标签，而必须深入到物体几何、刚度、强度与接触力学等功能属性（Affordance）层面进行反事实因果推理。现有基准普遍缺乏对属性级反事实物理交互的隔离评测，使得生成模型看似掌握物理规律的表象掩盖了其脆弱的推理性。

为此，探究视觉生成模型究竟是“内化了物理规则”还是“浅层记忆共现模板”构成了学术界亟待攻克的关键命题。本文的切入点是将物理工具使用严格形式化为目标约束、功能属性与代换相容性的因果空间，通过系统化构建反常识但物理可行的非常规交互以及违反约束的不可能交互，全面切开模型的物理泛化边界。核心 idea：构建包含常规、非常规与不可能三级渐进场景及“预测-描述”双轨设定的长尾物理交互评测基准 TailOR，通过基于物体可及性与反事实属性的细粒度验证清单，系统诊断世界模型在脱离头部共现分布时的真实物理因果模拟与属性推理能力。

方法详解¶

整体框架¶

TailOR 将物理交互实例形式化为五元组 \(x = (g, r, \mathcal{A}, \mathcal{U}, \mathcal{I})\)，其中 \(g\) 为任务目标（如“撬开罐头盖”），\(r\) 为常规工具（如“起子”），\(\mathcal{A}\) 为完成该任务所必需的核心功能属性集合（如刚性结构、楔形边缘、杠杆力矩传递），\(\mathcal{U}\) 为非常规但具备相容属性的替代工具集合（如硬币、金属钥匙），\(\mathcal{I}\) 为属性冲突导致物理上不可能成功的工具集合（如塑料吸管、软海绵）。评测系统以此三级场景模式为横坐标，以“预测型生成”（Predictive Generation，隐式推断最终状态）和“描述型生成”（Descriptive Generation，显式指令受控模拟）为纵坐标，全面考察图像与视频世界模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["底层本体与任务定义<br/>HICO-DET 动作库 + ConceptNet 属性图"] --> B["三级递进场景模式<br/>常规 / 非常规 / 不可能工具"]
    B --> C["双轨评测设定构建<br/>预测型推断 + 描述型受控生成"]
    C --> D["世界模型跨模态模拟<br/>图像空间最终态 + 视频时空动态"]
    D --> E["细粒度核验规则引擎<br/>指令遵循与交互准确度清单 + 物理评分"]

关键设计¶

1. 三级递进场景模式：从模式复现到可及性泛化与反事实物理约束

常规评测往往将物理常识混同于视觉熟悉度。TailOR 将交互解耦为三种逐级递进的测试条件： - 常规场景（Regular Scenarios）：提供基准工具 \(r \in \mathcal{A}\)，直接测试模型在训练集高频分布下的物理模式再现能力； - 非常规场景（Unconventional Scenarios）：选用工具 \(u \in \mathcal{U}\)，虽非典型选择但具备完成任务所需的几何刚度与机械属性。此模式强迫模型脱离表面物体标签记忆，检验其是否具备属性级可及性迁移与隐式功能泛化能力； - 不可能场景（Impossible Scenarios）：选用工具 \(i \in \mathcal{I}\)，其至少违背一项核心物理必要属性（如用柔软布料敲钉子）。模型在此场景下必须严格遵守物理约束、如实呈现失败状态或无法产生预期形变，从而检验模型是否具备对刚性约束与失败模式的反事实认知。

2. 预测型与描述型双轨评测设定：解耦隐式物理因果推理与显式条件模拟

生成式世界模型的失败可能来自两类截然不同的能力短板：一是无法仅根据初始条件预判物理结果（因果推断缺失），二是即使给定明确的目标状态描述也无法合成物理上连贯的演化过程（受控模拟与一致性失效）。TailOR 设计了互补的双轨提示机制： - 预测型生成（Predictive Generation）：Prompt 仅提供初始工具、操作目标与交互对象（例如：“如果用精装书砸核桃会发生什么？请生成符合现实的最终状态”），完全不透露成功或失败结局。模型必须调动内部表征自主决定物理走向； - 描述型生成（Descriptive Generation）：Prompt 明确规定物理终态或关键动态过程（对于常规/非常规工具指定成功达成状态；对于不可能工具指定形变失败状态，例如“书本压在坚硬核桃上但核桃完好无损”）。该设定消除了结局歧义，专门探测模型在强条件引导下能否压制固有共现偏置并保持接触力学自洽。

3. 属性反转与细粒度核验规则引擎：结构化 Checklist 与 VLM-as-a-Judge 评估

为了摆脱传统视觉评估中 CLIP 分数或单一视觉逼真度打分的粗粒度局限，TailOR 提出了结构化、可解释的评估协议。数据生成端依托 GPT-5 基于 HICO-DET 动词库与 ConceptNet 物体-属性图构建，再经过两轮严格的人工物理一致性清洗（9 名具备计算机视觉与物理背景的专业标注员，Inter-Annotator Agreement \(\alpha = 0.72\)）。评估端构建了细粒度的 Checklist 题目体系，分为四大正交维度： - 指令遵循（Instruction Adherence, IA, 0–100%）：细分为实体完整性（Entity Completeness）、属性保真度（Attribute Fidelity）与场景空间有效性（Scene Validity）； - 交互准确度（Interaction Accuracy, IntAcc, 0–100%）：细分为状态变化正确性（State Change Correctness）、可及性落地（Affordance Grounding）以及针对视频的运动合理性（Motion Plausibility）； - 物理真实度（Physical Realism, 0–5）：重点评分重力、接触力学、材料形变与时空因果连续性； - 感知质量（Perceptual Quality, 0–5）：衡量渲染清晰度、结构失真与视频跨帧身份一致性。自动评测采用 Gemini-2.5-Pro 作为评审模型，在评测前要求先生成思维链逻辑推理，其实验排名与人类标注相关系数达到 \(\rho = 0.68\)。

一个完整示例¶

以动作“拧紧螺丝（tighten a loose screw）”为例： 1. 任务与属性：目标 \(g=\) 紧固平头螺丝，常规工具 \(r=\) 螺丝刀，所需功能属性 \(\mathcal{A}=\{\) 坚硬扁平尖端、高剪切刚度、扭矩传导能力 \(\}\)； 2. 场景分流：非常规替代工具 \(u=\) 扁平金属硬币（具备边缘刚度与宽度契合度）；不可能工具 \(i=\) 橡胶刮刀（材质柔软易弯折，无法承受切向剪切力）； 3. Prompt 派发： - 预测型 Prompt：“请生成一张真实图像，展示用硬币尝试拧紧木板上凸起平头螺丝后的最终状态”； - 描述型 Prompt：“请生成一张真实图像，展示硬币边缘精准契合螺丝凹槽，螺丝已被完全顺时针旋入木板齐平位置的最终状态”； 4. 模型响应诊断：缺陷模型在预测型下常生成硬币被压扁在螺丝旁但螺丝纹丝未动的荒谬静态，或在描述型下强行将硬币“幻化变形”为类似螺丝刀把柄的嵌合体，从而暴露其缺乏真正的接触力矩建模。

实验关键数据¶

主实验¶

TailOR 在 8 款主流前沿模型上进行了全面测评，涵盖 4 款图像模型（Z-Image、Qwen-Image、GPT-Image-1、Nano-Banana-2）与 4 款视频生成模型（HunyuanVideo-1.5、Wan-2.2、Sora-2、Veo-3.1）。基准总计包含 80 个物理任务、400 个工具配置与 1,600 个生成 Prompt。下表汇总了核心模型在预测型生成设定（Predictive Generation）下的自动与人工评测得分（A/H）：

模型	常规场景 (IA / IntAcc / 物理 / 感知)	非常规场景 (IA / IntAcc / 物理 / 感知)	不可能场景 (IA / IntAcc / 物理 / 感知)
图像生成模型
Z-Image	52% / 44% / 2.5 / 2.4	33% / 29% / 1.7 / 2.2	26% / 21% / 1.5 / 1.9
Qwen-Image	63% / 60% / 3.3 / 3.8	41% / 37% / 2.2 / 2.4	36% / 33% / 1.9 / 2.4
GPT-Image-1	67% / 63% / 3.4 / 3.7	44% / 41% / 2.7 / 2.8	40% / 36% / 2.5 / 2.7
Nano-Banana-2	69% / 65% / 3.6 / 3.8	46% / 43% / 2.8 / 3.0	42% / 38% / 2.6 / 2.8
视频生成模型
HunyuanVideo-1.5	48% / 45% / 2.4 / 2.8	31% / 23% / 1.6 / 2.1	18% / 22% / 1.5 / 1.6
Wan-2.2	44% / 49% / 2.0 / 3.0	29% / 25% / 1.8 / 2.5	23% / 17% / 1.3 / 2.2
Veo-3.1	64% / 61% / 2.9 / 3.3	42% / 48% / 2.2 / 2.2	37% / 34% / 2.1 / 2.2
Sora-2	66% / 63% / 3.1 / 3.4	44% / 40% / 2.3 / 2.7	39% / 36% / 2.2 / 2.5

(注：表中数据取自论文 Table 2 自动评测得分，格式对应 IA / IntAcc / Physical Realism / Perceptual Quality)

消融与设定敏感性实验¶

论文针对预测型（Predictive）与描述型（Descriptive）生成设定进行了深度对比消融。下表展示了代表性模型在两种设定下的交互准确度（IntAcc）对比，揭示了显式目标约束对不同模态的影响：

评估设定	模型类别与代表模型	常规场景 (IntAcc)	非常规场景 (IntAcc)	不可能场景 (IntAcc)
预测型 (Predictive)	图像最佳: Nano-Banana-2	65%	43%	38%
	视频最佳: Sora-2	63%	40%	36%
	开源视频: Wan-2.2	49%	25%	17%
描述型 (Descriptive)	图像最佳: Nano-Banana-2	70% (+5%)	46% (+3%)	43% (+5%)
	视频最佳: Sora-2	64% (+1%)	38% (-2%)	37% (+1%)
	开源视频: Wan-2.2	46% (-3%)	24% (-1%)	23% (+6%)

关键发现¶

长尾物理鸿沟（Long-Tail Gap）显著存在：所有测试模型均表现出极其陡峭的性能下滑。从常规到非常规场景，交互准确度（IntAcc）平均跌落 20%–25%，物理真实度评级跌幅超 30%。这证明当前世界模型的高分主要来源于训练数据的语义共现记忆，而非真正的力学因果建模。
视频生成模型的时空时序脆弱性远甚于图像模型：视频模型不仅各项得分全面落后于图像模型，而且在非常规交互中面临严重的时序滚雪球错误（Cascading Errors）。视频模型在接触瞬间往往无法维持刚体约束，常出现工具突然变软、穿模悬浮、或无力学做功过程却突发终态形变的严重物理穿帮。
描述型提示无法有效救赎视频模型的物理偏见：对于图像模型，描述型提示能借助语义绑定提升实体完整性与场景构图；然而对于视频模型，详尽的描述甚至会导致非常规场景下的 IntAcc 不升反降（如 Sora-2 从 40% 降至 38%）。当 Prompt 要求模型生成非常规工具的成功交互时，视频模型强烈的“先验惯性”会促使其抵抗提示指令，自动回归到常规工具模式或产生虚假动态。

亮点与洞察¶

提出首个解耦统计共现与物理内化的三级递进基准：通过设计“常规-非常规-不可能”梯度，精准剥离了高频感知匹配与底层物理推理能力，为物理世界模型树立了极具挑战性的诊断范式。
发现视频生成的“感知逼真度 vs. 因果自洽性”对抗冲突：实验证明当前的视频扩散模型在面对非常规物理需求时，宁愿牺牲因果真实性也要优先维持局部画面的视觉平滑度，暴露了纯自监督视频预训练对真实力学物理建模的根本性盲区。
构建可迁移的 Checklist 自动化评估流水线：将复杂的连续物理评价离散化为包含实体、属性、空间、状态变化与运动连续性的具体问答，极大地提升了自动化评测与人类专家判断的一致性。

局限与展望¶

作者指出的局限：目前评测聚焦于单步骤短视频（约 5 秒）的瞬态工具操作，未涉及多步骤复合操作与长程时空因果链条；同时部分前沿闭源模型（如 Sora-2、Veo-3）的安全过滤机制可能对部分罕见交互 prompt 存在误拒拦截。
潜在改进方向：在世界模型训练阶段应引入物理归纳偏置（Inductive Bias），将刚度、质量、摩擦系数等物理几何基元显式编码或通过可微分物理引擎协同监督；在评测层面可进一步拓展至具身机器人长程操作与流体/柔性体复合交互场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 针对世界模型长期受困的“统计共现假象”提出属性级反事实评测三级框架，切入视角极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 8 款前沿图像与视频生成模型，双轨提示、细粒度 Checklist、人工与 VLM 协同校验，数据翔实可信。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰规范，问题定义严密，失败模式归纳深刻到位。
价值: ⭐⭐⭐⭐⭐ 为多模态生成模型迈向真正物理世界模拟器提供了关键的基准试金石与指引。