TailOR: Trimming the Long-Tail of Visual World Modeling Evaluation¶

会议: NeurIPS 2026
arXiv: 2606.24256
领域: 其他
关键词: 视觉世界模型, 物理交互评测, 长尾分布, 动作示能性, 视频生成评测

一句话总结¶

TailOR 构建了一个覆盖常规、非常规及物理不可能工具交互的多维度基准测试，评测主流图像与视频生成世界模型在预测与描述设定下的物理因果推理，揭示了模型依赖统计表面共现而非内化底层物理规律的长尾鸿沟。

研究背景与动机¶

现实世界中的物理交互本质上呈现显著的长尾分布：刀切面包、重锤砸钉等高度标准化的常规交互构成了人类视觉经验与大规模训练数据的头部，而通过非典型工具实现物理操作的长尾交互虽然罕见却完全符合现实物理定律。近期以 Sora-2、Veo-3.1、GPT-Image-1 为代表的生成式世界模型在标准物理基准上表现出极高的视觉真实感与准确率，使学界倾向于认为这类模型已逐步具备对物理世界的模拟能力。然而，在以标准工具-任务对为主的常规头部场景中，优异的表现往往难以区分模型究竟是真正内化了物理相互作用机制，还是仅仅依赖海量训练数据中频繁出现的统计表面共现模式。

现有物理评测基准普遍局限于常规物理常识与常规交互配置，忽略了对底层物理示能性（Affordance）与因果约束泛化能力的严格探针检验。一旦交互对象偏离常规配置——例如需要用硬币代替螺丝刀传递扭矩拧螺丝，或是用硬质精装书代替铁锤砸开坚果——传统评价体系便无法判定模型是否理解物体的刚度、几何形状与受力传递逻辑；更关键的是，当工具完全违反物理约束（例如用柔软的海绵试图切开硬胡萝卜）时，模型是否能够正确感知物理阻碍并反映失败结果。这种评测盲区阻碍了对世界模型真实物理推理能力的客观诊断。

本文针对这一评估空白展开系统性探索，旨在从长尾分布切入探寻生成式世界模型的能力边界。核心 idea：构建面向长尾物理交互的诊断型基准 TailOR，通过「常规-非常规替代-逆示能性不可能」三级递进场景，在「预测型」与「描述型」双重生成设定下，全面评测世界模型对物理示能性泛化与因果约束的内化水平。

方法详解¶

整体框架¶

TailOR 的整体评测管线由结构化数据生成引擎与细粒度诊断评测协议两大部分组成。数据引擎以常见动作本体和概念网对象-示能图为底层依据，通过大语言模型驱动并引入多轮物理学与计算机视觉专业背景的人工校验，生成覆盖室内外多种物理动作的测试实例。评测协议解耦了「隐式物理预测」与「显式指令可控渲染」两种能力维度，并在图像与视频双模态下系统评估指令依从性、交互准确度、物理真实感与感知质量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["动作本体与示能图谱<br/>HICO-DET 动作库 + ConceptNet 属性图"] --> B["三级交互场景模式构建<br/>常规 / 非常规兼容 / 逆约束不可能"]
    B --> C["双重评测设定解耦<br/>预测型生成 vs 描述型生成"]
    C --> D["双模态模型生成与诊断评测<br/>图像/视频模型 + VLM与人类双重校验"]

关键设计¶

1. 三级递进场景模式：系统化探查长尾示能性泛化与约束感知 针对标准基准仅考察头部分布的缺陷，TailOR 设计了三级递进的交互场景模式，形式化定义评测实例为 \(x=(g, r, \mathcal{A}, \mathcal{U}, \mathcal{I})\)，其中 \(g\) 为任务目标，\(r\) 为常规工具，\(\mathcal{A}\) 为完成该交互所需的物理功能属性集合： - 常规场景（Regular Scenario）：提供常规工具 \(r\)，对应训练数据高频覆盖的头部交互分布，用于检验模型对已知模式的复现基线； - 非常规场景（Unconventional Scenario）：选用非常规但满足属性集合 \(\mathcal{A}\) 的替代工具 \(u \in \mathcal{U}\)（如用硬币代替螺丝刀），测试模型脱离名词表面关联、基于物体功能示能性进行泛化的能力； - 不可能场景（Impossible Scenario）：选用违背核心必要属性的工具 \(i \in \mathcal{I}\)（如用柔软海绵切胡萝卜），测试模型对刚性、剪切力等刚性物理约束的感知，检验其能否正确展现物理交互的失败状态。数据集包含 80 个核心任务，每个任务衍生出 1 个常规工具、2 个非常规替代工具和 2 个不可能工具，并结合两轮严格的人工过滤剔除模糊实例，确保物理严谨性。

2. 预测型与描述型双重生成设定：解耦物理因果推理与可控视觉表达 为了厘清模型在物理交互模拟中究竟是「推断不出物理结果」还是「无法遵从指令渲染出正确结果」，TailOR 在图像与视频生成中引入双重输入设定： - 预测型生成（Predictive Generation）：仅提供工具、交互对象与初始动作意图，隐去最终结果（例如：“生成一张展现用书本敲击铁钉最终状态的真实图像”）。模型必须完全依靠内部内化的物理知识，推演受力传递与物体形变，自行预测成功或失败的终态； - 描述型生成（Descriptive Generation）：在 Prompt 中明确给出最终的物理结果（如对不可能场景明确描述海绵变形且胡萝卜未被切开的失败终态），检验模型在消除歧义后的物理一致性保持能力与指令遵从能力。通过对比相同场景在两种设定下的表现差异，基准能够精准定位模型是缺乏物理预测先验，还是存在向高频训练先验逆行妥协的认知偏差。

3. 多维度细粒度诊断协议与 VLM-Judge 自动校验：客观解耦感知质量与物理正确性 为了解决传统评分指标将视觉渲染质量与物理准确性混淆的问题，TailOR 建立了包含结构化检查单与连续量表的分离评测维度： - 指令依从性（Instruction Adherence, 0-100%）：细分为实体完整性（Entity Completeness）、属性保真度（Attribute Fidelity）以及空间相对尺度与布局的场景有效性（Scene Validity）； - 交互准确度（Interaction Accuracy, 0-100%）：解耦为终态变化正确性（State Change Correctness）、力作用点与工具几何匹配的示能性对齐（Affordance Grounding），以及视频模态专有的时间动力学连续性——运动合理性（Motion Plausibility）； - 物理真实感（Physical Realism, 0-5分）与感知质量（Perceptual Quality, 0-5分）：分别独立评估重力、接触力学、材料因果律与画面渲染稳定性。在评测实施上，采用 Gemini-2.5-Pro 作为自动裁判模型（VLM Judge），严格对齐人类专家的评分准则；人工评估（9位评估者，Krippendorff’s \(\alpha=0.72\)）与自动评测在模型排序上高度一致，证明了自动化诊断管线的可靠性。

实验关键数据¶

主实验¶

评测涵盖 4 款先进图像生成模型（Z-Image、Qwen-Image、GPT-Image-1、Nano-Banana-2）与 4 款主流视频生成模型（HunyuanVideo-1.5、Wan-2.2、Sora-2、Veo-3.1）。各场景下自动评测指标如下表所示（IA: 指令依从性, IntAcc: 交互准确度, Phys: 物理真实感, Perc: 感知质量）：

模型类型与名称	常规场景 (IA / IntAcc / Phys / Perc)	非常规场景 (IA / IntAcc / Phys / Perc)	不可能场景 (IA / IntAcc / Phys / Perc)
预测型图像生成
Z-Image	52% / 44% / 2.5 / 2.4	33% / 29% / 1.7 / 2.2	26% / 21% / 1.5 / 1.9
Qwen-Image	63% / 60% / 3.3 / 3.8	41% / 37% / 2.2 / 2.4	36% / 33% / 1.9 / 2.4
GPT-Image-1	67% / 63% / 3.4 / 3.7	44% / 41% / 2.7 / 2.8	40% / 36% / 2.5 / 2.7
Nano-Banana-2	69% / 65% / 3.6 / 3.8	46% / 43% / 2.8 / 3.0	42% / 38% / 2.6 / 2.8
预测型视频生成
HunyuanVideo-1.5	48% / 45% / 2.4 / 2.8	31% / 23% / 1.6 / 2.1	18% / 22% / 1.5 / 1.6
Wan-2.2	44% / 49% / 2.0 / 3.0	29% / 25% / 1.8 / 2.5	23% / 17% / 1.3 / 2.2
Sora-2	66% / 63% / 3.1 / 3.4	44% / 40% / 2.3 / 2.7	39% / 36% / 2.2 / 2.5
Veo-3.1	64% / 61% / 2.9 / 3.3	42% / 48% / 2.2 / 2.2	37% / 34% / 2.1 / 2.2

消融实验：描述型设定与预测型设定对比¶

通过在描述型设定下显式指定最终物理状态，各前沿模型在不同场景下的交互准确度（IntAcc）与物理真实感（Phys）对比展现出明显的认知规律：

评测维度与场景	图像最佳 (Nano-Banana-2) 预测 vs 描述	视频最佳 (Sora-2) 预测 vs 描述	核心差异说明
常规场景 IntAcc	65% \(\rightarrow\) 70% (+5%)	63% \(\rightarrow\) 64% (+1%)	描述指令对常规交互具有轻微正向引导增益
非常规场景 IntAcc	43% \(\rightarrow\) 46% (+3%)	40% \(\rightarrow\) 38% (-2%)	视频模型因强行关联已知视觉模板反而出现性能倒挂
不可能场景 IntAcc	38% \(\rightarrow\) 43% (+5%)	36% \(\rightarrow\) 37% (+1%)	即使明确描述失败结局，模型仍频现误实现物理成功
非常规场景 Phys	2.8 \(\rightarrow\) 3.2 (+0.4)	2.3 \(\rightarrow\) 2.2 (-0.1)	视频动态生成更容易在前向扩散中破坏力学平衡

关键发现¶

显著的长尾物理鸿沟：所有图像与视频生成模型在从常规到非常规、再到不可能场景时，性能均呈现断崖式下跌。在预测型图像生成中，即便是性能最好的 Nano-Banana-2，其交互准确度也从常规场景的 65% 骤降至不可能场景的 38%；
视频生成的时空因果累积失效：视频生成模型的整体表现显著弱于图像生成模型。错误在前几帧接触瞬间引入后，会在后续时域序列中级联放大（如软工具在无形变情况下凭空劈裂硬物体），导致时序动力学崩溃；
描述型逆向妥协（Template Reversion）：在描述型生成中，当 Prompt 要求呈现非典型工具的成功或不可能工具的失败时，模型频繁出现「先验记忆劫持」现象，强行套用常见模板生成违背物理常理的成功交互画面。

亮点与洞察¶

将物理评测推向长尾示能性检验：成功将世界模型评估从常规头部分布中解耦，证明了表面视觉逼真并不等于内化物理法则；
双重生成设定精确定位认知瓶颈：通过对比「不给终态猜结果」与「给出终态画过程」，确凿揭示出现有模型本质上是整体式交互模板记忆机，而非组合式物理推理器。

局限与展望¶

单步工具使用局限：当前基准仅覆盖单步、单物体的工具操作交互，尚未涵盖多步因果链、复杂环境动态交互与长程时序规划场景；
物理先验归纳偏置的匮乏：未来的世界模型架构亟需引入物体物理属性（刚度、摩擦力、拓扑结构）与守恒律的显式归纳偏置，而非单纯依赖像素统计重构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 构思极佳地将长尾示能性与约束反转引入世界模型评测，切中生成模型物理认知的核心软肋。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖8款顶尖图/视频前沿模型，双重生成设定与三级场景设计，人工与VLM评分强力对齐。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论建模形式清晰，实验图表分析鞭辟入里。
价值: ⭐⭐⭐⭐⭐ 为具身智能与物理世界模拟器指明了超越统计共现、走向真正物理因果表征的发展方向。