PhyMetric: Diagnosing Physical Plausibility in Text-to-Video Generation via Scene-Level QA¶

会议: NeurIPS 2026
arXiv: 2610.19823
代码: https://mengsiwei.github.io/PhyMetric/
领域: 视频生成
关键词: 文本到视频生成、物理合理性评测、场景级问答、结构化物理先验、视觉语言模型评判

一句话总结¶

PhyMetric 将文本到视频（T2V）生成中的物理合理性评估解构为基于场景级结构化先验与问题自适应帧采样的 8,920 个平衡二元问答对，覆盖 6 大物理领域 50 个物理类别，揭示了传统粗粒度评分的不可靠性并提供了可解释的物理缺陷诊断。

研究背景与动机¶

近年来文本到视频（T2V）生成模型在单帧视觉保真度与视频真实感上取得了长足进步，并逐渐被探索用于动态物理世界模拟。然而，视觉上逼真的生成视频往往严重违背由输入提示词与物理规律所约束的动态因果关系：下落物体缺乏重力加速度而匀速漂移甚至悬浮，受力切开的固体缺乏连续的断裂分离，浸入流体的物体无视浮力定律随机翻滚沉浮。传统的视频质量度量主要关注帧级特征与表层相似度，完全无法捕捉随时间演化的物理因果性；即使是近期涌现的物理评测基准，也普遍依赖于模型级或视频级的“整体物理合理性”打分。

这种整体性打分范式存在两大深层痛点：首先是可辨识性（Identifiability）的匮乏。当评估模型被要求对整段视频输出一个宽泛的合理性分数时，低分既无法指出究竟是速度方向、几何形变、材料接触还是因果逻辑出了问题，高分也极易掩盖关键物理事件的缺失；由于缺乏场景特定后果的锚定，粗粒度提示词会导致评估器退化至接近随机猜测水平。其次是预期基准（Expectation Grounding）的缺失。评判模型在观察视频前若不明确当前场景遵循的精确物理定律与预期事件序列，极易将语义不匹配与真正的物理违规混为一谈，或根据片面视觉启发式做出偏见裁决。

为了从根本上消除表层视觉真实感与可验证物理动力学之间的鸿沟，本文将视频物理合理性评测重新表述为具有清晰判别边界的可验证场景问答。核心 idea：通过构建包含 50 个物理类别的场景分类体系，为每个场景配备由物理定律、预期时序演化与典型失效模式构成的结构化物理先验，并结合针对物理因果的成对平衡二元是非问答与自适应关键帧采样，将模糊的整体打分转化为具有 50% 严格随机基线的高可解释性场景级物理诊断。

方法详解¶

整体框架¶

PhyMetric 的评测流程分为数据构建、评测采样与分层聚合三个阶段。针对包含 6 大物理领域的 50 个细粒度物理类别，系统首先依托物理规律参数池生成 1,115 个物理场景，并为每个场景撰写 8 个严格正负平衡（4 个 Yes、4 个 No）的场景级二元问答题，覆盖 12 个评估维度。对于任意待评估 T2V 模型生成的视频，系统通过线性时序映射提取问题相关的关键帧集合，将其连同场景专属的结构化物理先验一同输入视觉语言模型（VLM）裁判；最后将二元判定结果分层聚合为场景得分、维度得分、类别得分及模型总体评分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["场景描述与物理先验库<br/>1,115个场景跨50个物理类别"] --> B["场景专属平衡二元问答构建<br/>每场景8题·正负平衡·12个评估维度"]
    A --> C["结构化物理先验注入<br/>物理定律/时序预期/可观测特征/失效模式"]
    D["待测 T2V 模型生成视频<br/>CogVideoX / Wan2.1 / Wan2.2 / Cosmos"] --> E["问题自适应时序关键帧采样<br/>线性映射对齐早/中/晚关键事件帧"]
    B --> E
    C --> F["物理增强 VLM 裁判判别<br/>输出判定答案·置信度·判据解释"]
    E --> F
    F --> G["分层诊断得分聚合<br/>场景/维度/物理类别/模型全局评测"]

关键设计¶

1. 场景专属平衡二元问答设计：将模糊合理性解构为可辨识物理假设 针对整体性物理打分“知其然不知其所以然”的痛点，PhyMetric 彻底放弃了让模型直接评估“视频是否符合物理定律”的全局打分，而是为每个场景 $s_i$ 构建一组具体的二元观测问题集 $\mathcal{Q}_i = \{(q_{i,j}, y_{i,j}, d_{i,j})\}_{j=1}^M$（其中 $M=8$）。每个问题严格绑定具体实体、时空动作与物理反应（例如在切番茄场景中，精确询问“刀刃是否接触番茄表面”、“切开后番茄是否分离为两半”、“分离的切片是否保持外观一致”），而非跨场景套用的模板句。每个问题标注有真值 $y_{i,j} \in \{\text{yes}, \text{no}\}$ 及 1~2 个评估维度标签 $d_{i,j}$（涵盖存在性、尺寸、外观纹理、形状、运动、数量、方向、材料、实体、空间关系、交互作用、因果关系等 12 维）。场景内 8 个问题严格设计为 4 个正样本（正确物理过程应呈现的特征）与 4 个负样本（常见物理违规现象），赋予基准天然的 50% 随机猜测基线： $$a_{i,j}(V) = \mathbbm{1}\big[\hat{y}_{i,j}(V) = y_{i,j}\big], \quad S_i(V) = \frac{1}{M} \sum_{j=1}^M a_{i,j}(V)$$ 这种形式将物理评测转化为离散假设检验，使得每个模型的失分点能够精准溯源至特定的物理维度或局部因果链。

2. 独立于生成视频的结构化物理先验：提供不依赖视觉偏见的预期基准 VLM 裁判若直接裸看生成视频回答物理问题，极易依赖表层纹理启发式或混淆概念。为此，PhyMetric 为每个场景显式构建了一份结构化物理先验： $$K_{s_i} = \{\ell_i, o_i, m_i, e_i, r_i, h_i\}$$ 其中 $\ell_i$ 阐明主导物理定律（如剪切破坏、阿基米德浮力定律、动量守恒），$o_i$ 与 $m_i$ 界定涉事实体与材料物理属性，$e_i$ 划分早、中、晚三阶段的时序演化预期，$r_i$ 罗列模型最易出现的典型物理违规表现（如切而不分、悬浮反重力漂移），$h_i$ 给出当前维度的判别侧重点。关键在于，$K_{s_i}$ 完全独立于待测视频 $V$，仅依据输入文本和物理原理静态合成。在评测时将 $K_{s_i}$ 作为前置上下文输入 VLM，使评估器在审视视频前明确“物理上必须发生什么、绝不能发生什么”，显著排除了生成画质对物理因果判断的干扰。

3. 问题自适应时序关键帧采样：建立跨时长视频的局部证据定位 物理事件通常具有高度的时间局部性（如碰撞瞬间、相变开始、初速度施加），直接输入全视频或均匀稀疏抽帧往往使 VLM 漏掉关键物理瞬态。PhyMetric 为每个问题 $q_{i,j}$ 标注了其证据依赖的时间锚点（初始态、交互瞬态、过渡态、稳态结局或全程序列），对应于 120 帧基准视频中的特定帧索引 $f \in [0, 119]$。当面对帧数为 $N_V$、参考基准帧数为 $N_{\text{ref}}$ 的待测视频时，通过比例投影公式定位对应关键帧： $$f' = \operatorname{round}\left(\frac{f}{N_{\text{ref}} - 1}(N_V - 1)\right)$$ 并将定位帧与其紧邻上下文帧构成局部证据帧集合 $\mathcal{F}_{i,j}(V)$ 提供给裁判模型。该机制与结构化物理先验形成强互补：物理先验指引“寻找何种物理模式”，自适应帧采样指引“在哪个时序窗口验证物理模式”，从而最大化 VLM 评判的精度与时序敏锐度。

一个完整示例：以“自由落体中的苹果”为例¶

以力学领域经典重力场景（Gravity_Earth）为例，展现评测流程的落地细节： 1. 场景提示词输入：“一个成熟的苹果从草坪上方的树枝上脱落，在地球重力作用下下落，直到掉落在地面上。”待测模型 CogVideoX-5B 接收该提示词生成 5 秒视频。 2. 物理先验提取：先验明确指出物理定律为恒定重力加速度 $g \approx 9.8\,\text{m}/\text{s}^2$；时序上早期刚脱离树枝速度微小，中期下落速度显著增加并处于半空中，晚期接触地面速度归零；物理特征核心判据为下落速度单调递增且沿重直向下，典型失败模式为悬浮、匀速或反向漂移。 3. 针对性问题与自适应采样：系统抽取维度为“运动（motion）”的二元问题（ID=02）：“在早期帧与中期帧之间，苹果的下落速度是否明显增加？”对应采样帧序号为 $[20, 60, 100]$。 4. 裁判判决与归因：VLM 裁判结合三帧图像与物理先验判断苹果在三帧中几乎保持在树枝下方同一高度，输出 ANSWER: NO 并给出理由“苹果悬浮在树枝下方未加速下落”。由于该问题标准预期为 YES，判定 CogVideoX-5B 出现物理失效，准确扣减该维度得分。

实验关键数据¶

主实验¶

论文在完整基准（1,115 个场景）上评估了四种主流开源视频生成模型：Wan2.2-14B、Cosmos-7B、Wan2.1-1.3B 和 CogVideoX-5B，并使用 Qwen3.5-9B 与 Qwen2.5-VL-7B 两个开源前沿 VLM 担任裁判（汇报总体准确率 Overall 与置信度加权准确率 Weighted）；同时在 50 个物理类别分层抽样的 100 场景控制子集上引入闭源 GPT-5.4 展开跨模型一致性评测。

模型	Qwen3.5-9B (全量)	Qwen2.5-VL-7B (全量)	两模型全量均值	100场景三裁判均值 (含GPT-5.4)
Wan2.2-14B	76.74 / 78.07	68.82 / 70.82	72.78 / 74.45	72.58 / 74.34
Cosmos-7B	76.28 / 77.60	68.89 / 70.92	72.59 / 74.26	72.62 / 74.48
Wan2.1-1.3B	73.86 / 75.50	67.26 / 69.42	70.56 / 72.46	70.87 / 73.22
CogVideoX-5B	71.36 / 73.18	65.12 / 67.62	68.24 / 70.40	68.25 / 70.42

注：表格数据格式为 Overall / Weighted。

消融实验¶

在 100 个场景控制子集上，论文针对“结构化物理先验 $K_s$”的有无以及“问题形式（场景专属针对性 QA vs. 宽泛通用合理性提问）”进行了 $2 \times 2$ 交叉消融，同时检验与 50 名 STEM 背景人类评估员评分的斯皮尔曼相关系数 $\rho_{\text{human}}$。

评估裁判模型	物理先验 $K_s$	问题形式	Overall 准确率 (%)	Weighted 准确率 (%)	人类相关性 $\rho_{\text{human}}$
Qwen3.5-9B	✓	场景专属针对性 QA	74.91	76.52	+0.201
Qwen3.5-9B	✗	场景专属针对性 QA	72.75	74.56	+0.165
Qwen3.5-9B	✗	通用宽泛判断	48.13	49.71	+0.192
Qwen3.5-9B	✓	通用宽泛判断	48.88	50.17	+0.196
Qwen2.5-VL-7B	✓	场景专属针对性 QA	66.09	69.00	+0.104
Qwen2.5-VL-7B	✗	场景专属针对性 QA	63.47	65.89	+0.215
Qwen2.5-VL-7B	✗	通用宽泛判断	47.31	50.36	+0.139
Qwen2.5-VL-7B	✓	通用宽泛判断	46.91	50.64	+0.030
GPT-5.4	✓	场景专属针对性 QA	72.25	73.84	+0.250*
GPT-5.4	✗	场景专属针对性 QA	73.94	75.28	+0.216
GPT-5.4	✗	通用宽泛判断	49.25	49.30	+0.121
GPT-5.4	✓	通用宽泛判断	47.12	48.45	+0.202

注：* 表示统计显著性 $p < 0.05$。

关键发现¶

场景级针对性问答是评测有效性的生命线：当把场景专属二元问题替换为通用问题（“该视频是否正确模拟了物理行为？”）时，所有裁判模型的准确率瞬间崩塌至 46%~49% 的随机猜测水平；即使强行注入物理先验，缺乏具体问题落脚点的评估器依然无法恢复判断力，证明宏观合理性提问在物理评测中完全失效。
物理先验显著增强人类判断对齐度：结构化物理先验为裁判模型提供了外部预期基准，有效减少了由于视觉表象偏差带来的误判，使 Qwen3.5-9B 与 GPT-5.4 对人类评估的拟合度显著提高（GPT-5.4 下使用 Mistral-7B 或 DeepSeek-R1 生成的先验可使相关系数进一步攀升至 +0.293）。
生成模型的物理能力呈现严重结构性失衡：在 12 个评估维度中，模型在宏观数量统计（90.39%）与粗粒度运动方向（>79%）上表现优异，但在材料物态响应、表面外观纹理（66.39%）与长程空间几何形变（70% 左右）上错误频发。模型排序并不完全受参数量主导（5B 的 CogVideoX 全面弱于 1.3B 的 Wan2.1），表明物理一致性更多取决于架构与时空对齐机制。

亮点与洞察¶

将连续物理评测重构为离散可验证假设：打破传统主观打分黑盒，将每段视频的评估拆分为 8 个可溯源的是非断言，使评测基准既具备可解释的诊断属性，又拥有天然平衡的统计基准。
解耦预期与观测的双轨机制：独立于视频之外的物理先验（预知因果）与时序对齐的自适应帧采样（锁定证据）双管齐下，有效解决了多模态大模型在复杂时空长视频中“注意力飘移”与“物理常识幻觉”的难题。
揭示视频生成模型的真实瓶颈：实验清晰证明当前 T2V 模型已经学会了“宏观运动的大体轮廓”，但在涉及应变破坏、流体剪切、固液相变等微观连续介质物理交互时依然处于极低水平。

局限与展望¶

离散二元问答对连续物理量的度量精度有限：是非问题便于统计和检验，但对于“加速度是否准确等于 $9.8\,\text{m}/\text{s}^2$”或“碰撞反弹能量损耗系数是否达标”等连续物理守恒量缺乏定量刻画。
时序线性投影映射的理想化假设：基于参考帧比例插值的方法假定生成视频严格遵循提示词的时间演化速率，当模型生成内容发生显著的时间压缩、慢放或事件乱序时，关键帧采样可能出现错位。
评测仍受 VLM 裁判视觉能力的制约：对于微弱的表面光影折射、细粒度纹理扰动或剧烈遮挡下的物理变化，当前 VLM 裁判仍存在误读，未来需结合显式点追踪与物理仿真器进行混合校验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性将视频生成物理合理性评测确立为基于结构化先验与平衡二元问答的场景级可解释诊断体系。
实验充分度: ⭐⭐⭐⭐⭐ 跨越 6 大领域 50 个物理类别，系统涵盖 4 款先进视频生成模型、3 款闭源与开源裁判 VLM 及细致的人类评估。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式与体系逻辑严密，图表对比详实且深入剖析了物理维度的长短板。
价值: ⭐⭐⭐⭐⭐ 为视频生成世界模型的研究提供了极具操作性、诊断性与鲁棒性的物理可信度度量标尺。