PhyDetEx: Detecting and Explaining the Physical Plausibility of T2V Models¶

会议: ECCV2026
作者: Zeqing Wang; Keze Wang; Lei Zhang
机构: Sun Yat-sen University; Hong Kong Polytechnic University; OPPO Research Institute
论文: ECCV 原文
PDF: 会议全文
代码: https://github.com/Zeqing-Wang/PhyDetEx
领域: 视频生成
关键词: 物理合理性、异常检测、视觉语言模型、配对监督、可解释性

身份核验：会议记录与缓存首页标题一致。Zeqing Wang 隶属中山大学和 OPPO，Keze Wang 隶属中山大学，Lei Zhang 隶属香港理工大学和 OPPO；后两位为通讯作者。

一句话总结¶

PhyDetEx 用 2,588 对正常/物理异常视频对 Qwen2.5VL 7B 做 LoRA 微调，将物理合理性判断和文字解释统一成语言建模任务，在 PID 测试集上取得 75.6% 的异常类准确率、83.5 的报告 F1 和 4.24 的解释评分。

研究背景与动机¶

文本到视频（T2V）模型可以生成清晰、流畅且符合文字指令的画面，却仍会让物体互相穿透，或者让失去支撑的人持续悬空。视觉质量与物理合理性并不是同一个目标：水杯和水流都画得逼真，不代表倒水后水位变化正确。要判断视频生成模型离世界模型还有多远，就需要直接检查这些动态约束，而不是只看图文相似度。

通用视觉语言模型（VLM）也容易漏掉这种错误。本文的先导实验发现，只要告诉模型视频可能由 AI 生成，它就会更倾向于判定异常，同时错杀更多合理视频。这说明失败未必完全来自缺少物理知识，也可能来自对输入来源的先验：默认真实视频通常合理，一听到“生成”就提高怀疑程度。仅靠改提示词，无法确保模型真正依赖画面证据。

因此作者把工作重心放在训练数据和评测分布上：训练时保留场景语义，只改变物理事件；测试时把合理的生成视频也纳入正常类，避免“生成即异常”的简单规则。核心 idea：用语义接近但物理合理性相反的视频对，监督 VLM 输出判断及其物理依据，让评估从识别来源转向检查事件。

方法详解¶

整体框架¶

PhyDetEx 是视频生成的评估器，不是新的生成器，也不是判断视频是否由 AI 制作的鉴伪系统。其输入是待检查的视频及评估指令，输出以 [YES] 或 [NO] 开头的文字序列，后面解释哪些运动符合或违背现实物理。训练视频的字幕用于构建监督，部署评估不应依赖人工提前告诉模型哪里异常。

整个工作包含三项相连的设计：先通过“物理事件配对”制作训练样本，再通过“判断与解释联合微调”得到检测器，最后通过“去来源捷径评测”检验它是否能识别正常提示词下意外出现的错误。PID 测试集是独立构造的评估分支，不参与 LoRA 训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实视频与字幕"] --> B["物理事件配对"]
    B --> C["判断与解释<br/>联合微调"]
    C --> D["PhyDetEx 检测器"]
    E["独立 PID 测试集<br/>及生成视频"] --> F["去来源捷径评测"]
    D --> F
    F --> G["判断、解释与<br/>生成模型评估"]

关键设计¶

1. 物理事件配对：让场景相似而物理事件相反

作者从 VIDGEN-1M 中选取包含清楚物理交互的真实视频及字幕，再让大语言模型改写字幕中的物理事件。改写应保留环境、背景物体和场景布局，只加入不可能的运动或交互；随后用 T2V 模型生成反例。这样，训练对的一端是合理的真实事件，另一端是上下文相近的异常事件，而不是两个主题完全不同的视频。

生成模型未必忠实执行不合理字幕，所以还需要筛选：向 VLM 明示候选视频是生成视频，利用先导实验中更敏感的判断方式，保留确实表现出目标异常的配对。最终训练集是 2,588 对视频，不能把这个数量误读成 2,588 条单视频。缓存正文没有给出筛选所用 VLM、生成器的完整配置或筛选阈值，不能据此补写可复现参数。

配对的作用在于减弱无关语义差异。例如只看是否包含水、人物或者某种背景，都不足以区分同一对中的正负样本，模型必须更关注运动方式。这是数据层面的对照结构，并不是额外的 InfoNCE 损失，也不表示推理时必须同时输入正常/异常两个视频。

需要区分设计意图与已经保证的性质：保持字幕中的背景不变，并不意味着重新生成的视频和真实视频在像素层面相同；而训练中的正常样本仍是真实视频、异常样本仍是生成视频。因此配对有助于控制语义混杂，但不能从构造本身推出所有来源捷径都已消失。

2. 判断与解释联合微调：把分类及依据写进同一输出序列

只有二元标签时，模型即使依靠生成痕迹猜对答案，也不会暴露它到底看到了什么。PhyDetEx 因而要求输出先作判断，再描述支持判断的物理内容：首个 token 表示 [YES] 或 [NO]，后续 token 组成解释。异常字幕提供已知的异常语义，使标签与解释可以共同构成训练目标。

底座为 Qwen2.5VL 7B，使用 LoRA 更新参数，而非从头训练视频编码器或重新预训练大模型。这里的轻量主要指参数高效微调和较小的数据规模；正文未报告 GPU 型号、训练时长或显存消耗，不能把“轻量”改写成具体成本承诺。

统一语言建模使判断和解释共享视觉条件与自回归上下文。它希望模型不仅识别“有问题”，还指出哪一对象、哪种运动和哪条物理预期不一致。不过训练出来的解释仍是语言输出，不等价于物理仿真，也不天然构成可验证的因果证明。

3. 去来源捷径评测：在正常需求下检查意外生成错误

PID 测试集从 VidProM 的真实用户提示词出发，排除卡通、魔法、科幻等本就允许不现实内容的描述，也排除缺乏物理交互的静态场景。多个 T2V 模型根据这些正常提示词生成视频，再由人工找出异常并写出解释。异常不是因为用户要求“违反物理”，而是模型在普通任务中意外失败。

测试正常类同时包含合理的生成视频和 VIDGEN-1M 真实视频；后者筛选为短于 10 秒且有清楚物理交互的片段。最终共 500 条，正常和异常各 250 条。只要检测器把所有生成视频都判为异常，就会在合理生成样本上出错，因此这一测试比纯真实正常类更能检查来源偏见。

作者还把检测器用于 T2V 模型横评：从 VIDGEN-1M 取 50 条具有清晰物理交互的提示词，比较不同生成器的输出。Plausibility Rate 是被检测器判为合理的视频比例；Plausibility Score 则按判定正负，将对应预测的 logit 加入或减去总分。后者是模型内部置信信号的累计量，不是物理单位、概率或百分数；正文没有完整说明 logit 提取与标定细节。

一个完整示例¶

原文图 5 中，海面上的海豚看起来像在跃出水面，但随后一直停留在近似相同的高度。通用 VLM 把画面解释成常见的“海豚跳跃”，用熟悉的动作语义替代了对随时间下降的检查。

PhyDetEx 则输出不合理判断，指出持续悬空缺乏支撑或推进依据，没有呈现预期的重力影响。这个案例说明输出解释应该指向视频中的时间变化，而不只是罗列“重力”这个词；它也展示了为什么单帧外观正确仍可能对应错误的视频动力学。

损失函数 / 训练策略¶

原文第 4.2 节将监督定义为输出序列的标准负对数似然。缓存中的式 (7) 排版损坏，下式按紧邻文字恢复标准形式，不把损坏字符当作新损失：

\[ \mathcal{L}_{\mathrm{LM}}(\mathbf{s}\mid v,t) =-\sum_{u=1}^{T}\log p_{\theta}(s_u\mid s_{<u},v,t). \]

其中 \(v,t\) 是该节记法中的视频与文本输入，\(\mathbf{s}\) 同时包含判断和解释，\(\theta\) 表示可训练参数。正文没有另列成对距离项、对比温度或排序损失，因此不应将“contrastive fine-tuning”理解为额外添加了对比学习目标。

训练运行 3 个 epoch，学习率为 \(10^{-4}\)，采用余弦学习率调度；LoRA rank 为 8，应用到全部目标模块。具体目标模块名称、batch size 和视频采帧策略未在当前正文缓存中展开。

实验关键数据¶

主实验¶

原文表 1 比较两个评测集。Impossible Videos 只取 Physical Laws 类别的 535 条异常视频，并加入全部 650 条真实正常视频；PID 测试集则为 250 条异常与 250 条正常视频。两者不是同一分布，也不是 Impossible Videos 的全量异常类别。

下表两类准确率单位均为 %；F1 保留论文的百分制报告值，Reasoning Score 保留原始分值。正文将后者描述为解释正确性与深度，但将评分量表、评委及完整 F1 协议放在未包含于缓存的补充材料 D，因此不擅自标成“五分制”或“macro-F1”。

数据集	模型	异常类准确率 (%)	正常类准确率 (%)	F1（原文）	Reasoning Score
Impossible Videos	Qwen2.5VL 7B	64.9	69.8	70.3	1.73
Impossible Videos	Qwen2.5VL 72B	51.2	88.5	77.4	3.22
Impossible Videos	PhyDetEx 7B	86.4	87.1	87.8	4.20
PID Test	Qwen2.5VL 7B	57.2	86.4	75.4	1.66
PID Test	Qwen2.5VL 72B	54.0	91.2	76.9	3.13
PID Test	PhyDetEx 7B	75.6	89.2	83.5	4.24

相较表 1 的同底座 Qwen2.5VL 7B，PID 异常类准确率提高 18.4 个百分点，报告 F1 提高 8.1 点，解释分值提高 2.58。合理类准确率也从 86.4% 提高到 89.2%，所以这组收益并非单纯把判定阈值推向异常一侧。

消融实验¶

正文没有列出逐项删除训练组件的数值消融；相关训练分析被放在未提供的补充材料 B。以下用原文表 2 的提示条件分析检验动机，不冒充 LoRA rank、配对结构或解释监督的消融。

InternVL2.5 26B / Impossible Videos	输入来源提示	异常类准确率 (%)	正常类准确率 (%)	Reasoning Score
C1	不提供来源信息	65.23	78.00	2.90
C2	提示可能由 AI 生成	81.87	60.15	3.62
C3	明示由 T2V 模型生成	90.47	51.54	3.76

从 C1 到 C3，异常类准确率增加 25.24 个百分点，正常类准确率却减少 26.46 个百分点。这是来源提示改变判断倾向的证据，不是无需训练即可全面解决检测问题的证据。

原文表 1 与表 2 的部分 Qwen 基线值不一致，例如 Qwen2.5VL 7B 的异常类准确率在表 1 为 64.9%，表 2 的 C1 为 53.08%。本笔记按表分别保留，不假定两表设置完全相同，也不把它们拼接成一条改进链。

关键发现¶

小模型经任务适配可超过大底座：PID 上 PhyDetEx 7B 的报告 F1 为 83.5，Qwen2.5VL 72B 为 76.9，但这不能证明模型规模在所有物理任务上无用。
原文表 3 的 50 提示词横评中，Sora2.0 的 Rate/Score 为 86.0%/32.62，Veo3.1 为 72.0%/12.98。它们是检测器评估结果，不是人工认证的物理正确率。
WanX2.1 1.3B 在表 3 为 66.0%/16.54，WanX2.2 14B 为 66.0%/12.96；作者认为较简单的动作可能更少出错。正文第 5.5 节一处将前者写成 5B，本笔记沿用表 3 和结果分析中的 1.3B 标注。

亮点与洞察¶

数据对照比“请认真检查物理”更具体：配对尽量控制场景内容，将监督集中到运动及交互差异。但对照是语义级的，仍需要独立测试排除生成器痕迹。
合理生成视频是测试中的关键负捷径设计：它迫使检测器区分内容合理性与来源。类似做法也适合检查其他生成内容评估器是否只识别某种生成风格。
判断后跟解释让误判可以被人工检查。其价值是可诊断性，而不是解释一旦流畅就能自动获得可信度。

局限与展望¶

作者承认非视觉信息和复杂物理事件仍会引发幻觉，建议引入音频以及对象附加信息。仅凭画面看不到受力来源时，异常判断可能缺少充分证据。
训练来源与标签仍相关，配对无法在逻辑上彻底去除真实/生成捷径。更直接的后续实验应加入合理生成训练样本，并采用未见生成器测试。
缓存止于正文和参考文献，没有补充材料 A-H。解释评分细则、数值消融、采帧配置及物理感知 DPO 的实施结果均不能从当前材料完整核验。
表 1 的 F1 定义需要补充材料确认，且表间存在基线与模型规格差异。比较时应保留表号、数据集与提示条件，不能静默修正后再宣称统一设置下的增益。
50 条提示词规模有限，且较简单的动作可能抬高合理率。后续应同时控制动作复杂度、指令遵循及视觉质量，防止把“少做动作”当成更强的世界建模。

评分¶

新颖性: 4/5。主要贡献在任务数据、来源偏见分析和可解释评估的组合，训练目标本身标准。
实验充分度: 3/5。两个检测集与生成模型横评具有互补性，但关键协议和消融在缺失的补充材料中。
写作质量: 3/5。动机及数据流程清楚，部分表间数值和规格标注需要进一步澄清。
价值: 4/5。适合作为视频生成物理错误的筛查与分析工具，不宜作为无需复核的物理裁判。