Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5536
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/11226.pdf
代码: https://github.com/hao-ai-lab/VideoScience
领域: 视频生成
关键词: 科学推理、复合科学概念、视频评测、证据约束、VLM评审

一句话总结¶

VideoScience-Bench 把视频模型放进需要组合科学概念的实验场景，再用专家五维评分和证据约束的 VideoScience-Judge 检查其生成结果，发现视觉连贯远不等于现象正确，而清单增强评审与专家排名的 Spearman 相关系数达到 0.96。

研究背景与动机¶

视频生成已经能把物体外观、摄影机运动和帧间过渡做得相当自然，但这些能力并不保证模型能预测实验结果。一个画面平滑、物体稳定的视频，仍可能把本应发生的运动画反，或者只展示实验装置而不呈现现象。FVD 等分布指标很难定位这种错误；以日常落体、反射和物体接触为主的物理常识评测，也不足以检验多个科学原理相互作用后的结果。

本文选择大学本科层级的物理与化学场景，并要求每个案例至少涉及两个科学概念。例如，光束经过浓度梯度糖溶液时的弯曲，需要同时考虑折射与扩散，而不是仅认出“激光”和“液体”。难点随后转移到评审端：VLM 可能从熟悉的装置联想到正确答案，却没有核对视频是否真的展示了相应过程。因此，基准既要控制实验条件，也要让评审拿出可定位的视觉证据。

核心 idea：用复合科学案例检验可观察的结果正确性，再把自动评分落实到逐项清单、因果关键帧和视觉工具证据，避免把“看起来像实验”误判为“实验现象正确”。

方法详解¶

整体框架¶

本文不训练新的视频生成器，而是同时构建测试集和自动评审流程。输入是实验提示词，I2V 条目还给出初始装置图；待评模型生成视频后，专家或 VideoScience-Judge 按同一套五维标准评分。自动评审从参考现象出发形成清单，定位支持或反驳清单的关键帧，再结合检测、跟踪与运动证据给出分项分数和加权总分。

下图表达的是从测试设计到自动评审的多阶段流程，而不是视频模型自身的生成架构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Source["科学概念与教学案例"] --> Cases["复合案例构建"]
    Cases --> Generate["提示词与可选首帧<br/>待评模型生成视频"]
    Generate --> Rubric["五维评分协议"]
    Rubric --> Checklist["清单与关键帧"]
    Checklist --> Evidence["CV证据增强"]
    Evidence --> Output["逐维评分与加权总分<br/>对照专家标注"]

关键设计¶

1. 复合案例构建：让结果依赖概念组合，而非单一现象回忆

8 位领域研究生专家各编写 20 个提示词，构成 160 个 T2V 案例；每个案例至少结合两个科学概念，并参考公开教学实验，要求目标现象能在不超过 10 秒的视频中呈现。覆盖范围是 14 个主题、103 个概念，其中物理占 9 个主题、79 个概念与 135 个案例，化学占 5 个主题、24 个概念与 25 个案例。这里的核心不是把题目写得长，而是使结果依赖多个条件的联合作用，降低仅靠熟悉画面模式过关的可能。

其中 40 个案例另配改写提示词和初始帧，形成 I2V 条目，包含 35 个物理案例和 5 个化学案例。因此总数是 200 个评测条目，而不是 200 个独立科学场景；T2V 与 I2V 也不能当成互不重叠的数据划分。I2V 参考视频来自公开数据集与在线资源，初始片段的关键帧用于展示装置。专家交叉检查提示词的明确性、步骤准确性和预期结果，最后用 Sora-2 与 Wan-2.5-T2V-Preview 检查开头画面能否表达关键装置。这是可呈现性检查，不意味着生成结果已被当作科学真值。

2. 五维评分协议：把实验条件、目标结果与视觉稳定性拆开

Prompt Consistency（PCS）检查实验装置和步骤是否遵循提示词；Phenomenon Congruency（PCG）检查目标科学现象是否正确；Correct Dynamism（CDN）检查运动和物体交互是否满足其他基本物理约束。Immutability（IMB）要求不应变化的物体保持稳定，但不应惩罚实验本来要求的变换；Spatio-Temporal Coherence（STC）关注帧间过渡是否自然、时空是否连续。将 PCG 与 CDN 分开，能区分“目标结果没发生”和“发生了某种结果，但过程违背物理规律”。

每维采用 1 至 4 的有序等级：缺失或矛盾、较弱或部分错误、基本正确、明确正确。总分对科学结果赋予最高权重；下式只是把正文明确给出的权重写成代数形式，不是补全缺失公式：

\[ S = 0.30\,\mathrm{PCG} + 0.20\,\mathrm{PCS} + 0.20\,\mathrm{STC} + 0.15\,\mathrm{CDN} + 0.15\,\mathrm{IMB}. \]

对原始分项使用该式得到的仍是 1 至 4 分，而实验表中的归一化结果另有处理，不能直接当成准确率。作者解释，PCS 和 STC 用于判断装置与视频是否成立；但公开正文没有给出完整的程序化门控规则，所以不能自行添加“某维低于阈值就把总分置零”的逻辑。

3. 清单与关键帧：要求每一次扣分都对应可观察证据

直接让 VLM 对科学视频整体打分，容易产生缺乏依据的高分。VideoScience-Judge 先由 LLM agent 针对提示词生成分维度清单，将抽象评价变成具体检查项，再根据每维满足项目的比例映射到四级评分。清单采用逐项扣分方式，扣分需要具体证据；关键帧定位则利用参考科学现象，以及 I2V 中可用的参考视频，寻找真正能证明违例的时刻。这样评审面对的是“视频是否显示了这个状态变化”，而非“语言模型是否知道这个实验的答案”。

清单经人工核验，与真实现象的一致准确率为 95.6%；这个数字衡量清单质量，不是视频生成成功率，也不是最终评审准确率。缓存正文未包含补充材料中的清单模板、满足比例到等级的精确阈值、关键帧采样参数，因此笔记只陈述已知流程，不推测均匀分箱或采样间隔。参考信息用于评审，也不代表生成模型看到了预期答案。

4. CV证据增强：用定位、身份和运动信号约束视觉语言判断

在清单之外，Grounding DINO 核对实体存在及属性，ByteTrack 做跨帧身份关联，RAFT 光流提供运动方向和幅度，CLIP4Clip 衡量文本与视频对齐。有参考视频时再加入 VGG 骨干的 LPIPS 相似性。每个模块输出包含 frame_second、type、region、score、attributes 的紧凑 JSON 记录，汇总器将其组织为证据表，按配置把清单、证据表、两者或都不加入评审提示词。

这些工具不直接证明科学定律成立，而是帮助 VLM 核实“物体有没有消失”“轨迹是否连续”“运动方向是否支持判断”等局部事实。例如，对持续旋转中小球的位置变化，静态截图只能证明小球曾出现，身份跟踪和光流才能补充它是否连续移动的证据。论文也承认，物体严重变形或身份丢失时通用 CV 工具会变脆弱；它们是可检查的证据来源，而不是独立可靠的科学模拟器。

损失函数 / 训练策略¶

本文没有新增训练损失或生成模型微调。核心实验是比较同一批生成视频的专家评分与自动评分；正文说明每个模型生成 3 个视频样本，但缓存没有展开全部运行参数。表 2 用 GPT-5 mini 统一比较自动评审方法，表 3 的清单与 CV 消融用 GPT-5 pro，两组数值不能混为同一骨干上的实验。

实验关键数据¶

主实验¶

下表摘自原文表 2。Base 为基础评审，CL 为清单增强，CL+CV 为清单加视觉证据；数值是论文报告的归一化聚合分数，不是成功率。评测的模型名称按实验表保留为 Veo-3，不替换成引言中的 Veo-3.1。

视频模型	VSci-Judge Base	CL	CL+CV
Sora-2	0.76	0.75	0.76
Veo-3	0.67	0.65	0.65
Kling-v2.5-Turbo-Pro	0.63	0.59	0.59
Wan-2.5-T2V-Preview	0.68	0.60	0.59
Seedance 1.0 Pro	0.63	0.56	0.54
Hailuo 2.3	0.58	0.52	0.50
Ray2	0.54	0.39	0.34

同一表报告自动评价与专家排名的相关性，越高越好。LMArena-T2V 使用人类投票产生的 ELO，并非统一 VLM 评审。

评价方法	Kendall \(\tau\)	Spearman \(\rho\)
VSci-Judge Base	0.78	0.86
VSci-Judge CL	0.90	0.96
VSci-Judge CL+CV	0.90	0.96
T2V-CompBench	0.62	0.71
VideoScore2	0.45	0.53
PhyGenEval	0.62	0.82
LMArena-T2V	0.52	0.71

消融实验¶

原文表 3 使用 GPT-5 pro，报告相对专家评分的有符号偏差 \(\Delta\)，格式为均值 ± 标准差；正值表示高估，负值表示低估，应关注与零的距离，而非一概越小越好。

评分维度	无 CL	有 CL	CL+CV
Prompt Consistency	-0.10 ± 0.10	-0.06 ± 0.08	-0.05 ± 0.09
Phenomenon Congruency	-0.22 ± 0.10	-0.20 ± 0.11	-0.20 ± 0.11
Correct Dynamism	+0.32 ± 0.13	+0.27 ± 0.10	+0.29 ± 0.13
Spatio-Temporal Coherence	+0.28 ± 0.08	+0.26 ± 0.09	+0.21 ± 0.09
Immutability	+0.27 ± 0.12	+0.24 ± 0.14	+0.18 ± 0.17

关键发现¶

清单是排名改善最明确的因素：\(\rho\) 从 0.86 到 0.96；CL+CV 与 CL 的相关系数相同，不能据此宣称 CV 进一步改善排序。
CV 对部分分项校准有帮助：相对无 CL，STC 偏差由 +0.28 降至 +0.21，IMB 由 +0.27 降至 +0.18；但 CDN 相对 CL 从 +0.27 回升到 +0.29，并非所有维度均获益。
正文报告 Sora-2 在化学和物理上的总体专家分分别为 3.37 与 3.12；其 Energy 类的 PCS 为 3.53，PCG 为 2.67，说明装置画对后仍可能生成错误结果。这些细分数字来自正文对补充分析的转述，而非缓存中的完整分类表。
主文称 LPIPS 对 IMB 校准、RAFT 对运动相关维度有效，但单工具消融数值仅指向未附带的补充材料，因此不制作虚构的逐工具消融表。

亮点与洞察¶

将“目标现象正确”与“过程中的其他物理约束正确”分开，使错误具有可诊断性。仅给视频一个真实感总分，会掩盖装置、结果和轨迹之间不同的失败来源。
排名相关性和分项校准回答不同问题。CV 不改变这批模型的排名相关系数，仍可能减少特定维度的评分偏差；两者应分别报告。
清单让领域知识变成可核对的问题，CV 让回答带有时间和区域定位。可迁移的部分是这种证据约束评审方式，而非把现成视觉分数直接称为科学正确性。

局限与展望¶

作者明确限定：基准验证外部可观察的科学正确性，不能恢复模型的内部推理过程。现象可以被视觉先验部分模仿，组合概念也不能单独证明模型学会了因果推理。
160 个场景中物理与化学为 135 对 25，且 I2V 复用其中 40 个场景；总体结果不应被解释为均衡覆盖所有科学主题。后续可增加配对条件干预和跨概念组合测试。
通用检测与跟踪器面对严重扭曲视频可能失效。正文称先惩罚结构破坏再考虑现象得分，但缓存缺少完整实现规则，仍需核对具体机制如何避免错误信用分配。
评审排名基于 7 个生成模型，缓存没有给出相关系数的置信区间；高相关性不能直接外推到新模型、单条视频或其他领域。
主文多处引用缺失的补充材料，并有未解析的附录交叉引用。表 2 声明统一使用 GPT-5 mini，后文基线说明又提到 GPT-4o 和 Llava-1.5-7B；笔记以表 2 的明确协议解释该表，复现时仍需核对这些描述差异。

评分¶

新颖性: 4/5。复合科学场景与证据化评审结合具有针对性，但清单和 VLM 评审本身不是全新范式。
实验充分度: 4/5。包含 7 个生成模型、专家对照和配置消融，规模、置信区间及缓存中缺失的补充细节仍限制结论强度。
写作质量: 3/5。评价维度与主线清晰，但基线骨干描述差异和失效的附录引用妨碍复现。
价值: 4/5。能揭示视觉连贯掩盖科学错误的现象，并提供比笼统总分更可解释的评测方式。