Principia: Relational Physics Tests for Video Models¶

会议: NeurIPS 2026
arXiv: 2609.04200
OpenReview: https://openreview.net/forum?id=OeH6Ijqffz
论文: https://arxiv.org/abs/2609.04200
领域: 其他
关键词: 视频生成模型, 物理基准评测, 关系不变量, 牛顿力学, 视觉语言模型

一句话总结¶

提出首个基于成对物体相对物理不变量的无标定视频物理评测基准 Principia，涵盖八类牛顿力学现象，揭示前沿视频生成模型视觉逼真度（VBench ~0.8）与物理守恒度（得分均低于 0.42）完全解耦的本质缺陷。

研究背景与动机¶

当前视频生成扩散模型与自回归大模型（如 Veo-3.1、Wan2.2、Cosmos-2.5 等）在感知保真度上已取得突破性进展，所生成的动态视频在纹理细节、光影渲染及运动平滑性上已高度逼真，常在通用视频生成基准 VBench 上取得接近 0.8 的高分。学术界与工业界也因此频繁将其类比为能够预测行动后果与未来动态的“世界模型”。然而，视觉真实感并不等价于物理规律的忠实性，现有关于视频模型物理推理能力的评测基准长期受制于两难困境：一类依赖人类判断或 VLM 的常识打分（如 VideoPhy、PhyGenBench），容易被视觉上流畅但物理荒谬的运动蒙蔽；另一类尝试对齐真实参考视频的轨迹（如 Physics-IQ、PISA），但这不仅惩罚了物理合法但分岔的多样未来，更致命的是生成视频中物体的绝对公制尺度、相机内参焦距以及时间帧率完全缺乏物理锚定，使得绝对运动量的测算存在无法消除的歧义。

单物体的重力自由落体等孤立研究虽然揭示了个别维度的失败，但无法系统探究视频模型在不同力学流派下的物理结构连贯性。更深层的评测矛盾在于：若场景中仅存在单个滑块沿斜面下滑，由于缺乏物体的真实质量和摩擦系数先验，纯视觉评测只能停留在“滑块是否加速向下”的定性观察层面，模型即便违反了基础动力学方程也极易伪装成合理现象；一旦在相同斜面和相同摩擦条件下同时释放两个质量截然不同的滑块，牛顿力学即刻导出下滑加速度与质量完全无关的先验结论，两个滑块必须同时抵达底端。这种相对运动关系是物理定律内生的数学不变量，其时间、空间比例关系纯粹在像素坐标系即可计算，完全独立于相机的绝对几何标定与物体的公制物理单位。

面对将视频生成器作为物理世界模拟器的迫切检验需求，本文摆脱了依赖绝对测量或主观合理性判决的旧思路，将评测基石转向场景内成对物体之间的相对物理规律。核心 idea：利用同场景中成对物体在相同物理定律下运动的「相对不变量」（涵盖双斜面不同质量滑块到达时间恒等、实心/空心圆柱转动惯性时间比值、单摆摆长与周期平方根关系等），构建无需相机标定、公制尺度和帧率的无量纲评估基准 Principia，通过像素级归一化一致性得分定量检验视频生成模型与多模态大模型的物理守恒程度。

方法详解¶

整体框架¶

Principia 围绕经典牛顿力学中成对物体的相对不变量构建评测管线。该方法首先通过严苛的机械化控制协议在真实物理场景中采集双物体对照视频，涵盖平移、转动、碰撞和振动四大类动力学；利用图像编辑模型抹除画面中的实验人员和悬挂装置，并将背景编辑增强为多环境首帧图像与物理提示词输入给被测视频生成模型。随后，利用无需重新微调的分割追踪模型提取生成视频中物体的运动轨迹，经过定性运动方向一致性预筛选后，在像素空间直接计算成对物体物理观测量（如落差比、时间比、周期比或位移比）的归一化相对差异，从而在不依赖相机内参、公制单位或绝对帧率的条件下得出各现象下的连续物理一致性得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["首帧输入 + 物理提示词<br/>成对物体受控几何与初始状态"] --> B["成对物体相对物理不变量设计<br/>覆盖平移/转动/碰撞/振动8种牛顿力学"]
    B --> C["严格机械化物理实验采集与多环境编辑增强<br/>受控几何/同步释放/SAM3轨迹追踪"]
    C --> D["像素级归一化一致性评分与定性运动预筛选<br/>DCS方向预检 + 相对无量纲偏离度S_phi"]
    D --> E["视频模型与VLM物理守恒综合评测报告"]

关键设计¶

1. 成对物体相对物理不变量设计：消除绝对度量依赖的八类牛顿力学法则

针对传统物理评测中公制尺度、绝对质量与相机几何难以从生成像素中解耦的核心痛点，本文提出在单一场景内引入两个遵循同一物理法则的对照物体 \(o_1\) 与 \(o_2\)，固定其余所有环境常数，仅改变单一目标变量（如质量、高度、长度或转动惯量），导出无量纲的相对关系式 \(\mathcal{F}_\phi(o_1) = \mathcal{F}_\phi(o_2)\)。Principia 涵盖了平移、转动、碰撞与振动四大类动力学下的 8 种典型现象： 1. 重力自由落体（Gravity）：两相同球自不同高度 \(h_1, h_2\) 释放，下落时间满足 \(h_1 / h_2 = (t_1 / t_2)^2\)； 2. 恢复系数碰撞（Restitution）：两球碰撞同一表面后的反弹高度满足 \(\sqrt{r_1 / h_1} = \sqrt{r_2 / h_2}\)； 3. 摩擦力斜面滑动（Friction）：不同质量滑块在同质倾角斜面上因下滑加速度 \(a = g(\sin\theta - \mu\cos\theta)\) 与质量无关，满足到达时间恒等 \(t_1 = t_2\)； 4. 转动惯量（Rotational Inertia）：相同质量与外半径的实心圆柱与空心圆柱沿无滑斜面滚下，因纯滚动加速度 \(a = g\sin\theta / (1 + I / mR^2)\)，满足时间比 \(t_1 / t_2 = \sqrt{(1 + I_1 / mR^2) / (1 + I_2 / mR^2)}\)； 5. 平抛运动（Projectile）：从不同高度抛出的物体水平射程满足 \(R \propto v \propto \sqrt{h}\) 的相对排序； 6. 动量守恒（Momentum）：滚球撞击滑块，释放高度不同导致滑块位移 \(x \propto h\)，滑块质量不同导致位移 \(x \propto 1/m\)； 7. 单摆振动（Pendulum）：小角度下不同摆长单摆周期满足 \(T_1 / T_2 = \sqrt{l_1 / l_2}\)； 8. 弹簧振子（Mass-Spring）：同劲度系数弹簧悬挂不同质量物体，静止伸长量满足胡克定律胡克伸长比 \(x_1 / x_2 = m_1 / m_2\)。

2. 严格机械化物理实验采集与多环境编辑增强：消除系统扰动并隔离装置干扰

相对不变量对实验微小扰动极其敏感，微弱的释放不同步、倾角微差或初速度偏转都会伪造出虚假的“违反物理”信号。为此，研究团队在严格受控条件下实录了 750 余段真实实验视频：采用机加工 Delrin 实心柱与铝制空心筒（质量、高度、外半径公差控制在 5% 以内），使用机械卡槽导轨实现毫米级同步释放，严禁手工抛掷；对无滑滚动与摩擦接触面进行严格物料校验。数据经过多轮自动与人工筛选排除侧移、脱轨和晃动样本。随后，利用图像编辑模型对视频首帧进行修复，消除画面中的实验人员、拉绳与触发支架，避免生成模型通过学习“实验装置视觉线索”作弊；进一步编辑背景材质与光照生成 529 个多环境高样貌变体，使模型必须完全基于物理场景理解完成动态推理。

3. 像素级归一化一致性评分与定性运动预筛选：全自动且鲁棒的定量度量

为了在无需相机标定和时间标定的前提下实现全自动量化评估，管线首先利用提示点引导的 SAM3 追踪成对物体的几何中心或底边缘轨迹。针对模型可能退化为静止、颠倒下落或剧烈形变的异常生成，引入方向一致性评分（Directional Consistency Score, DCS）作为准入阈值：

\[ \mathrm{DCS} = \frac{1}{|S|} \sum_{i \in S} \frac{\Delta \mathbf{p}_i^\top \hat{\mathbf{d}}}{\|\Delta \mathbf{p}_i\|} \]

其中 \(\Delta \mathbf{p}_i\) 为帧间位移向量，\(\hat{\mathbf{d}}\) 为预期物理运动的方向单位向量（如下落沿 y 轴向下，单摆朝平衡位置），\(S\) 为有效位移帧集合。若 \(\mathrm{DCS} < 0.8\)，判定其未生成基本合理运动，直接记为 0 分。对于通过初筛的生成视频，计算各物理现象对应的像素观测量 \(\mathcal{F}_\phi(o_1)\) 与 \(\mathcal{F}_\phi(o_2)\)，并采用归一化一致性得分定量评估：

\[ S_\phi = 1 - \frac{|\mathcal{F}_\phi(o_1) - \mathcal{F}_\phi(o_2)|}{|\mathcal{F}_\phi(o_1)| + |\mathcal{F}_\phi(o_2)|} \]

该得分天然有界在 \([0, 1]\) 之间，完全独立于像素分辨率和绝对运动速度，当不变量完全满足时为 1，出现 10% 的相对不对称时得分约为 0.95。此外，论文基于 Isaac Sim 搭建了合成平台 Principia-Synth，程序化生成精准符合物理规律与违背不变量的反物理双向成对视频，为评测 VLM 的物理违规判断能力提供客观基准。

损失函数 / 训练策略¶

作为纯评测基准与测试平台，Principia 本身不涉及模型训练损失函数。但在测试推断策略上，论文对被测的六个主流视频生成模型（闭源商用模型 Veo-3.1、Gemini Omni 以及开源权重模型 Wan2.2-5B/14B、Cosmos-2.5-2B/14B）实施了严格的控制变量推理规范：各模型均在默认高画质配置下接收首帧图像及对应物理场景描述文本；每个场景采用多个随机种子采样以取平均得分，累计消耗超过 2,600 个 A100 GPU 小时；对多模态视觉语言模型（Gemini-3.1-Pro、Gemini-3-Flash、Qwen-32B、Qwen-4B）则采用标准结构化 JSON 提示词，要求模型仅根据视频判断是否违背物理定律并输出 PASS/FAIL 结论。

实验关键数据¶

主实验¶

主实验系统评测了六大主流视频生成模型在 Principia 八大物理现象下的连续关系一致性得分 \(S_\phi\)。

模型	恢复系数 (Restitution)	重力自由落体 (Gravity)	斜面摩擦 (Friction)	转动惯量 (Inertia)	平抛运动 (Projectile)	动量守恒 (Momentum)	弹簧振子 (Spring)	单摆运动 (Pendulum)	综合得分 (Overall)
Veo-3.1	0.479 ± 0.354	0.524 ± 0.378	0.387 ± 0.400	0.669 ± 0.380	0.250 ± 0.370	0.000 ± 0.000	0.381 ± 0.160	0.343 ± 0.309	0.379 ± 0.186
Cosmos-2.5-2B	0.272 ± 0.301	0.378 ± 0.357	0.078 ± 0.176	0.044 ± 0.154	0.000 ± 0.000	0.074 ± 0.177	0.130 ± 0.167	0.205 ± 0.191	0.148 ± 0.120
Cosmos-2.5-14B	0.179 ± 0.233	0.365 ± 0.337	0.319 ± 0.339	0.171 ± 0.303	0.019 ± 0.094	0.015 ± 0.084	0.147 ± 0.161	0.380 ± 0.268	0.199 ± 0.135
Wan2.2-5B	0.158 ± 0.243	0.220 ± 0.262	0.307 ± 0.357	0.470 ± 0.371	0.009 ± 0.067	0.067 ± 0.249	0.065 ± 0.125	0.346 ± 0.244	0.205 ± 0.150
Wan2.2-14B	0.504 ± 0.338	0.540 ± 0.344	0.709 ± 0.291	0.729 ± 0.260	0.231 ± 0.300	0.017 ± 0.090	0.099 ± 0.150	0.519 ± 0.235	0.419 ± 0.253
Omni	0.277 ± 0.327	0.295 ± 0.334	0.852 ± 0.264	0.784 ± 0.261	0.148 ± 0.266	0.054 ± 0.155	0.308 ± 0.205	0.554 ± 0.241	0.409 ± 0.272

消融实验¶

消融与扩展分析包含两项核心验证：一是多模态视觉语言模型在真实与反物理合成视频上的检测一致性 \(A_\phi\)；二是评估测试协议在不同模拟相机运动（平移与变焦）干扰下的鲁棒性验证。

评测对象 / 干扰配置	恢复系数	重力下落	斜面摩擦	转动惯量	平抛运动	动量碰撞	弹簧振子	单摆振动	综合均值
VLM: Gemini-3.1-Pro	0.439	0.489	0.498	0.517	0.517	0.536	0.843	0.519	0.545
VLM: Gemini-3-Flash	0.594	0.644	0.840	0.465	0.665	0.556	0.895	0.626	0.661
VLM: Qwen-32B	0.460	0.553	0.467	0.427	0.517	0.411	0.587	0.579	0.500
VLM: Qwen-4B	0.588	0.580	0.642	0.427	0.547	0.450	0.535	0.557	0.541
相机鲁棒性: 原始固定机位	0.977	0.934	0.963	0.936	1.000	1.000	0.881	0.901	0.949
相机鲁棒性: 下移 10% (Pan Down)	0.961	0.937	0.964	0.901	1.000	1.000	0.837	0.901	0.938
相机鲁棒性: 左移 10% (Pan Left)	0.977	0.934	0.964	0.898	0.417	1.000	0.850	0.920	0.883
相机鲁棒性: 变焦 10% (Zoom)	0.961	0.935	0.964	0.900	0.972	0.950	0.867	0.902	0.931

关键发现¶

视觉质量与物理规律呈现正交脱节：所有六大视频生成器在衡量纹理质量与表观运动的 VBench 上均聚集在 0.8 左右的高分区间，但在 Principia 上的得分全面落后，无一超过 0.42。这直接证伪了“高分辨率逼真渲染意味着模型内化了世界动力学”的假设。
参数规模扩展（Scaling）并未带来一致的物理规律增益：同架构模型增大参数呈现分化甚至倒退现象。Cosmos 从 2B 增大到 14B，摩擦与单摆得分提升，但在弹性碰撞（-0.09）和动量传递（-0.06）上显著退化；Wan2.2 从 5B 扩展到 14B 综合性能显著提升，但在复杂的两体碰撞动量传递上仍然轻微下滑（-0.05）。
多体碰撞与动量传递成为全行业的灾难性短板：所有视频模型在动量碰撞任务上的得分均接近于 0（最高 Omni 仅为 0.054，Veo-3.1 为 0.000）。模型生成的小球常出现“撞击后直接跳上木块”或“木块位移与来球动量毫无相关”的幻觉，显示当前的注意力扩散架构对多物体因果交互建模极度乏力。
VLM 物理违规鉴别能力逼近随机猜测：即使是表现最优的 Gemini-3-Flash，在判断合成物理视频合规性时的准确率仅为 66.1%，Qwen-32B 甚至低至 50.0%（相当于硬币正反面猜测），说明现有多模态模型在无符号辅助下无法直接从视觉像素中洞察经典动力学关系。

亮点与洞察¶

以相对不变量破解无标定难题：巧妙地将伽利略斜面实验思想泛化到 8 大经典物理系统，避开了传统生成视频中必须标定相机内参、帧率和物理尺度的致命死穴，用纯像素比值实现了刚性、可复现的物理真理检验。
真实精密机加工与反物理合成仿真双轨互补：在物理侧通过 5% 公差精密加工圆柱和机械释放消除实验误差，在逻辑侧利用 Isaac Sim 精确构造违背守恒律的反物理对抗样本，构建起兼顾生成器与鉴别器的完整闭环。
揭穿了视频“世界模型”的虚假神话：实验确凿地证明当前的视频模型不过是“高超的视觉画师”而非“物理模拟器”，学会了渲染世界的表象却完全未掌握维系世界的运行法则，为未来物理引导生成（Physics-guided Video Generation）指明了必须攻克的技术瓶颈。

局限与展望¶

宏观刚体动力学范围局限：目前评测局限于宏观低速牛顿力学（平移、刚体转动、线弹性与无变形碰撞），未涵盖流体动力学、软体形变、热力学及破碎效应。
视觉伪影与物理违规耦合：当前生成模型中频发的物体闪烁、消失或生成多余物块等非物理构图缺陷，虽然被 DCS 预筛选部分拦截，但仍与精细的动力学推导偏差混杂在一起。
改进方向：后续可将此类相对物理不变量设计为自监督物理损失函数（Physics Relational Loss）或强化学习可验证奖励（Verifiable Rewards），直接介入视频扩散模型的后训练（Post-training）过程。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 提出首个基于成对物体相对不变量的无标定物理基准，立意新颖且理论严密。
实验充分度: ⭐⭐⭐⭐⭐ 结合 750+ 真实物理视频与 Isaac Sim 仿真，深度评测 6 大主流视频生成器与 4 款 VLM，耗费超 2,600 GPU 时。
写作质量: ⭐⭐⭐⭐⭐ 物理推导严谨，动机阐述鞭辟入里，图文与实验剖析逻辑连贯清晰。
价值: ⭐⭐⭐⭐⭐ 为当前火热的视频“世界模型”提供了急需的试金石，对下一代物理对齐视频生成有重大引导意义。