Do Joint Audio-Video Generation Models Understand Physics?¶

会议: NeurIPS 2026
arXiv: 2605.07061
代码: https://github.com/ZijunCui02/AV-Phys-Bench
领域: 视频生成
关键词: 音视频联合生成, 物理常识基准, 跨模态物理一致性, 动态场景演化, 智能体评估

一句话总结¶

提出了首个评估音视频联合生成模型物理常识的基准 AV-Phys Bench，定义了场景演化三级分类法与跨模态物理一致性评测细则，并构建结合音频数字信号处理工具的 AV-Phys Agent，揭示出当前生成模型在动态转折与逆向物理下性能严重崩溃的本质瓶颈。

研究背景与动机¶

近年来，文本到音视频联合生成模型取得了突破性进展，商业闭源系统（如 Seedance 2.0、Kling 3.0 Omni、Veo 3.1、Sora 2）与开源模型（如 LTX-2.3、Ovi、JavisDiT++）均能合成高保真、音画同步的视频片段。这一飞跃让业界普遍预期生成模型正在逐步成为理解现实世界的“世界模拟器”。然而，在感知层面的逼真度与表面同步性之下，隐藏着一个根本性的疑问：这些模型是否真正理解了物理世界中视听信号共同遵循的客观因果律，抑或仅仅是在统计概率上拼凑出表面看似合理却违背物理常识的声学与视觉假象。在真实世界中，声学信号与视觉动态是同一物理事件的双模态投影，无论是转动旋钮导致音量升高，还是将响铃闹钟放入泡沫盒子导致声音沉闷，视听变化受同一动力学控制。

现有的视频与音频生成评测基准存在明显的盲区与结构性不足。视觉物理基准（如 PhysicsIQ、PhyGenBench、VideoPhy-2、PhyWorldBench）仅关注画面中的刚体碰撞或运动规律，完全忽略音频模态；音频敏感性基准（如 PhyAVBench）仅单向评测受控物理变量对声音的影响，未考虑音画联合动态；而多模态评测基准（如 TAVGBench、JavisBench、VABench、SAVGBench）绝大多数聚焦于文本对齐、粗粒度时空同步或感知保真度，且多将评测局限在静态孤立事件中。当前领域缺乏能够系统考察“场景动态演化过程中跨模态物理因果约束是否保持一致”的评测体系，更无法判别模型到底具备生成性物理推导能力，还是仅仅死记了训练集中的物理共现先验。

针对上述瓶颈，本文构建了首个全面考察视听物理常识的评测基准 AV-Phys Bench 与智能体评估器 AV-Phys Agent。本文的核心 idea 是：将音视频物理演化解构为“稳态、事件转折、环境转折”三级动态场景与逆向物理对抗探针，结合五维度布尔细则和音频 DSP 确定性测量工具，精准量化从单模态语义、单模态物理到跨模态物理一致性的逐级衰减差距。

方法详解¶

整体框架¶

AV-Phys Bench 与评估器 AV-Phys Agent 构成了一个包含场景演化提示词体系、物理细化标准（Rubric）和确定性工具增强判决闭环的完整评估流程。在输入端，基准通过物理教科书实验与现实场景提炼出 321 个精心设计的提示词与对应细化规则（包含 268 个遵循物理的提示词与 53 个刻意违背物理的 Anti-AV-Physics 探针）；在生成端，被测模型接收提示词并生成时长为 8 秒的 16:9 对齐音视频；在评估端，流程分为两条并行链路：一条是由 10 位专业人类标注员构成的基准参考链路，每段视频由 3 位标注员独立打分并通过严格合取（Strict Conjunction）聚合；另一条则是核心自动化评估方案 AV-Phys Agent，以多模态大语言模型（Gemini 3.1 Pro Preview）为认知底座，运行 ReAct 思考循环并按需调用音频 DSP 工具链对物理量进行测量，最终产出与人类高一致性的布尔判定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本提示词<br/>（321个提示词：268物理遵循 + 53逆向物理）"] --> B["场景演化物理分类法<br/>稳态 / 事件转折 / 环境转折"]
    B --> C["多模态音视频生成模型<br/>（闭源API / 开源模型生成8s片段）"]
    C --> D["五维度评测细则体系<br/>V-SA / A-SA / V-PC / A-PC / AV-PC"]
    D --> E["AV-Phys Agent 智能体评估<br/>ReAct循环与自适应DSP量化测量"]
    E --> F["确定性音频DSP工具链<br/>基频F0 / 响度LUFS / 混响RT60 / 音画对齐"]
    F -->|测量数据结构化回传| E
    E --> G["严格合取布尔判定输出<br/>（SA / PC / Both 逐级严格合取）"]

关键设计¶

1. 场景演化物理分类法：覆盖静态与动态因果演化的分层场景体系 以往的视听基准往往将视听事件限定在单点孤立动作，无法考察因果链随时间展开时的物理连贯性。针对这一缺陷，本设计将真实世界中决定视听事件的三要素（声源实体、施加动作、传播环境）系统性映射为三大场景类别：（1）稳态（Steady State）：声源与环境固定，重点考察材料属性（如金属清脆、木质沉闷）、声源定位锚定及声音随时间的衰减（如敲击锣后的余音衰减）；（2）事件转折（Event Transition）：外力施加改变声源物理状态，如改变发声体几何尺寸与张力引起基频改变、敲击力增加引起响度突增、旋转移动引起辐射方向改变；（3）环境转折（Environment Transition）：声源自身不变，但声波传播路径与介质剧烈改变，如进入真空罩、落入水中、关门阻隔高频吸声或从空旷大厅走进封闭壁橱。此外，在每一类中均构造了逆向物理探针（Anti-AV-Physics），要求模型按字面指令合成反常物理表现（如猫张嘴却发出狗吠、戴上密封头盔声音反而更亮更响），以此探究模型是否具备真正的生成性物理知识，还是被物理先验概率锁死。

2. 五维度解耦评测细则体系：分离语义依从与跨模态物理因果 单纯给出综合逼真度评分容易掩盖模型“语义过关但物理违背”的结构性缺陷。本设计将评测拆解为互不重叠的五大维度：（1）视觉语义依从（V-SA）与（2）音频语义依从（A-SA），检验画面中描述的物体/动作和音频中描述的声源/声效是否存在；（3）视觉物理常识（V-PC）与（4）音频物理常识（A-PC），分别检验单模态内部是否符合现实世界的刚体运动、接触形变、声波频散衰减等规律；（5）跨模态物理常识（AV-PC），这是本基准独有的核心创新维度，严格判定视觉事件与听觉事件是否指向同一个物理实体与过程。AV-PC 细分为因果耦合（视觉原因必须先于听觉结果发生）、时序耦合（声音起始点与接触瞬间的偏移量 \(\Delta_{\text{ms}}\) 处于生理容忍窗口内）、空间耦合（声道声相与画面空间方位对齐）和声源同一性耦合（看到的物体材质大小必须与听到的音色匹配）。在评分聚合上采用严格逻辑合取：

\[SA = \text{V-SA} \land \text{A-SA}, \quad PC = \text{V-PC} \land \text{A-PC} \land \text{AV-PC}, \quad Both = SA \land PC\]

只有每个维度的所有原子判定均为真，样本才算通过，绝不容许“孤立逼真、时序错乱”的投机表现。

3. AV-Phys Agent 智能体评估：ReAct 循环与确定性音频 DSP 工具链增强 纯 MLLM 直接充当裁判（MLLM-as-judge）在判断连续物理量时存在天然缺陷，如难以精确估算毫秒级时间差、分贝级微小响度落差或细微基频偏移。本设计提出了 ReAct 风格的评估智能体 AV-Phys Agent。智能体以 Gemini 3.1 Pro Preview 为核心，在第一阶段接收视频与细则后，并不凭直觉猜测，而是根据细则中的物理断言动态调用 10 种轻量、确定性的数字信号处理（DSP）工具： - dsp_detect_onsets 与 dsp_av_align：结合 librosa 检测音频瞬态起始点，并比对模型识别出的画面视觉接触时间戳，计算音画同步偏差 \(\Delta_{\text{ms}}\)（默认容忍窗口 100 ms）与因果先后顺序； - dsp_pitch_at_onsets 与 dsp_pitch_contour：利用 Praat 算法分析发声瞬间的基频 \(f_0\) 及其时序轮廓，判断音高是否单调上升或下降（如刮尺实验、注水杯实验）； - dsp_loudness_contour 与 dsp_compare_segments：基于 ITU-R BS.1770 / EBU R128 标准量化积分与滑动窗口 LUFS，精准比对转折前后的能量变化 \(\Delta\text{LUFS}\)； - dsp_spectral_features 与 dsp_estimate_rt60：计算频谱质心、85% 滚降点及施罗德反向积分的 \(RT_{60}\) 混响时间，定量评估屏障吸声与空间几何特征； - dsp_stereo_balance 与 dsp_silence_analysis：评估双耳时间差/强度差（ITD/ILD）立体声平衡度及真空无介质时的静音比例。量化指标以 JSON 结构回传给多模态裁判，并在第二阶段输出符合 Pydantic 规范的结构化布尔判定，彻底消除了传统评估器的模糊幻觉。

实验关键数据¶

主实验¶

评估涵盖 3 款顶级闭源模型（Seedance 2.0、Kling 3.0 Omni、Veo 3.1）与 4 款主流开源模型（LTX-2.3、Ovi 1.1、JavisDiT++、MagiHuman），在 268 个物理遵循提示词上的细粒度人类评测结果如下表所示：

模型类型	模型名称	V-SA (↑)	A-SA (↑)	V-PC (↑)	A-PC (↑)	AV-PC (↑)
闭源商业模型	Seedance 2.0	0.940	0.933	0.840	0.769	0.750
闭源商业模型	Kling 3.0 Omni	0.925	0.840	0.716	0.489	0.556
闭源商业模型	Veo 3.1	0.877	0.854	0.519	0.425	0.422
开源模型	LTX-2.3	0.519	0.567	0.295	0.209	0.239
开源模型	Ovi 1.1	0.325	0.351	0.127	0.090	0.075
开源模型	JavisDiT++	0.239	0.325	0.063	0.086	0.019
开源模型	MagiHuman	0.116	0.198	0.052	0.071	0.049

在不同场景类别下的严格合取综合通过率（SA / PC / Both）表现出显著差异：

模型名称	C1 稳态 PC (n=127)	C2 事件转折 PC (n=105)	C3 环境转折 PC (n=36)	全局物理常识 PC	全局综合 Both
Seedance 2.0	0.720	0.535	0.719	0.660	0.653
Kling 3.0 Omni	0.492	0.186	0.281	0.343	0.336
Veo 3.1	0.322	0.105	0.172	0.216	0.213
LTX-2.3	0.161	0.023	0.078	0.097	0.086
Ovi 1.1	0.025	0.012	0.000	0.015	0.011
JavisDiT++	0.000	0.000	0.000	0.000	0.000
MagiHuman	0.008	0.000	0.000	0.004	0.004

消融实验¶

表 4 与表 13 验证了 AV-Phys Agent 各工具模块配置相对于纯 MLLM 裁判 baseline 与人类多数投票的一致性表现（Per-dimension Agreement），并量化了皮尔逊相关系数 \(r\)：

评估器配置	V-SA 一致性	A-SA 一致性	V-PC 一致性	A-PC 一致性	AV-PC 一致性	均值 ± 标准差	排序相关系数 \(r\)
MLLM-as-judge (无工具基线)	0.797	0.735	0.754	0.617	0.691	0.719 ± 0.068	0.890
Agent + 音频 DSP (AV-Phys Agent)	0.817	0.765	0.796	0.767	0.760	0.781 ± 0.025	0.934
Agent + 视觉工具 (裁剪/抽帧)	0.781	0.717	0.747	0.717	0.743	0.741 ± 0.027	0.888
Agent + 视听全量工具 (联合配置)	0.754	0.708	0.737	0.732	0.745	0.735 ± 0.018	0.847

在逆向物理探针（Anti-AV-Physics，53 个对抗提示词）下，顶级闭源模型表现出灾难性崩塌：

闭源模型	正常物理通过率 (Phys.)	逆向物理遵从率 (Anti)	相对崩塌幅度 (Drop %)
Seedance 2.0	0.660	0.208	68.5%
Kling 3.0 Omni	0.343	0.189	44.9%
Veo 3.1	0.216	0.113	47.7%

关键发现¶

语义到物理的逐级性能阶梯性滑坡：所有模型均呈现 \(V\text{-}SA > V\text{-}PC > A\text{-}PC \ge AV\text{-}PC\) 的普遍衰减规律。即使是表现最佳的 Seedance 2.0，其视觉语义依从率高达 0.940，但跨模态物理常识 AV-PC 骤降至 0.750；开源模型中表现最好的 LTX-2.3 从 0.519（V-SA）跌至 0.239（AV-PC），验证了“表面语义合理不代表符合物理规律”。
转折场景是物理理解的技术深水区：三大场景类别呈现明确的难度层级：稳态 C1 远优于转折场景 C2 与 C3。在事件转折 C2 中，外力或动作引起的物理状态转变令闭源模型通过率腰斩（Kling 从 0.492 跌至 0.186，Veo 从 0.322 跌至 0.105），多款开源模型甚至出现 0% 的彻底失效，表明静态先验不足以支持动态因果建模。
逆向物理暴露伪物理知识瓶颈：在 Anti-AV-Physics 任务中，Seedance 2.0 的依从性能大幅暴跌 68.5%。模型在遇到故意违背常理的指令时（如要求拍打干燥地板却听到水花飞溅），往往通过篡改画面（在地上画出一滩水）来合理化声音，或直接忽略逆向指令恢复常规物理，揭示出模型缺乏真正的可组合生成能力，仅死记了数据分布的强共现先验。
音频 DSP 工具对评估可信度的决定性支撑：引入确定性音频 DSP 工具使 A-PC 评估准确率提升 15.0%，AV-PC 提升 6.9%，五维度方差由 0.068 降至 0.025。相比之下，盲目引入视觉工具反而会割裂模型全局上下文、消耗步数，导致评分一致性下降，证明了模态互补针对性工具链设计的必要性。

亮点与洞察¶

场景演化视角的因果解构：首次将联合音视频评测从静态画面和单纯的对齐指标拓展至三维时序物理动态（稳态、事件转折、环境转折），精准抓住了连续世界建模的核心痛点。
对抗性逆向物理（Anti-Physics）探针设计：巧妙设计物理违背指令来剥离“生成推理能力”与“统计共现记忆”，为评测生成模型的泛化可解释性提供了全新基准范例。
确定性测量与 MLLM 协同的智能体评估器：将黑盒多模态推理与经典 DSP 算法深度融合，以极低的人工干预成本获得了高度逼近专家标注的评估精度，兼具可扩展性与可验证性。

局限与展望¶

语言与时长覆盖受限：当前基准仅采用英文提示词，且生成评测严格限制在 8 秒单镜头片段，尚未扩展至长视频、复杂多镜头叙事及跨语言物理提示词。
布尔二元细则的信息粒度损失：当前细则采用严格的 Yes/No 判决以确保标注员一致性，但牺牲了对物理违背严重程度（如时间偏移量偏差大小、频率偏差程度）的序数刻画。
底层评估底座单一：AV-Phys Agent 当前依托单一闭源商用模型（Gemini 3.1 Pro Preview），未来亟需拓展至更多开源全模态模型（如 Qwen-Omni）并结合强化学习可验证奖励（RLVR）探索物理后训练闭环。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 提出首个音视频全模态物理常识基准，首创场景演化三级分类法与对抗逆向物理探针。
实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 7 款代表性闭源与开源模型，涵盖 321 个提示词、近 5.8 万项人类标注，并完成深入的工具消融与相关性分析。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，物理原理与测量量化指标论述详实，实验发现洞察深刻。
价值: ⭐⭐⭐⭐⭐ 为音视频世界模型的研究指明了从表面逼真向深层物理因果迈进的关键瓶颈与评估工具。