RISE-Video: Can Video Generators Decode Implicit World Rules?¶

会议: NeurIPS 2026
arXiv: 2602.05986
OpenReview: https://openreview.net/forum?id=LriqPuIS7K
代码: https://github.com/VisionXLab/RISE-Video
领域: 其他
关键词: 视频生成, 图生视频, 隐式世界规则, 推理评测, 多模态大模型裁判

一句话总结¶

提出了面向图生视频（TI2V）隐式世界规则与认知推理能力的评测基准 RISE-Video，通过涵盖 8 大知识域的 467 个专家标注样本与四维解耦评估协议（推理对齐、时序一致、物理合理、视觉质量），揭示出当前主流生成模型在复杂物理与符号逻辑推理上的严峻瓶颈。

研究背景与动机¶

近年来，随着大规模扩散模型与自回归架构的爆发式发展，文本到视频（T2V）以及图生视频（TI2V）生成技术在视觉真实感、画面分辨率和局部运动连续性方面取得了令人瞩目的突破。主流前沿系统已经能够合成极具视觉冲击力的高清动态序列，甚至被赋予“世界模拟器”（World Simulator）的愿景。然而，现有视频评估基准（如 VBench、FVD 等）大多停留在显式文本对齐、表面美学质量与时序平滑度等感知层面指标。这种评估视角的局限性掩盖了一个深层核心疑问：当前的视频生成模型究竟只是在浅层模仿视觉运动的统计共现模式，还是真正内化了现实世界中未在提示词中显式提及的隐式世界规则？

视觉逼真度并不等同于世界模拟能力。在物理现实中，动态演进严格受制于常识因果、三维空间关系、物质守恒以及逻辑规则等隐式约束；而在现有视频生成系统中，模型虽然能生成细腻的材质和相机运镜，却频繁出现喝水不拧开瓶盖、变色龙伪装时颜色毫无反应、或者机械抓钩穿透实体等“认知荒谬”现象。这类失败的核心矛盾在于：生成模型在缺乏显式语言指引时，无法自主激活并解码图像中蕴含的隐式前置条件与因果演化路径；现有的评估框架亦缺乏对这类深层推理失真的解耦度量能力，往往将视觉清晰度与物理有效性混为一谈。

为了弥补视频生成领域在隐式规则推理评测维度的空白，本文提出了一套以认知推理为核心的专用诊断基准 RISE-Video。核心 idea：构建面向文生图生视频（TI2V）隐式世界规则与认知推理能力的系统性基准 RISE-Video，通过覆盖感知、常识、学科、社会、经验、空间、时序与逻辑八大维度的结构化评测集，解耦推理对齐、时序一致、物理合理与视觉质量四项维度，并结合自适应抽帧与符号难题专用几何判别流水线，全面透视生成式模型迈向真实世界模拟器的认知瓶颈。

方法详解¶

整体框架¶

RISE-Video 构建了一套完整的“基准分类数据体系 → 视频模型推理生成 → 多维解耦评测协议 → 自动化裁判执行”流水线。系统以给定的初始图像和隐含世界演化约束的简短提示词作为输入，驱动待测 TI2V 模型生成视频片段。随后，评估管线根据任务类别自适应采样关键帧，分别在四个互相解耦的维度展开精细化质检：推理对齐度（RA）、时序一致性（TC）、物理合理性（PR）以及视觉质量（VQ）。对于标准多模态大模型（LMM）难以判定的抽象图示难题（Schematic Puzzles），管线特别引入免语言的确定性几何与轨迹验证模块，最终由 GPT-5 裁判流水线输出加权综合分与四维全满分准确率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：初始图像 + 包含隐式世界规则的文本提示"] --> B["多维内隐世界规则基准体系构建<br/>8大知识域与467个专家标注样本"]
    B --> C["TI2V 视频生成阶段<br/>闭源及开源生成模型合成动态序列"]
    C --> D["解耦式四元评估协议与自适应抽帧<br/>RA/TC/PR/VQ 四维评测 + 全程/终态动态抽帧"]
    D --> E["图示逻辑难题专用结构化判别<br/>迷宫轨迹追踪 + 栅格对齐 + 参考图像比对"]
    E --> F["大模型裁判流水线与综合评分准则<br/>GPT-5/mini 自动裁判 + 加权分与满分准确率"]
    F --> G["输出：全方位世界规则模拟诊断与瓶颈分析"]

关键设计¶

1. 多维内隐世界规则基准体系构建：覆盖从低阶感知到抽象推理的八大知识图谱 针对现有基准覆盖面狭窄的问题，RISE-Video 将视频动态演化所需的隐式知识系统化地解构为 8 大核心维度，共收录 467 个经过人类专家严格审核的基准样本。八大维度具体涵盖： - 常识知识（Commonsense）：涵盖基本物理因果（如踩雪留痕、花瓶受撞击破碎）、生活常识（如蚊虫叮咬后红肿反应）及健康卫生常识（如蛀牙形成机理）。 - 学科知识（Subject）：深入物理学（电学、力学、光学定律）、化学（反应沉淀与变色）、地理学（水系形成、天体系统运转）及竞技体育（如足球射门、体操十字悬垂）。 - 感知知识（Perceptual）：检验尺寸、色彩、数量、初始位置等基础视觉属性在动态过程中的保真度，并特别加入遮挡还原（Occlusion）测试。 - 社会知识（Societal）：包含面部微表情识别、社会公德规范（如红灯停、垃圾分类）及跨文化习俗礼仪。 - 经验知识（Experiential）：考查人类行为意图推理（如勺子靠近嘴部意味着进食）、多实体身份追踪、程序性动作先后次序（如吃橙子必须先剥皮）以及情境常识。 - 空间知识（Spatial）：基于相机指定轨迹的视点变换、多物体相对尺度与形态排布、以及不完整空间结构的补全推理。 - 时序知识（Temporal）：跨越秒级短程演变、分钟至月级中程变化、跨越数年的长期老化演化（如幼猫成年），以及逆向时间因果（如大象随时间倒退回年轻形态）。 - 逻辑能力（Logical）：要求模型严格服从规则推演，包含经典游戏动作（如超级马里奥）、离散益智难题（迷宫求解、五子棋、连字拼图）及几何结构推断。

2. 解耦式四元评估协议与自适应抽帧：分离推理对齐、非指令属性漂移与物理失真 在以往的视频评测中，物体属性漂移、画面模糊与物理规律违背往往相互交织，导致难以准确定位模型缺陷根源。为此，RISE-Video 提出了四个互补解耦的评估维度，并配合动态抽帧机制： - 推理对齐度（Reasoning Alignment, RA）：核心检验模型是否正确推断出指令暗含的因果关系与演进结果。主评测采用针对样本人工构建的知识感知问答（QA），交由 LMM 输出二值判定（Yes/No），分值归一化为 0 或 1。抽帧策略上，对依赖演化全过程的样本采用 2 fps 均匀采样；对仅关注终态变化的样本（如十年幼苗长成大树）则降低采样率并聚焦末尾帧，消除冗余计算并强化对最终状态的鉴别力。 - 时序一致性（Temporal Consistency, TC）：重点检验视频在执行指令所需变化的同时，是否完美保持了指令未涉及的背景元素、物体固有属性与人物身份。评测时显式向裁判模型剥离指令允许的变化项，仅对非指令无关元素的稳定性在 1–5 分量表上进行打分。 - 物理合理性（Physical Rationality, PR）：专门度量重力加速度、刚体碰撞、流体扩散和物体永久性等现实物理法则的满足程度，采用 1–5 分量表评分。该指标严格排除不含三维物理交互的抽象符号平面任务，避免非物理任务带来噪声。 - 视觉质量（Visual Quality, VQ）：评估主体边缘清晰度、纹理保真度与全局光影连贯性。为杜绝低原始分辨率被 LMM 误判为伪影模糊，管线在送测前对低清输入图像统一进行超分辨率预处理，并在视频中均匀截取 6 帧（剔除不稳定的首尾帧），在 1–3 分量表上进行纯感知质量判定。

3. 图示逻辑难题专用结构化判别：绕过语言评测瓶颈的确定性算法与参考增强 在逻辑能力子集中，迷宫寻路、轴对称补全及棋盘推演等图示化难题（Schematic Puzzles）具有极度严格的几何与拓扑规则，难以通过传统的自然语言提示词向 LMM 裁判准确传达标准答案，且纯视觉模型容易在复杂小格点上产生幻觉。RISE-Video 为此设计了三套专用判别机制： - 迷宫导航（Maze Navigation）：彻底绕开自然语言裁判，通过跨帧色彩追踪智能体（Agent）的实际连续运动轨迹，程序化验证两大硬约束：① 全程无穿墙越界；② 最终抵达目标出口。约束满足个数 $\{0, 1, 2\}$ 直接映射为得分 $\{0, 0.5, 1\}$。 - 对称图案补全（Symmetry Generation）：为了将推理对齐与时序连贯性解耦，算法在 HSV 空间下提取终帧的栅格填充状态，忽略具体色彩渲染差异，与真值参考（Ground Truth, GT）网格进行逐格位置比对。通过统计误报单元格数（False Positives, FP）与漏报单元格数（False Negatives, FN），计算网格对齐精度： $$Accuracy_{grid} = 1 - \frac{FP + FN}{N}$$ 其中 $N$ 为网格总单元格数。随后依据人类视觉对结构趋势的感知边界（0.85 阈值），将连续值映射为离散得分：$[0, 0.85) \to 0$、$[0.85, 1) \to 0.5$ 以及 $\{1\} \to 1.0$。 - 棋盘博弈（Board Games）：针对五子棋等高度依赖落子合法性的局面，采用“双输入参考增强”模式，向 LMM 裁判同时提供视频最终生成帧与对应的辅助真值参考图像，促使裁判模型直接在视觉特征空间进行精确的拓扑状态比对。

4. 大模型裁判流水线与综合评分准则：成本可控的自动化对齐与严苛满分测度 针对大规模人工评测成本高昂且一致性差的问题，RISE-Video 构建了全自动 LMM 裁判流水线。评测主体由 GPT-5 承担（负责 RA、TC 与 PR），而计算开销敏感的 VQ 维度则由轻量化模型 GPT-5-mini 独立评分，既保障了对复杂物理因果的高水准鉴别，又大幅降低了规模化评测的经济开销。在最终汇总阶段，基准定义了两种兼顾综合表现与严苛边界的复合指标： - 加权综合分（Weighted Score, W.Score）：强调推理导向，将四项指标按权重线性融合： $$W.Score = 0.4 \times RA + 0.25 \times TC + 0.25 \times PR + 0.1 \times VQ$$ 各维度分值线性映射归一化至 100 分制，突出反映模型在隐式约束下的综合适应能力。 - 四维全满分准确率（Accuracy）：作为极其严苛的可靠性试金石，只有当一个样本在推理对齐、时序一致、物理合理和视觉质量四个维度同时取得最高满分时，才被判定为“完全成功”（Correct Case）。该指标能直接刺破局部高分模型的虚假繁荣，客观量化生成模型作为可用世界模拟器的成功概率。

损失函数 / 训练策略¶

本工作为面向前沿视频生成模型的评估基准与诊断测试集，自身不涉及模型参数训练与反向传播优化。其评测流程的执行策略与裁判参数配置如下： 1. 生成端推理协议：对所涵盖的 11 款主流开源与商业闭源 TI2V 模型，统一输入基准测试集提供的标准化初始静态图像与提示词文本，采用各模型官方推荐的分辨率、时序采样步数和默认推理超参数（如 HunyuanVideo 采用 720P 配置，并测试了标准与 CFG-distill 两个版本），生成长度为 4 至 8 秒的高清视频片段。 2. 裁判端配置与防过拟合策略：裁判模型统一采用零样本（Zero-shot）直接评测提示词架构，设定温度系数 Temperature 为 0 以最大化评测结果的确定性与可复现性。输入前对低分辨率图像进行超分前置处理，杜绝感知偏见。 3. 人类偏好对齐校验：为验证裁判流水线的公信力，基准聘请 5 位经过系统培训的人类专家进行独立盲审打分并取均值作为黄金参考。通过计算裁判模型与人类真值间的平均绝对误差（MAE）和标准差（STD），证实 GPT-5 裁判流水线在四项指标上均达到最紧密的拟人一致性。

实验关键数据¶

主实验¶

基准在 11 款代表性 TI2V 模型（6 款闭源商业模型与 5 款主流开源模型）上展开了系统性评测。表 1 汇总了各模型在四大分项指标、加权综合分（W.Score）及全满分准确率（Accuracy）上的定量对比。

模型	模型类型	推理对齐 (RA)	时序一致 (TC)	物理合理 (PR)	视觉质量 (VQ)	综合加权分 (W.Score)	全满分准确率 (Accuracy)
Hailuo 2.3	闭源商业	76.6%	87.2%	71.0%	92.0%	79.4%	22.5%
Wan 2.6	闭源商业	70.0%	88.8%	72.5%	94.5%	77.8%	21.3%
Sora 2	闭源商业	64.0%	92.2%	76.3%	92.2%	77.0%	21.3%
Veo 3.1	闭源商业	64.9%	86.0%	78.9%	91.9%	76.4%	22.3%
Kling 2.6	闭源商业	53.7%	86.4%	78.0%	95.1%	72.1%	19.5%
Seedance 1.5-pro	闭源商业	61.2%	81.1%	70.7%	96.2%	72.0%	17.6%
Wan2.2-I2V-A14B	开源模型	39.5%	79.2%	75.4%	94.0%	63.9%	11.4%
HunyuanVideo-1.5	开源模型	38.1%	75.0%	68.4%	92.6%	60.4%	8.6%
HunyuanVideo-1.5-distill	开源模型	38.9%	74.0%	65.8%	92.9%	59.9%	7.3%
Wan2.2-TI2V-5B	开源模型	32.6%	70.5%	72.8%	89.7%	57.8%	5.4%
CogVideoX1.5-5B	开源模型	30.7%	62.3%	56.7%	74.5%	49.5%	1.9%

消融实验¶

为验证自动化裁判流水线的可靠性，基准对比了不同多模态大模型作为裁判时与 5 名人类专家平均评分的平均绝对误差（MAE）与标准差（STD）。各指标在原始量表上计算（RA 为 [0,1]，TC 与 PR 为 [1,5]，VQ 为 [1,3]）。

裁判模型方案	RA (MAE ↓)	RA (STD ↓)	TC (MAE ↓)	TC (STD ↓)	PR (MAE ↓)	PR (STD ↓)	VQ (MAE ↓)	VQ (STD ↓)
Qwen3-VL-235B	0.12	0.25	0.42	0.80	0.82	0.86	0.25	0.41
Gemini-3-Flash	0.13	0.26	1.08	1.15	1.52	0.96	0.84	0.63
GPT-5 (本文方案)†	0.11	0.23	0.51	0.85	0.80	0.76	0.22	0.36

注：† 本文方案在视觉质量（VQ）维度采用高性价比的 gpt-5-mini 独立裁判，兼顾了极高的评测精度与经济成本。

关键发现¶

全满分准确率触目惊心，世界模拟仍处早期：在考虑四维全达标的严苛 Accuracy 指标下，即使当前公认最顶尖的模型 Hailuo 2.3 也仅能取得 22.5% 的成功率，第二、三名的 Veo 3.1 和 Sora 2 分别仅为 22.3% 和 21.3%。而开源开源模型均低于 12%，CogVideoX1.5-5B 甚至跌至 1.9%。这强有力地证明现有视频生成系统在处理多重隐式世界规则时极易“顾此失彼”。
闭源模型与开源模型存在显著代差：开源顶尖模型 Wan2.2-I2V-A14B 的加权综合分为 63.9%，落后商业冠军 Hailuo 2.3 达 15.5 个百分点，主要短板集中在推理对齐度（39.5% vs 76.6%）。开源小模型在保持背景和遵循隐式动作时频繁退化为静态画面或严重残影。
感知易如反掌，逻辑与空间成为核心天花板：在 8 大知识分类横向对比中，所有模型在“感知知识”（Perceptual）维度表现最为稳健（Wan 2.6 加权分达 90.7，准确率 38.6%）；然而在“逻辑能力”（Logical）维度集体遭遇断崖式下跌，闭源模型加权分普遍滑落至 46–68 分，开源模型低至 29–45 分（CogVideoX1.5 逻辑准确率为 0.0%）。例如在经典黄金矿工游戏场景中，无一模型能沿着延伸的抓钩轨迹合法抓取矿石，普遍出现抓钩形变或隔空移物等物理违背。
动态响应性与时序连续性存在显著权衡：Sora 2 展现出极高的一致性（TC 92.2%），但在部分动态指令下表现出微小运动或缺乏响应；相反，Kling 2.6 等模型在指令要求颜色或物理变换（如变色龙保护色、毛细现象）时倾向于完全静止。此外，Sora 2 与 Veo 3.1 偶尔会出现相邻帧之间的跳变式断裂（temporal discontinuities），破坏了流畅度。

亮点与洞察¶

从表层感知指标跃迁至深层认知评测：该工作是首个系统性解构文生图生视频（TI2V）隐式世界规则内化能力的基准，跳出了单纯对比 FID/FVD 或美学评分的传统范式，对世界模型领域具有极高的方法论牵引价值。
确定性几何算法破局大模型裁判盲区：针对迷宫、对称补全等严格符号逻辑任务，创造性地融合了免语言的连续轨迹碰撞追踪与 HSV 栅格量化矩阵，有效规避了多模态大模型的几何幻觉与文字表述局限。
高拟人度且成本可控的自动化评测管线：实验证明基于 GPT-5 与轻量级 gpt-5-mini 的双轨分工裁判在四项维度上与 5 位专家盲审取得极低 MAE（RA 仅 0.11，VQ 仅 0.22），为今后大规模视频生成评估提供了可复用的行业标准范本。

局限与展望¶

基准样本规模有待进一步扩充：目前 467 个样本虽然覆盖面广且经过精细人工标注，但在支撑超大规模模型的自动化自监督对齐或强化学习微调（RLVR）时数据量依然偏紧凑，未来可探索合成数据与人在回路（HITL）协同扩增。
视频时长与分辨率评测区间有限：当前主实验主要聚焦在 4 至 8 秒的标准视频片段生成，尚未涵盖长时序（30 秒以上）连续物理交互的因果累积漂移评测。
未来改进方向：可进一步将评估管线作为密集奖励函数（Reward Model），探索直接偏好优化（DPO）或多模态强化学习在强化生成模型物理一致性上的潜力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统性提出面向图生视频隐式世界规则解码的评测基准，并设计了结合符号约束的混合裁判流水线]
实验充分度: ⭐⭐⭐⭐⭐ [详尽评测了涵盖 Sora 2、Hailuo、Veo 等在内的 11 款主流开源与闭源前沿模型，并包含扎实的人类专家对齐消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，任务定义严密，评测维度解耦清晰，图表数据完备详实]
价值: ⭐⭐⭐⭐⭐ [直击当前视频生成向真正世界模拟器迈进的核心瓶颈，为生成式模型的因果物理对齐指明了关键攻坚方向]