MemoBench: Benchmarking World Modeling in Dynamically Changing Environments¶

会议: ECCV2026
作者: Haoyu Chen, Kaichen Zhou, Hang Hua, Kaile Zhang, Jingwen Qian, Wufei Ma, Haonan Chen, Chunjiang Liu, Yizhou Zhao, Xiaoyuan Wang, Weiyue Li, Alan Yuille, Paul Pu Liang, Yilun Du
论文: ECCV 原文
代码: https://github.com/MemoBench-Team
领域: 视频生成
关键词: 世界模型、物体恒存性、动态记忆、相机控制、视频评测

一句话总结¶

MemoBench 用 360 段“可见、消失、重现”视频检验生成模型是否记住并更新视野外的物体状态，评测 10 个模型发现最高目标重现分数 ORS 仅为 0.582，而且不执行镜头运动也能获得虚高的一致性分数。

研究背景与动机¶

视频生成作为世界模拟器，不能只在相邻帧之间保持外观平滑。相机转开时，行人仍会继续行走，粉末仍会倾倒，材料仍会发生状态变化；镜头回来后，正确输出应该对应这个持续演化的世界，而不是重新生成一个相似物体，或把离开前的画面原封不动地放回来。

已有评测覆盖画质、物理合理性、多视角一致性和具身任务成功率，但这些能力不等同于动态条件下的物体恒存性。持续可见的目标可以直接从最近帧获得提示；即使测试了视野外的静态场景，也不要求模型推断遮挡期间的状态变化。MemoBench 因而把相机运动和场景动态同时纳入测试，并提供真实参考视频，使“确实回来且状态正确”成为可以检查的目标。

这个设计还暴露了一个评测陷阱：如果模型根本不转动相机，目标就不会离开视野，光流、外观相似度甚至语义一致性都可能很好。核心 idea：用统一的消失后重现协议，同时检查相机执行、目标找回和动态状态正确性，而不把画面稳定直接当成记忆能力。

方法详解¶

整体框架¶

MemoBench 是诊断基准，不是新的生成网络。输入为参考首帧、文本提示，以及模型支持时提供的相机控制信号；输出是生成视频，随后与带时间标注的真实参考视频共同进入评测。

整个评测由动态数据构建、三阶段对齐、自动指标诊断和语义问答校验组成。前两步建立“何时应该消失、何时应该重现”的参照，后两条分支分别检查可观测图像信号和更高层的状态语义，最终联合解释各项分数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
  Data["动态数据构建"] --> Align["三阶段对齐"]
  Align --> Auto["自动指标诊断"]
  Align --> VQA["语义问答校验"]
  Auto --> Result["联合解释相机执行<br/>与记忆表现"]
  VQA --> Result

关键设计¶

1. 动态数据构建：空间变化与材料变化分开覆盖

合成分支使用 Unreal Engine 5 搭建场景，让动画目标沿预定路径运动，同时把虚拟相机绑定到按脚本行进的第一人称观察者。观察者先面向目标，再转头或掉头让目标离开视野，最后让目标重新进入画面。这不是用黑块人为遮住目标，而是通过真实视点变化制造部分可观测性，避免模型只处理固定构图下的遮挡。

该分支包含 196 段视频、5 类环境和 14 个场景子域，按 1920×1080、60 FPS 渲染，逐帧导出 RGB、度量深度、相机内参和 camera-to-world 位姿。几何信息因此能与视频严格配对，但游戏引擎不能准确模拟所有材料属性，所以作者另建真实分支，而不是把合成覆盖度等同于物理覆盖度。

真实分支在受控室内拍摄 164 段视频，覆盖 7 类、30 种物理状态变化过程，补充黏性、弹性、热传导等材料相关动态。相机位置固定，通过转开再转回制造消失与重现；内参来自厂商标定，外参由 MapAnything 从 RGB 估计后做轨迹平滑。两分支合计 360 段高清参考视频，但真实位姿是估计量，不应与合成分支的精确位姿混为一谈。

2. 三阶段对齐：用参考事件时间限定评测区域

每段参考视频由人工标出 \(d_{\mathrm{start}}\) 和 \(r_{\mathrm{start}}\)，分别表示目标完全离开视野和完全重新出现的帧。两个索引线性映射到生成视频长度，形成可见阶段 V、消失阶段 D 和重现阶段 R。原文的区间分别是 \([0,d_{\mathrm{start}})\)、\([d_{\mathrm{start}},r_{\mathrm{start}})\) 和 \([r_{\mathrm{start}},N-1]\)，其中 \(N\) 是用于划分阶段的视频帧数。

生成结果与参考视频的帧数、帧率可能不同，因此作者通过帧索引线性插值，对参考视频进行均匀下采样后计算逐帧指标。运动和几何指标默认排除 D；像素保真度则分别报告 V、D、R 及全视频，主结果表使用全视频平均值。这一区别很重要：整段 PSNR 不是“只在物体重现后”的 PSNR。

这种划分以参考视频为准，并不会自动保证生成视频真的完成了消失事件。若模型把镜头固定住，预定的 R 时间段仍会被评分，因此后面的目标检测必须与相机控制联合解释，而不能单独判定记忆成功。

3. 自动指标诊断：找回目标不等于恢复正确状态

一般视频质量由视觉质量、运动平滑、物体身份一致性和三维几何一致性组成。视觉质量结合 LAION 美学预测器与 CLIP-IQA+；原文式 (1) 采用固定范围的截断最小最大归一化，美学分数使用 \([1,10]\)，CLIP-IQA+ 使用 \([0,1]\)，再对两项归一化分数取平均：

\[ \mathcal{N}(m;a,b)=100\,\operatorname{clip}_{[0,1]}\left(\frac{m-a}{b-a}\right). \]

运动平滑使用 RAFT-Large 估计 V、R 内相邻采样帧的光流，通过双线性采样变形后计算平均 L1 光度误差，再以温度 \(\tau=0.15\) 做负指数映射。身份一致性用 DINOv2 ViT-B/14 的 patch token，与生成首帧比较，选相似度最高的 40% patch；几何一致性用 Depth Anything V2 的逐帧深度图，在最小最大归一化、展平和 L2 归一化后比较相邻深度图的余弦相似度。

身份和几何聚合都考虑平均表现与最差表现，正文给出 \(\alpha=0.7\)。不过缓存中的式 (4)、(5) 运算符有提取损坏，本笔记不把残缺排版还原成未经核验的加权公式。这些指标本质上衡量稳定性，不会单独验证被遮挡期间的正确动态演化。

目标重现分数 ORS 更直接检查 R 阶段能否找到目标。作者用目标文字描述查询 SAM-3，并只保留面积占图像 0.05%–50% 的掩码，另设 0.05%–70% 的回退范围以过滤异常大掩码和噪声。每帧只要存在合法掩码就算检测成功，并取合法检测中的最高置信度；不同视点的掩码不适合直接做跨阶段 IoU，因此使用检测而非位置重合。

原文式 (6) 把检测帧比例乘以成功检测的平均置信度：

\[ S_{\mathrm{ors}}=\frac{n_d}{n_R}\cdot\frac{1}{n_d}\sum_{i=1}^{n_d}p_i. \]

这里 \(n_R\) 是 R 阶段帧数，\(n_d\) 是存在合法检测的帧数，\(p_i\) 是对应最高置信度。表 2 将 ORS 保留为 0–1 小数，不是 0–100 分，也不是裸检测成功率；原式没有显式写出 \(n_d=0\) 的实现分支，复现时需核对代码。即使 ORS 很高，也只说明可识别目标存在，不能证明它是同一个实例或处于正确的物理状态。

像素保真度用 PSNR、SSIM 和 VGG 版 LPIPS 对照参考帧；PSNR 单位为 dB，LPIPS 越低越好。相机控制则从生成视频用 MapAnything 估计位姿，按首帧对齐，仅评估旋转 ATE 的 RMSE，单位为度，并以参考轨迹首尾净旋转及 \(10^{\circ}\) 下限进行尺度处理；不评平移是因为单目尺度歧义。式 (7) 在缓存中同样损坏，因此这里保留可核验定义而不猜写完整公式。提示词一致性另以 ImageReward 经 sigmoid 和归一化得到。

4. 语义问答校验：先证明题目能识别错误，再评分

作者使用 Gemini-3.1-Pro 驱动问答评测，从提示词和首帧产生初始 24 道 Yes/No 题，4 个维度各 6 道。正向题中 Yes 表示通过，负向题中 Yes 表示失败；混合极性用于减少评审一味回答 Yes 带来的顺从偏差。题目不是越多越好，而是必须真正针对该视频中可观察的状态变化。

初始题库依次经过真实视频筛选、失败视频筛选和人工交叉验证。第一步剔除评审在真实视频上答错的题；第二步用同场景已知失败片段，剔除无法惩罚这些错误的题；第三步由博士研究人员和有经验的 AI 工程师检查歧义、极性和可回答性。最终题库再应用于各模型生成的视频，以每个维度的通过比例计分，因此 24 是初始题数，不应断言筛选后每段仍固定有 24 题。

四维分别是指令遵循、物体与背景一致性、记忆连续性和物理遵循。记忆连续性最贴近本文目标，关注消失前后身份、轨迹和状态是否衔接；物理遵循则检查运动、重力、光照与阴影等合理性。问答和自动指标必须互补，因为高 ORS 可以对应“认得出但状态不对”，高语义一致性也可能来自从未离开过目标的静止镜头。

损失函数 / 训练策略¶

本文没有提出训练损失，也没有训练一个 MemoBench 生成器。评测覆盖 5 个相机条件 I2V 模型、2 个论文归为 3D-based 的模型以及 3 个无显式相机条件的 I2V 模型；这里沿用论文分组，不把分组标签视作对每个模型内部表征的独立证明。

各模型生成配置被正文指向补充材料，但当前缓存仅包含主文和参考文献。因此无法从该缓存确认每个模型的生成分辨率、时长、采样步数、随机种子或算力预算；不能把合成参考视频的 60 FPS 当作所有模型的输出帧率。

实验关键数据¶

主实验¶

下表摘录原文表 2 的代表模型。相机控制、视觉质量为 0–100 分；ORS 为 0–1，PSNR 为 dB，SSIM 和 LPIPS 为无量纲指标。像素指标均为全视频平均，不是仅 R 阶段成绩。

模型	ORS ↑	相机控制 ↑	PSNR ↑	SSIM ↑	LPIPS ↓	视觉质量 ↑
LingBot-World	0.381	37.4	14.41	0.490	0.482	47.4
Wan2.2	0.328	29.8	13.76	0.469	0.529	40.0
HunyuanWorldPlay	0.582	69.9	14.35	0.471	0.505	43.5
Matrix-Game 2.0	0.157	17.3	13.49	0.376	0.550	61.2
Stable Virtual Camera	0.294	65.2	15.36	0.523	0.455	43.3
LTX-Video	0.330	17.1	13.42	0.455	0.518	44.9

HunyuanWorldPlay 同时取得最高 ORS 和相机控制分数，但 ORS 仍低于 0.6。Stable Virtual Camera 的像素保真度最好，却不是视觉质量或语义记忆最好的模型；不同指标不能替代彼此。

消融实验¶

本文是基准论文，没有模块删减消融；下表使用原文表 3 的跨指标诊断分析，不能解释成训练组件的因果贡献。四列都是 0–100 的问答通过分数。

模型	指令遵循 ↑	物体与背景 ↑	记忆连续性 ↑	物理遵循 ↑
LingBot-World	64.2	44.4	42.1	53.6
Wan2.2	50.6	30.2	36.8	38.9
HunyuanWorldPlay	61.6	66.4	55.6	63.6
Matrix-Game 2.0	37.5	12.7	36.5	21.8
Stable Virtual Camera	49.7	23.8	29.6	33.3
LTX-Video	41.0	76.6	57.0	63.5

评审可靠性另由图 4 验证：从 12 个场景各抽 8 题，共 96 题，分配到 4 个交错版本问卷，收集 30 份回答；在真实视频上，人类多数意见与 VLM 答案一致率为 92.9%，Cohen's \(\kappa=0.85\)。这不是对所有生成失败视频的总体评审准确率估计。

关键发现¶

LTX-Video 的记忆连续性 57.0 高于 HunyuanWorldPlay 的 55.6，但相机控制仅 17.1，对比后者 69.9。结合图 6 的近静止输出，这更像是没有执行困难的镜头运动，而不是更强的动态记忆。
Matrix-Game 2.0 视觉质量最高，为 61.2，但物体与背景仅 12.7、物理遵循仅 21.8，说明清晰好看的单帧不能保证语义与几何正确。
原文结论段称没有模型 ORS 超过 0.4，与表 2 的 0.582 及第 4.1 节“不超过 0.6”冲突。本笔记以详细结果表为准，不能沿用结论段的阈值。

亮点与洞察¶

“物体还在”与“物体状态继续演化”被放在同一个测试里。它把世界模型需要维护的隐藏状态具体化，而不是只问视频看起来是否连续。
用失败片段校验题目具有诊断价值。只在真实视频上能答对的题，未必能识别生成错误；增加失败筛选能排除这类过于宽松的问题。
镜头执行是记忆评价的前提，而非另一个可随意加权的分数。本文最有价值的结果之一，就是证明高稳定性可以来自避开任务本身。

局限与展望¶

论文指出静止镜头会虚增自动指标和 VQA 分数，但现有协议没有完全消除这种偏差。可进一步先验证生成视频确实发生消失与重现，再对合格片段报告条件记忆分数；这是本笔记提出的改进方向。
ORS 依赖 SAM-3 的识别、置信度和面积过滤，也不直接验证实例身份或状态演化。漏检会压低分数，类别正确但实例错误则可能仍获分。
真实视频局限于受控室内，且相机主要做固定位置转动；合成部分更丰富的空间运动不能完全替代现实材料与开放环境的复杂性。
人类一致性研究只在真实参考视频上开展，样本为 96 题和 30 份回答，不能证明评审对所有模型特有伪影同样可靠。
按参考时间线对齐不能区分内容错误与事件速度偏差；真实相机位姿还含估计误差。未来应分离时序错位、相机执行失败和真正的状态记忆失败。

评分¶

新颖性: 4/5，动态场景中的消失后重现提供了清晰且有针对性的诊断目标。
实验充分度: 4/5，覆盖 10 个模型和互补指标，但仍缺生成失败上的完整人工验证与严格运动门控。
写作质量: 3/5，核心协议明确，但结论 ORS 阈值与主表不一致，缓存公式也有提取损坏。
价值: 4/5，对防止把静态稳定误认成世界记忆尤其有用。