EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation¶
会议: NeurIPS 2026
arXiv: 2605.15199
代码: https://github.com/catherinehe99/EntityBench
领域: 视频生成
关键词: 多镜头视频生成、长程实体一致性、基准评测、记忆增强生成、多智能体上下文管理
一句话总结¶
针对多镜头长程叙事视频生成中跨镜头角色、物体与场景漂移的瓶颈，本文构建了包含 140 个长故事剧集（2,491 个镜头）、支持显式逐镜头实体排期的基准 EntityBench，提出涵盖单镜头质量、提示词遵循度与跨镜头一致性的三支柱评测框架（51 项指标与保真度门控），并设计了基于前置实体记忆库的免微调系统 EntityMem。
研究背景与动机¶
视频生成技术已在单镜头合成上取得显著突破，能够生成高保真度、动作流畅且契合文本提示词的短视频片段。随着技术演进，研究界正迅速将目标拓展至多镜头长视频生成，力求通过连续镜头序列构建出连贯的视觉叙事，这对自动化剧本可视化、短剧创作与长篇影视生成具有关键应用价值。然而，单镜头生成仅关注单个镜头内的运动和局部构图，而多镜头叙事要求跨越镜头边界维持实体（角色、物体与场景）的视觉身份一致性，轻微的外观误差在长序列演进中往往会急剧累积。
现有评估体系主要依赖非标准化的单镜头质量指标，或者采用小规模、短序列（通常仅 4 到 12 个镜头）的人工/LLM 合成提示词集；这类评估通常将实体类型人为孤立（如只评测单个角色脸部），缺乏显式的逐镜头实体排期与镜头切切/续接（cut/continuation）标注。这使得现有隐式注意力、参考条件或自回归方法在长程叙事中究竟在何处、因何原因发生身份崩溃，缺乏统一、可解释的诊断基准。
本文认为，评估长程多镜头视频生成必须回归真实叙事的多实体并发动态，并将评估解耦为层次化的递进审计链；同时在生成端，若能先验地为实体建立解耦且经过严格质检的持久记忆库，即可摆脱自回归式历史帧抽取所引发的累积形变。本文的核心 idea 是：构建源自真实叙事剧本、具备 3 类实体逐镜头调度排期的 2,491 镜头基准 EntityBench，配合以保真度门控驱动的三支柱评测体系，并提出在生成前离线规划并质检实体记忆库的增强生成架构 EntityMem。
方法详解¶
整体框架¶
本文的方法与评测体系由两大部分构成：标准化基准与评测套件 EntityBench，以及作为探索性基线范式的记忆增强系统 EntityMem。整个流程涵盖从数据提炼、实体排期生成，到三支柱质量审计与记忆增强视频生成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实叙事影视切片<br/>100K 原始片段筛选"] --> B["1. 真实叙事驱动的数据构建<br/>视觉聚类+LLM消歧+逐镜头排期"]
B --> C["EntityBench 标准基准<br/>140 集 / 2,491 镜头 / 易中难三档"]
C --> D["2. 三支柱递进式评测框架<br/>P1质感 + P2提示遵循 + P3跨镜头"]
D --> E["3. 跨镜头保真度门控机制<br/>单镜头真实度过滤静态/形变伪一致"]
C --> F["4. EntityMem 多智能体记忆管理<br/>分类/肖像/质检/排版四智能体协作"]
F --> G["多镜头视频骨干生成<br/>持久记忆检索+解耦多实体注入"]
G --> D关键设计¶
1. 真实叙事驱动的数据构建与实体排期：真实影视抽取与多阶段实体消歧
人工提示词难以模拟自然叙事中复杂的多角色互动、道具流转和转场节奏。EntityBench 从 100K 真实影视片段切入，经由美学与运动过滤保留高质量剧集。针对角色追踪，首先结合 YOLOv10 与 ArcFace 提取逐帧人脸和人体特征并形成镜头内 tracklet，利用分层凝聚聚类并施加同镜头共现互斥约束；进一步借助多模态 LLM 进行跨长距离镜头的消歧合并，解决长间歇后嵌入聚类碎片化的问题。物体与场景则通过局部时序窗口建议与剧本全局反查进行实体注册。最终基准涵盖 140 集、2,491 个镜头与 1,136 个场景，划分为 Easy（8-12 镜头）、Medium（10-22 镜头）和 Hard（严格固定 50 镜头，最大复现间隔达 48 个镜头，68.6% 的实体槽为纯记忆测试）。每个镜头均配有明确的实体注册表、逐镜头排期及转场标识（cut/continuation）。
2. 三支柱递进式评测框架：解耦视觉质感、指令遵循与长程跨镜头一致性
针对传统评估混杂不同生成维度的缺陷，EntityBench 构建了由 51 项指标组成的三支柱体系： - Pillar 1（单镜头基础质量）：采用 6 项优化维度的 VBench 指标（包括成像质量、美学质量、主体一致性、时间闪烁、运动平滑度、动态度），剔除了易受运镜干扰的背景一致性指标； - Pillar 2（镜头内提示词遵循与实体保真度）：通过 GroundingDINO 在各镜头采样的 5 帧中依据文本定位实体，综合 CLIP 文本相似度 \(\alpha_{\text{clip}}\)、Laplacian 锐度 \(\alpha_{\text{sharp}}\) 和面积占比 \(\alpha_{\text{area}}\) 筛选最具代表性的规范裁剪区域（canonical crop），判定实体状态（present / weak / absent）；进而使用多模态 LLM 对角色（面容、发型、服饰、体型）、物体（形态、材质颜色、比例、细节）及场景（布局、色调氛围、地标、透视）进行细粒度 1-10 分打分，并利用 2×3 多帧动作网格图评估动作交互的执行正确率； - Pillar 3（跨镜头实体一致性）：基于规范裁剪块，提取 DINOv2 嵌入计算到实体嵌入质心（Centroid）的余弦相似度，避免单锚点异常偏置；同时以质心最近帧作为代表锚点，调用 MLLM 进行成对细粒度判定；场景评测则采用全画幅输入配合相机视角无关的 CoT 提示词，分离运镜变化与场景漂移。
3. 跨镜头保真度门控机制：防范退化静态欺骗的校正聚合
在多镜头生成中，如果模型生成了几乎静止或完全崩坏但高度相似的错误实体，传统连续性指标往往会给出极高相似度误判。为此，评测设立了硬性保真度门控（Fidelity Gate）：只有在 Pillar 2 中状态为 present 且镜头内保真度 \(\phi(k, e) \geq \tau_{\text{fid}} = 0.5\) 的实体实例，才被准许进入 Pillar 3 的跨镜头一致性计算池 \(\mathcal{C}(e)\)。最终全基准聚合指标统一采用门控校正均值（fidelity-gate-corrected mean）： $$ \overline{m} = \frac{\sum_{E: v_E^m \neq \text{None}} v_E^m \cdot n_E^{\text{eval}, m}}{\sum_{E} (n_E^{\text{eval}, m} + n_E^{\text{skip}, m} + n_E^{\text{fail}, m})} = \text{rawmean}(m) \times \text{coverage}(m) $$ 式中未通过门控或因渲染失败被跳过的实例直接按 0 贡献计入分母，强制将「是否生成正确实体（覆盖率）」与「多镜头间是否一致」联合考量，消除了通过牺牲困难镜头保真度来拔高一致性分数的漏洞。
4. EntityMem 多智能体记忆管理：前置实体解耦规划与质检过滤
为验证显式实体记忆机制的有效性，作者提出了免微调的生成框架 EntityMem。区别于从先前生成视频帧中自回归裁剪参考图像（该方式极易导致误差滚雪球式累积），EntityMem 在正式调用视频模型生成之前由四个专业智能体协调完成解耦记忆的离线构建： - Classification Agent：分析故事剧本，决定哪些实体必须生成独立视觉参考（角色与重要移动载具/生物独立生成，随身衣服与固定挂件则归入角色或背景）； - Portrait Agent：基于剧本风格编写特定提示词，驱动 T2I 模型生成多张候选肖像，并使用 SAM2 进行前景绿幕抠图，再由 MLLM 在棋盘格网格图中选拔最佳抠图与比例样本；针对场景生成 3:1 超宽全景图并裁分为左/中/右视角； - Verification Agent：质检抠图是否存在肢体残缺、衣服透光或绿幕残留，若质检不通过则触发底色替换（更换为品红、蓝或橙色背景）重试； - Layout Agent：根据当前镜头的调度排期及前序镜头的运镜方向，在 7 格离散网格上规划角色位置与景深，合成带角色名称文本标签的标准排版参考图注入视频生成骨干网络（基于 StoryMem 架构），续接镜头的前一帧仅用于时序衔接而不覆盖记忆库。
实验关键数据¶
主实验¶
在两个 8 卡 NVIDIA L20 节点上，对 2,491 个完整镜头评测了当前主流方法：整体去噪多镜头方法 CineTrans、HoloCine，以及两阶段记忆检索基线 StoryMem 和本文 EntityMem。所有指标均采用保真度门控校正均值（Full 51 维指标汇总于表 4/12/13/14）。
| 评测维度与指标 | 本文 (EntityMem) | StoryMem | HoloCine | CineTrans | 提升/对比优势 |
|---|---|---|---|---|---|
| P1: 成像质量 (imaging_quality, 0-100) | 66.00 | 56.41 | 49.97 | 68.57 | 保持高画质，优于 StoryMem (+9.59) |
| P1: 美学质量 (aesthetic_quality) | 0.593 | 0.475 | 0.518 | 0.596 | 具竞争力，远优于 StoryMem (+0.118) |
| P1: 运动平滑度 (motion_smoothness) | 0.988 | 0.849 | 0.964 | 0.990 | 动作流畅度居前列 |
| P2: 角色出镜率 (char_presence) | 0.967 | 0.849 | 0.882 | 0.796 | 调度角色稳定出现，较 StoryMem 提升 +13.9% |
| P2: 角色人脸保真度 (face_fidelity) | 0.740 | 0.452 | 0.349 | 0.327 | 巨幅领先，较次优提升 +63.7% (d = +2.33) |
| P2: 动作整体遵循度 (action_overall) | 0.618 | 0.547 | 0.569 | 0.273 | 领先次优 +0.049 |
| P3: DINOv2 角色一致性 (cs_face) | 0.737 | 0.792 | 0.751 | 0.772 | 特征空间略低于过度静态平滑的基线 |
| P3: 转场边界连续性 (cs_transition_boundary) | 0.738 | 0.663 | 0.498 | 0.508 | 场景内非硬切转场连贯性最强 (+0.075) |
| P3: MLLM 角色判决准确率 (llm_face_accuracy) | 0.406 | 0.226 | 0.228 | 0.091 | 相对基线接近翻倍 (1.8×)，身份认同显著 |
| P3: MLLM 角色均分 (llm_face_mean_score) | 0.426 | 0.234 | 0.242 | 0.145 | 全方位优于对比方法 (+0.184) |
消融与配对效应分析¶
表 5 展示了 EntityMem 相对强基线 StoryMem 在各类细分指标上的配对效应量（Cohen's \(d\)，正值代表有利于 EntityMem）：
| 评测维度类别 | 指标数量 | 平均效应量 (Cohen's \(d\)) | 配对样本数 \(n_{\text{paired}}\) | 机制归因说明 |
|---|---|---|---|---|
| 角色镜头内保真度 (Character fidelity) | 5 | +1.71 | 139 | 独立记忆库消除了多角色间特征混淆，单人脸项 \(d=+2.33\) |
| 角色出镜率 (Character presence) | 1 | +1.23 | 139 | 带有角色名绑定的前置肖像大幅降低了角色漏检漏生成 |
| 动作执行与子项 (Action correctness) | 6 | +0.25 | 138 | 主体身份认同提升带来更准确的动作执行判定 |
| 场景镜头内保真度 (Location fidelity) | 5 | +0.17 | 140 | 3:1 全景图裁切保障了场景宏观特征稳定 |
| 跨镜头 MLLM 角色一致性 (LLM character) | 6 | -0.07 | 129 | 门控后高质量样本两模型平手，但 EntityMem 覆盖率翻倍 |
| 物体类指标 (Object presence / fidelity) | 6 | -0.33 | 138 | 孤立物体条件与底座模型键帧微调权重存在先验不兼容 |
| DINOv2 特征一致性 (DINOv2 cross-shot) | 3 | -0.50 | 124 | 全局特征偏好低方差静态图像，而真实多姿态动作拉低了嵌入分数 |
关键发现¶
- 特征距离与人类视觉身份认同存在系统性偏离：在 DINOv2 相似度上，StoryMem 表现偏高（0.792 vs 0.737），但在 MLLM 真实角色身份判定（llm_face_accuracy）中，EntityMem 却以 0.406 比 0.226 碾压基线。这是因为自回归全帧抽取容易生成僵硬无变化且特征聚集的“假连贯”，而门控聚合与 MLLM 能够准确惩罚画质崩坏与换脸漂移。
- 长程衰减是多镜头生成的主要瓶颈：随着复现间隔（recurrence gap）从 2 个镜头扩大到 30+ 镜头，所有现有模型的实体一致性均呈现断崖式衰减；Hard 难度下 62.7% 的纯记忆测试镜头成为检验架构瓶颈的试金石。
- 角色与物体的记忆机制存在异质性：前置解耦肖像极大提升了角色与背景的一致性，但道具物体往往依附于具体动作场景。直接作为独立条件输入给未经物体条件预训练的视频基座时，会引发与动作交互的排斥，导致物体保真度略有下降（0.601 vs 0.618）。
亮点与洞察¶
- 保真度门控指标设计：打破了过去无视生成质量、孤立计算跨帧特征余弦相似度的做法，将 Pillar 2 的生成真实度作为门控开关，只有正确生成实体的镜头才参与一致性评分，彻底杜绝了模型依靠生成“静态坏帧”刷高相似度的可能。
- 全景图视角切分技巧：场景记忆采用 3:1 单张大广角全景图后处理裁分为左、中、右视角，代替多次调用文生图分别生成不同视角的方案，以极低计算成本从根本上锁定了场景几何与风格一致性。
- 名称图元绑定的视觉排版：在送入扩散骨干网络前，将带有文本姓名标签的分割肖像贴入规范化键帧排版，借助视觉语言底座的多模态对齐能力，有效缓解了多角色同屏互动时的身份互换（identity swap）顽疾。
局限与展望¶
- 作者指出的局限：EntityMem 属于两阶段免微调范式，依赖外部 T2I 与抠图工具链的前置生成质量；当抠图有瑕疵或多角色复杂遮挡时，难以在视频去噪中自适应修复。此外全流程在 2,491 个镜头上运行的评估与生成计算开销极大。
- 潜在优化空间：针对道具物体的记忆机制仍显简陋，需要将物体与角色动作交互建立动态关联；目前评测依赖封闭商业 MLLM（Gemini 2.5 Pro）作为裁判，尽管人工一致性达 \(\kappa=0.94\)，但未来需构建全开源、高吞吐的专用评估裁判模型。
相关工作与启发¶
- vs VBench / LongVGenBench: 前者主要聚焦单镜头生成质量与控制力，后者局限于单场景内的长镜头平移；EntityBench 是首个针对多镜头、强叙事转场且支持 3 类异构实体同时排期的系统基准。
- vs MovieBench / VideoMemory: MovieBench 偏重于宏观电影结构但缺乏细粒度的实体调度排期与保真度门控；VideoMemory 则采用人工单变量隔离测试（消融协议），与真实世界多角色、多道具、多场景交织的复杂叙事存在明显差距。
- vs StoryMem / HoloCine: 相比自回归关键帧记忆或全序列一次性联合去噪，EntityMem 证明了在生成前进行解耦实体规划和严格质检门控，能以极高性价比解决长距离叙事中的身份漂移与失真累积。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向多实体长程叙事的实体排期基准与保真度门控三支柱评测框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 评测规模覆盖 2,491 个镜头，跨 3 类实体 51 项指标，并提供严谨的人工一致性验证与配对效应统计。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨清晰，数学形式化表达规范，从数据构建到附录工程细节完备。
- 价值: ⭐⭐⭐⭐⭐ 为长视频生成领域从“玩具级单镜头”迈向“专业级长篇叙事剧集”确立了极具指导性的评测标杆。