Beyond Visual Boundaries: Rethinking Scene Segmentation for Movie RAG¶
会议: NeurIPS 2026
arXiv: 2608.28699
OpenReview: https://openreview.net/forum?id=TDlUSc9Koz
代码: https://github.com/Breakthrough/PySceneDetect
领域: 视频理解
关键词: 场景分割, 视频检索增强生成, 事件分割理论, 长视频理解, NarraScene 数据集
一句话总结¶
本文重新审视了电影长视频检索增强生成（Movie RAG）中的场景分割切块基石，发现传统方法因过度依赖视觉物理突变而落后于均匀切块，进而基于事件分割理论构建了首个叙事驱动的数据集 NarraScene，证明了叙事事件单元作为检索块的决定性优势。
研究背景与动机¶
长视频理解一直是多模态大语言模型（MLLMs）的核心挑战。稀疏帧采样不可避免地会损失精细的时空细节，而稠密采样又会迅速突破模型的有效上下文窗口与注意力极限。针对这一困境，视频检索增强生成（RAG）成为一种极具前景的解法：它预先将数小时的完整电影切分成检索单元，再根据下游查询精准定位关键证据片段。然而，Movie RAG 流程的性能上限严格取决于检索单元的质量——一旦切分边界割裂了关键对话或将不相干镜头强行拼合，即使下游推理模型再强大，也无法获得完整的证据链。
电影场景分割本应是提供这种语义连贯检索块的天然工具，学术界已在此方向发展了大量基于视觉突变的算法并在标准基准 MovieNet 上取得了很高的边界预测指标。然而，当这些现有场景分割算法（如 BaSSL、GenreDur 等）实际嵌入电影时序定位、剧情问答和事实核验等下游 RAG 任务中时，其实际表现却系统性地落后于没有任何学习成分的固定时长均匀切分（Uniform Temporal Chunking）。这一反常现象揭示出现有场景分割评价指标与下游任务真实需求之间的严重脱节。
深入审计 MovieNet 等经典基准后发现，现有场景切分标注高达 80.4% 的边界仅由地点变换、光影切换等浅层物理视觉突变（Level 1）驱动，而真正反映叙事事件、目标演进和冲突对话转移的叙事级转折（Level 3）仅占 11.4%。电影语言的本质在于叙事连续性，视听镜头的切换往往服务于同一个叙事目标。核心 idea：基于认知科学中的事件分割理论（Event Segmentation Theory），构建必须包含叙事目标转移的三层级认知标注架构，提出以叙事事件为核心的场景切分基准 NarraScene，从而为 Movie RAG 提供真正保全剧情因果证据的检索单元。
方法详解¶
整体框架¶
本文首先构建了标准的端到端 Movie RAG 评测流水线，系统诊断现有场景分割模型在下游任务中的有效性；随后依据事件分割理论（EST）解构场景边界的认知层级；最后基于 53 部完整授权长片落地三阶段标注流程，构建出叙事场景基准 NarraScene。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["完整长视频输入 (Full-length Movie)"] --> B["场景切块与表示编码<br/>Uniform / 传统分割 / NarraScene 切分"]
B --> C["跨模态检索与证据选择<br/>Qwen3-VL-Embedding-2B 匹配 Top-K 片段"]
C --> D["下游长视频理解与推理<br/>时序定位 / 剧情问答 / 事实核验"]
D --> E["认知层级审计与三阶段协同标注<br/>EST 理论指导物理/角色/叙事三级划分与裁决"]
E --> F["NarraScene 叙事连贯检索单元"]
F -.->|闭环替换切块边界| B关键设计¶
1. Movie RAG 评测管线解耦设计：隔离切分单元对下游任务的独立影响
为了验证场景边界究竟是提供了语义上下文还是单纯引入了噪声，研究设计了严格对齐的受控评测基准。首先，输入长电影通过不同的切分策略划分为片段集合 \(\mathcal{S} = \{s_i\}_{i=1}^M\)。对于下游任务的文本查询 \(q\)，采用统一的冻结多模态检索骨干网络 Qwen3-VL-Embedding-2B 分别对片段视觉特征与文本指令进行 \(\ell_2\) 归一化编码，通过内积计算相似度并检索出 Top-\(K\) 个证据片段： $\(\text{Sim}(q, s_i) = \frac{\mathbf{e}_q^\top \mathbf{e}_{s_i}}{\|\mathbf{e}_q\|_2 \|\mathbf{e}_{s_i}\|_2}\)$ 检索到的片段作为下游模型（如 Qwen3-VL、InternVL3.5、TimeLens、Vidi）的唯一视觉输入，执行贪婪解码生成预测。为了消除“片段平均长度”这一混淆变量，设计中特别引入了“长度受控基准（Length-Controlled Baseline）”，通过合并相邻预测短片段，在抹除原始预测边界的同时保留相同的时长分布统计特性，从而精准剥离出边界语义本身的有效性贡献。
2. 基于事件分割理论的三层级认知边界分类学：确立叙事转移充要条件
针对传统基准过度拟合视觉断点的问题，引入认知心理学中的事件分割理论（Event Segmentation Theory, EST），将长视频中的场景过渡显式划分为三层非互斥认知维度： - Level 1（物理变化，Physical Change）：时间、地理空间环境或显著视听画面风格的客观突变。 - Level 2（角色变化，Character Change）：主要在场角色配置或核心交互实体的更替与进出。 - Level 3（叙事变化，Narrative Change）：正在进行的事件核心目标、情节驱动力、对话博弈焦点或叙事意图的实质性转移。
在这一分类学下，合法的叙事场景边界被严格约束为必须包含 Level 3 叙事转移（即满足 \(L_3 \cup (L_1 \cap L_3) \cup (L_2 \cap L_3) \cup (L_1 \cap L_2 \cap L_3)\)）。单纯满足 Level 1 或 Level 2 的边界仅被视作镜头切换或局部视角转移，不具备独立事件切块资格，从根本上防止了检索单元被浅层蒙太奇碎片化。
3. NarraScene 三阶段人机协同标注协议：保障长程叙事边界一致性
由于叙事层面的转移相比物理剪辑点更具主观歧义性，团队基于 53 部来自 MF2 的开放版权完整电影（平均时长 88.3 分钟）设计了严格的三阶段闭环标注协议： - 阶段一：全片通读独立提议（Independent Proposal）。标注员必须完整观看整部电影，结合画面、多语种音频及对白字幕，在全局上下文和因果链条下标记时间戳候选点并赋予认知层级标签。 - 阶段二：局部重播交叉验证（Cross-Verification）。由第二名独立标注员在专门开发的交互界面中审查提议片段边界，施加确认（Confirm）、重新打标（Relabel）、删除（Delete）、时间戳微调（Move）、插入（Insert）或存疑（Hard）六类动作之一。 - 阶段三：四人仲裁协商合并（Consensus Adjudication）。针对重叠对白、交叉剪辑及渐进过渡等高难度（Hard）镜头，全体四名标注员对照原始记录与修改意见共同复审裁决，最终输出 2,371 个 100% 具备 Level 3 属性的叙事场景。
实验关键数据¶
主实验¶
论文在三个代表性长电影理解下游基准上系统对比了不同切块策略的效果：MF2 电影事实核验（Pairwise Accuracy %）、MovieStory101 故事问答（Top-\(K\) 准确率 %）和 MAD 电影时序定位。
在 MF2 电影事实与谎言辨析任务中，对比了全视频输入、固定均匀切分、传统分割算法以及 NarraScene 真实叙事边界（Oracle Narrative Scene）的表现：
| 切块策略 / 检索单元 | 平均片段时长 (s) | Qwen3-VL 4B (K=1) | Qwen3-VL 4B (K=5) | Qwen3-VL 8B (K=1) | Qwen3-VL 8B (K=5) |
|---|---|---|---|---|---|
| 全视频直接输入 (无检索) | 全片 | 12.56 | - | 23.77 | - |
| Uniform Split (2 min) | 120.0 | 12.90 | 33.29 | 9.45 | 29.26 |
| Uniform Split (3 min) | 180.0 | 12.79 | 32.14 | 8.41 | 28.00 |
| Uniform Split (4 min) | 240.0 | 12.56 | 30.65 | 8.45 | 29.26 |
| PySceneDetect (传统视觉) | 15.8 | 7.72 | 29.15 | 6.91 | 26.27 |
| BaSSL (自监督场景分割) | 10.0 | 5.88 | 18.20 | 4.95 | 17.05 |
| GenreDur (多模态场景分割) | 590.7 | 12.90 | 36.98 | 9.56 | 33.41 |
| Length-Controlled (长度受控) | 107.5 | 12.98 | 41.47 | 12.21 | 31.62 |
| NarraScene (本文叙事真值) | 116.9 | 18.66 | 43.43 | 19.59 | 41.47 |
在 MovieStory101 电影长情节问答基准上评估不同切分单元与下游模型 QA Acc. (%)：
| 场景切分条件 | 平均时长 (s) | Qwen3-VL 8B (K=1) | Qwen3-VL 8B (K=5) | InternVL3.5 14B (K=1) | InternVL3.5 14B (K=5) |
|---|---|---|---|---|---|
| 全长电影输入 | 全片 | 48.6 | - | 55.2 | - |
| Uniform Split (2 min) | 120.0 | 40.4 | 75.6 | 54.5 | 78.4 |
| Uniform Split (3 min) | 180.0 | 42.6 | 75.6 | 55.4 | 77.8 |
| Uniform Split (4 min) | 240.0 | 44.4 | 77.4 | 54.5 | 76.1 |
| BaSSL [ACCV 2022] | 5.44 | 34.6 | 69.3 | 56.0 | 79.6 |
| GenreDur [ICLR 2026] | 54.1 | 36.9 | 70.9 | 54.8 | 77.1 |
| Length-Controlled | 115.5 | 41.3 | 74.5 | 55.2 | 78.4 |
消融实验¶
对 MovieNet 经典场景分割测试集进行认知层级重标注审计，分析其原始边界分布；同时将 NarraScene 作为 Ground Truth 评估已有分割算法在叙事边界上的捕获能力（mIoU 与 Recall %）：
| 评估对象 / 方法 | Level 1 占比 (%) | Level 2 占比 (%) | Level 3 占比 (%) | None (无意义) (%) | NarraScene mIoU (%) | [email protected] (%) |
|---|---|---|---|---|---|---|
| MovieNet 原始标注审计 | 80.4 | 31.6 | 11.4 | 15.7 | - | - |
| Uniform Split (2 min) | - | - | - | - | 49.30 | 48.50 |
| Uniform Split (3 min) | - | - | - | - | 44.50 | 38.80 |
| PySceneDetect | - | - | - | - | 34.92 | 22.47 |
| BaSSL | - | - | - | - | 11.52 | 4.74 |
| GenreDur | - | - | - | - | 12.43 | 6.33 |
此外，在 NarraScene 的 2,371 个已标注边界中，三层标签分布为：L1+L2+L3 占 53.75%（1,275个），L1+L3 占 20.62%（489个），L2+L3 占 17.00%（403个），纯 L3 占 8.60%（204个），Level 3 存在率达到严格的 100.0%。
关键发现¶
- 传统场景分割模型并不优于盲目切分：在时序定位（MAD）和问答（MovieStory101）中，经典的 BaSSL 与 PySceneDetect 表现严重受挫，甚至不如固定 2-3 分钟的 Uniform Split。其根源在于过分割（如 BaSSL 平均片段仅 5.44 秒），造成完整对话与动作链条被撕裂。
- MovieNet 严重偏向浅层物理视觉突变：审计表明 MovieNet 超过八成的切分点仅仅是镜头和物理环境变换，仅有 11.4% 承载了叙事推进，甚至有 15.7% 不符合任何认知事件变化。基于此类数据训练的模型无法感知情节完整性。
- 叙事连贯性是 RAG 性能的实际瓶颈：当替换为人工标注的叙事场景（NarraScene）后，MF2 事实核验在各模型与各 Top-\(K\) 设定下均获得了大幅飞跃（如 Qwen3-VL 4B 的 K=1 准确率从 12.90% 跃升至 18.66%）。定性分析进一步证实，只有保全叙事转折与动机揭示对话，下游模型才能准确定位因果证据。
亮点与洞察¶
- 颠覆了长视频切块的经验假设：明确证明了计算机视觉界数年来基于 MovieNet 优化的场景分割模型在现代化 Movie RAG 落地时缺乏实用优势，揭示出“高精度场景分割算法不如暴力均匀切分”的产业界尴尬痛点。
- 认知科学与视频计算的优雅融合：将认知心理学成熟的事件分割理论（EST）落地为具备极强可操作性的三层级（物理/角色/叙事）标注规程，为视频理解定义了面向长程因果推理的全新 Ground Truth。
- 可复用的受控实验范式：设计了“长度受控合并（Length-Controlled）”控制变量法，科学排除了“模型性能提升仅来源于更适宜的片段长度”这一潜在混淆因子，为后续长视频表征切块研究树立了标杆。
局限与展望¶
- 依赖高质量人工标注上限：当前展现的优异增益依赖于人工真值场景（Oracle NarraScene），尚未提出一套能在长视频中端到端自动预测高质量 Level 3 叙事边界的算法模型。
- 电影题材与视听风格覆盖度有限：NarraScene 目前包含 53 部开源电影，受限于版权，尚未完全覆盖不同文化背景、复杂非线性叙事手法（如意识流、极端非叙事实验电影）的多样化样本。
- 跨模态特征与检索召回的耦合误差：检索端和下游回答端仍受限于现有 VLM 骨干网络的跨模态对齐能力，检索错误与片段切块质量缺陷交织，需进一步研发联合优化的自适应切块检索架构。
相关工作与启发¶
- vs MovieNet-SSeg 等传统基准：传统方法专注于镜头间特征相似度变化与物理转场检测；本文证明这类视觉边界会切碎叙事线索，NarraScene 首次确立了叙事层级（Level 3）的充要地位。
- vs Video-RAG / SceneRAG：现有长视频 RAG 往往直接套用现成分割工具或固定滑动窗口；本文深入底层，指出检索单元划分是长视频推理的硬上限，为后续工作提供了更高质量的叙事单元构建标准。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从现代 RAG 视角颠覆了传统电影场景分割评估体系，引入认知科学事件理论。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖定位、问答、核验三大下游任务，完成细致的基准审计与长度受控对比。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构异常严谨，动机鲜明，理论框架与定性案例支撑有力。
- 价值: ⭐⭐⭐⭐⭐ 为长视频多模态检索与推理提供了全新的基准与极具启发性的切块设计指引。