VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding¶

会议: NeurIPS 2026
arXiv: 2605.22907
OpenReview: https://openreview.net/forum?id=HIUX5RHWKs
领域: 视频理解
关键词: 长视频理解, 全模态评测, 持续证明长度, 认知负荷, 多模态大模型

一句话总结¶

针对长视频评测中“视频时间虽长但仅需局部线索”的浅层推理痛点，提出首个以持续证明长度（CCL）量化认知负荷的超长上下文与全模态视频理解基准 VideoOdyssey（平均时长 109 分钟、CCL 达 16 分钟），全面揭示现有 SOTA 模型在长程推理、细粒度感知及非言语声学理解上的严重瓶颈。

研究背景与动机¶

多模态大语言模型（MLLMs）在长视频理解领域取得了长足进展，上下文窗口理论上已拓展至百万 token，驱动着自动驾驶与具身智能等前沿应用。然而，真实的复杂长视频理解要求模型在极端时间跨度内维持连续追踪、信息整合与长程记忆留存，这种高密度、持续性的认知负荷构成了理解长视频的核心瓶颈。现有长视频基准（如 LongVideoBench、LVBench、InfiniBench 等）虽然将原始视频时长拓展至数十分钟乃至数小时，但其问答任务绝大多数退化成了“大海捞针”式的单帧检索或孤立片段定位，模型仅凭几秒钟的局部画面即可作答，无法衡量真实超长时序上下文下的逻辑链构建与因果推理能力。

这种评测深度与视频时长脱节的根源在于标注阶段的认知瓶颈：随着视频时长增加，人类标注员构建全局逻辑链与追踪状态的认知负荷呈指数级增长，标注员往往下意识地退化为在狭窄时间窗口内设计局部简单问题。以往 EgoSchema 提出的证明长度（Certificate Length）通过累加回答所需的离散子片段总长来衡量线索跨度，但无法反映连续追踪的本质。例如在安防长视频中统计某人出现次数时，人类必须投入不间断的注意力通盘观察并持续验证其在其他时间段的“未出现”，离散跳帧抽帧会破坏事件链。此外，现有全模态（Audio-Visual）评测集大多受限于短视频片段，或将视觉与听觉混杂在一起，缺乏对真实非言语声音（环境音、背景音乐）及音视频强协同的细粒度考察。

为了显式量化持续认知负荷并推开超长上下文评测的边界，本文引入了“持续证明长度”（Continuous Certificate Length, CCL）这一指标，即人类为明确回答某一问题必须连续观看的视频时长。基于该指标构建涵盖小时级视频与多模态协同的大规模基准，能够跨越由秒至小时的认知负荷阶梯进行系统诊断。核心 idea：以持续证明长度显式量化高密度持续认知负荷，构建首个平均时长 109 分钟、平均 CCL 突破 16 分钟的超长上下文与视音频全模态基准 VideoOdyssey，通过 5 级细粒度时间窗口与严格单模态过滤体系揭示大模型在连续长程推理与非言语声学感知上的深层瓶颈。

方法详解¶

整体框架¶

VideoOdyssey 基准涵盖 100 部源自真实公开平台、时长均超过 60 分钟的高清视频（平均时长 109 分钟，最长超 4 小时），横跨 11 个大类领域与 54 个细粒度子类别，兼顾叙事性结构内容（影视剧、纪录片）与非结构化复杂时序流（第一人称视角、监控画面等）。整体流水线由长视频收集与字幕预处理、双子集（纯视觉 VideoOdyssey-V 与音视频 VideoOdyssey-AV）任务构建、双阶段严格质检过滤，以及基于 5 级持续证明长度的认知诊断框架组成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["超长视频多源采集<br/>100部优质视频 / 平均109分钟 / 11个领域"] --> B["解耦式全模态双子集构建<br/>VideoOdyssey-V纯视觉 / VideoOdyssey-AV视听协同"]
    B --> C["双阶段严格质检与单模态过滤<br/>大模型快捷方式初筛 + 领域专家逐题二次核验"]
    C --> D["五级持续证明长度诊断体系<br/>0-0.5分至60分以上梯级量化评测"]
    D --> E["模型综合评测与瓶颈诊断<br/>长上下文退化 / 细粒度感知缺失 / 非言语声学缺陷"]

关键设计¶

1. 持续证明长度指标与五级认知负荷诊断阶梯：量化真实长时注意力与记忆留存

针对既有基准中离散抽帧无法体现持续认知负荷的缺陷，本文定义持续证明长度（Continuous Certificate Length, CCL）为人类必须连续观测以排除所有干扰项、确定唯一正确答案的最短时间区间长度。若证据分散在多个时间点，CCL 需自最早必要证据开始连续覆盖至最晚证据结束；对于存在性验证或计数类问题，CCL 涵盖验证目标未出现所需的全部连续注意力跨度。在此基础上，基准设立了从秒级到小时级的 5 个细粒度阶梯：\([0, 0.5)\) 分钟、\([0.5, 3)\) 分钟、\([3, 15)\) 分钟、\([15, 60)\) 分钟以及 \([60, \infty)\) 分钟。该设计将基准转变为阶梯式诊断仪器，能够精准剥离“局部检索难度”与“高密度信息持续整合推理能力”。

2. 解耦式全模态双子集构建：覆盖视听协同与多类非言语真实场景

为了清晰界定多模态大模型的不同能力边界，VideoOdyssey 解耦构建了两个互补的子集。VideoOdyssey-V 专注于探测纯视觉大模型在超长时序下的极端能力，包含 1,618 道精细标注的选择题，全面覆盖感知（计数、物体识别、动作识别、属性识别、OCR、动作描述）、认知（因果推理、情感推理、意图推理、物体推理、时序排序、空间推理）、摘要总结及时间定位共 14 类细分任务。VideoOdyssey-AV 则专注于评估全模态大模型在视音频同步输入下的协同理解，包含 1,062 道选择题，涵盖语音（Speech）、环境音（Sound）与音乐（Music）三大音频类型，下设 18 类跨模态协同任务（如视听因果推理、声学事件识别、语音内容隐式推理等）。任务要求答案必须结合声学与视觉线索方可推导，杜绝模态冗余。

3. 双阶段严格质检与单模态快捷方式过滤：杜绝语言先验与单模态作弊

为保证评测结果的纯粹性与挑战性，防止模型依靠纯文本幻觉常识或单模态线索破题，基准设计了“自动化初筛 + 专家人工复审”的双阶段质检流水线。在自动化阶段，针对 VideoOdyssey-V 采用 DeepSeek-R1 与 GPT-4 进行纯文本无视频问答测试，剔除任何仅凭语言常识即可回答的问题；针对 VideoOdyssey-AV 则调用 Gemini-2.5-Pro 与 Qwen3-Omni 分别进行“仅输入视频”与“仅输入音频”的消融测试，凡是单模态准确率超过阈值的问题一律剔除，强制要求视听双模态的实质协同。在人工复审阶段，由独立领域专家以 CCL 窗口为唯一输入，交叉校验答案正确性、选项迷惑性及区间紧致性。双阶段过滤分别剔除了 46 道视觉题目与 79 道视听题目，确保最终保留的样本具备无可辩驳的证据自洽性。

实验关键数据¶

主实验¶

论文对 18 款主流纯视觉 MLLM（包括闭源商业模型、开源图像多模态模型、开源视频多模态模型）和 12 款全模态 Omni-MLLM 进行了系统评测，并与人类评估员对比。商业闭源模型在 V 评测中采样 128 帧，AV 中采样 64 帧；开源模型均使用最大可用配置。

模型	模态 / 帧数	VideoOdyssey-V 总体准确率 (%)	VideoOdyssey-AV 总体准确率 (%)	感知类 (Count / OCR)	认知与定位 (CaRea / TeGro)
Human Baseline	-	84.4	80.7	74.3 / 85.7	86.9 / 96.4
Gemini-3.1-Pro	V: 128 / AV: 64	56.3	46.1	34.2 / 66.5	59.4 / 49.2
GPT-5.2	V: 128	49.0	-	28.3 / 64.1	51.6 / 44.6
Gemini-2.5-Pro	V: 128 / AV: 64	50.4	43.9	31.6 / 60.5	52.3 / 40.0
Seed-2.0-Pro	V: 128	49.7	-	34.9 / 50.9	57.8 / 47.7
Qwen3.5-Omni-Plus	AV: 64	-	43.0	37.0 / 33.3	50.0 / 42.6
Kimi-K2.5	V: 128	48.6	-	26.7 / 52.7	57.0 / 46.2
Qwen3.5-27B	V: 128	44.6	-	30.9 / 48.5	48.4 / 21.5
Qwen3-VL-235B	V: 128	40.6	-	27.0 / 43.7	45.3 / 38.5
Ola-7B	AV: 64	-	31.5	29.6 / 25.0	31.0 / 32.8
Qwen3-Omni-30B	AV: 64	-	28.7	24.7 / 29.2	29.3 / 37.7
Unified-IO-2 XXL	AV: 64	-	25.9	23.5 / 20.8	22.4 / 31.2
VideoLLaMA2-7B	AV: 64	-	24.1	16.1 / 25.0	17.2 / 31.2

消融实验与分析¶

论文在不同持续证明长度区间下测试了基于检索的智能体方法 Deep Video Discovery（DVD），并对比基座模型在各 CCL 区间的分数变化（以代表性子集测试，满分 100%）。

模型与方法	\([0, 0.5)\) 分钟	\([0.5, 3)\) 分钟	\([3, 15)\) 分钟	\([15, 60)\) 分钟	\([60, \infty)\) 分钟	Overall 准确率 (%)
GPT-4.1-mini (Base)	43.8	29.7	60.0	40.0	35.0	40.7
DVD (GPT-4.1-mini)	45.8	51.4	40.0	25.0	30.0	41.3
GPT-5.2 (Base)	56.3	48.7	56.0	50.0	35.0	50.7
DVD (GPT-5.2)	64.6	51.4	48.0	45.0	40.0	52.7

此外，针对视音频全模态的输入消融研究显示，人类单模态强制选择下 Video-only 仅有 32.4%、Audio-only 仅有 33.3%，接近 25% 随机猜测基线，证明了视听融合的必要性。而部分全模态大模型（如 Gemini-3-Flash）在引入音频或字幕后性能反而大幅下降，暴露出跨模态融合模块的伪协同与噪声干扰问题。

关键发现¶

SOTA 模型距人类水平差距巨大：领先模型 Gemini-3.1-Pro 在纯视觉和全模态下分别仅达到 56.3% 与 46.1%，勉强处于及格边缘，相比人类基线（84.4% / 80.7%）存在 28-34 个百分点的悬殊差距。
长持续证明长度引发灾难性认知过载：当 CCL 超过 15 分钟乃至 60 分钟时，绝大多数开源和商业模型准确率呈现断崖式下跌；即使为模型直接提供黄金证明区间（Certificate Window），超长片段中的密集冗余 token 依然会导致因果链中断。
超短窗口暴露细粒度感知短板：在短 CCL（<0.5 分钟）场景下，即便提供精确时段，模型表现依然显著逊色于人类，表明模型不仅存在“长程大海捞针检索难”，底层视觉的细粒度空间分辨与动态感知同样薄弱。
检索智能体（RAG/Agent）无法解决连续性任务：DVD 等基于工具检索的智能体仅在局部短线索上带来有限增益（如将 \([0, 0.5)\) 区间准确率提高 8.3%），但在超长连续区间（\([15, 60)\)）上反而严重掉点（50.0% 降至 45.0%），证明离散跳帧检索会切断事件连续性。
全模态存在严重的语音偏置（ASR Bias）与非言语声学盲区：大多数全模态模型在涉及文字语音（Speech）的任务上表现尚可，但在环境音（Sound）和音乐（Music）任务上表现惨淡，甚至视听联合输入弱于纯视觉输入。

亮点与洞察¶

提出“持续证明长度”诊断指标：打破以往长视频评测盲目堆砌总时长而放任问题退化为离散点检索的弊端，首次以人类需连续观看的时长量化认知负荷。
解耦式且带严格单模态过滤的基准构建：纯视觉与视听协同严格分开，并通过双大模型自动对抗过滤与人工交叉审核，杜绝单模态作弊与语言常识快捷方式。
指明下一代视频多模态模型的核心演进方向：单纯加大上下文窗口和外挂 RAG 检索器无法应对真正的连续时序理解；模型需要原生的连续时序状态追踪、强鲁棒的非言语声学特征融合以及自适应细粒度感知能力。

局限与展望¶

采样帧率预算对超长视频的制约：在均匀稀疏抽帧设定下，百分钟视频即使抽 128 帧也会遗漏极快速的瞬态视觉细节，模型表现受制于计算开销与抽帧策略。
公开网络视频存在潜在预训练污染可能：虽然采用了屏蔽特定人名角色、基于衣着外观提问的去常识化方案，但长视频公开源完全杜绝预训练渗透依然具有一定挑战。
未来方向：探索动态自适应抽帧、流式长时状态追踪记忆机制，以及端到端原生连续视音频对齐表征学习。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 提出持续证明长度（CCL）指标并确立 5 级认知负荷诊断阶梯，打破了长视频 benchmark 的“时长通胀、证明极短”的伪命题。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 18 款纯视觉与 12 款全模态大模型，设立金标准证明窗口消融、智能体检索对比及单模态消融，诊断深入透彻。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严密，论述极具洞察力，问题定义与分析切中长视频理解的本质要害。
价值: ⭐⭐⭐⭐⭐ 为超长时序推理与全模态多模态大模型的研发提供了极具公信力与挑战性的评估试验场。