A Benchmark for Omni-Modal Reasoning in Long Videos¶

会议: NeurIPS 2026
arXiv: 2512.16978
代码: https://longshot.cvmbzuai.com/
领域: VLM推理
关键词: 长视频理解, 全模态推理, 评测基准, 细粒度评分规则, 智能体检索

一句话总结¶

提出了包含 274 个超长视频（平均 41 分钟）、3,401 个多轮/单轮意图驱动样本的全模态长视频基准 LongShOTBench 与细粒度量规评分机制，并设计了结合跨模态索引与检索-精炼-验证循环的免训练智能体 LongShOTAgent（取得 66.64% 的 SOTA 表现）。

研究背景与动机¶

长视频理解是多模态大语言模型（MLLM）迈向真实世界复杂场景的关键考验。现实场景中的视频并非孤立的视觉图像或转录文本，而是视觉画面、说话人语音与非语音环境声学信号在连续时间轴上的交织交融。用户在观看几十甚至上百分钟的讲座、会议、评测或生活记录时，往往需要跨越数十分钟追踪因果线索、结合画外音确定动作对象，或依赖环境背景音理解画面的语义变化。然而，当前长视频评测基准存在明显的割裂与妥协：绝大多数基准（如 LVBench、MoVQA、InfiniBench）仅关注视觉关键帧与字幕级语音，完全忽略了非语音环境音；而涵盖音视频全模态的基准（如 Video-MME、WorldSense、LongVALE）又普遍局限于短片断或简单的片段描述与检索任务，无法有效检验小时级别多模态长上下文推理能力。

此外，现有评测在问答设计与评分机制上存在深层缺陷。在问答构建上，大量基准依然依赖预定义的模板或固定的任务分类，生成的单轮问答往往退化为孤立的事实抽取，脱离了真实用户带有意图、多轮追问的观看交互本质。更严重的问题在于评分方式：选择题（MCQ）模式主导了现有评测，但选择题极易引入选项位置偏置、词汇重叠匹配和排除法投机等捷径。实验表明，强模型在去掉选项后准确率往往断崖式下跌 20% 以上，产生了“虚假理解”的幻觉；而采用单个 LLM 对开放式回答直接给出一个总体打分，又面临不可解释、方差大且无法追溯错误根因的技术痛点。

针对全模态长视频在时长覆盖、意图交互与可解释评测上的空白，本文系统构建了面向小时级全模态推理的评测体系。核心 idea：构建首个整合视觉-语音-非语音环境音的超长视频意图驱动基准 LongShOTBench，以多维度细粒度加权量规实现可归因的二值化判定，并提出通过跨模态语义存储与“检索-精炼-验证”闭环实现免训练长视频推理的智能体 LongShOTAgent。

方法详解¶

整体框架¶

本文的方法体系由两大部分构成：标准化基准构建与验证管线 LongShOTBench，以及与之配套的免训练长视频全模态智能体 LongShOTAgent。基准管线从原始长视频出发，首先通过语音分段驱动三路模态专家并行生成细粒度字幕，融合为全模态元数据；随后基于用户真实意图生成单轮与多轮问答，并为每道题定制带有层级权重的可验证细粒度量规（Rubric），最后经专业人工校验落盘。在推理侧，LongShOTAgent 摒弃将整段数小时视频硬塞进超长上下文窗口的低效暴力做法，先构建跨模态轻量向量索引库，在推理时由中央编排器在 ReAct 循环中交替执行时间定位、专家精炼与事实检验，最终合成精准答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频输入<br/>平均41分钟 / 最长90分钟"] --> B["全模态时间对齐元数据蒸馏<br/>Whisper + Qwen2.5-VL + AF3"]
    B --> C["意图驱动问答与层级量规构建<br/>单轮/多轮QA + 1-10分细粒度量规"]
    C --> D["严格人工校验与专家标定<br/>450+工时过滤偏置与幻觉"]
    D --> E["跨模态检索索引构建<br/>SigLIP帧嵌入 + 语音/声学文本嵌入"]
    E --> F["ReAct迭代检索-精炼-验证循环<br/>search_video / refine_video / verify_claim"]
    F --> G["多验证器加权量规评估输出<br/>Qwen3-14B + Gemma-4-31B + GPT-5-mini"]

关键设计¶

1. 全模态时间对齐元数据蒸馏：解决超长视频多流信号异步与长上下文稀释痛点

传统视频处理往往按固定帧率抽帧或仅依赖 ASR 字幕，导致无声画面细节遗失、背景音响信号丢失以及跨模态时间点错位。本文设计了并行的分段多模态特征蒸馏流程：首先利用语音活动检测（VAD）将平均 41 分钟的原始长视频切分为连贯片段，天然保留静音间隙；随后调用三路专精模型并行处理，其中使用 Whisper-Large-v3 转录带精确时间戳的语音，使用 Qwen2.5-VL-32B-Instruct 提取代表性帧的密集场景描述，使用 Audio Flamingo 3 识别环境噪音、背景音乐和音效变化。最后由 Qwen3-30B 语言模型将这三路异构时间流融合成全局时间对齐的高级叙事元数据，既消除了单模态冲突，又为后续复杂问答构建提供了致密、结构化的全模态依据。

2. 意图驱动问答与层级量规构建：以可验证二值化原子判定取代黑盒主观评分

现有评测受限于机械模板或单打分黑盒 LLM，无法归因模型究竟是“未看清图像”、“漏听环境音”还是“推理断链”。本文首先模拟真实用户意图（如购物对比、因果回溯、流程复盘），为每段视频映射至核心感知（CP）、信息检索（Info）、多模态交互（MM）和复杂推理（RE）四大领域，并按 1-5 级难度构建单轮与多轮（理想轨迹隔离机制）问答。对于每道问答，不仅提供经过多源核验的参考答案，还制定了多条独立可验证的细粒度量规准则 \(c_i\)。每条准则按优先级赋予权重 \(w_i \in [1, 10]\)（7-10 为关键事实，4-6 为支持细节，1-3 为背景信息）。评测时，验证器模型仅需对照黄金答案对模型候选答案做原子的二值化（Satisfied / Not Satisfied）匹配判断，彻底避免了 LLM 直接生成连续分值的高方差缺陷。

3. 跨模态检索索引与 ReAct 闭环智能体：以测试期计算与模块化专精替代蛮力超长上下文

针对现有超长上下文模型在数小时视频上面临的“大海捞针”失忆（Lost-in-the-middle）及极高显存开销，本文提出了免训练的 LongShOTAgent。智能体在离线阶段使用 SigLIP（5 FPS / \(512\times 512\)）抽取视觉嵌入，并使用 sentence-transformers 将 Whisper 语音与 Audio Flamingo 3 声学描述编码进轻量级 ChromaDB 向量数据库。在在线推理时，以 Qwen3.6-35B 作为中央编排器，通过 ReAct 循环按需调用三个工具：search_video 执行语义召回以定位粗粒度时间窗，refine_video 截取不超过 60 秒的片段并分派给对应的视觉或音频专精模型进行高精分析，verify_claim 针对假设命题反向验证场景事实。该闭环将推理计算集中在与问题强相关的少数片断上，无需对整段视频做全量计算即可达到远超百亿/千亿级端到端模型的效果。

一个完整示例¶

假设用户针对一段 45 分钟的烹饪比赛长视频提问：“选手在烤箱发出警报前往锅里加了什么调料，之后为什么评委皱眉？” 1. 语义初检（search_video）：智能体编排器根据“烤箱警报”和“加调料”检索声学与视觉向量库，在 \(t = [18:20, 20:15]\) 处定位到烤箱蜂鸣声标签与厨房操作画面的候选片断。 2. 局部精炼（refine_video）：编排器分发一个 50 秒的视频子片段给视觉专精模型（Qwen2.5-VL），高分辨率解析选手手持调料瓶的文字标签（OCR 为“海盐”），并调用音频专精模型（Audio Flamingo 3）确认该动作发生于烤箱蜂鸣倒计时结束前 15 秒。 3. 因果与事实验证（verify_claim）：智能体在 \(t = [24:10, 25:30]\) 处检索评委试吃画面，定位评委发言字幕“汤底过咸”及其实际皱眉表情，验证因果关联。 4. 量规匹配与判定：模型生成的最终回答对照黄金答案量规，\(c_1\)（正确识别调料为海盐，权重 8 分）判定满足；\(c_2\)（正确定位操作先于烤箱警报鸣响，权重 7 分）判定满足；\(c_3\)（结合试吃评语指出过咸导致皱眉，权重 8 分）判定满足。三项指标经 3-Verifier 投票加权后给出该样本的最终精确得分。

损失函数 / 训练策略¶

LongShOTAgent 属于完全免训练（Training-free）的测试期智能体系统，其所有子组件（Qwen3.6-35B-A3B 编排器、SigLIP 视觉编码器、Whisper-Large-v3 转录器、Audio Flamingo 3 声学模型）均冻结使用公开权重，依赖 ReAct 循环中的工具调度实现自适应推理。

在基准评测侧，每个样本的连续归一化评分为满足准则权重的百分比：

\[ \text{Score} = \frac{\sum_{i} w_i \cdot \mathbf{1}[c_i]}{\sum_{i} w_i} \times 100 \]

其中 \(\mathbf{1}[c_i] \in \{0, 1\}\) 表示验证器判定准则 \(c_i\) 是否得到满足，\(w_i\) 为该准则的专家标定权重。评测采用 Qwen3-14B、Gemma-4-31B-it 和 GPT-5-mini 三个独立验证器对每个准则做独立二值判定后取均值，消除单一验证器的提示敏感度与模型偏置。

实验关键数据¶

主实验¶

在涵盖 105 个视频模型的超大规模评测中，LongShOTBench 展现出极高挑战性。主流闭源旗舰 API 和原生全模态端到端模型离基准饱和仍有显著差距，而免训练的 LongShOTAgent 斩获了全榜第一。

模型类型	模型名称	输入模态	核心感知(CP)	推理(RE)	信息检索(Info)	多模态(MM)	综合得分(Overall)
智能体系统	LongShOTAgent (本文)	V+A	55.28	75.69	69.57	66.00	66.64
全模态端到端	Qwen3-Omni-30B-A3B-T	V+A	51.44	72.86	65.40	66.50	64.05
商业闭源API	Gemini 3.1 Pro Preview	V+A	43.01	65.82	55.57	58.15	55.63
全模态端到端	Nemotron-3-Nano-Omni 30B-R	V+A	30.90	50.39	42.00	40.55	40.96
纯音频LLM	Voxtral-Mini 3B	A	33.92	53.31	42.90	40.41	49.27
视频原生VLM	Qwen3-VL 235B-T	V	39.84	53.12	45.36	50.60	47.23
视频原生VLM	Qwen3-VL 32B-T	V	38.57	50.79	44.32	50.97	46.16
抽帧型VLM	Gemma-3 27B	F	34.67	47.20	39.14	45.22	41.55
既有视频Agent	VideoMind	V+A	8.22	9.90	8.74	16.43	10.83
既有视频Agent	Video-RAG	V+A	5.41	5.99	7.35	7.88	6.66

消融实验¶

消融实验分为两部分：一是验证不同编排器驱动 LongShOTAgent 循环带来的增益；二是分析在 Video-MME 与 WorldSense 上去除选择题选项捷径后各系统真实理解能力的抗跌表现。

实验组 / 评估设置	基础模型/配置	原始得分(Base/MCQ)	增强/开放式得分(Agent/Open)	性能变化(\(\Delta\))
编排器消融 (LongShOTAgent)	Qwen3.6-35B-A3B	27.17	65.69	+38.52
编排器消融 (LongShOTAgent)	Qwen3-VL-30B-A3B	25.82	52.54	+26.72
编排器消融 (LongShOTAgent)	Gemma-4-31B-IT	34.22	47.17	+12.95
选择题捷径消除 (Video-MME)	Qwen3.5-35B-A3B (VLM)	78.90	58.40	-20.50
选择题捷径消除 (Video-MME)	Qwen3-Omni-30B Instruct	70.50	51.81	-18.69
选择题捷径消除 (Video-MME)	Qwen3-Omni-30B Thinking	69.70	56.11	-13.59
选择题捷径消除 (Video-MME)	LongShOTAgent (本文)	71.24	69.91	-1.33
选择题捷径消除 (WorldSense)	Qwen3-Omni-30B Thinking	52.65	33.58	-19.07
选择题捷径消除 (WorldSense)	LongShOTAgent (本文)	46.56	43.38	-3.18

关键发现¶

模型架构胜过参数规模：包含原生音频路径的全模态模型显著超越更大规模的纯视频/抽帧模型。30B 的 Qwen3-Omni-30B-T（64.05%）以高达 16.8 点的优势击败了 235B 的 Qwen3-VL-T（47.23%），表明小时级长视频的真正瓶颈在于跨模态对齐和时间索引，而非单纯的视觉/语言参数容量。
“高层推理强于底层感知”反常倒挂：所有顶尖模型在推理任务（RE）上的得分普遍比核心感知（CP）高出 20 点以上（例如 Qwen3-Omni-30B-T 在 RE 达 72.86%，而在 CP 仅有 51.44%；Gemini 3.1 Pro 差距达 22.8 点）。这表明现有大模型在长视频中容易依赖强大的语言先验进行常识脑补，但在特定时刻精确定位视觉细节或环境音频的能力极弱。
环境非语音音频是全模态最短板：所有全模态系统在纯声学环境音维度上的得分均落后于视觉和语音维度（平均差 6 点以上），说明目前社区针对环境音（门铃、汽车轰鸣、背景音乐转折）与画面事件的时间绑定依然处于初级阶段。
思维链（Thinking）在长上下文中价值巨大：在同一模型家族内，具备显式思考机制的模型（如 Qwen3-Omni-30B-T 对比 -Instruct 版）提升超过 24 点（64.05% vs 39.17%），表明逐步推演的思考过程有效组织了跨模态长时序线索。
现有视觉类视频智能体无法泛化：VideoMind、Video-RAG 等仅关注视觉和字幕的智能体在长视频全模态评测中得分低于 15%，完全无法应对环境音频与复杂多轮意图，证实了全模态建模的必要性。

亮点与洞察¶

提出层级加权量规与三验证器二值匹配评测方案，打破了传统 MCQ 易被投机捷径欺骗与单 LLM 打分高方差的双重瓶颈，实现了与专家人工打分高达 0.92 的皮尔逊相关性。
揭示了长视频模型在选择题评测下的“虚假繁荣”，通过剥离选项的开放式验证证明单体端到端模型存在严重选项偏置，而智能体架构能够维持稳健真实推理。
LongShOTAgent 展示了测试期计算（Test-time Compute）与模块化专精代理在超长时序推理中的巨大潜力，无需任何训练即可超越全量超长上下文单体模型。

局限与展望¶

验证器系统偏置：虽然采用了三模型集成与二值判定，但验证器依然可能受长文本提示敏感性与特定模型偏好影响。
计算开销与单次推理限制：由于长视频端到端推理解析成本极其昂贵，基准当前对各候选模型采用单次贪婪采样评估，未量化各模型采样温度下的内在方差。
多语言与跨文化覆盖受限：视频源主要取材于 YouTube 及公开英语视频库，非英语长视频及多元文化语境下的表征仍显不足。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出结合视觉、语音与非语音环境音的小时级长视频全模态基准与加权量规评估范式。
实验充分度: ⭐⭐⭐⭐⭐ 评测了包含闭源商业 API、开源全模态、视频原生、纯音频与智能体在内的 105 种系统，并深入开展了鲁棒性与人工对齐消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，问题定义切中要害，实验剖析深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为未来全模态大模型在真实世界长时序、复杂多感官融合推理提供了极具辨识度的评估标准与智能体参考实现。