Video-HolmesV2: Can MLLMs Reason with Spatio-Temporal Audio-Visual Evidence in Long Videos?¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 多模态VLM
关键词: 长视频理解, 音视频深度耦合, 时空证据溯源, 多模态因果推理, Token压缩

一句话总结¶

针对长视频评测中忽视听觉线索与依赖纯视觉猜测的缺陷，本文构建了包含 784 个长视频（平均时长 43 分钟）和 4,000 个问答对的音视频深度耦合评测基准 Video-HolmesV2，提出条件化时空证据约束指标与音文双流引导的自适应 Token 压缩算法。

研究背景与动机¶

随着全模态大模型（如 GPT-4o、Gemini 2.5 Pro、Qwen2.5-Omni）原生支持视音频联合输入，长篇叙事视频理解迎来了新的架构基础。然而，现有的长视频评测基准长期深陷“视觉中心主义”的偏见。大多数长视频数据集（如 Video-MME、LongVideoBench）实质上将音频边缘化为可有可无的辅助信号，使评测退化为视觉启发式的单模态捷径，导致多模态模型往往沦为“沉默的观察者”，无需进行真正的跨模态联合因果推断即可蒙对答案。

更为严峻的是，传统评测指标仅以单选题的最终准确率为衡量标准，无法区分模型是依据真实跨模态证据完成的长程因果链推导，还是依赖参数记忆与视觉偏差进行的幻觉式猜测。另一方面，要在长达数十分钟至数小时的叙事中定位转瞬即逝的因果线索，密集帧采样势在必行，但这会直接导致 Token 爆炸并引起长上下文中的“注意力稀释”；而现有的 Top-K 截断式 Token 压缩机制又容易切断细粒度跨模态关联并丢失宏观上下文。

本文的目标是打破“视听弱解耦”与“缺乏过程监督证据”的评估困局，推动模型进行基于真实时空事实的多模态推理。核心 idea：构建必须强依赖音视频深度耦合与时空证据链的长视频基准 Video-HolmesV2，设计要求证据与答案双重成立的软对齐评分准则，并提出音文双流引导的核心去重与背景拾取 Token 压缩框架。

方法详解¶

整体框架¶

Video-HolmesV2 体系由数据构建、时空证据评估协议与音文双向引导的 Token 压缩三大模块协同构成。在数据端，系统对 2024 年后的高画质电影叙事视频进行可分析性筛选与单模态盲测陷阱过滤，标注出由时间戳、边界框及逻辑链构成的时空音视频证据；在评估端，设计高斯软对齐与加权条件指标惩罚无依据猜测；在推理端，通过轻量级文本相关性打分与无监督音频显著性锚点联合评估视觉 Token 价值，实施分层压缩。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频输入<br/>(视觉帧序列 + 音频流 + 文本查询)"] --> B["音视频深度耦合数据构建与单模态陷阱过滤"]
    B --> C["条件化时空证据感知评估协议"]
    C --> D["音文双流引导的视觉相关性打分"]
    D --> E["掩码分层差异化 Token 压缩与重组"]
    E --> F["高保真多模态长程因果推理输出"]

关键设计¶

1. 音视频深度耦合数据构建与单模态陷阱过滤：杜绝单模态信息泄漏 针对现有基准中单模态即可答题的虚假多模态现象，数据构建管线引入了严格的“单模态陷阱”（Unimodal Trap）对抗过滤机制。在初步生成带有时间戳依据的复杂因果问答后，系统分别将题目置于“纯静音画面”（Visual-Only）与“纯音频/字幕”（Audio-Only）下进行盲测消融。任何仅凭单一模态就能以高置信度解出的题目均被视为伪多模态样本直接剔除。通过该对抗筛选，确保基准中的 4,000 个问答对必须跨时空联合视听双模态证据才能完成闭环推理。

2. 条件化时空证据感知评估协议：严惩无证据猜测与统计偏差 传统二值准确率无法度量模型推理的事实支撑度。为此，评估体系引入了时空证据质量评分 \(S_{\text{evidence}}\)。针对模型输出时间区间的漂移，设计了结合长度比率与高斯衰减的平滑时序对齐分数 \(S_{\text{temp}}\)：

\[S_{\text{raw}}(p, g) = \frac{\min(L_p, L_g)}{\max(L_p, L_g)} \cdot \exp\left(-\frac{(C_p - C_g)^2}{2\sigma_{\text{drift}}^2}\right)\]

结合语义匹配分数 \(S_{\text{sem}}\)（采用更侧重精确率的 \(F_{0.5}\) 评分惩罚虚假因果陈述），最终综合得分采取强条件依赖设计：

\[S_{\text{total}} = \lambda_1 \cdot \text{Acc}_{\text{MCQ}} + \lambda_2 \cdot (\text{Acc}_{\text{MCQ}} \cdot S_{\text{evidence}})\]

其中设定 \(\lambda_1 = 0.6, \lambda_2 = 0.4\)。\((\text{Acc}_{\text{MCQ}} \cdot S_{\text{evidence}})\) 约束项意味着：只有当最终选项推断正确时，证据提取的分数才被计入总分，彻底杜绝了模型蒙对答案却给出幻觉证据的欺骗性高分。

3. 音文双流引导的视觉相关性打分：兼顾主观查询意图与客观突发事件 为了给视觉 Token 赋予精准的重要性权值，方法将主观查询与客观听觉信号解耦打分。针对文本查询，从教师模型（Qwen2.5-VL 72B）中间参考层的交叉注意力蒸馏出一个轻量级的 0.5B 学生排序器，使用 Spearman 秩相关损失学习视觉 Token 相对排位 \(S_{\text{text}}\)；针对音频流，直接利用音频编码器末层自注意力矩阵提取注意力最高的显著音频锚点 \(\hat{A}\)，通过余弦相似度最大池化计算视觉与音频峰值的空间同步性分数 \(S_{\text{audio}}\)。最终通过加权归一化得到融合重要性指标 \(S_{\text{final}} = \alpha_{\text{fuse}} \tilde{S}_{\text{text}} + (1 - \alpha_{\text{fuse}}) \tilde{S}_{\text{audio}}\)（\(\alpha_{\text{fuse}}=0.7\)）。

4. 掩码分层差异化 Token 压缩与重组：核心集合去冗余与背景宏观氛围回补 传统硬剪枝直接截断低分 Token 会造成宏观上下文与叙事氛围的彻底丢失。该方法根据 \(S_{\text{final}}\) 生成时空二值掩码，将视觉 Token 划分为核心集（Core Set）与背景集（Background Set）。在核心集内部，对时空邻近且余弦相似度超过阈值 \(\tau_{\text{intra}}\) 的视觉 Patch 进行特征平均池化去重，释放出配额 \(R = B_{\text{vis}} - n\)；利用释放的空闲配额，从背景集中检索前 \(M \times R\) 个被丢弃的背景 Token，按 \(M:1\)（如 \(M=4\)）的大比例池化压缩后重新补入。最后保留原始时空位置编码完成重组，以固定预算保留了微观证据细节与全局宏观语境。

损失函数 / 训练策略¶

轻量级文本引导选择器（Qwen2.5 0.5B）使用来自 LLaVA-Video-178k 的 50,000 个长视频样本进行排序蒸馏。训练采用可微排序逼近的 Spearman 秩相关损失函数：

\[\mathcal{L}_{\text{rank}} = 1 - \frac{\sum_{i=1}^N (R(r_i^{\text{ref}}) - \bar{R}^{\text{ref}})(R(\hat{r}_i) - \bar{R})}{\sqrt{\sum_{i=1}^N (R(r_i^{\text{ref}}) - \bar{R}^{\text{ref}})^2 \sum_{i=1}^N (R(\hat{r}_i) - \bar{R})^2}}\]

优化器采用 AdamW，批大小为 8，学习率设置为 \(1 \times 10^{-5}\)，在 4 块 H20 GPU 上完成训练。音频引导评分分支与后续的分层压缩过程均为完全免训练（training-free）的测试时自适应推断流程。

实验关键数据¶

主实验¶

在 Video-HolmesV2 综合基准测试中，对主流商业闭源模型与代表性开源全模态模型进行了系统评测（生成温度设为 0.01，最大输出 Token 设为 8,192）。

模型类别	模型名称	感知均分 (Perception Ave.)	推理均分 (Reasoning Ave.)	加权总分 (Overall)
商业闭源	GPT-4o	56.1	46.4	46.9
商业闭源	Gemini-2.5-Flash	67.0	65.2	65.3
商业闭源	Gemini-2.5-Pro	75.8	73.1	73.2
开源模型	Qwen3-VL-4B	47.3	27.0	28.0
开源模型	Qwen2.5-VL-7B	41.9	37.9	38.1
开源模型	MiniCPM-V-4.5	38.6	47.4	47.0
开源模型	InternVL3-8B	50.6	48.0	48.1
开源模型	Qwen2.5-VL-72B	52.2	50.1	50.2
开源模型	Qwen3-VL-235B-A22B	58.5	55.1	55.3
开源全模态	Qwen2.5-Omni-7B (基线)	42.9	40.6	40.7
本文压缩方案	Ours (Qwen2.5-Omni-7B + 压缩)	46.7	44.4	44.5 (↑3.8)

在引入时空证据约束后，传统准确率的“虚假繁荣”被彻底揭示：

模型名称	选择题推理准确率 (MCQ Ave. %)	证据评分 (Evidence Ave.)	条件惩罚总分 (\(S_{\text{total}}\))
Qwen3-VL-235B-A22B	55.1	8.5	34.9
Gemini-2.5-Flash	65.2	28.6	46.6
Gemini-2.5-Pro	73.1	35.2	54.2

消融实验¶

在标准基准 VideoMME 与 WorldScene 上对本文提出的压缩框架模块进行消融测试（主干均为 Qwen2.5-Omni-7B）：

文本引导压缩 (TGC)	音频引导压缩 (AGC)	双流融合与差异化压缩 (DSFDC)	VideoMME (准确率 %)	WorldScene (准确率 %)
✗	✗	✗ (全量 Tokens)	66.0	46.8
✓	✗	✗	67.0	46.5
✗	✓	✗	63.3	45.1
✓	✓	✗	67.4	46.9
✓	✓	✓ (完整方案)	67.8	47.2

在视觉与音频 Token 预算分配的对比测试中，4096 视/1024 音得分 66.5，8192 视/1024 音得分 67.4，默认的 8192 视/2048 音达到最优的 67.8；继续扩张至 12288 视/4096 音时，得分反而回落至 67.6。

关键发现¶

单独使用音频引导压缩（AGC）会导致性能大幅滑坡（VideoMME 从 66.0 掉至 63.3），原因在于强制过滤剪掉了大量无声却承载关键视觉因果的静音镜头；然而与文本引导融合后，音频能够作为事件锚点补全盲区，反超全量基准。
开源巨模存在严重的“幻觉证据”悖论：Qwen3-VL-235B-A22B 取得了 55.1% 的选择题准确率，但证据定位质量仅有 8.5 分，表明其绝大部分正确推断依赖文本先验与参数记忆的侥幸猜测；闭源 Gemini-2.5-Pro 的证据得分达到 35.2，展现出更健康的事实锚定能力。
在超长视频上下文中，增加帧数和 Token 不等同于性能提升。将预算过度扩大至 12288 视/4096 音反而导致注意力被背景冗余干扰稀释，印证了自适应过滤与定额压缩的必要性。

亮点与洞察¶

提出严格的单模态反演过滤体系：通过双盲消融实验剔除单凭视觉或听觉即可求解的题目，真正确立了高难度音视频深度互锁评测标准。
设计答案-证据强绑定的评估指标：以条件乘积形式约束推理结论与时空证据事实的一致性，有效刺破了参数记忆型模型在长视频推理中的分数泡沫。
提出配额回收式的差异化压缩机制：核心区域自适应去重与空闲配额回补全局背景，既压制了局部冗余，又规避了上下文全盲，使压缩后性能反超全量未压缩基线（达到 101.5% 相对表现）。

局限与展望¶

时序对齐容差的超参敏感性：虽然高斯衰减缓和了硬交并比对齐的截断效应，但漂移容差 \(\tau_{\text{drift}}\) 仍依赖于先验假设，对动作时长极短的微观事件可能仍偏严苛。
开源小模型在证据溯源上的集体失灵：实验表明参数量小于 30B 的开源模型在输出细粒度视听时间戳与实体框时得分接近于零，该评估范式对轻量级模型的指令微调提出了极大挑战。
端到端音频空间感知的缺失：当前音频编码仍主要利用时序层面的注意力峰值进行视听对齐，尚未深度解耦双耳声道或空间声学特征来指导视线焦点。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出长视频音视频深度互锁与严格时空证据对齐的评测范式及配额回收压缩机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖从 4B 到 235B 以及顶级商用模型的详尽评测，并包含多维度跨数据集消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，指标设计与数学公式阐述完整自洽。
价值: ⭐⭐⭐⭐⭐ 对全模态大模型从“单模态捷径猜测”走向“具身/长视频真实事实推理”具有重要推动作用。