Video-Holmes: Can MLLM Think like Holmes for Complex Video Reasoning?¶

会议: ECCV2026
论文: ECCV 原文
项目: Video-Holmes
领域: 多模态推理 / 视频理解
关键词: 多线索推理、主动寻找证据、悬疑短片、思维链、推理诊断

一句话总结¶

Video-Holmes 用 270 部悬疑短片的 1,837 道问题检验模型能否自行找到并串联分散线索，主表最佳模型 Gemini-3.0-Pro 仅达 49.6%，而单次观看的人类基线为 96.3%。

研究背景与动机¶

视频问答中的“推理”并不总意味着真正理解事件关系。如果问题已经指定时间点、对象或动作，模型往往只需在局部画面中找到答案，未必需要解释整段故事。即使模型输出很长的思维链，也可能只是对一个已明确给定的视觉线索补写文字说明。这使得一般视频准确率难以区分“认出了画面内容”和“根据多处证据完成推断”。论文因此关心的是，模型在没有被直接告知关键线索时，能否自己发现哪些镜头与问题有关。

悬疑短片提供了一种紧凑的测试材料：伏笔、误导、镜头切换和结尾反转把相关证据分散在时间轴上。回答人物为何回头、两个角色是什么关系或某个结局为何发生，常需要把先前动作与后续结果连接起来。其中的超自然设定还要求模型从片内事件推断规则，而不能仅凭现实常识否定异常情节。这类内容的价值不是“剧情越奇怪越好”，而是能为同一结论提供多个必须联合解释的证据。作者据此选择人工标注剧情，再围绕证据关系设计问题，而不是直接从随机画面生成问答。

这个设计也改变了对错误的理解：看错一个对象、漏掉关键事件、看见事件却连错因果关系，应该被分别诊断。最终选项正确仍不足以证明过程可信，因为模型也可能凭错误剧情猜中主题。因此本文既构建测试题，也分析输出解释，并通过独立辅助训练集检查此类数据能否帮助其他视频任务。 核心 idea：将视频评测从“根据给定线索回答”推进到“主动寻找并串联线索”，再用人工证据参照区分感知、遗漏与推理错误。

方法详解¶

整体框架¶

本文首先是一项基准工作，不是名为 Video-Holmes 的新推理模型。数据构建以短片为输入，先形成带时间信息的剧情与证据标注，再生成问题、选项、答案和解释。模型评测以视频或采样帧、问题和选项为输入，输出逐步解释及最终答案。随后，诊断器结合人工剧情、参考解释与模型输出，判断成功或失败属于哪一类。因此，人工标注是出题和诊断的参照，不是默认视频测试时直接提供给被测模型的提示。文本输入消融才会显式把人工剧情或自动描述交给语言模型。测试集含 270 部短片、1,837 道问题，辅助训练集另含 233 部短片、1,551 道问题。整体可分为证据标注、七类任务、问答质检和推理诊断四项设计；强化学习实验用于验证数据价值。

关键设计¶

1. 证据标注：先建立可追溯的剧情依据

作者从 YouTube 检索时长 1 至 5 分钟的悬疑短片，并用 8 个子关键词增加内容多样性。初始候选超过 2,500 部，人工筛除剧情过于简单、推断线索不足或制作质量差的视频。筛选目标是保留有真实证据链的故事，而不是单纯收集让模型容易答错的视频。保留的视频按情节切段，每段都有文字描述，以提供事件发生的上下文。标注还记录关键人物关系及支持关系判断的证据，避免把角色身份当成不言自明的信息。这使得出题依据从零散图像标签变成可以回到原片核查的事件描述。

更关键的是“推理镜头”标注：记录时间戳、视觉线索及能够推出的结论。标注者还说明超自然元素的规则与影响，并概括影片核心主题。这些字段把可见事实、故事设定和较高层解释放入一个结构化参照，但不能把主题概括误当纯视觉事实。初标由经过培训、至少具有本科学历的标注者完成，资深人员随机复核 20%。若发现某位标注者的内容过简或存在逻辑缺陷，其全部任务需要返工。该流程主要控制参考证据质量；它并不等同于证明每道题都没有解释空间。

2. 七类任务：沿不同关系追踪分散证据

社会推理（SR）识别人物关系，也包含同一人物青年与老年形象之间的身份关联。物理异常推理（PAR）解释不符合现实规律的场景，并推断影片内部隐含的规则。多模态暗示推理（MHR）解读镜头运动、物体位置变化等具有语义作用的提示。意图与动机链推理（IMC）把人物表面行为与真正目的区分开来。这些任务强调的不是识别某个动作名称，而是解释该动作在当前叙事中的作用。例如，同样是摸口袋，可能需要结合后续失物镜头才能判断人物为何转身。

时序因果推理（TCI）连接跨时间、跨场景的事件，判断一个结果由什么机制导致。时间线分析（TA）重建故事事件顺序，不能只照搬电影剪辑呈现的先后次序。核心主题推断（CTI）综合情节、对白和象征元素，判断作品表达的更深层含义。七类任务共享“自行定位线索并把线索连接起来”的要求，但侧重不同关系。这里的“主动寻找”是题目提出的能力需求，并非论文实现了可交互回看的检索智能体。在主要实验中，多数被测模型仍接收预先确定的采样帧或原生视频输入。

3. 问答质检：自动生成受人工证据约束

DeepSeek-R1 根据结构化人工标注和预定义任务生成问题，并为答案生成详细解释。生成阶段被要求严格依据标注，避免把影片外的常识猜测当成片中证据。参考解释说明多个线索如何支持正确选项，使后续诊断不必只比较答案字母。自动生成后，作者对整个问答集进行人工审核，发现错误或歧义后重新生成并修正。论文主文称初审发现“约 1%（46 对）”存在问题，但没有清楚给出该比例的分母。这里保留原文口径，不将 46 对重新解释为最终测试集中的固定错误率。

这一流程降低的是自动出题的事实偏差与答案歧义，不保证语言模型完全没有偏好。同类模型既参与生成参考解释又参与诊断，可能使某些解释风格更容易被认为正确。因此作者另外使用人类研究核对诊断结果和任务难度，而非仅凭自动判分声称可靠。难度研究对三个基准各随机抽取 100 道题，由 10 名评估者判断线索需求与难度。 “主动寻找”比例表示需要自行搜索视觉证据而非依赖预先给定文本线索的问题比例。 “线索链”比例表示需要多步逻辑连接的问题比例；二者不是模型的答题准确率。

4. 推理诊断：把选项得分与证据质量分开

错误答案先分为视觉感知错误（VPE）、视觉遗漏错误（VOE）、推理错误（RE）和想对答错（TRAW）。 VPE 表示抽取了错误视觉信息，VOE 表示漏掉关键对象或事件，RE 表示线索关联等逻辑过程出错。 TRAW 则指推理基本符合参考解释，但最终答案错误，反映输出决策的一致性问题。对正确答案，再区分想对答对（TRAR）与想错答对（TWAR）。 TWAR 尤其重要：选项正确并不能抵消模型虚构人物关系或错误解释剧情的问题。这些标签针对可见输出与参考证据的一致性，不是对模型内部思考的直接观测。

DeepSeek 获得人工剧情、问题、参考解释、可用的模型推理输出和分类定义后执行诊断。表 4 的错误类别比例是在错误回答中统计，成功类别比例则在正确回答中统计，两者分母不同。作者概括遗漏与推理错误是主要瓶颈，但不能把“感知错误少”理解成所有模型都看全了视频。遗漏仍可能来自稀疏采样，也可能来自注意力选择，错误分类本身没有完全分离这两种原因。人类复核使用随机抽取的 100 条响应和 10 名评估者，表 7 报告总体一致率 95.0%、Cohen's \(\kappa=0.90\)。这一结果支持自动诊断可用，但样本规模仍不足以证明所有任务与模型上的分类都同样稳定。

损失函数 / 训练策略¶

主评测使用官方发布的模型检查点，不针对测试问题训练新网络；提示要求先逐步解释再输出答案。不支持原生视频的模型通常均匀采样帧并附时间戳；表 2 多数为 32 帧，Claude 为 20 帧，Gemini 使用原生视频。人类基线由 5 名评估者先读问题、只观看影片一次再作答，报告平均表现。辅助实验在独立训练集上对 Qwen2.5-VL-7B 做强化学习后训练，沿用 GRPO-CARE 的协议。本文缓存主文没有给出完整奖励定义、训练超参数或计算预算，不将通用 GRPO 公式冒充本文的新增损失。缓存结束于参考文献，未包含文中提及的附录 A、B、D；详细提示和实现配置因此无法从本次材料复核。

实验关键数据¶

主实验¶

下表摘自表 2（第 9 页），指标均为准确率（%）；TA 为时间线分析，TCI 为时序因果推理。这是主表报告的输入条件，不应与后续加入音频的消融结果混为一张统一排行榜。

模型	视频输入	TCI	TA	Overall
Qwen2.5-VL-7B	32 帧	17.6	30.0	27.8
Video-R1	32 帧	28.9	34.5	36.5
Video-RTS	32 帧	33.3	43.0	40.0
Qwen3-Omni-30B-A3B	32 帧	38.4	55.2	46.2
Gemini-2.0-Flash	原生视频	23.1	20.5	30.6
Gemini-2.0-Flash-Thinking	原生视频	43.1	51.0	43.1
Gemini-3.0-Pro	原生视频	48.5	54.0	49.6
Human	单次观看	99.6	97.9	96.3

Gemini-2.0-Flash 的 Thinking 版本从 30.6% 升到 43.1%，相差 12.5 个百分点，而非相对提升 12.5%。最佳模型与人类总体差距为 46.7 个百分点，但两者输入形式及观察策略并不完全等价。

消融实验¶

下表摘自表 5（第 12 页）；准确率均为百分比，文本输入行测的是语言模型读取描述，不是直接看视频。

模型	干预及条件	Overall
Qwen2.5-VL-7B	32 帧，有 CoT	27.8
Qwen2.5-VL-7B	32 帧，无 CoT	29.4
Qwen2.5-VL-7B	80 帧	33.0
Qwen2.5-VL-7B	1 fps	42.5
Video-R1	32 帧，有 CoT	36.5
Video-R1	32 帧，无 CoT	28.2
Gemini-2.5-Pro	不加音频	45.0
Gemini-2.5-Pro	加入音频	51.3
DeepSeek-R1	帧级描述 FLC	31.2
DeepSeek-R1	视频级描述 VLC	64.6
DeepSeek-R1	人工标注 HA	92.0

人工标注已经提供关键事件之间的逻辑联系，因此 92.0% 不是“纯语言模型比视频模型更会看视频”的证据。视频级描述由 Gemini-2.5-Pro 生成，帧级描述由 Qwen2.5-VL 生成，比较同时改变了描述粒度和描述器能力。表 5(a) 将 Qwen2.5-VL 的 1 fps 增幅写成 +14.9，但以表 2 的 27.8 和表 5 的 42.5 相减为 14.7 个百分点；端点与原标注存在冲突。

关键发现¶

强化学习迁移结果摘自表 6（第 14 页），后训练数据为 233 部视频、1,551 道问题，指标为准确率（%）。

模型	Video-Holmes	Video-MME	TempCompass	Video-MMMU	MVBench
Qwen2.5-VL-7B	27.8	56.6	72.6	48.1	59.0
同模型经辅助集后训练	40.7	58.9	74.2	50.2	63.8

Video-Holmes 提升 12.9 个百分点，Video-MME 提升 2.3 个百分点，说明收益不只出现在悬疑题上。表 6 为 TempCompass 标注 +1.8，但 74.2 与 72.6 的端点差是 1.6 个百分点；这里不把两种口径强行合并。表 3 也存在增幅算术不一致，因此跨基准比较应优先报告原始端点，而不是复制所有括号增益。表 8（第 14 页）的人类研究给出主动寻找比例 98.0%、线索链比例 96.0%、难度 4.6/5，支持其问题设计确实侧重多线索连接。

亮点与洞察¶

基准把“找线索”本身纳入难度，而不只考察已定位片段的描述能力。这更接近剧情理解中判断什么证据值得关注的过程。
把错误答案和错误解释分开评估，能够暴露“猜对但理解错”的情况。过程诊断比单一准确率更有利于确定下一步改进目标。
帧数与 CoT 消融共同表明，长思维链不能替代缺失证据。先保证关键事件进入输入，再研究如何连接它们，是值得检验的工程顺序。
少量高推理需求数据带来跨域收益，提示事件关系监督可能可迁移。但其效果是否优于同规模其他数据，仍需预算匹配的比较。

局限与展望¶

悬疑、反转和超自然叙事提供高密度线索，也带来领域偏置。主旨推断和片内规则理解不能直接代表所有现实视频任务。
不同模型采用不同帧数、原生视频接口和模态输入，排名混合了观察预算与推理能力。后续应在统一输入预算下重复比较。
人工剧情含有已解释的关系，文本上限实验不能独立测量视觉编码器的损失。更严格的实验应分别提供事实描述与因果解释。
表 4 部分模型的分类计数与表 2 总体结果不能直接对账，主文未充分说明筛选口径。这里不从这些计数推导全测试集错误率。
强化学习迁移只展示有限配置，尚缺同等训练预算的替代数据对照。现有结果支持迁移可能性，不足以排除所有训练量或分布因素。
论文声明基准采用 Apache-2.0，但视频版权仍归原创作者。该声明不意味着可以把所有源视频无条件再分发或商用。

评分¶

新颖性: 4/5。将主动找证据与多线索叙事推断结合，定位清楚，贡献主要在基准设计。
实验充分度: 4/5。包含模型比较、输入干预、人类研究与迁移，但预算控制和数值一致性仍有不足。
写作质量: 3/5。任务与诊断分类易理解，部分表格增幅及统计口径需要进一步澄清。
价值: 4/5。适合检验视频推理中“漏看”和“连错”的差异，也提供高推理需求训练数据的实证线索。