TempCore: Are Video QA Benchmarks Temporally Grounded?¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 视频理解
关键词: 视频问答, 时序敏感度, 关键帧选择, 评测基准, 视觉语言模型
一句话总结¶
论文提出基于最相关与最不相关帧对比的帧选择敏感度(FSS)与语言独立性分数(LIS),审计发现六大主流视频问答基准中仅有 5.5%–31% 的样本真正需要时序帧选择,据此构建了无需人工重新标注的时序紧凑评测子集 TEMPCORE。
研究背景与动机¶
随着多模态大语言模型(VLM)在图像理解领域的飞速演进,将 VLM 推广至长视频问答与时序推理成为学术界的核心热点。然而视频模态在计算效率上面临天然瓶颈:一部数分钟至数小时的视频包含数千乃至数十万帧,而主流前沿 VLM 受限于注意力上下文与显存开销,每次推理通常仅能接收 16 至 64 帧(如通用的 32 帧配置)。这一容量约束催生了庞大的关键帧选择研究分支——包括组合排序、分层聚类、时空显著性检测以及基于生成的索引检索等,其核心预设均建立在“精确挑选关键帧对视频问答至关重要”这一基石之上。
然而,近期的实证研究却呈现出令人不安的悖论:一方面,在多个评测基准上,均匀采样甚至随机采样的效果常常不亚于经过复杂训练的帧检索算法;另一方面,大量诊断工作表明当前 VLM 普遍存在“时序盲区”(temporal blindness),对事件先后顺序、持续时长和因果翻转缺乏敏感度,却依然能在主流视频问答榜单上刷出亮眼的高分。这种表观繁荣暴露出一个严峻的核心矛盾:如果缺乏时序感知能力的模型依然能斩获高分,那么现有评测基准本身究竟是否真正考察了时序推理?多数问题是否仅凭单帧画面甚至纯文本常识先验即可轻松作答?如果答案与输入哪一帧毫无关联,那么耗费大量算力研发的帧选择算法将沦为无的放矢。
面对上述疑问,本文的核心切入点是将“下游模型对最相关帧与最不相关帧的性能响应差异”作为探针,系统性解耦“关键帧选择是否有用”与“基准样本是否真有时序需求”。核心 idea:通过对比最相关帧(MAXPROB)与最不相关帧(MINPROB)的模型表现定义帧选择敏感度(FSS),并结合无视觉输入的语言独立性分数(LIS)剔除纯文本先验捷径,从现有基准中全自动过滤出真正依赖时序视觉证据的紧凑评测子集 TEMPCORE。
方法详解¶
整体框架¶
TEMPCORE 的构建与诊断框架整体分为两个串联阶段:首先通过通用视觉语言编码器对全视频帧计算问答相关性,构造最相关(MAXPROB)、最不相关(MINPROB)、均匀采样(Uniform)、滑动窗口上限(Window Oracle)与无视觉输入(No-frame)五种对照策略;随后通过 8 个开源前沿 VLM 的行为响应,联合计算样本级的帧选择敏感度(FSS)与语言独立性分数(LIS),最终将评测样本划分为平凡样本、帧无关样本与真正具备时序敏感性的核心样本。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["视频帧序列 + 文本问答对"] --> B["阶段1:帧相关性打分与多样性采样<br/>SigLIP2 QA-mode 计算相关度并加秒级去重约束"]
B --> C["阶段2:帧选择敏感度 FSS 诊断<br/>MAXPROB 与 MINPROB 准确率差值判别时序与外观偏置"]
C --> D["阶段3:语言独立性 LIS 过滤与二维正交分类<br/>剔除无画面作答样本,导出 TEMPCORE 纯净子集"]
D --> E["输出:TEMPCORE 时序基准与纯度指标 TPI"]
关键设计¶
1. 帧相关性打分与多样性约束采样:解决疑问句语义发散与帧聚集退化 为了客观评估每帧对问题的支持程度,论文采用预训练视觉语言编码器(默认 SigLIP2-400M)提取帧视觉表征 \(E_V(f_i)\) 与文本表征 \(E_T(t)\),通过 Sigmoid 余弦相似度 \(s(f_i, t) = \sigma(\cos(E_V(f_i), E_T(t)))\) 进行逐帧打分。在此过程中,作者发现了一个关键技术盲区:VQA 中的问题句天然包含“who”、“what”等疑问代词,缺乏明确视觉锚点,使得编码器的注意力热力图高度弥散;而将问题与正确答案拼接(QA-mode)构成陈述句后,语义分布与图像-文本预训练目标完全对齐,在六大基准上平均带来 +2.3% 的判别增益,因而将其作为诊断帧相关性的黄金上限。在帧提取阶段,针对相邻帧分数极度接近、容易导致 top-K 陷入局部镜头的弊端,论文引入了按秒分组的轮询多样性约束(Temporal diversity constraint):每轮在每个整数秒中仅抽取一个最高分(或 MINPROB 下的最低分)候选,强制保证所选的前 \(\min(K, \lceil L/\text{fps} \rceil)\) 帧跨越不同的时间秒,从而杜绝由于时间冗余堆叠造成的伪敏感性。
2. 帧选择敏感度(FSS)与正反向时序依赖解耦:精准区分时序敏感与外观偏置 为量化每个样本对关键帧选择的依赖程度,论文在模型集合 \(M\)(覆盖 256M 至 8B 参数的 8 款主流 VLM)上统一定义了逐样本诊断指标 FSS: $\(FSS_i = \frac{1}{|M|} \sum_{m \in M} (acc^{+}_{m,i} - acc^{-}_{m,i})\)$ 其中 \(acc^{+}_{m,i}\) 与 \(acc^{-}_{m,i}\) 分别表示模型在输入 MAXPROB 帧与 MINPROB 帧时的二值作答正确率(0 或 1)。设定阈值 \(\tau = 0.15\)(即至少要求超过一个模型的净翻转),将样本划分为三类: - Key 样本(\(FSS_i > \tau\)):给予高相关帧时表现显著提升,属于典型的时序敏感样本; - Non-key 样本(\(|FSS_i| \le \tau\)):无论喂入最相关帧还是最不相关帧,模型正确率几乎不变,本质上与帧选择策略脱钩; - Anti-key 样本(\(FSS_i < -\tau\)):输入编码器判定的“高相关帧”反而导致性能剧烈崩塌,呈现负敏感。
论文深入剖析了 Anti-key 的生成机理,揭示其并非噪声,而是编码器的静态外观偏置所致:例如在询问“某物体是否离开房间”时,编码器倾向于选出该物体特写最明显的帧,而真正能够回答消失事件的恰恰是物体离开后的空镜背景;又如在动作时序任务中,编码器倾向于匹配动作终点的关键画面,剥夺了模型推断先后因果的前置过程帧。实验表明,Anti-key 样本在滑动窗口上限(Oracle gap)中同样展现出强烈的 U 型反弹和极大的性能提升空间,且在人类专家评分中时序必要性均值高达 3.55(远高于 Non-key 的 2.98),证明其同样是需要精准时序定位的困难时序样本。
3. 语言独立性分数(LIS)与 TEMPCORE 时序纯度基准构建:双轴正交过滤语言作弊 即使某道题目的 FSS 分数极高,也不能排除问题文本中潜藏的泄漏线索(例如选项文本长短、句式违和感或世界常识归纳)。为此,论文设计了无视觉输入的灰色哑图(No-frame)对照实验,定义语言独立性分数 LIS: $\(LIS_i = 1 - \frac{1}{|M|} \sum_{m \in M} correct^{nf}_{m,i}\)$ 其中 \(correct^{nf}_{m,i}\) 为模型在全灰输入下的二值正确率。\(LIS_i = 1\) 表示模型完全无法凭借语言先验答对,具备绝对的视觉依赖性;\(LIS_i = 0\) 则说明无视觉时所有模型均能秒杀,属于纯文本题目。统计检验确认 LIS 与 FSS 在六大基准上的 Spearman 秩相关系数绝对值均低于 0.10,两者严格正交。基于此,TEMPCORE 提出两阶段过滤规程:第一阶段剔除语言平庸样本(\(LIS_i \le \lambda = 0.50\));第二阶段在真正依赖视觉的样本中保留具备时序敏感性的样本(\(|FSS_i| > \tau\)),并定义时序纯度指数(Temporal Purity Index, TPI): $\(TPI = \frac{|\text{Temporally Sensitive}|}{N - |\text{Trivial}|} = \frac{|\text{Key} \cup \text{Anti-key}|_{LIS > \lambda}}{N - |LIS \le \lambda|}\)$ 该流程无需重新人工录制视频或人工造题,直接从现有成熟学术基准中无损蒸馏出紧凑、硬核的时序评测集 TEMPCORE。
实验关键数据¶
主实验¶
论文对 8 款开源 VLM(InternVL3.5-8B、LLaVA-OneVision-7B/0.5B、Qwen3-VL-8B、SmolVLM2-2.2B/500M/256M、VideoLLaMA3-2B)在六大基准(短视频:MVBench、NExTQA、EgoSchema;长视频:MLVU、LongVideoBench、Video-MME)上进行了系统评测。下表展示了经 LIS 与 FSS 两阶段诊断后的基准质量全景画像(数据源自论文 Table 4):
| 基准数据集 | 总样本数 \(N\) | 纯语言平凡样本 (Trivial, %) | 帧无关样本 (Fr.Agn, %) | 外观偏置样本 (Vis.Bias, %) | 时序扎根样本 (Temp.Grnd, %) | 时序敏感总占比 (TempSens, %) | 时序纯度指数 (TPI) |
|---|---|---|---|---|---|---|---|
| MVBench (短视频) | 3,786 | 33.4% | 61.0% | 1.2% | 4.3% | 5.5% | 0.083 |
| NExTQA (短视频) | 8,564 | 37.0% | 55.7% | 1.5% | 5.8% | 7.3% | 0.117 |
| EgoSchema (短视频) | 500 | 20.2% | 60.6% | 2.6% | 16.6% | 19.2% | 0.241 |
| MLVU (长视频) | 2,173 | 35.6% | 33.4% | 5.8% | 25.2% | 31.0% | 0.481 |
| LongVideoBench (长视频) | 1,337 | 36.6% | 43.9% | 4.2% | 15.3% | 19.5% | 0.308 |
| Video-MME (长视频) | 2,700 | 31.3% | 43.0% | 3.9% | 21.8% | 25.6% | 0.373 |
消融与诊断实验¶
为了验证 FSS 划分的合理性,下表展示了各基准在不同 FSS 类别下均匀采样(Uniform)与滑动窗口最佳理论上限(Window Oracle)的性能差距分解(数据源自论文 Table 2):
| 基准数据集 | 样本划分类别 | 样本量 \(N\) | 均匀采样准确率 (Uniform, %) | 窗口上限准确率 (Oracle, %) | 潜在提升空间 (Oracle Gap, pp) |
|---|---|---|---|---|---|
| MVBench | Key / Non-key / Anti-key | 212 / 3,502 / 72 | 52.2 / 48.4 / 50.9 | 65.4 / 53.7 / 61.3 | +13.2 / +5.3 / +10.4 |
| NExTQA | Key / Non-key / Anti-key | 656 / 7,588 / 194 | 51.6 / 59.7 / 51.7 | 69.2 / 67.9 / 68.4 | +17.5 / +8.2 / +16.7 |
| EgoSchema | Key / Non-key / Anti-key | 94 / 390 / 16 | 41.4 / 37.1 / 43.0 | 61.7 / 50.2 / 64.1 | +20.3 / +13.1 / +21.1 |
| MLVU | Key / Non-key / Anti-key | 782 / 1,212 / 179 | 50.6 / 52.3 / 50.1 | 81.1 / 74.5 / 79.8 | +30.4 / +22.2 / +29.7 |
| LongVideoBench | Key / Non-key / Anti-key | 229 / 823 / 69 | 46.7 / 47.2 / 44.9 | 76.1 / 64.9 / 71.3 | +29.3 / +17.7 / +26.4 |
| Video-MME | Key / Non-key / Anti-key | 783 / 1,673 / 168 | 50.9 / 44.2 / 46.4 | 82.6 / 69.3 / 79.6 | +31.6 / +25.1 / +33.2 |
关键发现¶
- 帧选择的作用仅在长视频中成立:在短视频基准上,MAXPROB 相对 MINPROB 的平均增益仅有微弱的 +3.5 pp(MVBench 仅 +1.6 pp),因为 32 帧已经几乎覆盖了全部视频内容;而在长视频基准上,平均增益扩大到 +10.2 pp(MLVU 达 +13.2 pp),这证明在时序稀疏的长视频中,帧选择具有不可替代的价值。
- 绝大多数基准样本不具备时序约束:即便是在以长时序因果推理著称的 MLVU 中,真正时序敏感且依赖视觉的样本也仅占 31.0%;在短视频基准 MVBench 和 NExTQA 中,时序敏感样本分别只有 5.5% 和 7.3%,超过 55% 的题目喂入什么帧都能答对,33% 以上的题目纯靠语言先验盲猜。
- Anti-key 样本具有显著的时序诊断价值:Oracle gap 沿 FSS 分布呈现出鲜明的 U 型曲线,Key 样本与 Anti-key 样本在各基准上的 Oracle Gap 均显著超越 Non-key 样本 10 到 15 个百分点,表明 Anti-key 同样包含极高的时序信息增益,只是被当前编码器的静态特征所误导。
亮点与洞察¶
- 将帧选择算法逆向转化为基准诊断探针:传统工作不断卷入如何微调打分器以提高一两个百分点,本文反其道而行之,通过 MAXPROB 与 MINPROB 的极限挤压与对比,将算法演变为低成本、免人工重标的基准审计工具。
- 揭穿 VLM 视频评测中的“伪繁荣”假象:实验表明在无图像灰色输入下,各模型在基准上的平均盲猜准确率竟高达 30%–50%,这表明排行榜上的很多性能差距本质上由语言模型的文本偏置贡献,而非时序动态建模能力。
- 发现疑问句对通用多模态编码器的语义干扰:通过 Grad-CAM 注意力分析发现疑问词会导致表征发散,而转化为陈述句(QA-mode)后注意力迅速聚焦,这一洞察对未来视频 RAG 和关键帧检索模型的提示词工程极具指导意义。
局限与展望¶
- 作者承认的局限性:FSS 本质上刻画的是样本“对输入哪些帧”的敏感程度,这只是时序推理的必要条件而非充分条件;因果先后顺序、连续动作持续时间以及微观状态变化等深度时序逻辑,如果无法直接体现在帧选择敏感度上,便无法被 FSS 捕捉。
- 深层实验依赖局限:LIS 的计算依赖于当前模型在无视觉输入下的泛化表现,虽然作者通过引入纯文本 LLM(如 Qwen3-8B 与 Llama-3.1-8B)验证了跨模态污染影响微弱(波动 < 2.9 pp),但指令微调带来的选择题偏置仍可能略微扰动 Trivial 样本的边界。
- 未来改进方向:可将 FSS-LIS 诊断框架与时序重排(Shuffle)、时间反转(Reverse)等视频序列扰动探针深度融合,形成能够同时刻画“帧内容敏感度”与“帧顺序逻辑敏感度”的多维时序评测金标。
相关工作与启发¶
- vs TempCompass / TemporalBench: 后者主要通过人工重标时序密集体或合成视频翻转/拼接来构造新的对抗测试集,成本极高且脱离实际分布;TEMPCORE 采用非介入式诊断流,直接在社区已广泛采纳的各大主流基准内部无损切分出高质量子集。
- vs MVBench / Video-MME 原始子集: 原基准通过元数据任务类型(如 Action Sequence、Fine-grained Action)自封为时序任务,但缺乏模型响应的实证检验;TEMPCORE 从下游模型反馈与语言先验实测出发,用硬核数据打破了“分类标签等于模型考察能力”的思维定势。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用极值帧差分与纯文本先验对视频基准进行双轴正交解构,视角新颖且立论扎实。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大标杆基准、8 款跨量级开源 VLM、3 款打分编码器并提供滑动窗口上限与人类一致性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进,从提出疑问、构建工具到剖析成因与发布子集,行文严密透彻。
- 价值: ⭐⭐⭐⭐⭐ 为虚火过旺的视频 VLM 评测打了一剂清醒剂,开源的 TEMPCORE 子集将有效引导社区研发真正的时序多模态能力。