ViMU: Benchmarking Video Metaphorical Understanding¶

会议: NeurIPS 2026
arXiv: 2605.14607
论文: https://arxiv.org/abs/2605.14607
领域: 视频理解
关键词: 视频隐喻理解, 次级符号学, 多模态大模型, 社交潜台词, 无提示评测基准

一句话总结¶

针对现有视频理解模型仅停留在显式字面感知而缺乏对深层潜台词推理能力的缺陷，本文提出了首个专注于视频隐喻与社交潜台词理解的无提示基准 ViMU，评测表明即便是最先进的前沿模型平均得分亦低于 50%。

研究背景与动机¶

任何新型媒介一旦广泛普及，其承载的信息绝不会仅限于字面直接呈现的内容，而是必然延伸出更为丰富的深层次潜台词——即创作者借由视听符号所寄托的隐式意图、情绪倾向与社会意义。在当下短视频与流媒体文化蓬勃发展的背景下，视频不仅是物理世界客观动态的记录载体，更是讽刺、幽默、荒诞戏仿以及社会文化价值批判的重要表达形态。正如罗兰·巴特在符号学理论中所指出的，神话或隐喻本质上是一种“二级符号系统”，直接可视的字面内容仅是构建深层文化或意识形态意蕴的基础表象。

然而，现有主流的多模态大模型与视频评测基准依然深陷于“字面视觉感知”的舒适区中。绝大部分研究工作集中在识别显式物体、动作类别、时序定位或物理空间因果关系，即使少数工作探索了非显式推理，其重心也主要局限于未完全可见的物理因果与跨帧交互关联，或是仅考察狭窄的非言语幽默与表情包梗图，且往往通过预设选项向模型泄露了潜在的潜台词假设。现有体系缺乏一个能够系统检验模型能否在完全无提示的前提下，融合视听与剪辑线索，跨越字面内容推理出深层社交信号、修辞机制与文化指涉的评测基准。

为了填补这一关键空白，本文系统构建了视频隐喻理解基准 ViMU。研究的核心挑战在于如何在保证题目完全无先验提示泄漏的同时，实现对修辞手法与社会价值信号的严谨结构化分解与证据溯源。核心 idea：构建包含开放式释义、修辞机制辨识、社会价值信号识别与多模态证据溯源四重任务的无提示视频隐喻基准 ViMU，通过人机协同闭环流水线确保任务难度与无提示特性，全面暴露前沿大模型在深层潜台词理解上的系统性短板。

方法详解¶

整体框架¶

ViMU 的构建与评估围绕“字面表象到深层潜台词”的认知推理链路展开，涵盖从多源视听视频中提取事实证据、双维度语义分类标注、无提示问题生成与多轮自反思校验、以及多维度分层评测的全流程。基准共收录 588 个精选高质量视频，包含 2,352 个评测问题，划分为四大互补任务：开放式释义生成（Open-ended Interpretation, OE）、证据溯源选择（Evidence Grounding, EG）、修辞机制辨析（Rhetoric Mechanism Identification, RM）以及社会价值信号辨析（Social Value Signal Identification, SV）。

整个基准的构建与推理评测体系流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始视频输入集<br/>YouTube / Bilibili / TikTok"] --> B["多模态证据抽取<br/>采样帧序列 + 音频转录文本"]
    B --> C["双维度分类体系解耦标注<br/>修辞机制 + 社会价值信号"]
    C --> D["无提示问答生成与迭代校验<br/>Stage 3-4: 消除先验线索 + 难度过滤"]
    D --> E["结构化任务与证据构建<br/>5 大宏类聚合 + 多模态证据标签"]
    E --> F["四大评测任务落地<br/>OE 释义 / EG 溯源 / RM 修辞 / SV 价值"]

关键设计¶

1. 媒介隐喻解耦体系：分离修辞手段与社会价值立场 过去针对隐式内容的粗粒度标签常将“表达手法”与“传递态度”混为一谈，导致评估维度模糊且难以归因错误。ViMU 创新性地引入了正交的双维度语义体系：第一维度为修辞机制（Rhetoric Mechanisms），界定视频如何构建其隐式含义，细分为字面直陈、对比反差、调包反转、角色颠倒、荒谬主义、讽刺嘲弄、夸张戏仿、借代隐喻与政治/文化暗语等；第二维度为社会价值信号（Social Value Signals），界定视频对社会规范与群际关系的价值立场，细分为负向情感、轻蔑鄙视、羞辱贬损、敌意攻击、社会排斥、偏见歧视、违背规范、反主流价值、宿命犬儒以及政治/身份认同符号等。为保证评估鲁棒性与区分度，底层细粒度标签进一步归纳聚合为五大宏观类别（Macro Categories），构成了结构化语义分析的标准分类基底。

2. 严格的无提示问答生成与反思精炼循环 在多模态评测中，选择题的题干和选项极易通过语言提示泄漏潜在假设，从而使模型蜕变为字面匹配器。ViMU 确立了严格的“无提示（Hint-Free）”生成准则。给定视频提取的帧序列 $\mathcal{F}_i$ 与音频文本 $t_i$ 构成的证据集 $\mathcal{E}_i = \{\mathcal{F}_i, t_i\}$，前沿语言模型首先基于纯感知证据生成候选问答对 $(q_i, a_i) = g_{\text{LLM}}(\mathcal{T}_i)$，随后进入多轮自反思验证闭环： $$feedback^{(k)} = h_{\text{LLM}}(\mathcal{T}_i, \mathcal{Q}_i^{(k)})$$ $$\mathcal{Q}_i^{(k+1)} = g_{\text{LLM}}(\mathcal{T}_i, feedback^{(k)})$$ 在最多 $K=3$ 轮的迭代中，裁判模型严苛审查题目是否直接点出了特定意象或修辞维度（例如禁止提问“画面中的肢体动作模仿了哪个符号”），一旦发现字面线索泄漏立即打回重构或直接剔除，最后由 5 位人类专家进行盲审核验，确保模型必须自主经历“从视听表象推理深层隐喻”的完整链条。

3. 多模态证据溯源与严苛集合评估机制 为验证模型是真正理解了隐喻还是基于语言先验产生幻觉猜测，ViMU 设计了证据溯源任务（EG），要求模型从视觉画面、台词文本、屏幕贴字、镜头剪辑手法、语调声效五类来源中精确指出支撑隐喻推断的事实证据。在评估多选题任务（EG、RM、SV）时，基准摒弃了宽松的软匹配，引入抗幻觉的严苛集合评分法则：设模型预测选项集合为 $\mathcal{P}$，真实金标集合为 $\mathcal{G}$。若预测包含任何错误选项（即 $\mathcal{P} \setminus \mathcal{G} \neq \emptyset$），得分直接归零；仅当预测完全属于金标子集时，按检出比例赋分： $$score = \begin{cases} \frac{|\mathcal{P} \cap \mathcal{G}|}{|\mathcal{G}|}, & \text{if } \mathcal{P} \setminus \mathcal{G} = \emptyset \\ 0, & \text{otherwise} \end{cases}$$ 对于开放式释义（OE），设计了结合 LLM-as-a-Judge 的多维度量规，综合核心意图（0-5分）、隐式信号（0-3分）、客体社会意义（0-1分），并严格扣减幻觉惩罚（0-3分）与仅停留在字面感知的惩罚（0-3分），确保定性释义与定量选择题评测标准高度自洽。

实验关键数据¶

主实验¶

评测涵盖 16 款主流前沿多模态大模型（包括开源权重模型与闭源商业 API），统一采用零样本测试。下表汇总了各模型在开放式释义（OE）、证据溯源（EG）、修辞机制辨别（RM）、社会价值信号辨别（SV）、结构化潜台词平均（SSU-Avg）以及全任务总平均（All-Avg）上的表现。

模型类型	模型名称	发布日期	OE (%)	EG (%)	RM (%)	SV (%)	SSU-Avg (%)	All-Avg (%)
开源权重	Ministral-8B	2024-10	48.25	48.60	31.87	10.45	21.16	34.79
开源权重	Ministral-14B	2025-12	52.19	55.73	27.29	6.57	16.93	35.45
开源权重	Gemma-3-4B-it	2025-03	39.43	25.41	21.10	7.17	14.13	23.28
开源权重	Gemma-3-27B-it	2025-03	55.90	49.38	32.47	7.95	20.21	36.43
开源权重	Qwen3-VL-32B-Instruct	2025-10	64.09	59.64	27.65	15.17	21.41	41.64
开源权重	Qwen3.5-27B	2026-02	62.80	60.28	38.18	22.40	30.29	45.91
闭源商业	Claude-3-Haiku	2024-03	50.41	34.55	2.99	3.64	3.32	22.90
闭源商业	GLM-4.5v	2025-08	62.52	23.11	8.87	9.26	9.06	25.94
闭源商业	Grok-4.1-Fast	2025-09	57.62	63.84	34.91	28.73	31.82	46.28
闭源商业	Gemini-3-Flash-Preview	2025-12	62.54	52.80	33.63	28.26	30.94	44.31
闭源商业	Mimo-V2-Omni	2026-03	64.07	48.94	21.04	18.52	19.78	38.14
闭源商业	Seed-2.0-Lite	2026-03	60.84	66.16	18.75	16.73	17.74	40.62
闭源商业	o4-mini	2025-04	65.27	59.63	33.21	29.51	31.36	46.91
闭源商业	GPT-4.1-nano	2025-04	50.12	22.31	2.32	9.02	5.67	20.94
闭源商业	GPT-5.2	2025-12	73.15	67.83	16.55	21.15	18.85	44.67
闭源商业	GPT-5.4-mini	2026-03	66.19	64.45	4.17	11.77	7.97	36.64

消融实验与错误诊断分析¶

为了深入探究模型在证据溯源中的决策模式，分析将模型的选择风格分为保守度（倾向于漏选证据）与激进度（倾向于多选幻觉证据），并将预测误差解构为四种具体错误类型（精确匹配 Exact、纯漏选 Miss-Only、纯多选 Extra-Only、混合错误 Mixed），同时考察选项亲和偏置（Affinity Bias）。

诊断维度 / 现象	关键度量与代表模型表现	说明与深层原因
证据选择保守度 (Conservatism)	绝大多数模型偏差值为负（x轴 < 0），如 Claude-3-Haiku、GPT-4.1-nano 严重漏选	模型更倾向于少选证据以避免严苛扣分；过度保守直接拖垮整体 Micro-F1 指标
证据溯源错误构成 (Error Types)	Miss-Only 与 Mixed 占据非精确预测的绝大部分，Extra-Only 比例极低	证据错误主要源于未完整检出全部支持线索，而非盲目幻觉臆造额外证据
成对线索关联失真 (Relation Distortion)	成对共现关联矩阵全为负值，其中“剪辑-帧画面”、“剪辑-文本”负向偏离最大	模型擅长识别单一离散视听线索，但在整合跨镜头剪辑手法与画面/文本时表现严重脱节
修辞机制选项偏置 (RM Affinity Bias)	大多数模型过度偏好“字面/直陈 (Literal)”，严重漏预测“隐式/编码社交框架”	面对复杂的讽刺或戏仿时，模型退缩至安全、通用的平庸字面分类
社会价值选项偏置 (SV Affinity Bias)	大多数模型过度预测“情绪态度 (Emotional Attitude)”，低估“身份/意识形态符号”	模型易把带有明确意识形态指涉的讽刺泛化为通用的宽泛负面情绪
分类指引敏感度 (Guidance Impact)	引入分类定义提示后，成对共现几何畸变（Frobenius 距离）基本未变	显式提示主要局部重加权预测倾向，未能从根本上改善全局结构化理解能力

关键发现¶

通用能力与隐喻理解严重脱节：GPT-5.2 在开放式字面释义（73.15%）与证据粗定位（67.83%）上断层领先，但在精确判定具体的修辞机制（16.55%）与社会价值立场（21.15%）时发生断崖式下跌；反观 Grok-4.1-Fast、o4-mini 与 Qwen3.5-27B 在结构化辨识任务上反而展现出更均衡的推断力。
开源模型表现亮眼：开源模型 Qwen3.5-27B 凭借 45.91% 的全任务均分位列全场第三，超越了 GPT-5.2、GPT-5.4-mini、Claude-3-Haiku 等一众闭源旗舰模型，证明隐喻理解并不单纯依赖参数规模的堆砌。
剪辑与多源多模态融合是核心短板：对跨模态线索的成对共现分析揭示，模型在处理单纯语音或孤立视觉帧时尚能应对，一旦隐喻意义依赖于视听蒙太奇、剪辑节奏与反讽画面的错位配合，模型的证据捕获能力急剧崩溃。

亮点与洞察¶

开创性评测切入点：将符号学中的“二级符号系统”引入视频多模态评测，正式将学术界视频理解的研究视野从“画面里发生了什么”推进至“创作者到底借此表达了什么立场”。
严谨的无提示生成机制：采用多轮 LLM 裁判校验与专家审核剔除题干中的引导性线索，彻底堵住了现有基准利用语言先验“抄近道”的测评漏洞。
透视模型的社会语义防御机制：实验揭示出大模型在面对讽刺、偏见或违背主流规范的隐喻时，普遍存在系统性的“保守逃避倾向”，习惯性将敏感讽刺降维为字面描述或通用负向情绪。

局限与展望¶

文化背景与主观性偏差：隐喻与讽刺的解读高度依赖特定地域文化的社会共识与互联网流行亚文化语境，尽管进行了专家审核，数据集标注仍可能残留特定文化群体的认知偏置。
仅限评测而未提供训练基线：当前工作主要定位为 Diagnostic Benchmark，尚未构建针对视频隐喻推理的指令微调（SFT）或多模态对齐微调数据，未来需探索显式建模视听反讽的微调方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统化定义并构建视频隐喻与社交潜台词理解评测基准，填补了二级符号推理评测的空白]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖 16 款主流前沿模型，结合严苛集合评分、误差构成与选项亲和度做了极其详尽的诊断]
写作质量: ⭐⭐⭐⭐⭐ [概念阐述逻辑严密，符号学理论与多模态实验结合流畅自然]
价值: ⭐⭐⭐⭐⭐ [为推进具身认知、高级社交智能与真实世界内容安全审核提供了极具挑战性的风向标基准]