OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning¶

会议: NeurIPS 2026
arXiv: 2610.12458
OpenReview: https://openreview.net/forum?id=WgEmdr50mC
代码: https://01yzzyu.github.io/OmniCapBench/
领域: 音频/语音
关键词: 视听字幕评估, 多模态大模型, 深度结构化评测, 细粒度跨模态对齐, 评测基准

一句话总结¶

OmniCapBench 将全景视听视频字幕评测从非结构化自由文本重构为实体引用、音频事件与视觉镜头三大原子化可验证单元，通过确定性规则与有界局部大模型裁判彻底解决全局文本打分掩盖细粒度错误与裁判不稳定性的难题。

研究背景与动机¶

多模态大语言模型（MLLM）正在加速向连续视听流的联合感知与推理演进，要求评估体系从粗粒度的文本质量打分转向精准诊断。视听字幕生成（Audio-Visual Captioning）作为综合检验模型跨模态感知与时空接地能力的核心任务，亟需深入剖析模型在实体身份追踪、时间边界定位以及视听跨模态关联上的细粒度表现。然而，现有的评测基准普遍面临评估单元与评分算子的耦合困境：全局整段文本评分（Whole-Caption）能够覆盖全片内容，却将复杂视听信息压缩为全局标量，掩盖了局部感知与时序断裂等错误；基于问答探针（Probe-Based）的评测能够针对特定时序或事实精准定点，但稀疏的抽样严重牺牲了视频内容的全局覆盖度。

更为致命的是，当前主流方案严重依赖大语言模型直接充当全局裁判（LLM-as-a-Judge），迫使评测模型对生成的稠密非结构化自由文本执行逆向信息抽取与时空关系匹配。这种无约束的全局推理极易受到文本语言流畅度与生成长度的干扰，在弱裁判与强裁判之间引发严重的打分漂移与排名剧烈波动，甚至在模型生成内容存在事实幻觉或视听错位时，仅仅因为行文通顺而给出虚高分数。

针对评估单元无法兼顾全局覆盖与局部定位、评分算子存在后验抽取与推理不稳定的核心症结，本文的切入角度是打破非结构化单体文本的固有范式，直接在生成与评测源头定义原生的离散可验证单元。核心 idea：将视听字幕评测重构为实体引用、时间化音频事件与分段视觉镜头三大深度结构化原子单元，通过确定性规则硬性校验拓扑结构与时序一致性，并将大模型裁判严格限定在已对齐单元的局部语义等价性判定中。

方法详解¶

整体框架¶

OmniCapBench 构建了一个深度结构化评测体系 \(\mathcal{S}^{\star}(V) = (\mathcal{R}, \mathcal{E}, \mathcal{H})\)，将任意输入视频 \(V\) 分解为实体引用（References, \(\mathcal{R}\)）、音频事件（Events, \(\mathcal{E}\)）和视觉镜头（Shots, \(\mathcal{H}\)）三条原生依赖轨迹。模型在生成阶段不再输出自由叙述文本，而是直接预测符合该严格 Schema 的 JSON 结构图；评测流程则分为“规则验证与结构匹配”和“有界局部语义打分”两个解耦阶段，彻底消除全局大模型裁判的复合不确定性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["输入视听视频 V"] --> B["原生原子单元生成<br/>References ℛ + Events ℰ + Shots ℋ"]
    B --> C["确定性结构检验与匹配<br/>ID有效性 + 时间IoU + 跨镜头共指"]
    C -->|结构合规单元对| D["有界局部语义判定<br/>限制字段的局部等价性对比"]
    C -->|悬空/时序冲突/错连| E["显式结构缺陷归因<br/>CCC / RefUse / EVSA / tIoU 罚分"]
    D --> F["双向精度与召回度诊断报告<br/>精确隔离事实幻觉与信息遗漏"]

关键设计¶

1. 三轨解耦的原生原子单元体系：将视听时空流显式离散化为可验证拓扑图

传统自由文本评测之所以难以定位错误，根本原因在于视觉实体、音频时序与镜头切换被混杂在连续句式中。OmniCapBench 引入三条强依赖的原生轨迹构建统一参考系：实体引用轨（References, \(\mathcal{R}\)）为视频中的关键人物、物体与场景分配唯一的常驻标识符（如 ref_id 及外观特征描摹 appearance_anchor），专门用于评估跨镜头断裂下的目标永久性感知；音频事件轨（Events, \(\mathcal{E}\)）独立记录包含精确起止时间戳 \([t_{start}, t_{end}]\) 的对话（Dialogue）和环境音效/背景声（Non-dialogue）；视觉镜头轨（Shots, \(\mathcal{H}\)）则将视觉时间线切分为离散镜头及更细粒度的原子动作子镜头（Subshots），并通过 active_events 与 references_in_shot 字段显式承载时序与实体链接。这种拓扑设计将“发生了什么”与“何时、何地由谁发生”从底层彻底解耦。

2. 确定性规则驱动的结构检验与双向图对齐：先结构后语义的严格过滤机制

为了防止大模型裁判陷入模糊推理，评测引擎在语义比对前执行严苛的确定性谓词检验。对预测结构 \(\hat{\mathcal{S}}(V)\)，算法首先检查 Schema 门控（SGC）：一旦存在缺失关键字段或格式解析失败则直接归零。随后，确定性探针依次核验合法引用谓词 \(\mathrm{ValidRefUse}(x, r)\)（禁止未定义悬空 ID）、时序兼容性谓词 \(\mathrm{TemporalCompatible}(e, h)\)（子镜头与事件必须落在镜头有效时间范围内）、以及事件-镜头跨模态关联谓词 \(\mathrm{ValidEventShotAssociation}(e, h)\)。在对齐环节，镜头与环境音频事件通过时序交并比（tIoU）严格一对一贪心匹配，对话事件基于归一化字错误率（\(1 - \mathrm{WER} \ge 0.50\)）匹配，而实体引用则由轻量受限的二分图匹配器对齐。对于开放式生成的实体与子镜头，评测严格区分召回视角（Ground Truth \(\rightarrow\) 预测，严惩漏检）与精确视角（预测 \(\rightarrow\) Ground Truth，严惩幻觉），以调和均值 F1 彻底杜绝模型通过冗长堆砌或过度保守刷分。

3. 有界局部大模型裁判：消除全局评分幻觉与裁判漂移的稳定语义判定

在完成了物理结构和时空边界的硬性匹配后，大模型裁判被严格限制在“局部语义等价性判定”的极窄边界内。裁判模型只接收已经严格对齐的一对局部文本字段（例如某个特定实体的具体视觉描述，或特定音频事件的语义内容），无需在上下文长文本中逆向检索事实或推断时间对应关系。由于输入被高度约束为原子级别，评测不再依赖顶级闭源模型的超长上下文推理能力，彻底消除了裁判模型偏好波动带来的打分膨胀。

损失函数 / 训练策略¶

作为标准化评测基准，OmniCapBench 在测试时不涉及模型参数更新。所有被评估的生成模型均采用统一的贪婪解码推理（Temperature = 0.0, Top-p = 1.0, 最大输出限制为 4096 tokens），直接依据系统指令输出规范的 JSON 拓扑结构。当输出因标记符异常导致解析错误时，评测流水线支持最多 5 次带指数退避的自动语法修复重试；若依然无法解析，则判定触发 SGC 结构失效。

实验关键数据¶

主实验¶

OmniCapBench 包含 786 个高密度标注视频（涵盖 20 个一级类别与 125 个二级子类别），累计标注 5,818 个实体引用、6,537 个音频事件和 11,419 个视觉镜头。主实验对前沿闭源旗舰模型与主流开源全模态模型进行了系统性评测。表 1 展示了基于确定性规则的结构合规评测结果（Macro-Averaged），表 2 展示了在结构对齐单元上的有界局部大模型语义评测结果。

表 1：规则结构化评测主结果对比（Rule-Based Structural Metrics）¶

模型架构	模型类型	SGC (%)	Ref Subject F1 (%)	Shot tIoU (%)	Event F1 (%)	EVSA F1 (%)	CCC (%)
Gemini 3.1-Pro	商业闭源	97.36	78.60	70.74	63.32	51.46	34.43
Gemini 2.5-Pro	商业闭源	96.73	80.70	72.58	58.52	43.74	37.81
Qwen3.5-Omni-Plus	商业闭源	96.09	73.57	72.35	53.92	40.20	29.55
Qwen3.5-Omni-Flash	商业闭源	95.58	72.27	68.99	50.68	35.58	24.31
Seed2.0	商业闭源	87.68	65.29	72.56	4.54	3.52	31.88
MiMo-2.5	商业闭源	96.58	61.19	65.53	43.82	31.69	23.91
Qwen3-Omni-Instruct	开源全模态	89.02	54.84	67.92	41.70	13.33	9.85
Qwen3-Omni-Captioner	开源全模态	90.77	54.36	70.80	41.31	17.42	11.51
MiniCPM-o-2.6	开源全模态	72.13	24.36	58.45	6.41	2.46	4.29

表 2：结构对齐单元上的局部语义评测（Bounded Semantic Scores）¶

模型架构	主体引用召回 (%)	主体引用精确 (%)	场景引用精确 (%)	子镜头描述精确 (%)	对话语义 (%)	非对话音频语义 (%)
Gemini 3.1-Pro	43.78	67.07	75.62	53.29	91.18	41.49
Gemini 2.5-Pro	51.53	57.08	65.12	53.05	89.72	37.38
Qwen3.5-Omni-Plus	45.41	62.84	69.80	50.22	91.20	36.82
Qwen3.5-Omni-Flash	43.87	65.59	71.26	44.08	89.91	28.12
Seed2.0	42.05	63.65	71.42	51.15	91.80	30.20
Qwen3-Omni-Instruct	40.31	62.02	70.73	29.42	88.35	20.51
MiniCPM-o-2.6	25.92	63.87	76.32	27.62	80.07	4.84

消融实验与评测范式审计¶

表 3：大模型裁判鲁棒性审计（Judge Sensitivity 对比）¶

针对相同模型预测输出，分别使用弱裁判（Qwen3.6-27B）、中等裁判（GPT-4o）与强裁判（Gemini 2.5-Pro）打分，检验评测协议对裁判能力的敏感度：

评测范式	弱裁判打分 (Weak)	中等裁判打分 (Mid)	强裁判打分 (Strong)	分数波动跨度 (\(\Delta\))	鲁棒性结论
全局文本评测 (Holistic / UGC-VideoCap)	71.24	83.08	93.92	+22.68	极度不稳定，随裁判增强虚高
问答探针评测 (QA / Omni-Cloze)	61.17	53.49	56.57	7.68	易受负向干扰与抽取遗漏影响
OmniCapBench (Ours)	56.82	58.24	57.60	+0.78	高度稳定，彻底解耦裁判偏置

表 4：全局伪等价子集上的结构化再检验（200 例盲区样本）¶

在传统全景文本指标打分几乎一致（约 50% vs. 50%）的 200 个视频子集中，使用 OmniCapBench 进行结构化拆解：

评估对象组合	传统全局标量得分	OmniCapBench 结构化得分	人工真实审计结论
较弱模型 (Qwen3-Omni / Qwen3.5-Flash)	~50.0% (虚假持平)	25.8% (暴露断裂)	存在严重动作幻觉与错位
较强模型 (Qwen3.5-Flash / Qwen3.5-Plus)	~50.0% (虚假持平)	74.2% (还原真实优势)	结构完整且实体时序一致

关键发现¶

视觉长程物体永久性严重缺失：所有模型在单镜头内的物体识别能力尚可（Gemini 2.5-Pro 在短视频上的实体 F1 达 84.80%），但跨镜头共指一致性（CCC）出现断崖式下跌，闭源顶级模型仅取得 30%~37%，开源模型更是全线跌破 12%，表明现有架构在镜头剪辑切换时极易发生实体标识漂移。
视听跨模态关联成为核心感知瓶颈：尽管模型在语音对齐转录（Speaker F1）上普遍超过 88%，但在将物理音效与对应画面关联（EVSA F1）上表现极为薄弱。Gemini 3.1-Pro 的 EVSA 仅为 51.46%，开源模型甚至低于 20%，说明多模态模型仍将音频与视频流视为割裂通道，缺乏深层拓扑整合机制。
全局打分对流畅语言存在严重偏好欺骗：传统文本打分在裁判能力升级时出现超过 22 分的剧烈虚高，并掩盖了高达 28.5% 的动作细节幻觉与 23.7% 的视听错位；而 OmniCapBench 的分差跨度仅 0.78 分，展现出极强的评测客观性。

亮点与洞察¶

解耦设计打破鱼与熊掌的评测权衡：通过显式定义三轨原子单元，既保证了全片视听要素的 100% 细粒度覆盖，又实现了毫秒级的时间定位与结构错误溯源，终结了长久以来覆盖率与可定位性不可兼得的妥协。
双向图评测机制有效遏制投机刷分：创新性地将实体与动作评测拆解为精确视角与召回视角，使得过度保守的简略回答与胡乱臆测的长篇大论均受到数学惩罚，迫使模型追求真实的感知保真度。
可复用的评测降维理念：将复合多模态问题降解为“确定性图规则校验 + 极简局部判别”的两步走策略，完全可以低成本迁移至长视频理解、具身智能交互与全双工对话系统的系统性评测中。

局限与展望¶

基准依赖严格的 Schema 指令遵循：该体系要求模型具备高度严格的 JSON 输出格式遵循能力；对于未经微调的专用端到端字幕生成器（如早期针对自由文本做 SFT 的小模型），容易因轻微语法瑕疵导致格式门控直接判零。
标注制作成本极其昂贵：构建 786 篇高质量多轨真实基准需要集成多模型协同初筛、自动规则迭代与帧级专业人工仲裁，未来向万级超长视频库扩展面临较高的数据工程门槛。
改进方向：可进一步探索容错率更高的交互式自愈校验解析器，并将该细粒度三轨拓扑直接转化为后训练阶段的多模态强化学习奖励函数（RL Reward），实现评测与模型演进的正向闭环。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出视听全景字幕的深度结构化解耦评测体系，从根本上重塑了评测范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 786 个高密度标注视频与 12 种主流模型，多维错误归因与裁判审计证据极为详实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，评测体系的数学定义严谨，逻辑链路极为连贯清晰。
价值: ⭐⭐⭐⭐⭐ 为全模态视听大模型的感知局限提供了可量化、可追溯的细粒度发展路线图。