EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment¶

会议: NeurIPS 2026
arXiv: 2610.22186
代码: https://github.com/OPPO-Mente-Lab/EVA-Cap
领域: 视频理解
关键词: 视听视频描述、全模态大模型、事件中心对齐、群体相对策略优化、多模态强化学习

一句话总结¶

针对全模态模型在视听视频描述中缺乏结构化事件对齐、容易出现声画时间错位与角色归因张冠李戴的问题，EVA-Cap 构建了包含事件级质控的 63K EVA-Data 数据集，并提出分解为全局事件完整性、事件内角色归因与事件间时间同步三重视听奖励的两阶段渐进式 GRPO 后训练框架。

研究背景与动机¶

视听视频描述（Audiovisual Video Captioning）旨在联合提取视频中的视觉画面动态与音频语音/环境音语义，生成连贯且事实准确的自然语言描述，是视频检索、长视频多模态推理与音视频联合生成等下游任务的核心基石。随着全模态大语言模型（Omni Language Models, OLMs，如 Qwen2.5-Omni、MiniCPM-o 等）的兴起，视频理解正逐步从纯视觉输入向音频与视觉信号深度交织的统一端到端建模范式演进。这类模型天然具备跨模态联合编码能力，展现出强大的真实场景视听感知泛化潜力。

然而，现有视听描述方法普遍直接沿袭传统的端到端自然语言生成范式，将模型输出视为非结构化的扁平文本流，仅依赖整段描述级别的粗粒度文本监督（如常规交叉熵损失或整句偏好奖励）。这种无结构的监督方式严重忽视了视频所固有的离散事件语义结构：生成的描述虽然在语言语法上通顺完整，但在物理时空上却频现严重的声画错位。例如模型可能准确识别了对话台词与视觉人物，却将画外音错误归属于正在画中的无关角色，或者将前一段画面的动作与后一段发生的撞击声强行拼接。现存的改进工作要么仅针对对话特定维度（如 ASR 转录一致性），要么仅依靠粗粒度时间戳约束，均无法兼顾原子事件的内在属性与跨模态事件之间的相对同步性。

这种瓶颈的核心矛盾在于：高精度的细粒度视听对齐需要结构化的事件级对应约束，但缺乏具备事件级真实性验证的高保真视听数据以及能将离散事件图谱注入连续语言模型后训练的有效机制。本文的切入角度是将整段视频描述重构为一系列离散的原子视听事件单元，将原本非结构化的文本优化显式解耦为事件级对齐。核心 idea：将视听描述任务形式化为原子视听事件序列的装配与对齐，构建带事件命中质控的 63K EVA-Data，并通过两阶段渐进式 GRPO 强化学习，分别施加全局事件完整性（召回率）、事件内归因（主体角色匹配）与事件间同步（声画检索 F1）三重细粒度对齐奖励。

方法详解¶

整体框架¶

EVA-Cap 基于 Qwen2.5-Omni-7B 的 Thinker 架构构建，将时间交错对齐的音频和视频帧统一投影至交织的多模态 token 序列中，以支持细粒度视听语义理解。为解决高质量事件级监督数据匮乏及模型对齐机制缺失的问题，EVA-Cap 的整体流水线分为两大模块：首先通过“初始化-精炼-事件命中质控”三阶段自动化管线构建 63K 规模的高保真视听描述数据集 EVA-Data；随后设计了两阶段渐进式后训练（Post-Training），先利用 EVA-Data 执行监督微调（SFT）奠定长文本与多模态感知基底，再通过群体相对策略优化（GRPO）结合事件级奖励模型进行细粒度偏好对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始长视频<br/>（视觉帧 + 音频信号）"] --> B["阶段 1：EVA-Data 数据集构建与事件级质控<br/>AVoCaDO 初始化 + Gemini-2.5-Pro 精炼 + 事件命中过滤"]
    B --> C["阶段 2：SFT 监督微调初始化<br/>63K 样本统一音频-视频交织 token 序列微调"]
    C --> D["阶段 3：两阶段渐进式 GRPO 强化学习<br/>第一轮优化完整性与同步性，第二轮联合优化角色归因"]
    D --> E["全局事件完整性奖励<br/>音频/视觉原子事件覆盖召回率"]
    D --> F["事件内角色归因奖励<br/>实体主体与言语动作绑定匹配验证"]
    D --> G["事件间时间同步奖励<br/>音频到候选视觉事件集合检索 F1 分数"]
    E --> H["高保真时序对齐的视听视频描述输出"]
    F --> H
    G --> H

关键设计¶

1. EVA-Data 数据集构建与事件级质控：从粗粒度生成到严苛事件命中筛选 现有公开视听数据集普遍缺乏事件级的事实一致性与时间同步保真度。为此，EVA-Cap 设计了包含三阶段的自动化数据构建流水线： - 初始化（Initialization）：利用擅长宏观感知的开源视听模型 AVoCaDO 针对 100K 原始视频生成包含背景、交互行为及语音转录的初始连贯叙述，过滤长度异常和重复描述； - 精炼（Refinement）：将视频原始音视频流连同初始文本输入闭源先进模型 Gemini-2.5-Pro，在保留自然语言风格的同时，专门纠偏视听事件的时间同步性并校准角色归因； - 事件中心质量控制（Event-Centric Quality Control）：为杜绝大模型精炼过程中的幻觉，先让 Gemini-2.5-Pro 直接从原始音视频中提取带时间戳的原子事件元组 $e=(m, \tau, c, d)$（包含模态 $m\in\{\mathrm{vis}, \mathrm{aud}\}$、类型 $\tau$、角色实体 $c$ 和内容描述 $d$），随后调用 GPT-4.1 检验精炼文本是否命中上述真实事件元组。严格要求只有当音频与视觉事件均在对应的时间同步窗口内被叙述覆盖才算命中，彻底丢弃事件命中率低于 0.8 的样本，最终沉淀出高质量的 63K EVA-Data 数据集。

2. 解耦的三重视听事件对齐奖励函数：细粒度建模事件完整性、归因与同步 传统的强化学习往往直接给整段描述分配一个标量奖励，无法准确定位细粒度事实错误。EVA-Cap 将参考标注与模型生成的预测文本分别显式映射为事件图谱，利用轻量级评判 LLM（Qwen3.5-27B）评估三维解耦奖励： - 全局事件完整性（Global Event Completeness, $\mathcal{R}_{\mathrm{comp}}$）：衡量参考音频与视觉事件的覆盖率，防止模型漏讲关键情节： $$\mathcal{R}_{\mathrm{comp}}(y,\mathcal{E}^{\star})=\frac{\sum_{m\in\{\mathrm{aud},\mathrm{vis}\}}\sum_{i=1}^{N_{m}}\mathbb{I}_{\mathrm{cov}}^{m}(e_{i}^{m},y)}{\sum_{m\in\{\mathrm{aud},\mathrm{vis}\}}N_{m}}$$ 其中 $\mathbb{I}_{\mathrm{cov}}^{m}(e_i^m, y)$ 判定生成描述 $y$ 是否语义覆盖了参考事件 $e_i^m$； - 事件内角色归因（Intra-Event Attribution, $\mathcal{R}_{\mathrm{attr}}$）：防止发生动作与主体的张冠李戴（例如画外音被分配给错误角色），仅针对具有明确主体角色（$\delta_{i,\mathrm{char}}^{m}=1$）的事件进行匹配检验： $$\mathcal{R}_{\mathrm{attr}}(y,y^{\star},\mathcal{E}^{\star})=\frac{\sum_{m\in\{\mathrm{aud},\mathrm{vis}\}}\sum_{i=1}^{N_{m}}\delta_{i,\mathrm{char}}^{m}\mathbb{I}_{\mathrm{cov}}^{m}(e_{i}^{m},y)\mathbb{I}_{\mathrm{attr}}^{m}(e_{i}^{m},y,y^{\star})}{\sum_{m\in\{\mathrm{aud},\mathrm{vis}\}}\sum_{i=1}^{N_{m}}\delta_{i,\mathrm{char}}^{m}}$$ 要求事件内容被覆盖且角色主体与参考答案 $y^\star$ 严格一致时 $\mathbb{I}_{\mathrm{attr}}^m$ 才置为 1； - 事件间时间同步（Inter-Event Synchronization, $\mathcal{R}_{\mathrm{sync}}$）：将跨模态时序对齐形式化为以音频事件为 Query、在候选视觉事件集 $\mathcal{C}_i^{\mathrm{vis}}$ 中的时间同步检索任务。利用评判模型从候选集（含真实同步项及相邻时间步的困难负样本）中预测同步视觉事件集合 $\hat{\mathcal{G}}_i$，并计算精准率、召回率及调和平均 F1 分数： $$\mathcal{R}_{\mathrm{sync}}(y,\mathcal{Q}^{\star})=\frac{1}{M}\sum_{i=1}^{M}F_{i}, \quad F_{i}=\frac{2\mathrm{Prec}_{i}\mathrm{Rec}_{i}}{\mathrm{Prec}_{i}+\mathrm{Rec}_{i}}$$

3. 两阶段渐进式 GRPO 调度机制：自粗至细消除跨模态优化冲突 在策略优化过程中，如果一开始就将全局结构、跨模态时间同步和精细角色归因奖励混杂在一起同时训练，极易引发梯度优化冲突（Inter-event 与 Intra-event 目标拉扯），甚至破坏通用生成性能。EVA-Cap 设计了由粗到细的渐进式对齐机制： - Rollout 难样本筛选：从 EVA-Data 中筛选 100% 命中且过滤后具备挑战性负样本的候选视频，用 SFT 模型生成采样候选并计算奖励方差，保留最具区分度（方差排名前 50%）的 3.2K 视频作为高质量 rollout 样本； - 渐进加权更新：在 GRPO 第一轮中，仅激活全局完整性与时间同步奖励（即 $\lambda_{\mathrm{comp}}=1, \lambda_{\mathrm{sync}}=1, \lambda_{\mathrm{attr}}=0$），强制模型先学会宏观时序框架与声画时序对应；在第二轮中，再将角色归因奖励接入（$\lambda_{\mathrm{attr}}=1$），引导模型在稳定的时空框架内深挖细粒度主体归因，显著提升多说话人复杂场景的解析精度。

损失函数 / 训练策略¶

训练分为两个独立阶段： 1. SFT 阶段：固定视觉编码器与音频编码器参数，仅训练模态投影层（Adapters）与语言模型主干，采用标准的自回归因果语言建模损失 $\mathcal{L}_{\mathrm{SFT}}(\theta)=-\mathbb{E}_{(v,q,y)}\left[\log\pi_{\theta}(y\mid v,q)\right]$ 在 63K EVA-Data 上训练 2 个 epoch，学习率为 $1\times 10^{-5}$，batch size 为 128； 2. GRPO 阶段：每个输入视频采样 $G=8$ 个候选回答，利用 Qwen3.5-27B 评判模型计算综合奖励 $\mathcal{R}_{\mathrm{EVA}}$，在组内进行优势值归一化 $\hat{A}_i=(R_i-\mathrm{mean}(R))/\mathrm{std}(R)$，结合 PPO 剪裁目标函数与 KL 散度惩罚（$\beta=0.04$）更新模型，学习率为 $2\times 10^{-6}$，batch size 为 16，训练 2 个 epoch。

实验关键数据¶

主实验¶

在通用视听描述基准（Direct Quality 评测与 QA-Cascaded 推理评测）以及事件中心专项评测基准上的对比结果如下所示：

数据集 / 评测基准	指标	EVA-Cap (7B)	前代表模型 SOTA	提升幅度 / 优势分析
video-SALMONN-2	遗漏率 Miss. ↓	17.6%	21.1% (DiaDem 7B)	-3.5% 显著降低关键事件漏报
video-SALMONN-2	综合错误率 Total ↓	34.6%	36.5% (DiaDem 7B)	-1.9% 优于专有模型 DiaDem 与 30B 级基线
UGC-VideoCap	平均分 Avg. ↑	76.9	75.6 (DiaDem 7B)	+1.3 声学/视觉/细节三项全优 (76.9/79.0/74.7)
Daily-Omni (QA)	准确率 Acc ↑	56.1%	52.8% (TimeChat-Cap 7B)	+3.3% 生成描述支撑复杂 QA 推理能力更强
WorldSense (QA)	准确率 Acc ↑	29.0%	25.7% (AVoCaDO 7B)	+3.3% 真实全模态世界感知泛化能力显著提高
ChronusAV (V2A)	准确率 Acc ↑	55.4%	45.9% (DiaDem 7B)	+9.5% 视听时间同步与事件反查大幅领先
ChronusAV (A2V)	准确率 Acc ↑	56.2%	47.7% (DiaDem 7B)	+8.5% 听音辨画与时空定位精度极具优势
AV-SpeakerBench	准确率 Acc ↑	40.1%	32.7% (DiaDem 7B)	+7.4% 说话人实体归因准确率实现质的突破

消融实验¶

在后训练各个阶段及三种事件级奖励配置上的消融结果（以 ChronusAV 的 V2A/A2V、AV-Speaker 及 Daily-Omni 为评测维度）：

配置 / 训练阶段	采用奖励机制	V2A Acc (%)	A2V Acc (%)	AV-Speaker Acc (%)	Daily-Omni Acc (%)	说明
Baseline (Qwen2.5-Omni)	无 (原始模型)	8.4	11.9	3.1	12.4	原生模型严重忽视音频信息，表现极差
SFT	无 (常规微调)	44.8	46.1	31.8	50.1	EVA-Data 奠定了强大的视听多模态基底
SFT → GRPO stage1	$\mathcal{R}_{\mathrm{comp}}$	53.3	52.9	33.9	53.8	完整性召回奖励全面降低遗漏，带来明显跳跃
SFT → GRPO stage1	$\mathcal{R}_{\mathrm{comp}} + \mathcal{R}_{\mathrm{sync}}$	53.8	55.0	37.0	55.0	加入时间同步奖励，A2V 定位提升 2.1%
SFT → GRPO stage1 (一步全加)	$\mathcal{R}_{\mathrm{comp}} + \mathcal{R}_{\mathrm{sync}} + \mathcal{R}_{\mathrm{attr}}$	47.9	50.8	35.6	52.9	早期直接加入归因产生多目标冲突，性能显著回退
SFT → GRPO stage2 (渐进式)	全部三项奖励联合	55.4	56.2	40.1	56.1	先宏观同步后微观归因，AV-Speaker 跃升至 40.1%

关键发现¶

渐进式训练是解决跨模态多目标冲突的灵丹妙药：在第一阶段直接塞入归因奖励会导致 V2A 准确率从 53.8% 暴跌至 47.9%，因为模型在未能稳固建立宏观事件时间线的前提下强行对齐微观角色，优化空间极其嘈杂；而两阶段课程学习策略完美化解了该冲突。
长文本描述的幻觉主因是“信息量扩张”而非“信口开河”：细粒度分析表明，单纯追求事件召回率使描述变长，绝对幻觉数虽有微增，但每千 token 的幻觉密度保持稳定（8.2 → 8.1）；若盲目引入 Precision 惩罚，只会逼迫模型学成“少说少错”的保守退化风格，得不偿失。
事件中心奖励具备高度通用性：在公开的 ASID-Captioner 及不同评判模型（Qwen3.5-27B vs. Gemma-4-31B-it）上均验证了几乎一致的相对增益（一致性超 85%），证明该机制习得的是深层事件结构先验，而非对评判模型的 Prompt 漏洞进行拟合。

亮点与洞察¶

将多模态文本生成显式解构为“离散事件对齐”：打破了过去把视听视频描述当成普通纯文本 token 生成任务的思维定式，将复杂的声画动态解耦为具有物理语义的原子四元组，为跨模态细粒度对应提供了明确的优化抓手。
将声画时间同步映射为“图谱检索 F1 问题”：巧妙构造包含时间相邻难负样本的候选视觉事件池，将主观的时间对齐判定转化为客观可计算的集合检索 F1 指标，极大提升了强化学习中密集奖励计算的保真度。
自制闭环质控管线 EVA-Data：利用“初始化感知模型 + 超强精炼模型 + 结构化事件提取 + 交叉一致性检验”的自动化链条，将事件命中率阈值设为 0.8，有效清洗了网络弱相关视频的噪声，为全模态多模态训练提供了可复刻的高质量数据工程范式。

局限与展望¶

作者承认的局限：在镜头快速切换剪辑（rapid scene transitions）以及多角色复杂交互但关键语音属于画外音（off-screen speech）的情景下，模型仍偶发视觉细节遗漏或说话人身份错绑问题。
深入洞察的局限：数据构建与奖励判定重度依赖闭源大模型（Gemini-2.5-Pro 与 GPT-4.1）以及 Qwen3.5-27B 评判器，推理及 rollout 评判成本较高，可能引入评判教师的固有认知偏差。
改进方向：引入空间与时间联合 Grounding 的视听时空定位机制（Spatial-Temporal Grounded Captioning），显式预测声源在像素级的包围框或轨迹；同时在数据端引入多智能体交叉仲裁机制以进一步降低对单一大模型的先验依赖。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从事件中心视角将视听描述解耦为原子对齐，三维奖励与渐进式 GRPO 设计极富启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个涵盖通用质量、QA 推理及事件同步的权威基准，消融实验严谨且包含充分的跨模型迁移与鲁棒性验证。
写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰锐利，数学建模与机制推导严谨，图表表达逻辑高度自洽。
价值: ⭐⭐⭐⭐⭐ 为全模态大模型（OLMs）从“能看能听”迈向“声画精确对齐与高保真叙事”提供了系统且实用的工程与算法蓝图。