DiaDem: Advancing Dialogue Descriptions in Audiovisual Video Captioning for Multimodal Large Language Models¶

会议: ECCV2026
论文: ECCV 原文
项目: https://diadem-captioner.github.io/
作者: Xinlong Chen, Weihong Lin, Jingyun Hua, Linli Yao, Yue Ding, Bozhou Li, Bohan Zeng, Yang Shi, Qiang Liu, Yuanxing Zhang, Pengfei Wan, Liang Wang
机构: 中国科学院自动化研究所、国科大人工智能学院、快手 Kling 团队、北京大学
领域: 多模态 VLM
关键词: 视听视频描述、说话人归属、话语转写、自适应匹配、分阶段强化学习

身份核对：官方记录与缓存正文标题完全一致；首页标注 Xinlong Chen 在快手 Kling 团队实习期间完成工作，Qiang Liu 为通讯作者。本文依据会议 PDF 正文，不将参考文献中的 arXiv 编号误作本论文编号。

一句话总结¶

DiaDem 在 AVoCaDO-7B 上结合对话感知合成数据与难度分阶段 GRPO，使完整视听描述更准确地回答“谁说了什么”，在 DiaDemBench 上达到 REF 65.9、ASR 79.3，同时保持有竞争力的通用描述质量。

研究背景与动机¶

视听视频描述不能只列出画面对象和背景声音：对剧情理解而言，把一句话归给错误角色，会直接改变人物意图和事件因果。已有 AVoCaDO、UGC-VideoCaptioner 等模型擅长生成丰富描述，但内容完整不等于对话准确；一段流畅文字可能转写正确，却把说话人认错，也可能用模糊的“一个男人”掩盖身份错误。

纯音频说话人分离通常输出说话人 ID 与时间段，加入 ASR 后可以获得带身份的话语，但这些 ID 不直接对应画面中人物的外观描述。视听描述还要结合切镜、画外音和多人共现判断身份，并将对话嵌入动作、场景与声音的叙述。因此，问题并不是再加一个转写器，而是让最终自然语言描述可靠地绑定说话人和话语。

评测也存在障碍：同一人的连续话语可以被模型写成一句或几句，机械的一对一匹配会把分句风格差异算成错误。核心 idea：先用可自适应合并的对话匹配定义可靠反馈，再通过互补教师合成数据和难度分阶段强化学习，让完整视听描述学会准确绑定“谁”与“说了什么”。

方法详解¶

整体框架¶

输入是带音轨的视频，输出仍是一段完整视听描述，而不是孤立的转写表。DiaDem 沿用 AVoCaDO 的 7B 基座，主要贡献在数据、对话评测及后训练，而非提出新的视听编码器。

对话匹配协议先为 DiaDemBench 建立评测标准，随后也提供训练奖励。合成标注流水线构建监督微调数据；微调后的模型再在人工标注对话上进行两阶段 GRPO，最终无需在每次推理时调用这些教师生成答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["视频与对话标注"] --> B["自适应对话匹配"]
    A --> C["互补教师合成"]
    C --> D["AVoCaDO 监督微调"]
    B -->|对话奖励| E["难度分阶段 GRPO"]
    D --> E
    E --> F["完整视听描述"]

关键设计¶

1. 自适应对话匹配：不让分句差异污染对话反馈

首先用 Gemini-2.5-Pro 从生成描述中抽取有序的“说话人描述、话语文本”二元组。协议先匹配话语，再判断对应说话人是否一致，因为完全没有转写出来的话语不能获得有效的说话人归属信用。原文式 (1) 用归一化 Levenshtein 编辑距离衡量两段话语相似度；将排版损坏的缓存公式按其文字定义整理为：

\[ \operatorname{Sim}(u,v)=1-\frac{\operatorname{ed}(u,v)}{\max(|u|,|v|)}. \]

动态规划遍历预测序列和真值序列的前缀，可以跳过某条话语，也可以匹配两侧末尾的一组连续话语。每组最多包含 \(W\) 条，组内必须属于同一说话人；合并后的相似度超过阈值 \(\gamma\) 才能形成有效匹配。目标是最大化累计话语相似度，不是强制所有相邻同人话语都合并，也不允许任意打乱对话顺序。

匹配结束后，累计相似度得到话语得分 \(S_{\mathrm{utterance}}\)。对于成功匹配的说话人描述，Gemini-2.5-Flash 结合视频作二值一致性判断，累加得到 \(S_{\mathrm{speaker}}\)。匹配阶段用文本避免先验身份干扰，身份判定阶段再看视频，才能区分“转写错”和“人物归属错”。

原文式 (5) 按自适应合并后预测、真值序列的长度 \(M',N'\) 分别归一化精确率和召回率，再计算 F1。以下是非空序列下的等价简写，不是新增指标：

\[ \operatorname{F1}(S,M',N')=\frac{2S}{M'+N'},\qquad \mathrm{REF}=\operatorname{F1}(S_{\mathrm{speaker}},M',N'),\quad \mathrm{ASR}=\operatorname{F1}(S_{\mathrm{utterance}},M',N'). \]

表中将这两个无量纲分数按 0–100 标度报告，越高越好。ASR 在这里不是传统词错误率；REF 也不是脱离转写质量、对所有可见人物独立计算的识别准确率。缓存对未匹配项和合并后长度的具体实现只引用补充材料 A.5，本笔记不补造代码级边界规则。

2. 互补教师合成：先修正对话，再嵌入完整场景描述

作者的案例分析发现，Gemini-2.5-Pro 更擅长保留话语内容，而在转写质量接近时 Gemini-3-Pro 更擅长纠正说话人。因此先让前者生成对话，再让后者修正身份绑定，得到 70K 份对话描述；这不等于 Gemini-3-Pro 在不受控主表上所有对话指标都更高。

与此同时，AVoCaDO 为相同视频生成完整视听描述，保留动作、环境和背景声音。Gemini-3-Pro 将修正后的对话整合进去，得到 70K 份对话感知描述；另加入 15K 非对话视频描述，构成 85K SFT 数据。两种输入分别约束“对话准确”和“场景完整”，避免用纯转写数据把 captioner 训练成只输出台词的模型。

3. 难度分阶段 GRPO：让可区分的奖励持续驱动学习

强化学习使用另外 3K 个人工标注的对话样本。奖励包含 REF 与 ASR 之和，同时保留基座的清单式奖励和长度正则奖励：前者直接约束对话，后两者帮助维持其他视听内容及输出长度。正文没有给出这些项的数值权重，不能默认所有奖励项等权。

GRPO 对同一个视频采样多个回答，用组内奖励均值与标准差归一化得到相对优势，再以裁剪策略目标和 KL 约束更新模型。当一组回答都轻易答对或全部失败，奖励差异很小，样本就难以提供有效的组内排序信号。这解释了为何仅仅增加训练样本并不足够。

训练先过滤因过于简单而多次采样奖励近乎相同的样本，第一阶段使用剩余的完整数据。进入第二阶段前，根据平均对话奖励划分难度，对高难度子集做双倍采样式扩充，以加强困难案例学习。正文明确“加倍”困难子集，但总体混合比例和具体阈值留在未缓存的补充材料 B.2，不能将其写成第二阶段只训练困难样本。

一个完整示例¶

原文图 2 的一个例子中，真值把同一女性的连续发言记作 1 条，预测却分成 2 条，随后双方都有另一男性的 1 条回答。一对一匹配容易漏掉第二个预测片段；自适应匹配允许把女性的 2 条合为 1 条，再与真值对齐，随后匹配男性回答。

关键在于合并是可选动作：如果模型把相邻两句话认作不同人物，就不能为了提高文本相似度强行合并。图 2 的另一个例子说明，即使真值相邻话语来自同一人，强制合并也可能破坏原本有效的单句匹配，所以动态规划需要同时保留“不合并”的选择。

这一规则同样影响训练。只是把正确台词拆成多个短句，不应遭到不合理惩罚；但把台词归错人仍会损失 REF。模型因而获得比固定分句匹配更贴近实际任务的奖励。

损失函数 / 训练策略¶

完整顺序是 AVoCaDO → 85K 描述 SFT → 过滤后的对话数据 GRPO 第一阶段 → 困难子集加倍的 GRPO 第二阶段。这里的 70K、15K 是监督描述数量，3K 是人工对话标注数量，不应写成同一种标注成本。

当前缓存包含正文与参考文献，没有所引补充材料。因此可确认训练范式、数据规模和奖励组成，但不能确认学习率、训练轮数、每组采样数、\(W\)、\(\gamma\) 或难度阈值的数值；这些不是本笔记推测补齐的复现配置。

实验关键数据¶

主实验¶

DiaDemBench 含 1,039 个人工标注视频片段，每段不超过 20 秒，覆盖单镜头、多镜头、不同说话人数和重叠语音。Gemini-2.5-Pro 生成初始标注后由人工修订，3 名标注者达成共识并经高级监督者核查才接受。原文表 1 的 Overlap 子集与按说话人数划分的组互斥，不能把两者当成重叠统计组。

下表摘自原文表 1；REF/ASR 为 0–100 标度的 F1 分数，均越高越好。Human 行是 3 位作者的平均表现，不代表模型训练结果。

模型	规模	REF ↑	ASR ↑
Human	不适用	97.9	97.1
Gemini-2.5-Pro	未披露	63.6	74.8
Gemini-3-Pro	未披露	63.1	71.0
Qwen3-Omni-Captioner	30B-A3B	43.9	58.8
AVoCaDO	7B	38.7	51.7
DiaDem	7B	65.9	79.3

相对 Gemini-2.5-Pro，DiaDem 分别提高 2.3 和 4.5 个分数点，不是相对增长 2.3% 和 4.5%。不过，多镜头重叠语音子集的 REF/ASR 仅为 42.9/56.1，低于 Gemini-3-Pro 的 57.2/65.1，因此总体领先不等于困难子集全面领先。

消融实验¶

下表摘自原文表 3。DiaDemBench 两列同上；SALMONN-2 Total 为原文报告的综合错误分数，越低越好；UGC-VideoCap Avg. 为综合评审分数，越高越好。两种通用评测不是与 REF/ASR 同定义的准确率，不能互相比大小。SALMONN-2 的评审模型按原文表 2 说明替换为 GPT-4.1。

配置	REF ↑	ASR ↑	SALMONN-2 Total ↓	UGC-VideoCap Avg. ↑
AVoCaDO 基座	38.7	51.7	37.3	73.2
加 SFT	59.3	74.0	42.0	74.8
再加 GRPO 第一阶段	64.7	77.6	38.4	74.7
完整 DiaDem	65.9	79.3	36.5	75.6
GRPO 不分阶段	64.5	78.2	37.5	74.8
GRPO 不过滤简单样本	63.2	78.2	37.7	74.5
GRPO 去掉对话奖励	60.1	74.3	37.0	75.2
把 GRPO 数据转为额外 SFT	59.2	73.6	42.4	75.0

表 3 的最后一行是没有 GRPO 的额外监督训练对照，而不是在完整 DiaDem 后继续微调。它未能复现 RL 收益，支持“奖励与训练策略重要”，但不足以证明任何 SFT 配方都无法达到相同效果。

原文表 4 进一步在两阶段 GRPO 下对照原 AVoCaDO 对话奖励和改进奖励；以下仅列第二阶段，隔离奖励形式的影响。

第二阶段奖励配置	REF ↑	ASR ↑	SALMONN-2 Total ↓	UGC-VideoCap Avg. ↑
AVoCaDO 原对话奖励	63.7	77.2	37.1	74.9
DiaDem 改进对话奖励	65.9	79.3	36.5	75.6

关键发现¶

SFT 将 REF 从 38.7 提高到 59.3，但 SALMONN-2 错误分数从 37.3 升至 42.0。完整后训练才同时取得 65.9 REF 和 36.5 错误分数，不能把“无通用能力退化”归给 SFT 单独阶段。
去掉对话奖励后 REF 降至 60.1，比完整模型低 5.8 个分数点；在所列 GRPO 变体中，这是最大的 REF 损失。难度过滤和分阶段训练也有效，但不应与 SFT 的大幅提升混作同一个消融效应。
原文表 5 将解析和评审都替换为 Qwen3-VL-32B 后，REF/ASR 的跨模型 Pearson 相关系数为 0.995/0.983；原文表 6 的 200 例人工评价对应相关系数为 0.994/0.982。高相关支持排序稳定，但不意味着评审模型无偏。

亮点与洞察¶

对话指标同时用于评测和奖励，修正分句误罚因此不仅让榜单更合理，也能改变策略学习方向。可迁移的关键是先排除输出形式差异，再奖励真正的语义正确性。
教师分工来自转写和身份识别的能力差异，而不是简单地用一个最强模型生成全部数据。保留基座的场景描述还能减少监督信号被台词内容占满的问题。
难度课程围绕 GRPO 的组内奖励差异设计，指出“困难数据更多”不自动等于“梯度更有效”。同类思路可用于需要多次采样才能暴露差异的多模态后训练任务。

局限与展望¶

作者指出多人、多可见人物、重叠语音、小尺寸人脸以及画外说话人与画面人物不一致仍是难点。表 1 的困难子集结果支持这一限制，不能仅用总体均分概括可靠性。
数据合成、解析和评审依赖商业模型；替换评审与人工相关性实验降低了担忧，但不能完全消除模型偏好、成本和版本变化影响。这是对现有评测依赖的审慎解读。
基准限制在不超过 20 秒的片段，尚不足以验证长视频中的身份记忆与跨场景一致性。引入长时身份追踪和更强的语音分离是可探索方向，不是本文已验证的组件。
当前正文未提供补充材料中的完整训练配置，且自动文本提取损坏了部分公式排版。精确复现应回查原 PDF 和补充材料，不应直接把本文的等价公式整理当作官方实现。

评分¶

新颖性: 4/5。自适应匹配与对话导向后训练形成针对性组合，基础架构仍继承现有模型。
实验充分度: 4/5。覆盖主榜、通用描述、阶段和奖励消融，并检验评审替换与人工一致性。
写作质量: 4/5。问题与证据链清晰，但关键实现细节依赖补充材料。
价值: 4/5。为“谁说了什么”提供可用的评测和训练路径，困难说话场景仍有明显提升空间。