跳转至

Self-Supervised On-Policy Distillation for Omni-Modal Video Captioning

会议: EMNLP 2026
论文: ACL Anthology
领域: 视频理解
关键词: 全模态视频描述, 自监督蒸馏, 在线策略蒸馏, 双流问答审计, 幻觉抑制

一句话总结

提出面向全模态视频描述的自监督在线策略蒸馏框架 SODA,利用模型内在的“问答优于描述”与“高预算优于低预算”双重不对称性,通过双流 QA 审计初稿生成高质量修订目标,并以逐 token KL 散度进行同权自蒸馏,在无需外部教师和人工标注的情况下大幅提升音视频描述保真度与覆盖率。

研究背景与动机

视频大语言模型(VideoLLM)的快速演进使全模态视频理解迈向细粒度感知,而自由格式视频描述(Video Captioning)直接映射了模型对视觉、音频及其时空联合线索的接地保真度。然而,现阶段生成高保真全模态描述高度受制于两类昂贵的外部依赖:一方面,精细化全模态人工标注极为稀缺昂贵,且标注人员往往更关注显著视觉事件,容易忽略背景音效、环境氛围及屏幕文字等边缘感知细节;另一方面,传统知识蒸馏依赖更强大的外部专有教师模型(如 Gemini 2.5 Pro 等商业 API),这在全模态长视频场景下的数据合成与调用开销难以承受。此外,基于强化学习(如 RLHF、GRPO)或序列级微调的优化方法通常仅能基于最终生成答案提供粗粒度的标量或回复级反馈,难以向多模态自回归生成提供密集的逐 token 梯度指导。

在线策略蒸馏(On-Policy Distillation, OPD)本是缓解训练与推理分布偏移、提供密集逐 token 监督的有力工具,但现有 OPD 方案仍未摆脱对更强外部教师的绝对依赖。作者因此提出了一个关键设想:能否仅依靠模型自身的结构与内在感知能力,以完全自监督的方式自举提升视频描述质量?通过系统探测,作者在当前 VideoLLM 内部观察到了两项显著的不对称性:其一是“任务不对称性(Task Asymmetry)”,开放式描述要求模型在无提示约束下全面遍历所有感知维度并自主决定注意力分配,而问答(QA)则通过显式问题将注意力窄化到特定维度,实验证明即使是同一个底座模型,直接基于音视频回答定向问题的准确率(77.3%)远高于从模型自身生成的初稿描述中读取答案(43.5%),尤其在音频和音视频联合维度上差距高达 30~50 个点,说明模型“懂得远比写出来的多”;其二是“信息不对称性(Information Asymmetry / Input-Budget Asymmetry)”,在固定模型参数的前提下,仅增加输入预算(如更高帧率、更高空间分辨率、更长音频窗口)即可使模型输出更加可靠的推理结果。

这两项不对称性为构建闭环自蒸馏体系提供了完美的结构契机:既然定向问答比开放描述更准,就可以用问答来审计描述;既然高预算输入比低预算输入更强,同一模型在高预算下就可以充当低预算模式的教师。本文的切入角度是将这种模型内部的信息差显式转化为自监督密集监督信号,让模型“自己提出问题、自己多路核验、自己贪婪重写”,再通过逐 token 散度约束在模型自身支撑集内优化参数。核心 idea:利用同一模型内部的“任务不对称”(问答优于开放式描述)与“信息不对称”(高预算输入优于低预算输入),构建自监督在线策略蒸馏框架 SODA——由低预算学生生成初稿,经由双流 QA 审计识别事实错误与遗漏内容生成修订库,高预算同权教师据此贪婪重写,最终通过逐 token 的 KL 散度将高阶证据蒸馏回学生参数中。

方法详解

整体框架

SODA 的整体架构由两阶段交替迭代构成:Phase A 自监督描述修订(Self-Supervised Caption Revision)与 Phase B 在线策略自蒸馏(On-Policy Self-Distillation)。在 Phase A 中,参数为 \(\theta\) 的全模态底座模型 \(\mathcal{M}_\theta\) 首先在轻量级低预算输入 \(V_{lo}\) 下自回归采样生成初始视频描述初稿 \(c_s\);随后模型进入双流问答审计阶段,同时结合基于高预算视听输入 \((V_{hi}, A_{hi})\) 的多次自一致性采样投票,筛选出高置信度的修订问答库 \(\mathcal{E}_{rqb}\);最后同权模型在更高输入预算与 \(\mathcal{E}_{rqb}\) 的联合条件下进行单遍贪婪解码,重写生成高质量的目标描述 \(c_r\)。在 Phase B 中,学生分支与教师分支均以 \(c_r\) 为目标进行强制教师(teacher-forced)前向计算,但学生仅能访问低预算输入且无修订提示,教师则享有高预算输入与修订上下文;通过最小化两者在生成 \(c_r\) 上的逐 token KL 散度,将高预算视听与文本信息增益无损固化进学生参数中。所有问答审计与高预算输入仅在离线训练阶段使用,推理阶段完全保持原始低预算计算开销。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入音视频数据<br/>低预算视图 V_lo"] --> B["初稿生成与双流问答审计<br/>Caption流验伪 + Video流补全"]
    B --> C["自一致性过滤与高预算目标重写<br/>多采样投票过滤并贪婪重写生成 c_r"]
    C --> D["跨预算在线策略自蒸馏<br/>逐token KL散度约束学生logits"]
    D --> E["部署推理<br/>纯低预算输入的细粒度全模态描述"]

关键设计

1. 双流问答审计:从查错到补漏的互补校验 开放式多模态描述极易出现两类截然不同的感知缺陷:一是无中生有的虚假陈述(commission / 幻觉判断),二是关键线索的沉默遗漏(omission / 召回缺失)。单一的问答流无法兼顾两者,因为基于初稿派生的问题无法探查初稿从未提及的盲区,而仅基于视频提出的问题又缺乏针对具体文本跨度对质纠错的聚焦度。SODA 构建了一套涵盖视觉实体、镜头运动、屏幕OCR、音频事件、音视频对齐等 \(D=29\) 个维度的全模态分类学体系,将审计明确解耦为两条互补流: - Caption QA Stream(查错/精度向):针对 29 个分类维度,模型检验初稿 \(c_s\) 是否涉及该维度。若初稿未涵盖,则显式返回 SKIP_NOT_IN_CAPTION 并将其送入跳过集合 \(\mathcal{S}_{skip}\);若初稿涵盖该维度,则生成针对该声明的具体事实核验问题,用于对质初稿内容的真实性,识别错判与幻觉。 - Video QA Stream(补漏/召回向):收集所有跳过的维度 \(\mathcal{S}_{skip}\) 以及在 Caption 流中答案置信度过低或被否定的维度(低于枢纽阈值 \(\tau_{piv}\)),汇聚成未覆盖维度池 \(\mathcal{U}\)(每段视频截断上限为 \(D_{max}=8\))。模型直接从高预算音视频输入 \((V_{hi}, A_{hi})\) 中针对 \(\mathcal{U}\) 发起全新的探测提问,主动挖掘被初稿遗漏的环境声、伴奏、文字细节与微小动作。两条流产生的问题分别进入后续答案投票环节,最终合并构成互补的修订依据。

2. 自一致性过滤与高预算目标重写:构建高可信修订库与参考轨迹 多模态大模型在单次生成开放式问答时自身存在不确定性与偶然幻觉,直接作为监督信号会带来严重的噪声级联。为此,SODA 引入了基于高预算输入的自一致性投票机制与严格的重写规则系统。对于双流生成的每一个审计问题 \(q\),教师分支在更丰富的高预算视图 \((V_{hi}, A_{hi})\) 下独立采样 \(K=5\) 次答案: $\(a^{(k)} \sim \mathcal{M}_\theta(\cdot \mid V_{hi}, A_{hi}, q), \quad k = 1, \dots, K\)$ 在聚合投票前,所有候选答案经由规则标准化处理,剥离尾部主观辩解括号、统一小写化并折叠空白字符,同时将所有犹豫推脱表述(如 "not sure", "cannot tell", "unknown")统一映射为 uncertain 状态。教师统计多数派答案 \(\hat{a}\) 及其票数占比协议率 \(\rho \in [0, 1]\),仅当 \(\rho \ge \tau\)(默认设定 \(\tau=0.6\))且 \(\hat{a} \ne \text{uncertain}\) 时保留该条目。这保证了只有在模型自身高度确信且得到充分视听证据支撑的事实才能进入修订问答库 \(\mathcal{E}_{rqb} = \mathcal{E}_{cap}^{rqb} \cup \mathcal{E}_{vid}^{rqb}\)。在重写步骤中,将初稿 \(c_s\) 与 \(\mathcal{E}_{rqb}\) 填入固定提示模板 \(\text{prompt}_r(c_s, \mathcal{E}_{rqb})\),明确指定审计答案具有最高真值权威、未被质询的原描述跨度予以保留、未经验证的新事实严禁臆造、标记为 none 的音频声明必须彻底删除。模型在 \((V_{hi}, A_{hi})\) 条件下进行单遍贪婪解码生成确定性的修订目标 \(c_r\): $\(c_r = \arg\max \mathcal{M}_\theta(\cdot \mid V_{hi}, A_{hi}, \text{prompt}_r(c_s, \mathcal{E}_{rqb}))\)$ 这种“过滤式核验+受约束重写”确保了 \(c_r\) 是高质量、低幻觉且包含高阶细粒度信息的理想学习目标,在训练集中平均触发 61.0% 的文本修订,且均属于局部精准纠错。

3. 跨预算在线策略自蒸馏:无外置教师的逐token分布对齐 在获得高质量修订目标 \(c_r\) 后,必须将其有效转化为学生参数的内生感知能力。传统序列级微调或强化学习通常仅监督最终输出标量,且基于外部异构教师的监督易导致多模态表示与语言分布脱节。SODA 提出了同权重架构下的跨预算在线策略自蒸馏机制。对于每一个缓存的训练三元组 \((c_s, \mathcal{E}_{rqb}, c_r)\),网络执行两次以 \(c_r\) 为目标的教师强制前向传播: $\(\ell_s = \mathcal{M}_\theta(V_{lo}, \text{prompt}_c; \text{forced}=c_r)\)$ $\(\ell_t = \mathcal{M}_\theta(V_{hi}, A_{hi}, \text{prompt}_r(c_s, \mathcal{E}_{rqb}); \text{forced}=c_r)\)$ 其中 \(\ell_s, \ell_t \in \mathbb{R}^{|c_r| \times |\mathcal{V}|}\) 分别为学生分支与教师分支在目标序列每个位置上的词表输出 logits。由于教师与学生共享模型参数 \(\theta\),教师分支的优势完全来源于双重信息提升(更强的多模态视听输入 + 包含初稿与问答证据的文本上下文)。为了避免优化不稳定,教师分支施加停止梯度算子 \(\text{sg}(\cdot)\),仅对学生参数反向传播梯度。蒸馏损失采用序列平均的逐 token 库尔贝克-莱布勒(KL)散度: $\(\mathcal{L}_{\text{SODA}}(\theta) = \frac{1}{|c_r|} \sum_{j=1}^{|c_r|} D_{KL}\left(\text{softmax}(\ell_s^{(j)}) \parallel \text{sg}\left(\text{softmax}(\ell_t^{(j)})\right)\right)\)$ 由于教师与学生权重同源,\(c_r\) 本身即属于模型自身分布支撑集(support)内的高置信序列,逐 token KL 散度实质上是将高预算感知优势重新分配到无先验提示、无高分辨率输入的基座参数中,迫使学生仅凭低预算输入即可激活深层感知与音频理解能力。

一个完整示例

以一段展示土壤上两片绿叶的静音真实视频为例: 1. 学生初稿生成:学生在低预算视图下生成初稿 \(c_s\),描述了双叶特写、泥土、枯枝、手指依次指向左叶与右叶、镜头推进展示叶片纹理(texture)和叶脉,最后提及自然光与无音频。 2. 双流问答与自一致性投票:Caption 流产生视觉问题 Q1(叶片纹理是什么样?)获得高预算多数票答案“光滑”(smooth, \(\rho=0.67\)),Q2(环境类型)得到“户外”(outdoor, \(\rho=1.0\)),Q3(土壤颜色)得到“棕色”(brown, \(\rho=0.67\)),Q4(景深)得到“浅景深”(shallow, \(\rho=0.67\));Video 流针对初稿遗漏维度发起探测,Q5(背景音乐)、Q6(人声对话)、Q7(非音乐音效)、Q8(画外音解说)在高预算下均以高一致性(\(\rho=0.67 \sim 1.0\))得出“无”(none)。所有问答构成 \(\mathcal{E}_{rqb}\)。 3. 教师重写:教师结合 \((V_{hi}, A_{hi})\) 与 \(\text{prompt}_r(c_s, \mathcal{E}_{rqb})\) 重写,原句中的 "showcasing their texture" 被精准修订为 "showcasing their smooth texture",原本通过文字直接确认的内容保留,音频否定项保持 "no audio" 结论,生成修订标注 \(c_r\)。 4. 在线蒸馏:在 Phase B 中,学生以纯低预算输入计算 logits,与享有上下文的教师 logits 算逐 token KL,梯度直接聚焦在注入新感知事实的词块(如 "smooth")上,使模型在下一次推理时无需提问即可直接感知叶片的光滑质感。

损失函数 / 训练策略

  • 训练目标:主损失为公式 (6) 所示的逐 token KL 散度;在训练初期为提高稳定性,可选用混合系数 \(\beta=0.7\) 的 Jensen-Shannon 散度。
  • 模型结构与参数配置:底座采用 Qwen2.5-Omni-7B。视觉编码器与音频编码器全程冻结,在语言底座的注意力投影矩阵 \(\{q, k, v, o\}_{proj}\) 上插入 rank=64、\(\alpha=128\) 的 LoRA 适配器。
  • 视听预算设置:学生端低预算视图 \(V_{lo}\) 采用 1 fps 采样最多 \(F_s \le 100\) 帧,每帧像素预算 \(R_s=151,200\),音频窗口 \(T_s=120\)s;教师端高预算视图 \((V_{hi}, A_{hi})\) 采用 2 fps 采样最多 \(F_t \le 100\) 帧,每帧像素预算 \(R_t=453,600\)(3倍分辨率),音频窗口 \(T_t=240\)s(2倍时长)。
  • 训练流程:在从 Panda-70M 随机抽取的 2,000 个未标注视频子集上进行 2 轮在线自进化训练。每轮包含一次完整的 Phase A 离线缓存生成与一次 Phase B 全量 epoch 训练。使用 AdamW 优化器,恒定学习率 \(5 \times 10^{-5}\),5% 线性预热,单卡 batch size=2。教师模型权重在每轮开始时冻结为上一轮融合后的 checkpoint,避免联合更新引入优化噪声。

实验关键数据

主实验

在三个全模态描述保真度基准上评估模型性能:Omni-Cloze(完形填空准确率,涵盖视觉、音频、音视频联合维度)、VCapsBench-Omni(细粒度准确率 AR、不一致率 IR 与覆盖率 CR)、以及 UGC-VideoCap(用户生成视频描述质量评分)。基线涵盖商业专有模型与主流开源多模态大模型。

模型 Omni-Cloze Vis↑ Omni-Cloze Aud↑ Omni-Cloze AV↑ Omni-Cloze Tot↑ VCapsBench AR↑ VCapsBench IR↓ VCapsBench CR↑ UGC-Cap Aud↑ UGC-Cap Vis↑ UGC-Cap Det↑ UGC-Cap Avg↑
商业全模态专有模型
Gemini 2.0 Flash 32.3 31.7 40.1 33.2 - - - - - - -
Gemini 2.5 Flash 24.4 36.2 41.4 33.0 - - - 74.2 78.8 77.2 76.7
Gemini 2.5 Pro 40.8 44.1 52.8 43.6 62.1 15.4 73.5 70.8 75.8 74.8 73.8
开源全模态模型
video-SALMONN-13B 3.5 2.3 4.6 3.3 - - - - - - -
VideoLLaMA2-7B 7.6 4.3 8.7 6.6 - - - - - - -
Gemma-3n-E2B-it - - - - 46.0 29.3 67.4 52.0 52.4 49.6 51.3
Gemma-3n-E4B-it - - - - 47.8 29.7 69.4 54.2 54.6 51.2 53.3
Qwen2.5-Omni-3B - - - - 37.6 28.5 52.6 48.2 55.6 52.6 52.2
MiniCPM-o-2.6-8B - - - - 30.6 29.7 41.7 46.0 59.7 62.4 56.3
video-SALMONN 2+ - - - 28.3 37.0 - 47.2 - - - 68.1
Qwen2.5-Omni-7B (base) 18.3 14.1 21.9 16.6 44.5 29.7 60.7 57.6 59.4 57.0 58.0
+ SODA (本文) 27.1 21.9 24.8 25.0 47.7 30.3 68.4 73.1 57.2 73.3 67.8

消融实验

系统检验 SODA 框架中各项核心组件的贡献,包括去除多模态高预算、去除 QA 审计、教师模型权重更新策略(冻结、EMA、联合更新)、单流问答设计以及训练轮次(默认 Round 2)。同时记录推理阶段每个视频平均消耗的文本输入 token 数。

配置 Omni-Cloze Vis↑ Omni-Cloze Aud↑ Omni-Cloze AV↑ Omni-Cloze Tot↑ VCapsBench AR↑ VCapsBench IR↓ VCapsBench CR↑ Video-MME L1 Video-MME L2 Video-MME L3 推理输入 Tokens↓
Qwen2.5-Omni-7B (Base) 18.3 14.1 21.9 16.6 44.5 29.7 60.7 32.6 17.8 19.1 830
Revised Caption Only (\(c_r\)) 27.3 13.0 22.3 21.8 45.8 26.6 62.4 - - - 6,936
w/o Extra Vid/Aud Info 26.5 20.0 24.4 23.9 46.8 29.1 67.8 31.3 17.2 19.1 830
w/o Audit 20.3 8.8 16.9 15.9 45.4 29.2 63.8 30.7 16.5 18.6 830
EMA update 26.7 22.2 25.0 24.9 47.6 30.1 68.2 31.3 18.6 19.0 830
Joint update 25.9 22.5 22.8 24.3 47.2 29.1 66.5 31.6 18.7 19.6 830
Single-Stream (仅Caption流) 25.0 23.5 24.4 24.6 46.2 28.1 65.6 30.2 17.8 18.5 830
SODA Round 1 26.7 19.2 22.3 23.6 47.6 29.4 67.8 32.0 17.4 19.0 830
SODA Round 3 22.4 24.9 20.9 23.0 45.8 29.9 65.3 30.5 18.7 19.8 830
SODA (完整默认模型) 27.1 21.9 24.8 25.0 47.7 30.3 68.4 32.1 18.7 19.4 830

关键发现

  • 审计聚焦之处即为显著提升之所:SODA 相对底座模型的增益绝大部分集中在音频轴和细节轴上(Omni-Cloze 音频准确率从 14.1% 提升至 21.9%,UGC-VideoCap 音频与细节子项分别取得 +15.5 与 +16.3 的大幅飞跃)。这与修订问答库 \(\mathcal{E}_{rqb}\) 触发最频繁的维度高度吻合,证明审计机制精确引导了模型参数弥补感知盲区。
  • 召回率而非精确率是核心瓶颈:在 VCapsBench-Omni 上,覆盖率(CR)从 60.7% 大幅上升到 68.4%,而准确率(AR)提升相对平缓,不一致率(IR)略微上浮。这是由于自由格式视频描述的首要缺陷是“因沉默而遗漏(omission)”,当 Video QA 流强制唤醒模型去覆盖原本跳过的边缘维度时,原本被掩盖的边界分歧随之显现,从而将沉默盲区转化成了可评估、可学习的具体断言。
  • 蒸馏过程内化了高阶感知并实现约 8 倍推理加速:仅在测试期运行 Phase A 提示重写(Revised Caption Only \(c_r\))每个视频需要消耗 6,936 个文本 token,而经过 Phase B 蒸馏后的学生模型在推理时完全摆脱审计流水线,直接以常规单段 prompt(830 tokens)推理,计算开销压缩约 8 倍,且各项全模态指标全面超越测试期单次重写。
  • 通用视频理解零退化且呈现积极正向迁移:在 VideoHallucer 上,SODA 将整体抗幻觉准确率从 44.8% 提升至 51.5%(其中反事实幻觉切片提升 4.3%);在未见选择题微调的情况下,Video-MME v2 较难的 Level 2 和 Level 3 推理准确率不仅未损耗,反而从 17.8%/19.1% 微幅上涨至 18.7%/19.4%。这是因为在线自蒸馏的目标 \(c_r\) 完全处于模型自身的支撑集内,仅对自身已知模式进行概率质量重分配,消除了异构 SFT 覆写通用认知能力的风险。

亮点与洞察

  • 将“问答与描述的不对称性”逆向转化为自监督信号:巧妙发现当前模型在定向问答时准确率大幅领先于无提示描述(基座直接问答准确率达 77.3% vs. 描述自读仅 43.5%),从而免去构建外部奖励模型或昂贵的人工标注,直接以 QA 作为探针自举纠偏。
  • 同权跨预算在线自蒸馏架构:打破了“更强教师必须参数更大或模型更深”的传统定势,仅依靠推理预算差异(高分辨率/高帧率/长音频)构建信息优势,让同一组参数在不同输入条件下实现自我超越与无损吸收。
  • 双流审计解耦精度校验与召回补漏:Caption 流负责通过初稿查错消减幻觉,Video 流负责通过视频原语补全被沉默忽略的模态(如背景音频与场景细节),从机制上彻底覆盖了多模态生成的两类经典失效模式。

局限与展望

  • 模型自进化的边际收益递减与饱和:实验表明自进化迭代到 Round 3 时,部分指标(如 Omni-Cloze 总分)出现微弱回落,表明随着学生能力的提高,模型通过自身问答能够挖掘出的确定性纠偏信号逐渐枯竭,继续自迭代可能强化残存的内部归纳偏置。
  • 极细粒度声学时序感知仍显不足:受限于当前底层音视频特征编码能力,对于精确的起止时间点、密集声学事件计数等极具挑战的声学时空对齐问题,双流审计尚无法可靠识别,目前不得不通过规则显式排除该类问题。
  • 未来方向:作者指出未来可结合半监督设定,引入极少量的真实人类标注或结构化元数据以突破自监督信息上限,并在更大规模的数据集与更大尺度的模型上验证扩展定律(Scaling Laws)。

相关工作与启发

  • vs. 在线策略蒸馏(On-Policy Distillation, OPD / DistiLLM):传统 OPD 强调在学生自身轨迹上拟合更强大的外部教师以缓解分布偏移;SODA 则进一步剔除了对外部异构专有教师的依赖,证明同权模型在跨输入预算下足以提供高质量的在线逐 token 软目标。
  • vs. 自训练与自蒸馏(Self-Training / STaR / Born-Again Networks):现有自训练通常沿噪声轴(如数据增强、EMA 平滑)构建差异,且仅基于最终答案给出稀疏的标量奖励;SODA 沿信息与任务不对称轴构建差异,并依托贪婪重写提供密集的 token 级别 KL 散度监督。
  • vs. 多模态幻觉抑制(OPERA / VCD / RLHF-V / HA-DPO):现有工作大多依赖对比解码搜索,或构建偏好对运行 DPO/PPO/GRPO,针对答案 token 优化;SODA 则在纯描述生成任务中利用跨模态审计内化审慎的表述倾向,在不增加推理负担的前提下显著降低反事实过度断言。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用模型内在的任务与信息不对称性构建自闭环在线蒸馏,立意新颖且逻辑自洽。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三项全模态描述基准与两项通用视频理解基准,消融实验与维度分解极为详尽透彻。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,从数据探索、机制分析到实验验证层次极为分明。
  • 价值: ⭐⭐⭐⭐⭐ 为低资源、低标注场景下训练高性能全模态多模态大模型提供了高度实用的纯自监督技术路线。