Temporal and Cross-modal Alignment for Enhanced Audiovisual Video Captioning¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://huggingface.co/TCA-Captioner-ECCV-2026
领域: 视频理解
关键词: 视听视频描述生成, 跨模态绑定, 时序一致性, 多模态大语言模型, 数据合成管线
一句话总结¶
针对视听视频描述生成（Audiovisual Video Captioning）中普遍存在的模态脱离与时序错位问题，本文提出基于“观察者-检验者-修正者（OCC）”闭环数据提纯与高密度交互微调的 TCA-Captioner，并建立了解耦验证跨模态实体绑定与时序因果关系的基准 TCA-Bench。
研究背景与动机¶
随着多模态大语言模型（MLLMs）在长上下文与多感官交互领域的飞速演进，视频描述生成（Video Captioning）正从早期的视觉中心范式向全模态统一推理迈进。在真实物理世界中，音频信息（包括口语对话、环境音效、物体撞击以及动作伴随声）并非画面的被动附属物，而是携带了大量关于动作意图、因果逻辑与事件动态的关键线索。尽管最新的全能多模态模型（如 Qwen3-Omni、Gemini-3-Pro）以及视听专用描述模型（如 AVoCaDO、video-SALMONN 2）已尝试联合处理音画双流，但在生成长文本描述时往往面临严重的“模态脱节”（Modality Detachment）瓶颈。
现有方案的核心矛盾在于两个维度的错配：第一是视听跨模态绑定（Audio-Visual Cross-Modal Binding）的失效，在多人交互或噪声环境中，模型难以将瞬间的声学事件精准归因到具体的视觉主体（例如将背景路人的话语误套到前景主角身上，或无法辨识画外音与画内音的物理归属）；第二是视听时序一致性（Audio-Visual Temporal Coherence）的瓦解，模型倾向于以割裂的、非时序同步的方式堆砌视觉画面与听觉转录（如先集中列举视觉背景再概括所有语音），完全丢失了“见声知动”或“动起声随”的细粒度因果时序。这种缺陷在需要精细语义理解的下游生成或交互任务中会导致严重的因果幻觉。
现有评测与训练体系同样加剧了这一困境：公开基准大多采用事件词袋匹配或粗粒度 LLM 总体打分，把单模态感知缺陷与高阶多模态关联推理混为一谈。本文的切入角度是：必须将训练数据合成解耦为单模态真实性审计与多模态时序滑动窗口检验，并在密集交互真实数据上建立细粒度对齐。核心 idea：提出观察者-检验者-修正者（OCC）迭代细化数据合成管线，结合高密度人际交互数据集微调 TCA-Captioner，并构建了基于实体绑定列表与时序因果三元组解耦评测的诊断基准 TCA-Bench。
方法详解¶
整体框架¶
TCA-Captioner 的整体方法涵盖两项核心支撑：用于生成超高质量对齐伪标签的“观察者-检验者-修正者”（OCC）数据精炼管线，以及在此基础上训练的视听对齐大模型。OCC 打破了以往 LLM 单轮直接标注视频的不可靠模式，将任务拆分为全局感知、三方独立法医级审计以及结构化修正三个阶段。经过 OCC 管线生成严格时间戳锚定、跨模态实体绑定的高密度多模态描述数据后，模型基于 Qwen3-Omni-30B 骨干网络通过 LoRA 监督微调（SFT）与直接偏好优化（DPO）实现细粒度视听对齐。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入视听视频流<br/>(音频轨 + 视频帧)"] --> B["全局感知观察者<br/>(Gemini-3-Pro 生成原始高密度描述)"]
B --> C["三方司法级检验者<br/>(音频/视觉/2s滑动切片独立审计)"]
C --> D["迭代细化修正者<br/>(融合违规日志，消除幻觉与错位)"]
D --> E["高密度人际交互数据集<br/>(3,500 HDI + 12k 扩增样本)"]
E --> F["TCA-Captioner 训练<br/>(Qwen3-Omni 骨干 + LoRA SFT & DPO)"]关键设计¶
1. 观察者-检验者-修正者迭代提纯管线：解耦单模态幻觉与跨模态错位
传统大模型单次提示生成的视听描述往往同时混杂着单模态听觉/视觉幻觉与两者的交叉错位。OCC 管线设计了三方分工的合作结构：
首先，全局感知观察者（Global-Perceptive Observer）采用 Gemini-3-Pro 作为全知感知器，执行包含 7 项严格约束的原始密集生成，包括声学细节物理属性、视觉运镜轨迹、亚秒级时间戳锚定（如 [01.2s - 01.5s]）以及明确规避代词的实体绑定；
随后，局部感知检验者（Local-Perceptive Checker）采用三方解耦审计体系：音频检验者（Gemini-3-Pro）独立审计纯音频轨，排查语音字词错误与无中生有的“幽灵声”；视觉检验者专门采用擅长无声视频精细感知的 Doubao-1.8 模型，规避 Gemini 纯视觉场景下的高幻觉率，纠正微表情与物理动作时序；核心的视听切片检验者（Audio-Visual Clip Checker）采用 Gemini-3-Flash，以 2 秒重叠滑动窗口逐段审计，精准校对音画口型对齐（lip-sync）、画外音区分及事件先后次序；
最后，迭代细化修正者（Iterative Refinement Corrector）汇总三方检验报告中的具体违规项（Violation Lists），对初始文本进行精准重写，输出结构与物理信号严格对齐的描述。
2. 高密度人际交互数据集构建：攻克复杂场景下的实体声源归因 现有视频描述数据集（如 FineVideo、TikTok-10M）大多呈现稀疏的视听事件，无法驱动模型学习深层跨模态关联。本文专门构建了高密度人际交互（High-Density Human Interaction, HDI）数据集，涵盖 3,500 条精选自影视片段与综艺节目的短视频片段。该数据集高度富集了高难度工况：多人嘈杂环境下的交替对话、密集身体碰撞与接触声效、以及具有细微因果关联的跨模态时序链条。所有 3,500 个 HDI 样本均历经完整 OCC 流程的 2 秒切片严苛质检，平均每 10 秒视频消耗约 21,949 个 token，构建起极高信噪比与语义密度的对齐先验。
3. TCA-Bench 与解耦评估协议：将实体绑定与时序因果量化拆解
针对传统评测指标无法诊断“错在单模态感知还是跨模态融合”的痛点，论文构建了包含 459 个高密度交互视频的诊断基准 TCA-Bench。基准引入了解耦评估协议（Decoupled Evaluation Protocol）：
底层为单模态基础感知打分（Base Perception），涵盖语音转写字面准确度、语调情绪、主体动作、场景氛围与运镜 5 个独立子维度；
顶层为视听融合评测（Audiovisual Integration），基于结构化的真实标注：
一是跨模态绑定准确率（Binding Accuracy），使用 [sound, source] 字典将声源精准分类为前景角色、画外角色与环境音，评测必须在确认声学事件存在的前提下才判定归因是否正确，使转写错误不连带惩罚声源定位；
二是时序因果 F1 值（Temporal F1），采用 [first_event, second_event, relation] 三元组（涵盖 A→V、V→A、A⇌V），由大模型判官给出三分类判定（正确、反转错误、因事件缺失而跳过），彻底解耦事件检出率与纯时序判断准确度：
损失函数 / 训练策略¶
模型训练采用两阶段后训练方案： 第一阶段以 Qwen3-Omni-30B 为骨干，混合 3,500 条经完整 OCC 精炼的 HDI 数据与 12,000 条经轻量化 OCC（略去切片检验以平衡算力）处理的 FineVideo/TikTok 样本，执行全指令监督微调（SFT），学习精确时间戳与实体属性感知； 第二阶段采用直接偏好优化（DPO）。利用 OCC 修正前后对比以及检验者挑出的 2,000 组错误对立样本构建偏好对（以修正后文本为 Winning，初始含错描述为 Losing），引导模型在隐空间内显式惩罚跨模态时序错位与声源张冠李戴。
实验关键数据¶
主实验¶
在代表性公开视听描述基准 Video-SALMONN-2 与 UGC-VideoCap 上的对比如下（严格复现官方评估协议，以 GPT-4.1 / GPT-4o 担任评委）：
| 模型 | 参数量 | 模态 | Video-SALMONN-2 遗漏率↓ | Video-SALMONN-2 幻觉率↓ | Video-SALMONN-2 总失误率↓ | UGC-VideoCap 综合平均分↑ |
|---|---|---|---|---|---|---|
| Gemini-3.0-Pro | 闭源 | A + V | 18.9% | 14.8% | 33.7% | 75.3 |
| Qwen3-Omni | 30B-A3B | A + V | 32.0% | 13.6% | 45.6% | 71.5 |
| video-SALMONN-2 | 7B | A + V | 21.2% | 17.6% | 38.8% | 67.2 |
| AVoCaDO | 7B | A + V | 21.1% | 16.2% | 37.3% | 73.2 |
| TCA-Captioner (Ours) | 30B-A3B | A + V | 18.6% | 12.9% | 31.5% | 74.2 |
在本文提出的解耦诊断基准 TCA-Bench 上的评测对比（归一化至 0–100 分，GPT-4.1 裁判）：
| 模型 | 音频平均分↑ | 视觉平均分↑ | 视听绑定-角色↑ | 视听绑定-环境↑ | 视听绑定-总分↑ | 时序-序列 F1↑ | 时序-同时 F1↑ | 时序-总 F1↑ |
|---|---|---|---|---|---|---|---|---|
| Gemini-3.0-Pro | 70.2 | 60.9 | 87.3 | 42.8 | 76.8 | 80.9 | 78.3 | 80.0 |
| Qwen3-Omni (基座) | 39.0 | 51.4 | 48.8 | 22.2 | 42.5 | 46.7 | 49.9 | 47.9 |
| AVoCaDO | 60.8 | 62.8 | 76.7 | 36.8 | 67.2 | 68.8 | 67.3 | 68.3 |
| TCA-Captioner (Ours) | 61.2 | 63.6 | 82.1 | 44.6 | 73.2 | 76.7 | 77.1 | 76.9 |
消融实验¶
在微调样本生成策略上的模块剥离实验（Table 6，基于 TCA-Bench 核心维度评估）：
| 训练数据生成配置 | 音频得分 | 视觉得分 | 视听绑定总分 | 视听时序总 F1 |
|---|---|---|---|---|
| 仅观察者 (Observer Only) | 57.6 | 56.1 | 66.5 | 69.8 |
| 观察者 + 音频检验者 (+ Audio Checker) | 61.5 | 57.0 | 68.2 | 68.1 |
| 观察者 + 视觉检验者 (+ Visual Checker) | 58.8 | 64.8 | 67.8 | 69.5 |
| 完整 OCC 框架 (+ A/V-Clip-Checker) | 61.2 | 63.6 | 73.2 | 76.9 |
此外，在探索基座泛化与强化学习对齐（Table 5）中，Qwen3-Omni-30B 在加入 2,000 组 OCC 偏好对的 DPO 训练后，视听绑定总分由 73.2 跃升至 75.3，时序总分从 76.9 提高至 79.2，逼近商业顶尖模型 Gemini-3.0-Pro（80.0）。
关键发现¶
- 切片级音画审计是跨模态绑定的绝对支柱：消融数据表明，仅配备音频或视觉单模态检验者时，时序 F1 依然在 68~69 徘徊；唯有引入基于 2 秒滑动窗口的 A/V-Clip-Checker，时序得分直接从 69.5 暴增至 76.9（+7.4 分），跨模态绑定亦大幅提升至 73.2。
- 异构大模型专才协作优于全能通才独立生成：作者发现 Gemini-3-Pro 处理无声视频时存在严重的视觉细节幻觉，而引入 Doubao-1.8 充当视觉检验者后，生成的微调样本促使模型在视觉各维度全面超越通用大模型，验证了针对特定模态采用细分专精检验者的必要性。
- 开源模型与顶尖商业系统的差距集中在多源环境声归因：在环境声绑定上，所有开源基线（Qwen3-Omni 仅 22.2）表现极差；TCA-Captioner 拔高至 44.6，反超 Gemini-3.0-Pro 的 42.8，证明高密度交互视频与精准声源负样本引导是破解幻觉的钥匙。
亮点与洞察¶
- 法医级审计理念（Tripartite Forensic Auditing）：针对多模态长序列联合标注时容易“以视代听”或“以听猜画”的弊端，采用物理隔离的纯声轨审计与纯画面审计，从源头上切断了单模态错误向跨模态因果推演的蔓延链条。
- 解耦式评测协议设计：在构建 TCA-Bench 时创新提出三元组三分类状态转移计算法，通过
skipped机制剥离了“未提及目标”与“时序倒置错误”，使评测指标具备极高的因果诊断价值，可直接作为可解释分析工具。 - DPO 偏好对的低成本自动化萃取：利用 OCC 修正前后天然存在的配对文本（修正前即蕴含典型音画脱节负例，修正后即为严密正例），无需额外耗费巨额人工重标，即可构建高质量 DPO 训练集。
局限与展望¶
- 计算成本开销较大：OCC 管线中 2 秒滑动窗口的音画联合切片检验（A/V-Clip-Checker）占用了全流程近 40% 的 Token 开销（单条 10 秒视频总开销约 2.2 万 Token），难以低成本直接扩展至数百万量级的海量视频库。
- 极度复杂混响与离轴画外音的界限模糊：在真实电影镜头中，多角色同时说话与画外声源反弹的物理定位仍存在标注争议，环境声归因准确率（44.6%）相较角色绑定（82.1%）仍有巨大提升空间。
- 未来方向：探索端到端单阶段视听联合对比对齐学习，将切片检验者能力内化为自监督奖励模型；并将高精度视听时序对齐扩展到长视频理解与具备物理音效渲染的视频生成模型中。
相关工作与启发¶
- vs AVoCaDO (Chen et al., 2025)：AVoCaDO 侧重于通过时序编排与启发式提示引导生成，但在复杂多人交叠对话时依然存在说话人归属错乱；本文通过 OCC 法医级细化与专门构建的 HDI 数据集，使视听绑定和时序 F1 显著超越 AVoCaDO（73.2 / 76.9 vs 67.2 / 68.3）。
- vs video-SALMONN 2 (Tang et al., 2025)：video-SALMONN 2 依赖扁平化原子事件拆解来降低幻觉率，但忽略了连续物理事件中“动作发声-听到反应”的时序依赖拓扑；本文的 TCA-Bench 提供了结构化时序三元组标注，从根本上解决模态脱离的诊断盲区。
评分¶
- 新颖性: ⭐⭐⭐⭐ [针对视听解耦错位痛点，构建了首个细粒度法医级迭代修正管线与结构化时序诊断基准]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨越两大公共基准与自建解耦基准，全面评测开源/闭源 10 余种模型，涵盖详实消融与 DPO 分析]
- 写作质量: ⭐⭐⭐⭐⭐ [结构严密，动机叙述清晰生动，图表表达信息密度极高，实验指标定义严谨]
- 价值: ⭐⭐⭐⭐ [为视听多模态大模型的长视频精准对齐提供了高质量开源数据生成方案与权威诊断工具]