Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos¶
会议: NeurIPS 2026
arXiv: 2607.16107
OpenReview: https://openreview.net/forum?id=H4Lfwx7aXK
领域: 音频/语音
关键词: 音视频大语言模型、长视频理解、多模态时序对齐、时序交织思维链、全开源基础模型
一句话总结¶
针对现有音视频大模型局限于短片段且深层表征存在视觉偏差的瓶颈，本文推出全开源音视频大语言模型 AV-Flamingo，通过构建涵盖 700 万样本的 AV-Skills 数据集、三阶段长上下文课程学习体系，以及显式锚定时间戳的时序交织思维链（TAVIT），在 15+ 项音视频与全模态长视频基准上取得开源同量级最佳表现并匹敌前沿闭源系统。
研究背景与动机¶
视频占据了全球互联网流量的 80% 以上，人们每天花费数小时观看在线视频，而人类对现实世界的认知本质上也是高度连续的音视频流。然而，绝大多数现有的视频理解大模型仍然仅关注视觉帧序列而直接忽略音频信息；即便近期涌现的少数全模态与音视频大语言模型（AV-LLM）开始探索双模态融合，其评测与训练也普遍局限于 1 分钟以内的短片段剪辑，面对电影、剧集、讲座与纪录片等富含复杂音画时序逻辑的长时程现实视频时往往表现匮乏。
阻碍长时程音视频智能演进的核心矛盾在于高质量跨模态数据与表征协同机制的双重缺失。现存公开多模态数据多为单模态图像/音频，或仅围绕音视频语音识别（AVSR）、事件分类等浅层感知任务构建，缺乏要求因果推理、细粒度时序对齐与跨模态联想的高阶长视频监督。机理分析进一步表明，现有全模态模型在深层网络中存在严重的“视觉偏差”（Visual Bias），浅层提取的音频表征在深层交互中往往被视觉信息压制；加之业界主流方案多将单模态预训练模型简单拼接，寄希望于隐式涌现跨模态推理，导致模型在复杂场景中频频出现音画幻觉。此外，当前最顶尖的全模态系统均属闭源专有模型（如 Gemini 1.5/2.5 系列）或不公开训练数据与流程的权重开源模型，严重限制了开源社区的深入研究与复现。
为了打破这一僵局，本文提出了全开源的前沿音视频大模型系统与可扩展训练方案。核心 idea：通过构建涵盖 700 万图文问答对的大规模多维技能数据集 AV-Skills、建立从短时感知平滑扩展至 15 分钟长时程的三阶段课程学习范式，并提出将音画证据显式锚定在时间戳上的时序交织思维链（TAVIT），系统化解决长视频跨模态感知协同与深层可解释推理难题。
方法详解¶
整体框架¶
AV-Flamingo 整体架构旨在实现对音频、图像和长视频的联合理解与时序推理，并支持流式文本到语音（TTS）的实时语音交互。模型输入可以是交织的视频帧序列、连续音频波形及用户文本指令，输出为结构化文本回复或语音流。视觉分支由 SigLip 视觉编码器配合多尺度动态压缩模块构成，音频分支基于滑动窗口式 AF-Whisper 编码器处理长音频流，双模态特征经两层投影后在时间维度严格按时间戳交织切块，并注入受限旋转时间编码（CRTE），最后输入 Qwen2.5-7B 主干 LLM 实施自回归生成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["长视频输入<br/>视频帧序列 + 16kHz 音频波形"] --> B["模态独立特征编码与动态压缩<br/>SigLip (Dynamic S2) + AF-Whisper 滑动窗口"]
B --> C["模态特征时序交织与受限旋转时间编码<br/>时间窗口切块同步 + CRTE 位置编码注入"]
C --> D["三阶段渐进式训练主干<br/>Qwen2.5-7B 混合序列并行 (Ulysses + Ring)"]
D --> E["时序音视频交织思维链推理<br/>TAVIT 时间戳锚定中间推理 + GRPO 强化学习"]
E --> F["下游多模态多任务输出<br/>时序问答 / 幻觉抑制 / 细粒度描述 / 流式 TTS"]关键设计¶
1. 大规模跨模态技能数据集（AV-Skills）：针对性弥补高阶时序与跨模态因果缺陷 现有音视频数据集多侧重于简单的表层识别，且充斥大量单调的人脸自拍解说（vlog），极度缺乏环境音、背景配乐及复杂物理场景。本文针对性构建了涵盖 24 万小时视频的 AV-Skills 数据集（共约 700 万图文问答对，其中包含 480 万高质量问答对）。数据集划分为两大子集：AV-Skills-Short（\(\le 60\) 秒，10 万小时，380 万样本）专门强化关系推理、情绪转变追踪、细粒度时序因果、空间方位感知及音/视独立计数能力；AV-Skills-Long（60 秒至 15 分钟，14 万小时，320 万样本）重点覆盖“大海捞针”关键事件检索、子场景跨度理解、全局宏观推理、音画跨模态检索、音画事件同步对齐及细粒度长视频描述。系统化设计的跨模态问答迫使模型摆脱单一模态捷径，建立双向对称的音画协同感知。
2. 模态特征时序交织与受限旋转时间编码（CRTE）：解决深层跨模态表征失步与视觉偏差 针对多模态长序列中音画 token 融合失序的问题，视觉特征 \(h_v \in \mathbb{R}^{HW \times d_v}\) 通过多尺度“先缩放后压缩”（Dynamic S2）模块降维，音频特征 \(h_a \in \mathbb{R}^{N \times d_a}\) 通过 30 秒无重叠滑动窗口连续分块并拼接。两路特征分别经双层 MLP 投影至语言空间后，模型在时间维度上将视频与音频序列切分为同步的时间窗口并交织排列（Temporal Interleaving），使得同一时间窗内的视觉 token 与音频 token 在输入序列中紧密相邻，使 LLM 的自注意力机制能天然捕捉共现线索。在输入主干前，模型进一步通过受限旋转时间编码（Constrained Rotary Time Embeddings, CRTE）为多模态 token 注入绝对时间戳信息： $\(R_{\Theta, t} = \text{diag}\left( R_{\theta_1, t}, R_{\theta_2, t}, \dots, R_{\theta_{d/2}, t} \right)\)$ 通过正弦旋转变换将绝对物理时间嵌入表征，即使在长达 15 分钟的复杂交织流中，模型也能精确分辨事件发生的先后顺序与相对持续时间。
3. 三阶段渐进式训练课程：平滑突破长时程跨模态上下文扩展瓶颈 直接在大规模长视频上端到端微调极易面临显存激增与短程感知遗忘的困境。AV-Flamingo 设计了层层递进的三阶段课程： - 阶段一（初始化与短上下文预训练）：以已对齐基础多模态表征的 OmniVinci 检查点为起点，混合单模态数据与 AV-Skills-Short 开展全量微调，视频时长上限截断至 5 分钟，上下文长度限制为 16K tokens，确保牢固掌握模态特定能力与基础音画对齐； - 阶段二（长上下文长视频中期训练，Mid-training）：引入 AV-Skills-Long 长视频问答与密集描述，并按比例回放降采样的短视频子集以防遗忘。视频时长上限提升至 15 分钟，上下文长度翻倍至 32K tokens。训练采用由 Ulysses（节点内通信）与 Ring-Attention（节点间通信）构成的混合序列并行（Hybrid Sequence Parallelism）配合 FSDP，产出具备长时程感知能力的 AVF-Instruct； - 阶段三（后训练与长程推理强化，Post-training）：在此基础上进行显式推理微调，产出具备思维链能力的 AVF-Think。
4. 时序音视频交织思维链（TAVIT）与强化学习优化：将推理轨迹显式锚定在音画时间戳上 传统多模态思维链多为后验生成的浅层文本，在长视频中往往出现推理漂移与事实幻觉。本文提出 TAVIT 机制并构建了 AV-Think 数据集（2.4 万高质量样本，平均思维链长度达 635.7 词）。模型在生成最终答案前，被强制生成带有精确时间戳标记的交织思考过程（例如明确指认“在 [03:12-03:18] 处听到了急促刹车声，并在 [03:15] 画面中观测到车辆变道”）。在监督微调（SFT）之后，进一步引入基于群体相对策略优化（GRPO）的强化学习训练，奖励函数综合考量答案正确性与时间戳锚定的准确率，使得模型在长时程多事件因果推导中展现出极高鲁棒性与可解释性。
损失函数 / 训练策略¶
在预训练与中期训练阶段，模型采用标准自回归下一词预测交叉熵损失进行全参数优化： $\(\mathcal{L}_{\text{NTP}} = -\sum_{i=1}^{T} \log P(y_i \mid y_{<i}, \mathbf{v}, \mathbf{a}, \mathbf{x}_{\text{prompt}})\)$ 在后训练阶段，模型基于 AV-Think 执行 SFT 后，利用 GRPO 算法优化策略模型 \(\pi_\theta\)。GRPO 对同一输入采样一组候选思考与回答轨迹 \(\{o_1, o_2, \dots, o_G\}\)，计算组内归一化优势值： $\(\hat{A}_i = \frac{r_i - \text{mean}(\{r_j\})}{\text{std}(\{r_j\})}\)$ 优化目标包含限制策略偏离的 KL 散度约束，促使模型学会在生成答案前自发规划带时间戳的音画回溯路径。全流程在 512 块 NVIDIA H100 GPU 集群上分布式训练完成。
实验关键数据¶
主实验¶
AV-Flamingo 在全模态理解（Omni Understanding）、纯音频/语音理解、纯视频理解以及基础语音识别（ASR）等 15+ 项基准上与主流 SOTA 模型进行了全面对比：
| 评估领域 / 任务分类 | 评估基准数据集 | 对比基线模型及类别 | 核心评价指标 | 基线表现 | AVF-Instruct | AVF-Think (Ours) |
|---|---|---|---|---|---|---|
| 全模态联合理解 | WorldSense | Qwen2.5-Omni (开源) / OmniVinci | 准确率 (ACC ↑) | 45.4 / 48.2 | 50.3 | 51.6 |
| 全模态联合理解 | DailyOmni | OmniVinci (开源) | 准确率 (ACC ↑) | 66.5 | 72.4 | 73.9 |
| 全模态联合理解 | OmniBench | Gemini-1.5 Pro (闭源专有) | 准确率 (ACC ↑) | 47.6 | 48.5 | 50.6 |
| 全模态长视频理解 | MMOU | Gemini-2.5 Pro (闭源) / MiniCPM-o 4.5 | 准确率 (ACC ↑) | 64.2 / 46.8 | 56.9 | 60.2 |
| 音画双向幻觉评测 | AVHBench (A→V / V→A) | Gemini-2.0 Flash (闭源) | 准确率 (ACC ↑) | 83.3 / 63.3 | 77.0 / 81.1 | 79.0 / 85.9 |
| 纯音频与音乐理解 | MMAR | OmniVinci (开源) | 准确率 (ACC ↑) | 58.4 | 60.1 | - |
| 纯音频与口语理解 | MMSU | Gemini-1.5 Pro (闭源) | 准确率 (ACC ↑) | 60.7 | 61.5 | - |
| 复杂综合音频理解 | MMAU (声学/音乐/语音/均值) | Audio Flamingo 3 (开源) | 平均准确率 (ACC ↑) | 72.42 | 73.49 | - |
| 音频跨模态幻觉 | CMM Hallucination | Gemini-2.5 Pro (闭源) | 准确率 (ACC ↑) | 82.0 | 86.7 | - |
| 纯视频长程理解 | Video-MME (无字幕 / 含字幕) | OmniVinci (开源) / NVILA | 准确率 (ACC ↑) | 67.3 / 68.6 | 70.7 / 71.2 | - |
| 超长视频综合理解 | LongVideoBench | NVILA (开源) / OmniVinci | 准确率 (ACC ↑) | 58.7 / 62.0 | 60.1 | - |
| 视频幻觉检测 | MVHBench | OmniVinci (开源) | 准确率 (ACC ↑) | 70.6 | 71.7 | - |
| 自动语音识别 (ASR) | LibriSpeech (test-clean / other) | Phi-4-multimodal / Qwen2.5-Omni | 词错误率 (WER ↓) | 1.67 / 3.40 | 1.64 / 3.50 | - |
| 自动语音识别 (ASR) | SPGISpeech (en) | Qwen2-Audio-Instruct | 词错误率 (WER ↓) | 3.00 | 2.80 | - |
| 自动语音识别 (ASR) | VoxPopuli (en) | Phi-4-multimodal | 词错误率 (WER ↓) | 5.90 | 5.80 | - |
消融实验¶
针对训练阶段（预训练、中期长视频训练）、显式思维链（TAVIT）及后训练强化学习对长视频音画推理能力的贡献分析如下：
| 模型训练阶段与推理配置 | WorldSense (ACC ↑) | MMOU 长视频 (ACC ↑) | DailyOmni (ACC ↑) | AVHBench V→A 幻觉抑制 (ACC ↑) | 核心配置说明 |
|---|---|---|---|---|---|
| OmniVinci 初始权重 | 48.2 | 43.1 | 66.5 | 62.4 | 未注入 AV-Skills 的初始对齐基线 |
| + Stage 1: AV-Skills-Short 短程微调 | 49.5 | 47.8 | 69.1 | 71.3 | 引入 380 万短视频技能数据，建立基础跨模态因果 |
| + Stage 2: AV-Skills-Long 长上下文训练 (AVF-Instruct) | 50.3 | 56.9 | 72.4 | 81.1 | 上下文扩充至 32K，长程时序与音画同步显著跃升 |
| + Stage 3: TAVIT SFT (带时间戳思维链) | 51.0 | 58.7 | 73.0 | 83.5 | 显式时间锚定消除长流检索迷航 |
| + Stage 3: GRPO 强化学习 (AVF-Think 最终模型) | 51.6 | 60.2 | 73.9 | 85.9 | 策略优化约束推理轨迹，双向幻觉大幅降低 |
关键发现¶
- 显式跨模态长数据对长程推理是决定性的：从短程模型过渡到注入 AV-Skills-Long 的 AVF-Instruct 后，长视频基准 MMOU 的得分直接从 47.8 暴涨至 56.9（绝对增益 +9.1%），证明未经长时程时序标注训练的模型无法单靠上下文窗口扩大直接获得长程推理能力。
- 时间戳锚定思维链（TAVIT）有效破解视觉偏差与幻觉：在 AVHBench 的视觉到音频幻觉抑制测试中，AVF-Think 达到 85.9% 的准确率，不仅远超初始基线的 62.4%，更显著超越 Gemini-2.0 Flash 的 63.3%。时间戳引导使得模型在做出推论前必须在对应音频区间检索物理证据，有效遏制了仅凭画面臆测声音的视觉霸权。
- 全模态联合训练未损害单模态专有能力：在纯音频理解（MMAU 平均分 73.49）与通用 ASR（LibriSpeech clean 1.64 WER）中，AV-Flamingo 均刷新或持平同类专用语音/音频模型（如 Audio Flamingo 3 和 Phi-4-mm），实现了单模态感知与跨模态推理的双赢。
亮点与洞察¶
- 开放透明的大规模数据配方：首次开源包含 700 万实例、针对 13 种高阶时序与跨模态技能设计的 AV-Skills 数据集，填补了开源社区缺乏大规模真实长视频音画对齐数据的空白。
- 时间戳锚定的双模态交织思维链（TAVIT）：将 CoT 从纯文本语言空间的虚幻推导转变为具备时空物理锚点的可信归因链，为长视频问答提供了高可解释性的验证机制。
- 长时程训练系统级工程实现：借助 Ulysses 与 Ring-Attention 混合序列并行成功将音画交织 token 序列扩充至 32K，支撑起 15 分钟复杂长视频的端到端稳健训练。
局限与展望¶
- 极端密集长视频仍存检索盲区：在信息高度密集、有效证据持续时间极短且跨度极为分散的长纪录片场景中，模型偶现细粒度线索遗漏（如 LongVideoBench 上略逊于个别专门的视觉长程模型）。
- 数据源合成偏置与领域覆盖限制：AV-Skills 部分问答与时间戳标注依托自动化 LLM 管线合成，可能带有生成模型的固有归纳偏置；同时在工业声学监测、医疗多模态等专业垂直领域的泛化能力仍待拓宽。
- 未来方向：探索高分辨率时空稀疏采样机制以支持数小时级长视频流实时处理，并结合测试时自适应计算（TTC）进一步增强长推理链的可靠性。
相关工作与启发¶
- vs OmniVinci / Qwen2.5-Omni: 后者多侧重于短视频或通用全模态对话，依赖单模态独立数据拼接训练，深层容易发生视觉压制音频；AV-Flamingo 专门以跨模态因果与长视频为核心，引入 AV-Skills 与 TAVIT 时间戳思维链，在长视频与幻觉抑制基准上优势显著。
- vs Gemini-1.5 / 2.5 系列: Gemini 展现了强大的超长上下文闭源能力，但数据、代码及训练机制完全黑盒；AV-Flamingo 实现了从数据、架构、训练课程到评估代码的全开源，在 7B 参数规模下达到高度匹敌前沿闭源系统的长视频推理水平。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次系统化提出针对长视频的音视频技能分类体系与时间戳交织思维链 TAVIT]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨越 15+ 项全模态、音视频、纯音频、纯视频与语音基准，对比覆盖主流开源与闭源前沿模型]
- 写作质量: ⭐⭐⭐⭐⭐ [架构演进脉络清晰，数据构建细节与工程并行方案详尽严密]
- 价值: ⭐⭐⭐⭐⭐ [为开源多模态社区提供了首个面向长时程复杂音视频推理的全开源强基座]