StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering¶

会议: NeurIPS 2026
arXiv: 2605.25621
OpenReview: https://openreview.net/forum?id=kzU6tZ4CEa
代码: 待开源
领域: 视频理解
关键词: 流式视频理解、全模态推理、音视频对齐记忆、内生响应触发、主动人机交互

一句话总结¶

针对传统全模态模型难以胜任连续流式交互的问题，StreamOV 提出了基于证据解耦路由的长短期受限记忆机制与免自回归生成静默 Token 的前缀隐藏状态内生响应触发器，在固定计算预算下实现了高准确率的主动音视频推理。

研究背景与动机¶

随着视频理解从离线单向感知转向人机协同的在线连续交互，多模态大模型在真实场景中面临着根本性的范式转变。在现实世界的连续音视频流（如长视频直播、智能眼镜与机器人交互）中，模型无法在推理前获取完整的视频序列，而必须在连续到来的视觉帧与同步音频流中保持低时延感知、维持长程历史上下文，并自主权衡当前感知信息是否足以支持生成响应。这种兼具在线音视频感知、长程跨模态推理与主动交互特性的任务，被称为流式全模态视频理解（Streaming Omni-Video Understanding, SOVU）。

然而，现存的主流全模态大模型与流式视频方法存在两大核心痛点。一方面，现有全模态大模型（如 Qwen-Omni 系列）完全基于离线设定构建，依赖预先离散采样的全量视频与音频段输入，直接将其输入流式环境将导致上下文随时间无限膨胀，造成显存溢出与灾难性的推理延迟；另一方面，现有的流式交互方法大多聚焦于纯视觉感知，忽视了高度同步的声学线索，且其在决定“何时响应”时要么依赖自回归生成 <silence> 静默标记，破坏了预训练语言模型的生成分布，要么引入轻量级外部路由网络（Router），受限于小模型孱弱的跨模态推理能力，无法准确判断复杂查询的时机。此外，评测基准也缺乏针对流式多轮音视频交互与主动触发/静默判断的综合评估。

本文的核心矛盾在于：流式多模态流的无界膨胀与边缘计算的受限内存之间存在尖锐冲突，且大模型判断信息充要性的内在认知能力与其外在自回归生成的高昂开销难以兼顾。为了破局，StreamOV 转换切入角度：不再粗暴地依靠全量缓冲或外置小路由器，而是将大模型自身的内部认知状态转化为触发器，并构建紧凑且解耦的多模态证据链。核心 idea：将流式音视频提炼为动态与语义双重视角的解耦多模态证据，维持固定预算的双层长短期记忆，并直接探测冻结大模型 Prefill 阶段的首位前缀隐藏状态来判定响应时机，实现免静默标记、免外部路由的高效主动流式交互。

方法详解¶

整体框架¶

StreamOV 的整体流水线围绕连续到来的音视频数据流展开，核心目标是在严格受限的内存预算内维持高信息密度的跨模态上下文，并精准判定是否满足回答用户查询的条件。在每个时间步 $t$，系统接收新的音视频观测帧组 $x_t=\{v_t, a_t\}$ 与用户查询 $q_t$，首先通过双重视角评估提取视觉变动、音频能量突发与跨模态对齐得分，将输入路由解耦为纯视觉、纯音频与音视频对齐三种证据；接着，系统据此驱动长短期记忆模块，将当前窗口的局部细粒度观测与历史全局稀疏关键事件融合为紧凑记忆 $M_t$；最后，将排序好的记忆与查询输入冻结的底座全模态大模型，通过前缀隐藏状态触发器实时输出“响应”或“等待”，若判定响应则自回归生成最终答案 $y_t$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续音视频流输入 (xt = {vt, at}) 与任务查询 qt"] --> B["多模态证据解耦构建与路由<br/>动态与语义双重视角 / 音视频解耦"]
    B --> C["预算受限的长短期流式记忆更新<br/>局部密集短期窗 + 全局稀疏长期库"]
    C --> D["冻结底座大模型 (Qwen3-Omni Prefill)"]
    D --> E["基于隐藏状态感知的内生响应触发器<br/>Prefix隐藏状态探测 / 决策Respond或Wait"]
    E -->|Wait 证据不足| F["静默截断 / 维持记忆等待新帧"]
    E -->|Respond 证据充分| G["自回归生成响应 yt"]

关键设计¶

1. 多模态证据解耦构建与路由：解决流式多模态信息冗余与跨模态特征纠缠

连续音视频流包含大量的低动态冗余帧，且背景声学噪声极易误导跨模态匹配。为在固定预算下精准筛选高价值片断，StreamOV 提出了融合“流式物理动态”（Query-Agnostic）与“查询语义相关度”（Query-Aware）的双视角评估机制。在无查询视角下，计算帧间差分视觉变动 $S_v$、音频波形峰值能量 $S_a$ 以及音视频协同突发得分 $S_{cob}$；在查询相关视角下，利用预训练编码器提取视觉语义相关度 $S_{qv}$ 与音频语义相关度 $S_{qa}$，并使用当前时间窗口内的秩归一化（Rank Normalization）将不同尺度的得分统一为相对重要度 $S = r / r_{max}$。

针对音频语义易受环境噪声污染的缺陷，设计了基于物理突发的门控机制对音频语义进行重加权，修正后的音频语义得分为 $\hat{S}_{qa} = S_{qa} \cdot \max(S_a, S_{cob})$，确保仅在声学信号物理显著或发生多模态协同突发时才采纳音频语义。随后分别计算模态证据得分 $E_v = \max(S_{qv}, S_v)$ 与 $E_a = \max(\hat{S}_{qa}, S_a)$，并结合语义对齐与事件突发提取音视频协同对齐证据 $E_{av}$： $$E_{av} = \max\left(\min(S_{qv}, \hat{S}_{qa}),\; \min(E_v, E_a, S_{cob})\right)$$ 为了消除相同对齐事件在单模态与多模态分支间的重复冗余分配，通过非负截断残差解耦出纯视觉证据 $\hat{E}_v = [E_v - E_{av}]_+$ 与纯音频证据 $\hat{E}_a = [E_a - E_{av}]_+$，将观测精准路由到纯视觉、纯音频或音视频对齐三个解耦通道中。

2. 预算受限的长短期流式记忆更新：解决无界数据流下的全局-局部时序建模平衡

在流式推演中，模型既需要短期窗口内高密度的连续时序动作线索，又必须检索遥远历史中至关重要的先验事实。StreamOV 设计了由短期记忆 $\mathcal{M}_t^S$ 与长期记忆 $\mathcal{M}_t^L$ 组成的受限记忆结构。每个观测 $x_t$ 的基础证据分值定义为解耦通道的最大值： $$B(t) = \max\left(\hat{E}_v(t),\, \hat{E}_a(t),\, E_{av}(t)\right)$$ 由于 $B(t)$ 基于局部时域窗口内的秩归一化得到，其本质上起到了局部重要性采样的作用，避免了长视频早期分数与后期分数的不可比性。

短期记忆 $\mathcal{M}_t^S$ 采用滑动窗口策略，仅保留当前时间窗内得分排名前 $K_S$ 的密集观测帧；长期记忆 $\mathcal{M}_t^L$ 则维护一个容量上限为 $K_L$ 的全局记忆库。每当时间步推进时，短期窗口滑出的候选观测与现存长期记忆条目汇入同一候选池，按证据重要度进行竞争与动态置换，最终保留全局最显著的稀疏多模态事件。最终送入大模型的上下文为两者去重后的并集 $M_t = \mathcal{M}_t^S \cup \mathcal{M}_t^L$，并严格按时间戳重排为音视频交织序列，在严格限制输入 Token 总量（如 32 或 64 帧预算）的前提下兼顾了即时细节与宏观跨度。

3. 基于隐藏状态感知的内生响应触发器：解决生成式静默导致的分布偏移与外部小路由器的推理瓶颈

流式对话的关键在于“知道何时说话”。传统方案若强行微调大模型生成 <silence> 标记，会破坏其在离线预训练中建立的自回归语言建模分布；若引入外部轻量级分类器作为 Router，又受限于参数规模而无法理解深度多模态推理逻辑。StreamOV 发现：大模型自身在完成提示词与上下文的 Prefill 之后，其深层隐藏状态中已经内生性地编码了对“证据是否充分”的置信度。

StreamOV 将大模型直接视作触发器，仅在其最后一层解码器后接入一个极轻量（仅 18.9M 参数）的交叉注意力触发模块 $\theta_{tr}$。在实践中，模型无需进行耗时的多步自回归采样，而是仅提取 Prefill 阶段最后一个输入位置的隐藏状态 $h_{t,0} \in \mathbb{R}^D$。可学习查询向量 $Q_{tr} \in \mathbb{R}^{1 \times D}$ 与隐藏状态进行交互并经 MLP 分类头映射为二分类预测： $$z_t = \text{Softmax}\left(\frac{Q_{tr} h_{t,0}^T}{\sqrt{D}}\right) h_{t,0},\quad p_t = \text{MLP}(z_t; \theta_{tr})$$ 分类器输出当前应采取的操作：Respond（回答）或 Wait（等待）。若判定为 Wait，系统直接截断当前推理，零开销退出并等待后续视频流；若为 Respond，则激活自回归解码生成完整回答。这种机制既利用了底座 30B 模型的强大理解力，又彻底免除了自回归静默开销。

损失函数 / 训练策略¶

在训练阶段，底座全模态大模型 Qwen3-Omni-30B-A3B 保持完全冻结，仅训练 18.9M 参数的触发器模块 $\theta_{tr}$。训练数据由 FineVideo 元数据自动挖掘生成的约 5,000 个视频样本构成（正负样本各 2,500 个），正样本为关键信息出现的适时响应点，负样本则通过严格的多维度可行性过滤剔除歧义视觉线索，强迫模型在信息缺失时保持静默。使用标准二值交叉熵损失函数优化： $$\mathcal{L}_{tr} = -\left[y_t^* \log p_t(\text{Respond}) + (1 - y_t^*) \log p_t(\text{Wait})\right]$$ 优化器采用 AdamW，初始学习率为 $3 \times 10^{-4}$，批大小为 32，在 8 卡 H100 集群上完成轻量级微调。

实验关键数据¶

主实验¶

论文在提出的 SOVBench 基准（包含涵盖 Real-Time、Recall、Proactive 场景的 SOVBench-O 和测试触发准确率的 SOVBench-T）以及公认的流式基准 StreamingBench、OVO-Bench 上进行了系统评测。在 SOVBench 评测中，离线模型采用 1 FPS 采样（平均全片帧数显著大于 64 帧），而 StreamOV 强制约束在线内存预算仅为 64 帧。

模型	输入模态	在线帧预算	SOVBench-O (实时)	SOVBench-O (回忆)	SOVBench-O (主动)	SOVBench-O (均分)	SOVBench-T (F1)
Qwen2.5-VL-7B	纯视觉	1 fps (全量)	59.7%	60.8%	36.0%	46.8%	-
Qwen2.5-Omni-7B	音视频	1 fps (全量)	78.4%	75.3%	52.1%	63.9%	-
Qwen3-VL-30B-A3B	纯视觉	1 fps (全量)	69.5%	67.0%	42.3%	54.5%	-
Qwen3-Omni-30B-A3B	音视频	1 fps (全量)	85.3%	77.3%	64.8%	73.7%	-
ROMA-7B	音视频	1 fps (在线)	78.0%	73.2%	46.3%	60.4%	52.2
StreamOV (本文)	音视频	64 帧 (在线)	86.9%	73.2%	78.6%	81.6%	90.5
Gemini 2.5 Flash	音视频	闭源离线	87.0%	80.4%	66.8%	75.6%	-
Gemini 3.0 Flash	音视频	闭源离线	89.5%	87.6%	82.6%	85.6%	-

在引入先前问答历史作为多轮交互上下文时，StreamOV 的均分进一步提升至 83.8%（实时 86.7%、回忆 80.4%、主动 82.1%），全面超越同底座离线模型 Qwen3-Omni-30B（79.9%）。在流式评测 StreamingBench 上，StreamOV 在音视频问答子集上取得了 68.6% 的平均准确率，较 Qwen3-Omni 提升 7.6%，较开源 SOTA 流式音视频模型 ROMA-7B（46.1%）大幅领先 22.5%；在纯视觉问答子集上亦达到 86.2%，较 Qwen3-Omni 提升 8.3%。

消融实验¶

针对所提出的三个核心组件（Query-Aware 语义、Query-Agnostic 动态、Long-Term 记忆），论文在 SOVBench-O 上开展了组件拆解消融研究：

配置	查询感知 (Q-Aw)	查询无关动态 (Q-Ag)	长期记忆 (L-Mem)	平均准确率 (%)	相对提升
基线模型	✗	✗	✗	73.7%	基准
仅查询感知	✓	✗	✗	80.0%	+6.3%
仅查询无关	✗	✓	✗	78.0%	+4.3%
双视角证据融合	✓	✓	✗	80.4%	+6.7%
StreamOV 完整模型	✓	✓	✓	81.6%	+7.9%

此外，在触发器架构与前缀探测步数的消融中（见论文 Tab. 6），仅使用 Prefill 阶段首位隐藏状态 $h_{t,0}$（Hidden Num=1）时，触发 F1 值达到 90.5（Precision-1 为 86.1，Recall-1 为 98.3，Precision-0 为 97.8，Recall-0 为 82.1）；若额外解码一步引入 $h_{t,1}$（Hidden Num=2），F1 仅微弱增加 0.2 至 90.7，但却必须承担一步自回归解码的显存与计算开销，证明了仅探测首位隐藏状态是最佳计算-准确度平衡点。

关键发现¶

长期记忆对主动推理与远期召回至关重要：细粒度子任务消融表明，查询感知模块对即时反应（Real-Time 从 86.67% 提升至 88.57%）贡献显著，而长期记忆库直接决定了跨越较长时间跨度时的表现，在主动推理中达到 77.86% 准确率。
内生隐藏状态具备极高信息纯度：相比直接训练独立的外部小 Router，利用大模型顶层隐藏状态训练触发头使 F1 分数直接从 81.4 跃升至 90.5，且在真实需要保持静默的样本上达到了 97.8% 的极高精确率，有效避免了流式交互中的幻觉插话。
在更紧凑的预算下超越离线全量模型：即便 StreamOV 严格受限于 64 帧预算，其综合准确率（81.6%）依然显著高于输入完整 1 FPS 视频（通常数百至数千帧）的离线底座 Qwen3-Omni（73.7%），证明了智能证据筛选和通道解耦远优于盲目的全量上下文堆砌。

亮点与洞察¶

将大模型自身转化为内生触发器（MLLM-as-a-Trigger）：避免了自回归生成 <silence> Token 对预训练文本分布的破坏，也避开了外部小型 Router 推理能力的硬伤，利用 Prefill 阶段 $h_{t,0}$ 的零额外解码开销完成高准确度的时机裁决，这一思想可广泛迁移至各类主动交互智能体。
物理能量与语义对齐的双层解耦路由：针对音频模态容易受环境杂音干扰的弱点，设计了利用波形峰值与多模态突发构成的门控过滤器，并将重合证据显式剥离为纯视觉、纯音频与音视频对齐三路，既精简了冗余又保留了跨模态协同的关键特征。
兼顾实时性与召回率的双层记忆更新准则：通过局部时间窗内的相对秩归一化（Rank Normalization）克服了长视频流中不同片段物理量绝对值不可比的问题，使局部显著性与全局重要性可以在同一尺度下进行动态置换。

局限与展望¶

复杂极度稀疏场景下的触发器失灵：作者在附录 J 中坦承，当音视频流中的线索极其稀疏微弱、背景噪声极度复杂时，受限于底层大模型本身的感知极限，隐藏状态触发器可能会产生误判或漏触发。
记忆管理仍依赖预设启发式评分：当前的记忆更新规则依然基于人工构建的得分加权与门控机制，未来可探索更具 Agent 特性的自主记忆规划（Adaptive / Agentic Memory），让模型能够根据对话意图主动决定观察、保留与遗忘策略。
触发动作粒度较为单一：当前触发器仅支持二分类决策（Respond vs Wait），未来可拓展到更加精细的人机交互动作，如“主动追问澄清细节”、“延迟确认”或“主动索取额外视角信息”。

评分¶

新颖性: ⭐⭐⭐⭐☆ (提出 MLLM-as-a-Trigger 机制与双视角解耦证据路由，跳出了静默标记与外部路由器的传统窠臼)
实验充分度: ⭐⭐⭐⭐⭐ (构建了首个综合多轮流式音视频评测基准 SOVBench-O/T，并在 StreamingBench、OVO-Bench、Video-MME 及离线基准上做了详尽验证与消融)
写作质量: ⭐⭐⭐⭐⭐ (概念阐述清晰，任务形式化严谨，整体流水线图与动机承接极其自然)
价值: ⭐⭐⭐⭐⭐ (为流式全模态具身智能体、可穿戴智能眼镜等长时程主动交互落地提供了极具实用价值的工程范式)