Don’t Pause! Every prediction matters in a streaming video¶

会议: NeurIPS 2026
arXiv: 2604.24317
论文: Project Page
领域: 视频理解
关键词: 流式视频理解, 主动式VideoQA, SPOT-Bench, Timeliness-F1, AsynKV

一句话总结¶

针对现有流式视频基准仅采用“暂停-提问-播放”事后评估且忽略无动作空白期（dead-time）的缺陷，本文提出了首个全面评测连续主动干预能力的基准 SPOT-Bench 与时间敏感性指标 Timeliness-F1，并设计了无需训练的异步键值缓存管理方法 AsynKV。

研究背景与动机¶

流式多模态大模型在实时视频问答中展现出巨大潜力，旨在以极低显存与延迟逐帧处理长视频。然而，真正的智能实时助手不仅需要被动回答问题，更需要在关键事件发生的瞬间主动介入，例如在视障用户伸手触碰滚烫炉灶前发出预警，或在飞行员漏执行检查清单时及时提醒。然而，现有的在线 VideoQA 基准（如 StreamingBench 和 OVO-Bench）本质上依然停留在事后回顾式（retrospective）的“暂停-提问-播放”（pause-ask-play）范式：视频在预设时间戳被暂停，模型接收针对当前或过去画面的提问并返回答案，随后继续播放。这种协议仅在离散时间点评测答案正确性，完全免除了对未提问帧的预测惩罚，模型哪怕在不该说话时疯狂刷屏、或在关键时刻响应严重滞后也无法被察觉。

深入分析表明，现有基准中甚至单帧（query frame）或最近的 4 帧就足以超越专门训练的流式模型，多项选择题的语言先验也削弱了真实流式感知的评测有效性。直接将离线强模型（如 Qwen2.5-VL）部署为逐帧推断时，由于查询状态无记忆，模型会在事件发生后因上下文保留证据而产生严重的重复复读（response echoing）和无端刷屏（spamming），导致假阳性（FP）激增；而若对模型进行流式静默后训练（如输出特殊的静默 token），虽然假阳性下降，却会导致模型变得过度迟钝、漏报率（FN）飙升。

更重要的是，研究发现流式视频中超过一半的时间属于无需任何响应的“死区时间”（dead-time）。核心 idea：构建首个覆盖检测、交互与干预的主动式多轮流式评测基准 SPOT-Bench，引入兼顾时间精度与覆盖平衡的连续评测指标 Timeliness-F1，并提出无需训练的 AsynKV 架构，利用死区时间异步压缩与管理长短期记忆并跟踪查询状态，在抑制重复响应的同时实现高精度的主动流式感知。

方法详解¶

整体框架¶

流式助手系统面临的核心矛盾在于：既要保持对长程历史的感知以应对多轮连续提问，又不能在没有事件发生时过度响应，且所有辅助运算不能阻塞流式帧摄入的实时关键路径。系统在每个时间步因果式地接收视频帧流 $V_{\leq t}$ 与主动查询 $q_\tau$（$\tau \le t$）。为消除离线 MLLM 的重复响应并充分挖掘流式视频中高达 52% 的死区时间（dead-time），AsynKV 构建了一个由持久化查询状态驱动的双层存储解耦管道：GPU 维持极短的高速感知滑动窗口，CPU 在后台异步执行 KV 搬运、跨帧检索打分与内存剪枝压缩，并在无事件触发的死区窗口调用轻量解码生成情景摘要（episodic summary），注入前缀保留长期线索。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["流式视频帧与主动查询<br/>逐帧输入 Vt 与 qτ"] --> B["持久化查询状态追踪<br/>打标激活与最新响应回注"]
    B --> C["长短期键值缓存解耦<br/>GPU滑动窗 + CPU检索前缀"]
    C --> D{"当前帧检测与推断<br/>是否有待响应事件？"}
    D -->|事件发生| E["实时精准响应<br/>生成响应并更新答案记忆"]
    D -->|死区时间 Dead-time| F["死区时间异步扩展计算<br/>情景摘要解码 + CPU缓存修剪"]
    E --> G["输出流与后续帧更新"]
    F --> G

关键设计¶

1. 持久化查询状态追踪：消除上下文滞留导致的重复复读 离线多模态大模型在流式推断中最严重的缺陷是“无状态”。一旦关键事件发生，相关视觉 token 仍停留在上下文窗口中，模型在后续的每一个新帧都会反复生成相同的回答，造成严重的误报。AsynKV 为每个激活的查询分配全局唯一标识符 $[Q_n]$ 与到达时间戳 $[t=\tau]$。当模型在时间戳 $t_1$ 产生非静默回答 $r_{t_1}$ 后，该回答被显式格式化为 $[t=t_1][Q_n]r_{t_1}$ 并前置注回视觉 KV 缓存的前缀中（答案记忆）。在后续帧的推断中，模型自身能在上文中观察到该查询刚刚已被回答，从而根据自回归注意力机制自发抑制紧随其后的冗余输出。查询在持续 120 秒后自动超时退火注销，支持多查询以先进先出（FIFO）机制并发共存。

2. 长短期键值缓存解耦：兼顾局部高帧率与全局长程检索 为了在单卡显存受限下支持无限流处理，AsynKV 将 KV 缓存解耦为层级式两层架构。短期记忆保留在 GPU 上，维护最近 $N_S=16$ 帧的滑动窗口，以极低延迟服务于每一帧的自回归实时判定；长期记忆则将过去多达 $N_L=256$ 帧的 KV 缓存离线异步卸载至 CPU 内存。所有键值对在存储时均保持 pre-RoPE 状态，在实时解码时动态施加连续 3D MRoPE。当主动查询被激活时，系统根据余弦相似度从 CPU 长期记忆中快速检索最相关的 Top-$K$（$K=4$）关键帧 KV，直接拼接在短期工作窗口之前： $$\underbrace{\text{[sys]}}_{\text{sink}}\;\underbrace{[t_{1}\text{:}\,\widetilde{s}_{1}]\cdots[t_{k}\text{:}\,\widetilde{s}_{k}]}_{\text{episodic memory}}\;\underbrace{[\mathbf{F}^{Q_{1}}_{1:K}]\,[\mathbf{F}^{Q_{2}}_{1:K}]}_{\text{retrieved KV}}\;\underbrace{[t^{\prime},Q_{n}\text{:}\,r_{t^{\prime}}]}_{\text{answer memory}}\;\underbrace{[\mathbf{F}_{t-N_{S}:t}]}_{\text{short-term KV}}\;\underbrace{[t,Q_{1}]\,[t,Q_{2}]}_{\text{active queries}}\Rightarrow\text{LLM}$$ 这一组合既维持了因果时间箭头，又打破了固定显存对上下文跨度的物理束缚。

3. 死区时间异步扩展计算：利用空闲算力进行情景摘要与缓存剪枝 在流式视频中，约 52% 的时间帧并不需要系统产生响应，这些静止/空白间隔被称为“死区时间”（dead-time）。传统系统在静默期直接闲置，而 AsynKV 将其转化为算力缩放机会。在 GPU 端，系统每隔 $N_S$ 帧在死区时间发起一次局部滑动窗口的情景摘要解码，耗时约 0.3 秒，完全不掉帧地在系统提示词后累积结构化事件摘要 $[t_i:\widetilde{s}_i]$；在 CPU 端，后台线程在死区阶段持续计算相邻帧间的余弦相似度，以 0.95 为阈值对最相似的连续帧执行去重修剪，防止长期缓存冗余膨胀。由于全部整理操作从关键推断链路上剥离，系统在大幅拓宽有效历史视野的同时，端到端推断延迟始终恒定在 0.51 秒以内。

4. Timeliness-F1 连续流式评测指标：端到端衡量响应时间精度与频次平衡 针对离散评分无法惩罚过早、过晚及滥发预测的弊端，论文通过大规模真实众包标定获得任务级人类偏好容忍黄金区间 $[t_s, t_e]$。在区间内给予满分 1.0，区间外采用非对称高斯衰减给予部分惩罚，其中超前衰减方差 $\sigma_{\text{early}}$ 宽于滞后衰减方差 $\sigma_{\text{late}}$，严厉惩罚事后马后炮： $$\mathcal{T}(\tau;t_{s},t_{e})=\begin{cases}\exp\!\left(-\dfrac{(\tau-t_{s})^{2}}{2\sigma_{\text{early}}^{2}}\right),&\tau<t_{s},\\[6.0pt] 1,&t_{s}\leq\tau\leq t_{e},\\[6.0pt] \exp\!\left(-\dfrac{(\tau-t_{e})^{2}}{2\sigma_{\text{late}}^{2}}\right),&\tau>t_{e}.\end{cases}$$ 评测时将每个真实区间视为独立槽位（slot），在全视频时间线上贪心匹配 $\mathcal{T}>0$ 且通过语义判定的预测。未命中或重复触发计为假阳性（FP），遗漏区间计为假阴性（FN），按加权真正例（xTP）计算精确率与召回率，其调和平均数即为 Timeliness-F1，客观暴露了刷屏与过度静默等异常行为。

实验关键数据¶

主实验¶

在 SPOT-Bench 全集上的对比展示了各模型在连续时间线上的流式感知表现。所有流式对比模型均基于 Qwen2.5-VL（7B/3B）开发，采用 Timeliness-score@5 / Timeliness-F1@5 评估（分值越高越好）。

模型类别	模型	参数量	动作边界检测 (ABD)	不可逆点检测 (PNR)	流式问答 (SQA)	流程指导 (SPG)	意图干预 (SI)	紧急干预 (UI)	全局平均 (Avg.)
离线盲测	Qwen2.5-VL (0帧)	7B	0.0 / 0.0	0.0 / 0.0	0.0 / 0.0	0.0 / 0.0	0.0 / 0.0	0.0 / 0.0	0.0 / 0.0
离线流式逐帧	Qwen2.5-VL (1帧)	7B	44.9 / 12.0	31.3 / 7.4	3.6 / 1.5	2.2 / 0.8	0.0 / 0.0	0.0 / 0.0	13.7 / 3.6
离线流式逐帧	Qwen2.5-VL (4帧)	7B	49.3 / 10.0	44.7 / 6.2	16.9 / 3.6	3.2 / 1.2	0.0 / 0.0	0.0 / 0.0	19.0 / 3.5
离线流式逐帧	Qwen2.5-VL (16帧)	7B	49.5 / 8.3	49.4 / 5.4	27.5 / 2.9	4.0 / 1.2	0.0 / 0.0	0.0 / 0.0	21.7 / 3.0
流式专用模型	StreamingVLM	7B	8.2 / 4.8	5.5 / 2.1	31.6 / 0.9	1.2 / 0.3	3.2 / 0.7	2.4 / 0.5	8.7 / 1.6
流式专用模型	MMDuet2 + KVflush	3B	6.2 / 7.5	3.5 / 4.8	37.8 / 5.3	2.6 / 3.0	0.0 / 0.0	0.0 / 0.0	8.4 / 3.4
流式专用模型	MMDuet2 + StreamingVLM	3B	1.0 / 1.7	4.9 / 6.6	31.0 / 4.0	1.0 / 2.2	0.0 / 0.0	0.0 / 0.0	6.3 / 2.4
本文方法	AsynKV (Ours)	7B	40.2 / 22.6	36.8 / 19.5	30.8 / 18.0	1.2 / 1.0	0.0 / 0.0	0.0 / 0.0	18.2 / 10.2

在传统回顾式榜单（StreamingBench 与 OVO-Bench Real-time split）上，AsynKV 同样取得了开源模型的最高准确率：

模型	StreamingBench Real-time	OVO-Bench Real-time	架构特性
Dispider	67.6	54.6	专用流式微调
StreamAgent	74.3	61.3	记忆体驱动
TimeChat-online	75.4	61.9	在线时间窗口
StreamingVLM	-	62.0	无界视觉流微调
StreamForest	77.3	61.2	层次化树形检索
StreamBridge	77.0	71.3	双模型协作架构
AsynKV (本文)	79.9	71.6	无需微调 / 异步死区计算

消融实验¶

在单张 NVIDIA H100 GPU 上分析 AsynKV 逐层引入记忆组件对流式表现、计算量和延迟的影响：

模型配置	ABD (T-F1@5)	PNR (T-F1@5)	计算量 (GFLOPs)	单帧推断延迟 (s)	说明
StreamingVLM	4.8	2.1	1301	0.26	强行 prompt 输出 "no" 抑制回复
离线 Qwen2.5-VL (16帧无KV保留)	-	-	1254	2.56	缺乏状态维护，显存易爆且延迟高
AsynKV (仅短期 KV 窗口, $N_S=16$)	19.1	17.6	1640	0.22	建立持久化查询状态，延迟大幅压低
+ 长期 KV 缓存 ($N_L=256$, Top-4 检索)	21.9	19.0	2708	0.46	异步 CPU 检索拓展跨度，F1 继续提升
+ 情景摘要 (死区时间异步汇总, 完整 AsynKV)	22.6	19.5	3660	0.51	死区时间算力扩容近3倍，延迟仍远低于离线 baseline

关键发现¶

离线模型感知能力充足，核心瓶颈在于流式输出控制：Qwen2.5-VL 随着输入帧数从 1 增加到 16 帧，感知时间分数从 13.7% 提升至 21.7%，但 T-F1 反而从 3.6% 恶化跌至 3.0%。这确凿证实了离线模型并不欠缺事件检测能力，而是在检测到事件后缺乏遗忘机制，在后续帧中持续复读引发假阳性灾难。
静默后训练的副作用是钝化响应：MMDuet2 经过流式静默数据的专门微调，在常规场景中过量响应明显受控，但在 SPOT-Bench 严格的时间敏感评测下，其感知及时性 $\mathcal{T}$-score 遭受严重破坏（平均分跌至 6.3% - 8.4%），表现出极高的漏报倾向（FN 剧增）。
死区时间是流式计算的巨大红利：在平均包含 52% 死区时间的流式视频中，将耗时计算（如滑动窗口摘要与 CPU 缓存修剪）重排至空闲时间段，使得系统能在单张 H100 上以 0.51 秒的均摊延迟运行完整复合记忆模型，性能大幅超越现有专用微调流式模型。

亮点与洞察¶

从“事后问答”到“即时主动介入”的范式跃迁：指出当前流式多模态社区过度依赖回顾式离散问答评测的盲区，首次系统化地将在线动作边界、临界点识别、流程实时导航与无预警安全干预统一整合为端到端主动式基准。
死区时间算力扩展的系统级洞见：敏锐捕捉到流式交互中多数帧无事件发生的结构性空闲，打破了“所有计算必须均摊在每一帧”的定势思维，利用非阻塞后台线程将重型压缩与摘要移出关键推断路径。
即插即用无需训练的工程优雅性：无需昂贵的高质量流式多轮对话微调，仅凭显式状态标记回注与分层长短期缓存管理，即可让离线预训练大模型平滑转变为兼顾极低延迟与高精准度的流式主动智能体。

局限与展望¶

开源模型在复杂交互与干预任务上全面坍塌：在 SPG（流程指引）、SI（启发干预）和 UI（无预警干预）等需要长程上下文遵循复杂规则与微弱风险线索的极难任务中，所有开源模型（含 AsynKV 与各类专用流式模型）得分均接近 0，相比 GPT-5（41.3%）与 Gemini-3-Flash（33.3%）存在巨大的能力代差。
单向固定文本触发的局限：当前 AsynKV 主要依赖 prompt 让模型输出固定 "no" 字符作为静默标志，尚无法根据场景细粒度自适应调整静默决策阈值，在极端高动态场景下仍可能出现误判。
未来方向：需要构建专门针对主动式程序安全与长程规则遵从的多模态后训练指令微调数据集；同时探索基于强化学习（RL）的动态死区感知策略分配算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [揭示了流式视频中死区时间与复读假阳性两大核心痛点，设计了全新主动评测指标与无微调异步缓存范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 940 个长视频、68 小时真实评测，对比了主流闭源旗舰、开源离线与最前沿流式模型，消融深入全面]
写作质量: ⭐⭐⭐⭐⭐ [问题拆解极其透彻，数学定义严谨，实验图表信息量大且逻辑闭环]
价值: ⭐⭐⭐⭐⭐ [对推动多模态智能体向具备真正实时主动安全辅助能力的终极形态演进具有奠基性指导意义]