Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/1ranGuan/VST
领域: 多模态推理
关键词: 流式视频理解、思维链、双重记忆、因果注意力、强化学习

一句话总结¶

VST 将视频推理前移到用户提问之前，以因果训练的流式思考不断更新文本记忆，使 VST-7B 在 StreamingBench 达到 79.5%，并在 VideoHolmes 上以 0.56 秒查询响应延迟取得 41.9% 准确率。

研究背景与动机¶

在线 VideoLLM 不能像离线模型一样先看完整段视频再挑关键帧：未来帧尚未发生，过去帧又会逐渐超出上下文预算。TimeChatOnline、Streamforest 等方法着重压缩视觉 token，另一些方法从 KV cache 检索历史信息。这些机制解决了“能存下多少”的问题，却不一定让语言模型及时理解事件间的联系。

离线视频推理常在问题到达后生成长思维链，以更多测试时计算换取更高准确率。但实时助手不能让用户等待整段推理结束，尤其当答案依赖相隔很远的细小线索时，临时回看既慢又容易漏证据。视频播放本身却提供了一个此前没有充分利用的时间窗口：模型可以在尚不知道最终问题时，先整理当前片段与历史事件的关系。

因此，本文没有把视觉压缩当成全部记忆能力，而是让模型持续生成可供后续回答使用的语义记忆。核心 idea：将显式推理分摊到提问前的视频播放期间，用短期视觉缓冲与长期文本记忆共同支持提问后的直接回答，再以因果监督和最终答案奖励训练这种行为。

方法详解¶

整体框架¶

VST 的输入是连续到达的视频片段和任意时刻出现的问题，输出是在当时可见证据范围内的回答。模型在播放期间读取当前视觉缓冲与已有文本记忆，生成新的 streaming thought；问题到达后，直接读取最新画面和已经完成的记忆，而不是再启动一条长思维链。

这种推理协议需要专门训练，不能直接假设离线模型会正确执行。作者先用视频知识图谱合成跨片段证据链，再通过 VST-SFT 学会因果流式协议，最后用 VST-RL 让模型自己生成轨迹，并根据最终回答优化先前记忆的内容。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Source["训练视频"] --> Data["知识图谱监督"]
        Data --> SFT["因果流式微调"]
        SFT --> RL["轨迹级强化学习"]
        RL --> Memory["双重记忆与异步思考"]
        Stream["到达的视频片段"] --> Memory
        Memory -->|下一片段| Memory
        Memory -->|用户提问| Answer["最新视觉与已完成记忆<br/>直接生成回答"]

图中的前三步属于训练，最后一步是部署时循环执行的推理协议；知识图谱不是运行时还要维护的第三种记忆。

关键设计¶

1. 知识图谱监督：让训练问题真正依赖分散的视觉证据

普通离线 CoT 可能借助尚未发生的事件解释当前片段，直接拿来训练会破坏流式因果性。作者用 PySceneDetect 切分场景，在滑动窗口中提取实体和“头实体、关系、尾实体”三元组，并保留实体库以维持跨片段身份一致。窗口前移时丢弃最早片段、保留其余重叠片段，减少相邻场景之间的实体跟踪断裂。

整段视频处理完后，LLM 清理重复实体、字幕等噪声，NetworkX 构建图结构，并从随机起点通过深度优先搜索采样多跳证据链。链中保留时间戳、实体关系和场景描述，同一视频内任意两条采样链的实体重合度低于 10%。Gemini 3.0 flash 据此生成流式思考与需要多证据整合的问答，再经过世界知识、格式、逻辑一致性、重复性及思考有效性检查。图的作用是约束监督内容围绕可追溯事件展开，而非只生成看起来合理的自由描述；它本身并不构成自动消除所有未来信息泄漏的证明。

2. 因果流式微调：同时约束能看到什么和要预测什么

VST-SFT 将训练样本排列为“初始记忆、视频片段、对应思考、下一片段、对应思考……最终片段、问题、答案”。模型不仅受通常的因果掩码约束，还只能访问最近固定预算的视觉 token；历史非视觉 token 在因果约束下仍可见。这样，旧画面不能被无限回看，模型必须把有用信息及时写进文本。

面对超长视频，作者进一步切成连续训练段，并把前一段的记忆作为下一段的条件输入。这与将每一段视作互不相关短视频不同：叙事状态仍然传递，而单段长度受到限制。下一 token 预测损失只覆盖新生成的思考和最终答案，不监督视觉 token 或已给定的历史记忆。因而模型学习的是“如何续写有效记忆及回答”，而非复述全部输入。

3. 轨迹级强化学习：用最终正确性筛选真正有用的思考

仅模仿教师思考可能留下无用细节，且推理时模型必须依赖自己先前生成的记忆。VST-RL 因此让策略模型与流式视频环境循环交互，自行产生全部中间思考和最终答案。对同一问题采样一组轨迹，只根据最终回答是否正确给出可验证奖励，再将组相对优势分配给该轨迹中所有生成 token，包括问题出现前的思考。

原文对优势的定义为下式，其中奖励减去组均值，没有在此定义中除以标准差：

\[ \hat A_i = r_i - \operatorname{mean}(R). \]

优化采用 GRPO 风格的策略比率裁剪，并沿用 DAPO 的上下裁剪阈值设计，训练图还包含参考模型的 KL 惩罚。最终奖励将“早先记了什么”与“后来答得怎样”连接起来，但没有给每一条思考单独的忠实性标签。因此，这种优化提升的是任务效用，不应解读为逐句验证了思维链的真实性。

4. 双重记忆与异步思考：把问后等待转成问前工作

部署时，短期记忆保留当前视觉内容，长期记忆存储之前生成的文本思考。每个片段边界由累积视觉 token 达到容量决定；模型结合当前片段和前一时刻记忆生成思考，再用 FIFO 策略淘汰最早的记忆条目。用原文第 2.1 节的记号，这个核心递推可以写为：

\[ z_k \sim p(z\mid c_k,m_{k-1}),\qquad m_k=\operatorname{Update}(m_{k-1},z_k). \]

这种文本记忆不只是保留画面标签，还要汇总事件变化、时间线索及跨片段关系，使后续回答不必重新解析全部历史帧。但 FIFO 不是学习到的最优检索器，语义压缩也不能保证保住未来问题所需的每个细节。

作者的实现每 16–32 秒异步生成一次思考，平均耗时 7.0 秒、P99 为 11.2 秒，均短于最小触发间隔。若问题或下一步打断后台思考，模型使用最近一次已经完成的记忆状态。因此，低响应延迟来自调度和预计算：它仍增加后台 LLM 计算与 token 消耗，并不是把思考成本消除了。

一个完整示例¶

原文图 6 的 VideoHolmes 样例要求判断一个模糊面孔男子按什么规律出现。前面片段展示墙钟 9:50，后面又出现 10:00 的墙钟，随后男子现身；有用信息是跨片段的时间关系，而不只是人物正在写字或接触某个物品。

VST 在播放中逐步把钟面读数及事件顺序写入记忆，提问后选择“固定时刻自动出现”，样例响应为 0.51 秒。Video-R1 则在提问后展开回溯推理，误选“依赖特定物品触发”，耗时 9.53 秒。这里两个延迟是单一样例值，不能替代表 6 的整体延迟统计。

损失函数 / 训练策略¶

基座采用 Qwen2.5-VL，视频输入为 2 fps；视觉编码器和投影层在两个训练阶段均冻结。VST-SFT 使用 100K 合成 streaming-thought 样本与 50K LLaVA-Vid 开放式问答，每个训练样本限制在 128 秒内，更长序列按连续段处理。

VST-RL 使用 11K 问题，来自 LLaVA-Vid、Video-Marathon、Onethinker 的选择题及 RepCount 计数题。7B 两阶段训练使用 32 张各 80GB 显存的 GPU；RL 使用 verl、vLLM 和 FSDP，rollout batch size 为 256，每组采样 8 条轨迹，并在 rollout 中预计算视频嵌入。

评测通过 lmms-eval 完成，每次推理步骤，包括流式思考和最终回答，最多使用 8,192 个视频 token，最多进行 4 次思考。该上限是论文的高效评测设置，不应与更高思考次数的消融结果混用。

实验关键数据¶

主实验¶

准确率均为百分数；增益使用百分点。表 1 对应 StreamingBench 实时理解，表 2 对应 OVO-Bench，表 3 的 VideoMME 不使用字幕；延迟来自表 6 的 VideoHolmes 同设置比较。

原文表	数据集 / 指标	VST-7B	对照方法	对照值	差异
表 1	StreamingBench Overall	79.5	Streamforest-7B	77.3	+2.2 个百分点
表 2	OVO-Bench Overall	59.3	Streamo-7B	57.9	+1.4 个百分点
表 2	OVO-Bench Backward Avg.	56.7	Streamforest-7B	52.0	+4.7 个百分点
表 3	VideoMME 无字幕 Overall	64.9	TimeChatOnline-7B	62.4	+2.5 个百分点
表 3	VideoHolmes 准确率	41.9	Video-R1-7B	36.5	+5.4 个百分点
表 6	VideoHolmes 查询响应延迟	0.56 秒	Video-R1 w/CoT	8.80 秒	约 15.7 倍响应加速

这些是各表列出的特定对照，不表示 VST 在所有模型、所有子任务上都最优。例如 OVO-Bench 的 Gemini 1.5 pro 总分为 63.0，高于 VST 的 59.3；VST 的优势主要体现在开源在线模型和推理响应的组合上。

消融实验¶

下表摘自原文表 4。前三种数据配置都使用 50K 样本，适合观察数据构成的影响；完整 VST-SFT 则使用前述更大的训练语料，不能将两组结果混为同预算消融。

配置	OVO Backward	OVO Forward	OVO Overall	VideoMME 无字幕 Overall
Qwen2.5-VL-7B 原生基线	47.5	41.9	50.5	62.9
LLaVA-Vid 50K	49.9	42.4	52.3	61.8
LLaVA-Vid 30K + VST 20K	52.0	50.1	56.8	62.5
LLaVA-Vid 20K + VST 30K	53.3	50.0	57.1	63.1
仅 VST-SFT	56.7	48.5	57.4	63.0
仅 VST-RL	49.3	54.6	56.8	62.8
VST-SFT + VST-RL	56.7	54.0	59.3	64.9

关键发现¶

在同为 50K 样本时，用 30K VST 替换部分普通 QA，使 OVO Overall 从 52.3 升至 57.1，说明监督结构本身有价值，不只是数据更多。
SFT 相对原生基线的 Backward 增益为 9.2 个百分点；仅 RL 的 Forward 增益为 12.7 个百分点。组合在 Overall 最好，但 Forward 的 54.0 仍略低于仅 RL 的 54.6，不能说所有子项都单调改善。
图 5 中 Backward 随思考次数从 1 增至 16，由 53.3 升至 57.5；实时理解和前向预测在至少 4 次后趋于平台。多记细节有助于回溯，却可能增加其他任务的冗余。
表 5 的 Qwen 是零样本使用 VST 推理协议的基线，7B OVO Overall 为 55.0；它不是表 4 的原生基线 50.5，二者不能混算训练增益。

亮点与洞察¶

推理的时间位置也是设计变量。VST 不仅增加思考量，还利用播放间隔提前整理证据，让用户等待时间与总推理成本不再是同一指标。
训练和部署使用相同的视觉可见性约束。限制旧帧访问迫使语义记忆承担真实作用，避免训练时偷看全局、推理时才要求流式运行的落差。
最终答案奖励能反向塑造问前记忆。它为“什么信息值得写下来”提供任务级信号，但稀疏奖励带来的信用分配问题仍值得研究。

局限与展望¶

作者明确承认额外 LLM token 消耗不可忽略，提出探索潜在推理以降低成本。0.56 秒是查询响应延迟，不是整段视频全部处理时间或总算力成本。
作者报告的失败包括保存显眼但与问题无关的信息、过度压缩早期证据、遗漏细粒度时间跨度，以及无法连接相距很远的弱线索。更忠实的时间记忆和跨事件关系维护是直接改进方向。
从机制看，未知问题下的文本压缩与 FIFO 淘汰都会造成不可逆信息丢失；结合视觉记忆或检索是合理方向，作者也将其列为后续工作，而非已经验证的组件。
从评测范围看，后台思考不增加等待的结论依赖于其能在片段间隔内完成。更密集输入、更慢硬件或并发负载下的实时保障，不能由现有延迟表直接推出。

评分¶

新颖性: 4/5，明确把视频播放期间的主动推理作为可训练协议，贡献来自调度、监督与后训练的组合。
实验充分度: 4/5，覆盖在线、离线、模型规模和训练消融，但总计算成本及更复杂实时负载仍需补充。
写作质量: 4/5，流程与实验对照清楚，阅读时须区分两类基线及查询延迟与总成本。
价值: 4/5，对需要及时响应且依赖历史证据的视频助手有直接参考意义。