SLVMBench: Skill Learning from Video Memory¶
会议: NeurIPS 2026
arXiv: 2607.11312
论文: https://arxiv.org/abs/2607.11312
代码: 待确认
领域: 视频理解
关键词: 视频长时记忆、流式视频理解、程序性技能习得、Video-LLM、实时任务决策
一句话总结¶
提出了首个联合评估视频大模型（Video-LLMs）从长达 2 小时干扰视频记忆流中提取教程技能并实时迁移应用于目标执行任务的基准 SLVMBench，揭示出前沿模型在时序大跨度下严重的认知衰减与程序性推理瓶颈。
研究背景与动机¶
随着音视频大语言模型（Video-LLMs）的演进，模型对数分钟短视频的理解、字幕生成与视觉问答能力取得了瞩目进展。然而，当 Video-LLMs 作为具身智能或流式智能体进入真实复杂场景时，精准的实时感知与稳健的长时情景记忆成为缺一不可的核心支柱。在实际工作流中，智能体往往需要像人类一样，在数十分钟甚至数小时前观看一段软件操作或物理装配教程，随后在面对正在进行的新任务时，能够精准提取记忆中的技能规则并实时做出正确的决策。
然而，现存的评测基准在这个关键能力上形成了明显的两极割裂：一方面，以 StreamingBench、OVO-Bench 为代表的流式感知评测通常局限于 10 到 20 分钟以内的实时短时序感知，几乎不考察长时间跨度的技能记忆提取与跨视频迁移；另一方面，VideoMME、LVBench、LongVideoBench 等长视频基准虽然将视频拉长至 1 到 3 小时，但其评测本质仍是静态、被动的信息检索与总结，缺乏关键时间截断点的实时推理，也无法测试程序性技能的习得与泛化。更进一步，近期如 DemoICL 虽然尝试引入成对教程，但其数据源于旧数据集且教程对目标技能的知识覆盖率缺乏严格保障，模型往往仅凭常识先验即可猜中答案。
针对上述两类评测的脱节，本文的核心切入点是：必须将长时序干扰记忆的保持提取与实时执行状态下的预测推理统一到同一测试管线中，并通过高保真的人工校准彻底消除常识先验捷径。核心 idea：构建首个面向视频情景记忆技能习得的基准 SLVMBench，将标准操作教程嵌入到最长达 2 小时且包含海量无关干扰的连续视频流中，在目标执行视频的关键决策临界点处进行亚秒级截断，评测模型能否跨越长时间鸿沟提取程序性规则并完成多维度实时推理。
方法详解¶
整体框架¶
SLVMBench 将情景记忆技能习得形式化为一个统一的五元组评估实例 \(\mathcal{T} = (\mathcal{V}_{\text{tut}}, \mathcal{D}, \mathcal{V}_{\text{tar}}, t_{c}, \mathcal{Q})\)。其中，\(\mathcal{V}_{\text{tut}}\) 为提供权威操作规则与演示的标准教程视频；\(\mathcal{D} = \{d_1, d_2, \dots, d_n\}\) 为由若干段与当前任务完全不相干的视频拼接而成的干扰流，用于制造现实世界中高密度无关信息的时序噪声；\(\mathcal{V}_{\text{tar}}\) 为展示全新真实任务执行过程的目标视频；\(t_{c}\) 为目标视频中前序步骤已完成、下一步骤即将触发的亚秒级决策截断点；\(\mathcal{Q}\) 为配备 5 个选项的严谨多项选择题。
输入给 Video-LLM 的流式上下文 \(\mathcal{S}\) 为三者的连续时序级联： $\(\mathcal{S} = \mathcal{V}_{\text{tut}} \oplus \mathcal{D} \oplus \mathcal{V}_{\text{tar}}^{[0, t_{c}]}\)$ 模型必须在仅观测到 \(t_c\) 截断点前目标状态的前提下，从早已流失到历史长时记忆中的 \(\mathcal{V}_{\text{tut}}\) 里主动检索关键程序性知识，并与当前的视觉与音频观测相结合，在 5 个选项 \(\mathcal{O}=\{o_1, \dots, o_5\}\) 中选出最优决策： $\(\hat{a} = \arg\max_{a \in \mathcal{O}} P(a \mid \mathcal{V}_{\text{tut}}, \mathcal{D}, \mathcal{V}_{\text{tar}}^{[0, t_{c}]}, \mathcal{Q})\)$
整个基准的构建与推理流程高度模块化，数据管线与流式评测的协同关系如下图所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["YouTube 2025+ 视频源<br/>GPT-4o 意图检索抓取"] --> B["教程-目标配对验证<br/>人工核验知识覆盖"]
B --> C["自动化生成与时序初锚定<br/>Gemini-2.5-Pro 提炼候选"]
C --> D["精细人工标注与去剧透<br/>亚秒级截断与干扰项工程"]
D --> E["长时序干扰流合成<br/>10分钟至2小时噪声拼接"]
E --> F["实时截断决策推理<br/>流式/长上下文 Video-LLM"]关键设计¶
1. 教程-目标多模态成对配对与完全知识覆盖保证 过往视频技能评测中，基线模型仅靠常识盲猜或单靠目标视频即可答对题目，导致教程视频的引入增益极小。SLVMBench 严格禁止使用仅靠通用常识即可推断的日常平庸操作，而是聚焦于涵盖 11 个跨日常生活与专业工程领域的精细任务。标注团队人工筛选并逐一验证教程视频 \(\mathcal{V}_{\text{tut}}\) 与目标视频 \(\mathcal{V}_{\text{tar}}\) 之间的因果逻辑依赖：必须确保教程视频中包含了解决目标任务所需的精确参数、工具约束、防错指南或步骤序列，且目标视频所处物理环境或操作主体与教程存在显著视觉差异。这迫使模型必须实现真正的跨域多模态概念迁移与程序性知识内化，而非简单的低层像素模式匹配。
2. 亚秒级决策点截断与防先验反剧透选项工程 为精准测试模型的即时预测能力而非对已完成事件的事后复述，SLVMBench 设立了严格的亚秒级时间截断标准。专业标注员对目标视频的关键动作切换点进行逐帧回放与微秒级调校，将视频精准定格在上一步骤彻底结束、下一步骤尚未展开物理形变或运动趋势的临界瞬态 \(t_c\)。在问答设计上，标注员执行了彻底的“去剧透”处理（De-spoiling），剔除问题干中可能暗示后续操作的语义泄露；同时对 5 选 1 中的 4 个错误选项进行深度工程化设计，使其在通用常识上高度合理诱人，但在本项特定工序中属于致命误操作或参数偏离。唯有准确调用远端教程记忆的模型才能避开陷阱选项。
3. 覆盖 11 类细粒度任务的三维多阶认知分类体系 为避免评估维度单一，SLVMBench 构建了层次化的评估分类矩阵，将题目划分为三大核心主题簇及 8 个代表性子任务： - 程序性熟练度（Procedural Mastery）：考察严密的步骤时序链条，包括下一步预测（Next Step Prediction, NSP）、步骤次序还原（Step Ordering, SO）以及子目标动机推理（Subgoal Prediction, SGP）； - 物理约束与工具逻辑（Constraints & Tool Logic）：检验模型对量化细节与使用规范的记忆检索，包括参数精确召回（Parameter Recall, PR）、专用工具与模式匹配（Tool Configuration, TC）以及安全操作前置检查（Safety Check, SC）； - 故障诊断与情景自适应（Diagnostics & Adaptation）：测试高阶认知灵活性与动态调整，包括新手高频错误甄别（Mistake Detection, MD）与特定前提下的条件分支抉择（Conditional Branching, CB）。
损失函数 / 训练策略¶
本论文为纯基准测试（Benchmark）论文，未提出特定的新模型训练损失。在评测协议上，SLVMBench 设计了三组严格控制变量的递进评估范式以剖析模型能力的边界： 1. w/o Tutorial（无教程基线）：仅向模型输入截断后的目标视频 \(\mathcal{V}_{\text{tar}}^{[0, t_c]}\)，用于测定模型仅靠视觉底座先验与常识的猜测上限； 2. w/ Tutorial（即时教程输入）：将完整教程 \(\mathcal{V}_{\text{tut}}\) 紧贴在目标视频前输入（零干扰时延），评估模型在理想即时上下文中的技能理解与应用上限，增益定义为 \(\Delta = \text{Acc}_{\text{tut}} - \text{Acc}_{\text{baseline}}\)； 3. w/ Tutorial (Long)（长干扰时序记忆）：在教程与目标之间插入长达 10 分钟至 2 小时的无关视频流，评估模型在真实高噪长程情景记忆下的技能保持与提取能力，净记忆增益记为 \(\Delta_L = \text{Acc}_{\text{long}} - \text{Acc}_{\text{baseline}}\)。评测全部采用贪婪解码（Temperature = 0），并基于二项分布报告 95% Wilson 置信区间。
实验关键数据¶
主实验¶
SLVMBench 评测了包含前沿闭源商用模型、开源专用流式长记忆模型以及开源非流式架构在内的十余种主流模型。在 5 选 1 协议下（随机盲猜基线为 20%），核心对比结果如下表所示：
| 模型 | 输入帧率/采样 | Baseline (无教程) | w/ Tutorial (即时) | 增益 \(\Delta\) | w/ Tutorial (Long 2小时) | 净增益 \(\Delta_L\) |
|---|---|---|---|---|---|---|
| Gemini 3.1 Pro | 1 fps | 45.45% | 74.92% | +29.47% | 59.45% | +14.00% |
| GPT-5.2 | 64 帧均匀 | 42.68% | 57.94% | +15.26% | 44.89% | +2.21% |
| GPT-4o | 64 帧均匀 | 35.16% | 52.83% | +17.67% | 37.64% | +2.48% |
| video-SALMONN-S (8B) | 1 fps (流式记忆) | 36.80% | 62.85% | +26.05% | 51.75% | +14.95% |
| StreamMem (8B) | 1 fps (KV压缩) | 37.02% | 64.62% | +27.60% | 43.26% | +6.24% |
| PEMF (8B) | 1 fps (事件记忆) | 36.97% | 64.88% | +27.91% | 39.36% | +2.39% |
| video-SALMONN 2+ (8B) | 768 帧 | 36.36% | 66.08% | +29.72% | 52.15% | +15.79% |
| video-SALMONN 2+ (8B) | 64 帧 | 37.64% | 63.64% | +26.00% | 47.24% | +9.60% |
| Qwen3-Omni (30B-A3B) | 64 帧 | 38.46% | 54.14% | +15.68% | 40.79% | +2.33% |
| Qwen2.5-Omni (7B) | 64 帧 | 27.71% | 41.63% | +13.92% | 38.91% | +11.20% |
| VideoLLaMA3 (7B) | 64 帧 | 35.34% | 53.38% | +18.04% | 35.98% | +0.64% |
| Qwen3-VL (8B) | 64 帧 | 33.44% | 49.21% | +15.77% | 34.72% | +1.28% |
细粒度任务与消融分析¶
在引入 2 小时无关干扰视频流的严苛 w/ Tutorial (Long) 评测下，不同任务维度的准确率表现如下表所示：
| 模型架构类别 | 模型代表 | 下一步预测 (NSP) | 步骤排序 (SO) | 子目标推理 (SGP) | 参数召回 (PR) | 工具配置 (TC) | 安全检查 (SC) | 错误识别 (MD) | 条件分支 (CB) |
|---|---|---|---|---|---|---|---|---|---|
| 前沿闭源 | Gemini 3.1 Pro | 59.45% | 57.69% | 58.62% | 57.40% | 61.18% | 58.52% | 60.89% | 56.19% |
| 前沿闭源 | GPT-5.2 | 45.10% | 47.72% | 43.84% | 41.81% | 43.52% | 47.64% | 45.04% | 43.31% |
| 前沿闭源 | GPT-4o | 35.52% | 34.84% | 42.18% | 43.64% | 37.66% | 40.86% | 30.61% | 39.53% |
| 流式开源 | video-SALMONN-S (8B) | 47.75% | 48.77% | 55.30% | 61.65% | 44.58% | 60.21% | 65.64% | 73.16% |
| 流式开源 | StreamMem (8B) | 38.77% | 41.23% | 49.25% | 47.14% | 38.11% | 53.17% | 62.95% | 56.96% |
| 非流式开源 | Qwen3-VL (8B) | 36.08% | 33.29% | 28.37% | 39.64% | 35.37% | 33.12% | 27.59% | 16.09% |
关键发现¶
- 记忆悬崖效应（Memory Collapse）：当视频流中插入 2 小时干扰时段后，绝大多数未经专用记忆机制设计的模型遭遇性能崩塌。例如 GPT-5.2、GPT-4o 与 VideoLLaMA3 的技能增益 \(\Delta_L\) 分别萎缩至 2.21%、2.48% 与 0.64%，几乎退化至没有看过教程的盲猜基线；
- 视听双模态对技能习得具有决定性作用：教程视频中大量关键参数与注意事项是以语音讲解形式呈现的。原生支持视听双模态的 Gemini 3.1 Pro 和 Qwen2.5-Omni 分别取得了 +14.00% 和 +11.20% 的长程增益；反观纯视觉模型 Qwen3-VL（\(\Delta_L = 1.28\%\)）与 GPT-5.2（\(\Delta_L = 2.21\%\)），在长时序干扰下教程记忆几乎完全丢失；
- 流式记忆机制在高阶推理上的优势：专为流式设计的 video-SALMONN-S 在错误识别（MD: 65.64%）和条件分支（CB: 73.16%）这类重度依赖因果逻辑对比的任务上展现出惊人韧性，大幅超越通用闭源模型 GPT-4o（MD: 30.61%，CB: 39.53%）；
- 时序衰减阈值差异显著：记忆衰减曲线表明，闭源大模型在干扰前 60 分钟内表现相对平稳，随后逐渐下降；而开源基座在 30 分钟时便出现剧烈的准确率跳水，证明现有针对 10-20 分钟设计的评测严重掩盖了智能体的长时记忆短板。
亮点与洞察¶
- 评测维度的范式转移：从传统的“静态、事后、单视频检索问答”跃升为“前置学习、长时干扰记忆保持、实时状态截断与预测执行”，首次在视频领域形式化定义了情景记忆技能迁移基准；
- 极致反捷径与高质量标注：所有测试样本限定为 2025 年之后发布的崭新视频，平均每道题耗费 20 分钟人工微调，结合亚秒级截断与常识干扰项工程，确保模型无法依靠预训练记忆或语篇先验蒙混过关；
- 对流式架构演进的可复用启示：实验清晰揭示简单的固定下采样或普通的 KV Cache 压缩在长时干扰下极易丢失关键因果线索，唯有具备任务目标驱动选择性遗忘与语义事件沉淀机制的流式架构才能支撑长期自主智能体。
局限与展望¶
- 时间跨度上限受限：受制于现有 Video-LLM 的显存开销与长序列推理延迟，当前评测的最大干扰跨度设为 2 小时，尚未能覆盖数天甚至数周的真实终身学习（Lifelong Learning）场景；
- 形式限于多选题交互：为保证评估的确定性与自动化判分精度，当前基准采用了 5 选 1 问答形式，与真实物理机器人直接输出连续控制动作（Action Tokens）的闭环具身交互仍存在一定抽象抽象鸿沟。
相关工作与启发¶
- vs VideoMME / LVBench / LongVideoBench: 这类传统长视频基准主要考察单一长视频的全局摘要或被动事实提取（如“某人何时出现在哪”），不涉及技能学习与跨视频决策，而 SLVMBench 侧重于教程到目标视频的程序性规则迁移；
- vs StreamingBench / OVO-Bench: 现有流式基准仅在 10-20 分钟窗口内评测在线感知，未引入长程无关干扰，无法衡量智能体跨越数小时的真实情景记忆保持能力；
- vs DemoICL / VideoMMMU: DemoICL 依赖早期短视频配对且缺乏知识完备性保证，VideoMMMU 局限于课堂教学视频的静态答题；SLVMBench 通过严格人工双向配对、反剧透设计与长视频流干扰，填补了流式长程技能迁移的评测空白。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将长达 2 小时的情景记忆流与实时截断动作预测相结合，评测范式立意极高。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 类任务维度、12 种前沿闭源/开源流式与非流式模型，记忆衰减曲线分析扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 形式化定义严谨，数据管线与质量把控阐述清晰透彻。
- 价值: ⭐⭐⭐⭐⭐ 为流式 Video-LLM、具身智能长时记忆模块的设计提供了极其关键且高难度的基准测验场。