Training-Free Temporal Abstraction for General Video Understanding¶

会议: NeurIPS 2026
arXiv: 2608.27929
代码: https://anonymous.4open.science/r/STITCH-video-understanding-43D6
领域: 视频理解
关键词: 视频理解、时序抽象、免训练切块、变化点检测、长视频VLM推理

一句话总结¶

本文提出了免训练时序抽象方法 STITCH，利用冻结的 InternVideo2 视频-文本编码器提取短窗口特征，通过核变化点检测自适应切分视频时间线，一次性生成的语义块可无缝复用于事件边界检测、文本时刻检索以及长视频 VLM 帧选择。

研究背景与动机¶

长视频理解的核心困难在于密集视频流具有极高的计算与显存开销，而下游多种任务却高度依赖于对“关键时序信息何时发生”的精准定位。通用事件边界检测（GEBD）需要识别动作切换时刻，文本时刻检索（Moment Retrieval）需要定位自然语言所指代的时间片段，而长视频视觉语言模型（VLM）在有限上下文预算下则必须筛选出最具代表性的稀疏关键帧。然而，现有工作往往针对单一任务单独设计专用网络架构或收集昂贵的监督标注，导致不同任务构建出的时序表示高度碎片化且相互隔离，无法跨任务共享视频底层的时序结构先验。

这种孤立建模范式的核心矛盾在于：寻找视频内容中自适应的语义时间单元，本应是视频理解的通用底层基础，却被强行与具体下游任务的损失函数深度绑定；一旦面对无标注场景或有限计算预算，专用模型既无法迁移又成本高昂。与此同时，预训练视频-文本多模态大模型在对齐空间中展现出强大的局部时序连续性：相近视频窗口在嵌入空间中高度聚集，而事件或动作变化往往伴随着嵌入轨迹的剧烈跃迁，但此前缺乏一种无需任务微调即可稳定提取该时序结构并跨任务通用的抽象机制。

本文的切入角度是打破“针对每个任务单独训练时序检测头”的传统思路，将时间抽象与下游任务解读完全解耦。核心 idea：利用冻结的多模态特征流与核变化点检测，一次性将非结构化视频自适应解构成可复用的语义时间块（STITCH），并以零训练方式直接作为边界预测、检索候选提议池及多样化关键帧选择器。

方法详解¶

整体框架¶

STITCH 的工作流由统一的前端时序抽象模块与三个下游轻量级解读接口组成。前端输入为未经剪辑的密集原始视频，输出为一组自适应的语义时间块及其保留的细粒度窗口嵌入。首先，系统将视频切分为连续无重叠的短时间窗口，通过冻结的 InternVideo2-Stage2-1B 编码器提取单位时间特征；接着，在整条嵌入轨迹上运行余弦核变化点检测（Kernel Change-Point Detection, CPD），自适应确定语义跃迁切分点；随后经过轻量后处理合并极端碎片片段，形成固定的时间线切块表示。这套切块仅计算一次，即可直接服务于三大下游应用：事件检测直接将块切分点视作边界，时刻检索计算查询文本与块内窗口的最大相似度，而长视频 VLM 推理则结合块先验与最大边界相关性算法分配关键帧预算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["密集原始视频流"] --> B["密集时序窗口编码<br/>冻结 InternVideo2 提取窗口特征"]
    B --> C["余弦核变化点检测<br/>基于方差与对数长度惩罚自适应切分"]
    C --> D["时序后处理与可复用块构建<br/>短片段自适应合并，保留窗口级嵌入"]
    D --> E{"免训练下游任务快速复用"}
    E --> F["事件边界检测<br/>直接输出时序切分边界"]
    E --> G["文本时刻检索<br/>MaxSim 块打分与邻近合并"]
    E --> H["长视频 VLM 帧选择<br/>Chunk-aware MMR 多样性采样"]

关键设计¶

1. 密集时序窗口编码：提取无监督的多模态统一表征

传统时序建模常受制于单帧视觉特征噪声大或长视频片段丢失细粒度动作的权衡。STITCH 将视频离散化为时序窗口序列 $\mathcal{W} = \{w_1, w_2, \dots, w_T\}$，根据任务粒度每个窗口覆盖固定时长（事件检测为 0.5 秒，检索与 QA 为 2.0 秒），窗口互不重叠。在每个窗口内均匀抽取 4 帧（STITCH-2F 变体中为 2 帧），输入冻结的 InternVideo2-Stage2-1B 编码器得到 $\ell_2$ 归一化的特征向量：

\[\mathbf{e}_t = f_{\mathrm{vid}}(w_t) \in \mathbb{R}^d, \quad t=1,\dots,T.\]

该设计将连续视觉流转化为特征轨迹。由于 InternVideo2 已在大规模图文与视频文本数据上完成多模态对齐，相邻相似动作窗口的特征余弦距离极小，而场景切换或动作转换则表现为流形上的急剧拐点，且该特征天然支持与文本查询直接进行零样本相似度匹配。

2. 余弦核变化点检测与自适应惩罚：全局结构感知的边界定位

若仅对相邻窗口的余弦相似度设定硬阈值，容易因局部相机微动或光影抖动引发假阳性断点，产生严重的边界聚集现象。STITCH 采用全局余弦核变化点检测，在整段嵌入轨迹上寻找最优边界集 $\mathcal{B} = \{b_1, \dots, b_K\}$（$1 < b_1 < \dots < b_K < T$），最小化分段内的核代价与模型复杂度惩罚之和：

\[\mathcal{L}(\mathcal{B}) = \sum_{m=0}^{K} \mathcal{C}\!\left(\mathbf{e}_{b_m+1:b_{m+1}}\right) + \beta(T) K.\]

其中 $\mathcal{C}(\cdot)$ 表示基于余弦距离的段内离散度度量，$\beta(T)$ 是防止过分割的正则化惩罚因子。STITCH 提出了依赖于局部相似度分布的数据自适应惩罚项：

\[\beta(T) = 2 \, \mathrm{Var}(s) \log T.\]

式中 $s$ 为相邻窗口余弦相似度序列，$\mathrm{Var}(s)$ 动态衡量视频本身的动态变化幅度，$T$ 为总窗口数。该惩罚项随序列长度对数级缓慢增长，自动抵消由于长视频带来的多重检验偏差，使切分既能适应剧烈动作又能稳定捕获长程静态背景。

3. 时序后处理与特征保留：构建通用提议载体

原始 CPD 输出可能包含少量因短暂遮挡产生的病态超短片段。STITCH 引入时序持续时间约束进行后处理：当某个块的时长低于预设门限（GEBD 为 0.5 秒，TAPOS 为 1.1 秒，检索与 QA 为 3.0 秒）且合并至相邻块能提高局部语义一致性时，将其与邻近块融合，同时设定单个语义块的最大时长不得超过 60 秒。更关键的是，STITCH 在切块完成后绝不对块重新进行黑盒特征压缩，而是完整保留每个时间块 $\mathcal{S} = \{c_1, \dots, c_M\}$ 内所有原始窗口特征 $\mathbf{e}_t \in c_i$。这种设计使得下游任务既能从宏观块结构获取时序边界，又不会丢失块内部的细微动作细节。

4. 任务特异性轻量化解读：零训练赋能三大理解任务

基于上述统一的时序块结构，STITCH 通过无需训练的极简算子适配不同任务： - 通用事件边界检测：直接将最终语义块的时间切分边界 $\mathcal{B}$ 作为事件变换时刻输出，完全剥离对监督边界分类器的依赖； - 文本时刻检索：对于文本查询 $q$，首先通过 InternVideo2 文本编码器提取 $\mathbf{z}_q = f_{\mathrm{text}}(q)$，再对候选块 $c_i$ 采用 MaxSim 算子打分：

\[\mathrm{score}(c_i, q) = \max_{\mathbf{e}_t \in c_i} \cos(\mathbf{z}_q, \mathbf{e}_t).\]

MaxSim 避免了平均池化对短瞬关键子动作信号的稀释，若跨块相关度高则自动合并相邻高分块输出预测区间； - 长视频 VLM 帧选择：在固定帧预算限制下，设计了分块感知的最大边缘相关性算法（Chunk-aware MMR）。候选窗口 $i$ 的贪心选择评分为：

$$\mathrm{MMR}_{\mathrm{chunk}}(i) = \lambda \cos(\mathbf{e}_i, \mathbf{z}_q) - (1-\lambda) \left[ \max_{j \in \mathcal{A}} \cos(\mathbf{e}_i, \mathbf{e}_j) + \gamma \cdot [\![ g(i) \in \mathcal{R}_{\mathcal{A}} ]\!] \right].$$.

其中 $\mathcal{A}$ 为已入选窗口集合，$g(i)$ 为窗口 $i$ 所属的时序块，$\mathcal{R}_{\mathcal{A}}$ 表示已选窗口覆盖的块集合。该公式不仅在特征向量层面抑制视觉冗余，还通过指示函数惩罚重复在同一语义块内分配稀缺的帧预算，迫使 VLM 的观测视角覆盖视频全篇的独立语义事件。

实验关键数据¶

主实验¶

STITCH 在通用事件边界检测（Kinetics-GEBD、TAPOS）、文本时刻检索（ActivityNet Captions、QVHighlights）以及长视频 VLM 问答（MLVU、LongVideoBench、VideoMME）三大基准上进行了全面评测。在 VLM QA 任务中，以 LLaVA-OV 7B 为基座模型并在极度严苛的 8 帧预算下评估相比于均匀采样的精度增益 $\Delta$。

任务分类	评估数据集	评测指标	STITCH (本文, TF)	专门监督/无监督基线	性能差异 / 提升说明
事件边界检测	Kinetics-GEBD	Avg F1 (%)	83.9	84.5 (FlowGEBD, Unsup.) / 81.7 (PC, Sup.)	逼近无监督 SOTA，超越监督基线 PC (+2.2%)
事件边界检测	TAPOS	Avg F1 (%)	44.8	15.4 (BMN, ZS) / 62.3 (FlowGEBD, Unsup.)	大幅超越零样本基线 (+29.4%)，受限于精细程序性动作定义
文本时刻检索	ActivityNet Captions	R@[email protected] (%)	32.9	27.0 (TFVTG, TF) / 36.8 (SCDM, Sup.)	超越同类免训练 SOTA TFVTG (+5.9%)
文本时刻检索	QVHighlights	R@[email protected] (%)	64.6	53.9 (Moment-DETR, Sup.) / 62.7 (QD-DETR, Sup.)	超越部分全监督专属模型 Moment-DETR / QD-DETR
长视频 VLM QA	MLVU	Acc $\Delta$ (%)	+8.5	+7.7 (KFC, TF) / +7.1 (Frame-Voyager, Sup.)	超越当前最优免训练与监督选择器，达最佳增益
长视频 VLM QA	LongVideoBench	Acc $\Delta$ (%)	+2.8	+1.1 (KFC, TF) / +1.4 (BOLT, TF)	相比各免训练帧选择器保持领先提升
长视频 VLM QA	VideoMME	Acc $\Delta$ (%)	+3.0	+2.1 (KFC, TF) / +2.3 (BOLT, TF)	稳定优于 KFC 与 BOLT 均匀基线增益

消融实验¶

STITCH 针对变化点求解算法（标准核 CPD vs. PELT 线性剪枝 vs. 局部方差阈值 STD）以及单窗口采样帧数（4 帧 vs. 2 帧）在三大任务代表性指标上展开了消融分析。

模型配置	边界检测 (Kinetics Avg F1)	时刻检索 (QVH R@[email protected])	VLM QA (MLVU $\Delta$)	特点说明与计算权衡
STITCH (完整方案: Kernel CPD + 4帧)	83.9	64.6	+8.5	表现最稳健，全局轨迹解耦质量最高
STITCH-PELT (线性剪枝求解)	80.1	55.8	+7.7	牺牲部分非凸边界全局精度，换取线性计算时间
STITCH-STD (局部滑动相似度差值)	47.2	35.0	+7.1	依赖局部差值引发断点聚集，边界与检索大幅坍塌 (-36.7% / -29.6%)
STITCH-2F (窗口降采样至 2 帧)	83.5	63.4	+8.2	降低 50% 窗口编码开销，三大任务性能仅微弱下降 0.4%~1.2%

关键发现¶

全局变化点检测是时序抽象的基石：消融表明，若退化为朴素的局部相似度方差阈值（STITCH-STD），事件边界检测 Avg F1 骤降至 47.2%，时刻检索指标直接腰斩至 35.0%。这证明视频语义切分绝非简单的相邻帧相似度过滤，而高度依赖全局嵌入轨迹上的段内离散度联合优化。
低采样预算下的极端增益：在长视频 VLM 问答中，当帧预算由充足降至极度稀疏（例如 8 帧对应数十分钟视频）时，STITCH 相比均匀采样的相对增益最为显著（MLVU 上取得 +8.5% 的大幅跃升；在 Qwen3-VL-8B 上更取得 +11.54% 的增益）。这表明在上下文受限的严苛条件下，基于语义块的去冗余采样能够精准捕获长视频中稍纵即逝的核心证据。
计算瓶颈与轻量化可行性：STITCH-2F 仅使用 2 帧编码窗口，特征提取计算量减半，但在各个基准上指标衰减均在 1% 左右（Kinetics-GEBD 83.5 vs. 83.9，QVHighlights 63.4 vs. 64.6），展现了极高的高效部署潜力。

亮点与洞察¶

一次切块、多任务即插即用：该方法打破了时序任务必须针对特定损失微调的范式，首次证明冻结多模态大模型的表征轨迹自身已蕴含丰富的时序层次结构，只需一次特征提取与 CPD 切分，即可同时驱动定位、检索与推理。
跨语义块的显式多样性惩罚：在 VLM 帧选择中将 MMR 与 Chunk 归属约束结合（Chunk-aware MMR），机制极其清晰，以极其轻量的方式彻底解决了长视频问答中帧采样扎堆在单一高热度场景的顽疾。
无监督表现媲美监督专有模型：在完全不接触标注的前提下，STITCH 在 QVHighlights 上的检索准确度超越了经典的监督检测器 Moment-DETR 和 QD-DETR，为长视频多模态预处理管线提供了极具实用价值的轻量前端。

局限与展望¶

依赖单尺度切块先验：当前方法依赖固定的窗口步长与单层变化点检测，无法同时捕捉极细粒度动作步骤与宏观叙事篇章的层次化嵌套结构。
对精细程序性动作敏感度不足：在 TAPOS 细粒度奥运运动子动作切分中，STITCH 仅获得 44.8 F1，显著低于有监督模型（70%+），表明冻结的高层语义特征对低层运动动力学细节的捕捉仍存在局限。
流式长视频实时性约束：当前的核 CPD 依赖全视频轨迹的离线优化，未来可探索在线流式语义记忆更新与动态自适应层级分块机制。

评分¶

新颖性: ⭐⭐⭐⭐☆（重新审视并确立了冻结表征流与核变化点检测在跨任务时序抽象中的有效性）
实验充分度: ⭐⭐⭐⭐⭐（横跨事件检测、时刻检索、长视频问答三大完全不同机制的领域，覆盖十余个基准）
写作质量: ⭐⭐⭐⭐⭐（概念拆解清晰，逻辑自洽，数学表述与实验论证严谨）
价值: ⭐⭐⭐⭐⭐（为长视频理解、免训练多模态前端和高效 VLM 推理提供了高性价比的实用范式）