Swift Sampling: Selecting Temporal Surprises via Taylor Series¶

会议: NeurIPS 2026
arXiv: 2605.22678
论文: https://arxiv.org/abs/2605.22678 https://openreview.net/forum?id=ZACohTphcr
代码: https://github.com/DahyeKim-1/Swift-Sampling
领域: 其他
关键词: 视频理解, 关键帧采样, 泰勒展开, 预测编码, 视频大语言模型

一句话总结¶

受人脑预测编码启发，将视频潜特征建模为可微轨迹并利用泰勒级数预测外推，通过局部预测残差（时间惊奇）免训练筛选关键帧，以仅 1.02× 的极低推理开销在长视频问答与压缩任务上大幅超越均匀采样。

研究背景与动机¶

长视频理解面临极高的时间冗余度，海量相邻帧在视觉语义上变化平缓且高度可预测，而决定事件推理的关键信息往往仅集中于稀疏的关键动作转变或意外突发事件中。当前大多数主流视频大语言模型（Video-LLM）仍然沿用朴素的均匀采样策略，将整段视频在时间轴上等间距压缩为固定数量的帧。这种无视时间内容动态特性的静态截取机制，将高度平庸的冗余帧与承载关键转折的信息帧同等对待，在长达数十分钟且帧预算极其严苛的场景下，极易遗漏关键决策证据。

针对帧选取的优化方法目前主要存在计算冗余与超参敏感的双重瓶颈。基于训练的选择器需要针对特定 VLM 重构或额外微调下游网络，迁移代价昂贵；而现有的免训练方法（无论是依赖光流、余弦独特性还是基于文本查询的跨模态检索）通常需要调用额外的离线视觉编码器提取全部候选帧的表征，几乎使前向推理算力翻倍。此外，这些方法对相似度阈值或局部聚类窗口等视频级超参数高度敏感，面对复杂动态场景时泛化性能脆弱。

本文的切入视角借鉴了人类视觉皮层的预测编码（Predictive Coding）原理：人脑并非穷举感知每一瞬间的连续画面，而是自发构建对未来状态的前向预测引擎，计算感官输入与预测之间的残差，将有限的认知预算精准倾斜至预测偏差显著的“时间惊奇（Temporal Surprise）”时刻。核心 idea：将视觉潜空间中的视频帧序列视为局部光滑的可微轨迹，直接复用 VLM 视觉编码器浅层特征计算一至三阶时间导数并构建泰勒级数外推预测器，以预测误差（泰勒残差）的局部极大值作为时间惊奇度，免训练且免外置模型地高效提取最具信息量的关键帧。

方法详解¶

整体框架¶

Swift Sampling 旨在给定包含 $T$ 帧的长视频以及目标帧预算 $K \le T$ 的前提下，无需额外辅助神经网络、无需人工微调超参数即可筛选出信息密度最高的 $K$ 帧。其核心流程分为三个连续阶段： 1. 潜空间表征提取：在执行下游 Video-LLM 的前向传播时，直接截取其内置视觉编码器最初层（$\ell=0$）的自注意力 Key 投影矩阵，对空间网格执行全局均值池化，直接获取低开销、低噪声且连续光滑的时序潜特征向量序列 $\{f_t\}_{t=1}^T$。 2. 高阶泰勒时序预测与残差计算：将离散潜特征序列看作局部连续动力学轨迹，基于前序 $N+1$ 帧利用向后有限差分法估计潜特征的一阶速度、二阶加速度和三阶加加速度（Jerk），构造 $N$ 阶泰勒多项式外推当前帧预测值 $\hat{f}_t^{(N)}$。实际特征与预测外推之间的 $\ell_2$ 范数即表征“时间惊奇度”的泰勒残差 $r_t$。 3. 局部极大值过滤与预算截断：为了避免全局最大值排序导致所有抽样帧聚集在少数高剧烈运动的时间区间内，先在时序残差序列上识别所有局部极大值候选点集合 $\mathcal{P}$，再从中挑选前 $K$ 个残差最大的突变峰值帧输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入长视频序列<br/>T 帧候选池"] --> B["潜空间轨迹构建<br/>复用 VLM 浅层 Key 投影全局均值池化"]
    B --> C["高阶泰勒动力学预测<br/>有限差分拟合速度/加速度/加加速度外推"]
    C --> D["泰勒残差计算<br/>度量实际特征偏离光滑流形的惊奇度"]
    D --> E["时序局部极大值筛选<br/>跨上下文抑制突发聚集并按峰值截断 Top-K"]
    E --> F["输出精选关键帧序列<br/>送入下游 Video-LLM 问答/压缩推理"]

关键设计¶

1. 潜空间轨迹构建：直接复用目标模型浅层投影避免外置编码器开销

现有免训练抽样方法普遍依赖外部视觉主干网络（如 CLIP、SigLIP、DINOv2）先行对所有候选帧进行独立特征抽取，这使得整体推理延迟增加 50% 到 100%。Swift Sampling 发现，视觉主干浅层不仅能够捕获基础的低级运动变化，而且特征在时序上的演变更为平稳线性，避免了深层高阶语义过度抽象导致的动态细节抹平。方法直接在下游 Video-LLM（如 LLaVA-OneVision/LLaVA-Video）自身视觉编码器的第 0 层 Transformer（$\ell=0$）处截取注意力机制的 Key 变换向量 $W_k$，并对空间维度进行全局均值池化（Global Mean Pooling, $S=1$），获得每帧紧凑的潜表征 $f_t \in \mathbb{R}^d$。这一设计完全规避了额外视觉前向过程，仅为系统带来约 0.02× 的计算增量。

2. 泰勒动力学预测与惊奇残差：基于离散有限差分的高阶运动连续性建模

若视频帧属于常规匀速运动或静态背景，其潜表征应沿着时序参数曲线做局部的光滑演进。方法基于前序观测帧运用向后有限差分近似各阶高阶导数，第 $n$ 阶时间导数逼近形式为： $$x^{(n)}(t_0) \approx \frac{1}{\Delta t^n} \sum_{k=0}^n (-1)^k \binom{n}{k} x(t_0 - k\,\Delta t)$$ 在离散采样时间间隔 $\Delta t = 1$ 下，基于当前帧前序的 $N+1$ 帧，利用 $N$ 阶截断泰勒级数构造当前时间步的先验预测向量： $$\hat{f}_t^{(N)} = f_{t-1} + f_{t-1}^{(1)} + \frac{1}{2!} f_{t-1}^{(2)} + \dots + \frac{1}{N!} f_{t-1}^{(N)}$$ 进而定义时间惊奇度为实际观测与外推预测之间的欧氏距离（泰勒残差）： $$r_t = \|f_t - \hat{f}_t^{(N)}\|_2$$ 从信息论视角分析，假设时序创新项服从各向同性高斯分布 $f_t = \hat{f}_t^{(N)} + \epsilon_t, \epsilon_t \sim \mathcal{N}(\mathbf{0}, \sigma^2 I)$，则给定历史上下文时当前帧的香农自信息（Surprise）满足 $-\log p(f_t \mid f_1, \dots, f_{t-1}) = \frac{1}{2\sigma^2} r_t^2 + \text{const}$，即惊奇度随残差单调递增。残差微小代表内容平稳冗余，残差骤升则指示场景突变、新生主体出现或动作轨迹跃迁。

3. 时序局部极大值筛选：抑制连续运动聚集的多峰动态保留策略

由于泰勒残差的大小与视频局部的绝对运动速度密切相关，快节奏或剧烈运镜区间内的所有帧往往均具有较高的绝对残差，若直接对全局序列做 Top-$K$ 排序，会导致全部抽样槽位被局部剧烈运动片段霸占，使得慢节奏但语义关键的静态事件（如雪地中探出头部的海豹）被彻底忽略。为此，Swift Sampling 引入时序局部极大值机制，首先识别在时序邻域内形成峰值的候选索引集合： $$\mathcal{P} = \{i : r_i > r_{i-1} \text{ 且 } r_i > r_{i+1}\}$$ 该机制自适应于视频局部动态，每个峰值代表一个微观时间段内最不可预测的核心突变时刻。随后仅在候选集 $\mathcal{P}$ 中挑选残差最大的前 $K$ 个峰值点作为最终入选帧。若在高度静态视频中局部峰值数不足（$M < K$），则从非极值候选中补齐剩余槽位，兼顾了时序覆盖多样性与事件突出性。

损失函数 / 训练策略¶

Swift Sampling 为完全免训练（Training-free）与无监督的即插即用算法，无需任何参数更新、反向传播或目标函数优化。推理期仅需设置泰勒展开阶数（默认 $N=3$，兼顾速度、加速度与加加速度）以及目标帧预算 $K$。此外，该算法既可作为独立的 Query-agnostic 预处理器运行，也能与计算开销昂贵的 Query-aware 关键帧检索算法（如 AKS）级联组合，先将庞大的候选帧池（例如 256 或 128 帧）粗筛为中等规模，大幅降低跨模态文本-图像注意力检索的计算 FLOPs。

实验关键数据¶

主实验¶

论文在长视频问答三大权威基准 Video-MME、LongVideoBench (LVB) 以及 MLVU 上进行了全面评测，评估基座模型涵盖 LLaVA-OneVision (7B) 与 LLaVA-Video (7B)，基准候选池为 128 帧，目标采样帧预算为 $K=32$。

方法	相对 FLOPs	查询无关	帧选取策略	Video-MME 全局	LVB 全局	LVB (≥20m)	MLVU 全局	MLVU (≥30m)
LLaVA-OneVision + Uniform	1.00×	✓	128 → 32	58.3	55.3	47.5	64.7	50.0
+ Cosine Uniqueness	1.60×	✓	128 → 32	55.7	52.5	47.1	65.4	47.9
+ Frame Difference	1.00×	✓	128 → 32	56.4	53.5	49.3	64.6	45.8
+ Optical Flow (RAFT)	1.07×	✓	128 → 32	56.5	56.9	50.7	62.9	52.1
+ MaxInfo	1.79×	✓	128 → 32	58.9	57.8	50.8	66.5	51.1
+ Swift Sampling (Ours)	1.02×	✓	128 → 32	59.0	57.9	54.3	65.6	54.2
LLaVA-Video + Uniform	1.00×	✓	128 → 32	61.4	56.8	53.3	64.2	50.0
+ Cosine Uniqueness	1.60×	✓	128 → 32	57.9	56.5	52.5	66.5	50.0
+ Swift Sampling (Ours)	1.02×	✓	128 → 32	61.9	58.6	56.2	67.2	52.1

消融实验¶

论文在 LLaVA-OneVision 上深入分析了泰勒展开阶数 $N$、空间特征池化方式、特征截取层级以及极度受限帧预算 $K$ 下的性能表现。

配置分类	具体参数 / 设置	MLVU 准确率	Video-MME 准确率	LVB 准确率	备注说明
泰勒级数阶数	$N=1$（仅速度/一阶差分）	64.6	58.1	56.7	无法建模加速度曲率
泰勒级数阶数	$N=2$（速度 + 加速度）	64.9	58.7	56.6	局部拟合能力有所增强
泰勒级数阶数	$N=3$（速度+加速度+加加速度）	65.6	59.0	57.9	全面达到最优平衡点
泰勒级数阶数	$N=4$	65.7	58.0	57.2	高阶导数引入边际收益递减
空间聚合粒度	全局均值池化（$S=1$）	65.6	59.0	57.9	滤除局部纹理噪声与抖动
空间聚合粒度	$2 \times 2$ 分块网格（$S=2$）	64.7	57.7	56.6	分块计算平均残差
空间聚合粒度	$14 \times 14$ 全部 Token（$S=14$）	64.1	58.3	57.8	局部微小噪声干扰显著
视觉特征层级	第 0 层 Key 向量（$\ell=0$）	65.6	59.0	57.9	FLOPs 仅 1.02×，时序最平滑
视觉特征层级	第 2 层 Key 向量（$\ell=2$）	65.8	58.4	57.1	FLOPs 上升至 1.07×
极度预算 (MLVU ≥30m)	极度受限 $K=4$ (Uniform / Ours)	45.8 / 58.3	-	-	绝对增益高达 +12.5%
极度预算 (MLVU ≥30m)	极限受限 $K=2$ (Uniform / Ours)	43.8 / 54.2	-	-	绝对增益高达 +10.4%

关键发现¶

长视频与极度预算下优势倍增：视频时长越长、采样预算越苛刻，Swift Sampling 的优势越发显著。在 MLVU 超过 30 分钟的长视频子集且帧数仅保留 $K=4$ 时，较均匀采样大幅提升 +12.5%（45.8% 跃升至 58.3%）；在 LVB 超 20 分钟子集上较均匀采样提升 +6.8%（47.5% 跃升至 54.3%）。
浅层 Key 投影展现极高信噪比与极低开销：自注意力 Key 矩阵的第 0 层特征（$\ell=0$）比深层语义特征更加适合拟合时序微分曲线，既保留了精确运动动力学，又抑制了深层高度抽象语义带来的非线性跳跃，算力开销相比引入额外编码器的方案下降了近 30 倍。
高阶微分至 3 阶即达饱和：一阶差分（$N=1$）仅考虑相邻帧位移，极易受匀速常规动作欺骗；引入二阶加速度与三阶加加速度（$N=3$）能极其灵敏地刻画动力学突变；而 $N \ge 4$ 后由于离散有限差分的高阶累积误差以及时序噪声，增益基本饱和。

亮点与洞察¶

预测编码驱动的免训练算法设计：不依赖任何外加监督信号或复杂的聚类启发式，将时序帧抽样优雅地映射为可微流形上的高阶泰勒外推预测问题，以惊奇残差代替无监督相似度，数学逻辑简练且具有坚实的信息论解释。
极致的工业部署工程友好性：复用原生模型视觉编码器最前端的线性投影，直接在推理前向的第 0 层完成计算，额外 FLOPs 仅为 0.02×，无需维护庞大的辅助模型权重，为长视频大语言模型的部署提供了开箱即用的加速插件。
时序极大值对连续剧烈运动的抗聚集解耦：发现直接使用全局残差排序会导致关键帧集中于局部的“快动作轰炸区”，通过构建离散局域极值峰值集合，成功在长周期视频中实现了跨时间段的自适应事件覆盖。

局限与展望¶

作者承认的局限：当前 Swift Sampling 属于纯粹的查询无关（Query-agnostic）方法，仅依赖视觉动态惊奇度进行采样。在包含大量电影镜头剪辑切镜、片头片尾花字转场等视觉突变但与用户特定提问毫无关联的场景中，可能会误判并浪费宝贵的采样配额。
进一步观察到的潜在局限：在依赖全局连续时间感知与计数类任务中表现有所退化（如 Video-MME 上的 Temporal Perception 下降 3.6%，Counting 下降 2.2%）。这是由于计数与时间流速感知需要等间距的绝对时间锚点，而惊奇度抽样会压缩平稳运动区间，打破了均匀的时间流速。
后续改进方向：探索与轻量级文本-视觉交互引导机制的结合，使泰勒预测残差能够受下游问题提示词动态调制；同时可尝试将泰勒时间外推拓展至多模态音频流或视频潜变量扩散生成（Video DiT）推理加速领域。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将神经科学预测编码与高阶泰勒级数引入免训练长视频关键帧采样，视角极具启发性]
实验充分度: ⭐⭐⭐⭐⭐ [横跨三大权威长视频问答基准与 10 余项下游任务，消融实验深入且对比基线完备]
写作质量: ⭐⭐⭐⭐⭐ [数学建模严密，理论推导与工程设计结合紧密，图表对比清晰直观]
价值: ⭐⭐⭐⭐⭐ [极度轻量且无需训练，对 Video-LLM 处理小时级超长视频的吞吐与精度具有显著的实用赋能价值]

配置分类	具体参数 / 设置	MLVU 准确率	Video-MME 准确率	LVB 准确率	备注说明
泰勒级数阶数	\(N=1\)（仅速度/一阶差分）	64.6	58.1	56.7	无法建模加速度曲率
泰勒级数阶数	\(N=2\)（速度 + 加速度）	64.9	58.7	56.6	局部拟合能力有所增强
泰勒级数阶数	\(N=3\)（速度+加速度+加加速度）	65.6	59.0	57.9	全面达到最优平衡点
泰勒级数阶数	\(N=4\)	65.7	58.0	57.2	高阶导数引入边际收益递减
空间聚合粒度	全局均值池化（\(S=1\)）	65.6	59.0	57.9	滤除局部纹理噪声与抖动
空间聚合粒度	\(2 \times 2\) 分块网格（\(S=2\)）	64.7	57.7	56.6	分块计算平均残差
空间聚合粒度	\(14 \times 14\) 全部 Token（\(S=14\)）	64.1	58.3	57.8	局部微小噪声干扰显著
视觉特征层级	第 0 层 Key 向量（\(\ell=0\)）	65.6	59.0	57.9	FLOPs 仅 1.02×，时序最平滑
视觉特征层级	第 2 层 Key 向量（\(\ell=2\)）	65.8	58.4	57.1	FLOPs 上升至 1.07×
极度预算 (MLVU ≥30m)	极度受限 \(K=4\) (Uniform / Ours)	45.8 / 58.3	-	-	绝对增益高达 +12.5%
极度预算 (MLVU ≥30m)	极限受限 \(K=2\) (Uniform / Ours)	43.8 / 54.2	-	-	绝对增益高达 +10.4%