EventSTU: Event-Guided Efficient Spatio-Temporal Understanding for Video-LLMs¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://wh-xu1.github.io/EventSTU.github.io
领域: 视频理解
关键词: 事件相机 / 视频大语言模型 / 时空理解 / Token剪枝 / 关键帧采样

一句话总结¶

针对长视频大语言模型计算开销大、视觉冗余高的问题，EventSTU 提出了一种无需训练的生物启发事件引导框架，结合事件累积粗细双阶时域采样与物理显著性-语义注意力空域剪枝，在降低 66.7% 计算量的前提下反超原始模型性能。

研究背景与动机¶

长视频大语言模型在多模态理解、时序定位与复杂推理中展现出强劲能力，但长视频带来的海量视频帧会衍生出数以万计的视觉 Token。由于 Transformer 自注意力机制的计算与内存复杂度随序列长度呈二次方增长，处理这些过长序列不仅导致灾难性的推理计算与显存开销，在极端情况下还会直接超出语言模型的最大上下文容量导致失效。与此同时，现实视频中充斥着静止背景、平缓镜头移动或与用户提问完全无关的冗余片段，大量无信息量的视觉 Token 会严重分散模型的注意力分配，诱发幻觉并阻碍有效推理。

面对这一挑战，现有时空压缩方案面临严苛的效率-性能权衡瓶颈。在时域维度，传统的均匀降采样往往遗漏突发或高动态的关键视觉线索，而基于辅助大模型打分或生成描述的关键帧采样方案（如 VideoAgent、BOLT、AKS）依赖高开销的预处理，使前置计算负担剧增，整体 FLOPs 反而上升数倍。在空域维度，模型内部剪枝（如 FastV、DyCoKe）必须在若干 Transformer 层之后才能介入，无法削减早期的庞大计算；而模型外部基于聚类或成对相似度的剪枝方案（如 LLaVA-PruMerge、VisionZip）自身具有二次方复杂度，带来了严重的预填充延迟。

生物视觉系统天然具有极高的计算能效，其神经机制优先响应外界动态变化与运动线索，以极少的神经资源捕捉环境中最重要的信息。模拟生物视网膜机制的事件相机仅在像素级亮度发生变化时异步输出事件流，天生具备信息增量触发与极高动态显著性的物理先验。本文切入角度在于：利用事件相机的变化触发特性去除视频时域冗余，同时将事件密度作为零额外计算开销的物理先验引导空域 Token 剪枝，并利用轻量帧差模拟拓展至常规视频。本文的核心 idea 是构建无需训练的事件引导时空理解框架 EventSTU，时域通过事件累积自适应采样与问题分桶检索关键帧，空域结合事件物理显著性与注意力复用双重准则，并基于问题相关性自适应分配各帧 Token 预算。

方法详解¶

整体框架¶

EventSTU 接收 RGB 视频序列及对应的事件序列（由物理事件相机采集或通过相邻帧差轻量模拟得到），通过无缝衔接的时空双阶段处理，将海量未处理视频帧压缩为高度紧凑且信息密集的多模态视觉表征，直接送入预训练冻结的视频大语言模型进行高效推理。

整个处理管线由两大模块串联协同：首先是时域上的粗细双阶采样（C2FS），首先利用事件累积阈值触发过滤大量时序静态与平缓冗余帧，再利用文本-图像匹配度配合均匀时间分桶，抽取出兼顾全局上下文与问题相关性的关键帧；其次是空域上的零代价自适应剪枝（ZAP），在视觉编码器输出端，先依据局部 Patch 内的事件密度过滤大面积无信息背景（物理感知），再复用编码器最后一层全局注意力挑选出非显著但语义关键的细粒度 Token（语义感知），同时根据 C2FS 输出的问题相关度动态调节每一帧的 Token 留存预算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频帧序列 + 事件序列<br/>(真实物理事件流或轻量帧差模拟)"] --> B["时域粗细双阶采样 C2FS<br/>事件累积阈值粗筛 + 跨时段问题分桶细筛"]
    B --> C["时序紧凑关键帧集合<br/>(保留高动态变化与问答相关帧)"]
    C --> D["视觉编码器特征提取<br/>(ViT 前向传播并提取末层自注意力)"]
    D --> E["空域零代价自适应剪枝 ZAP<br/>物理显著性初筛 + 语义注意力复用补充"]
    B -.->|"问答匹配度分值 st"| F["跨帧自适应预算分配<br/>动态确定各帧保留比例与物理/语义配比"]
    F --> E
    E --> G["紧凑高质量视觉 Token<br/>+ 文本 Prompt Token"]
    G --> H["大语言模型 LLM 推理<br/>生成精准问答答案"]

关键设计¶

1. 时域粗细双阶采样（C2FS）：基于事件累积与问题相关分桶的关键帧筛选

该设计针对现有均匀采样易漏关键帧、以及大模型辅助采样预处理计算极其高昂的痛点。C2FS 将关键帧提取分解为时序冗余消除与问题相关性检索两个层级：在粗粒度阶段，利用事件信号对像素亮度变化的触发特性，将相邻帧间事件计数作为信息增量的直接度量。系统在时序上持续累积各帧事件密度，一旦累积变化量超过自适应全局阈值 $\tau$，便触发采样一个候选关键帧，随后清空累积计数器；中间平缓或静态的冗余帧被直接丢弃。为自适应匹配不同动作强度与节奏的视频，阈值 $\tau$ 由全局事件总数与预设粗采样率 $S$ 动态计算： $$\tau = \frac{\sum_{t=1}^{M-1} e_t}{\lceil (M-1)S \rceil}$$ 其中 $M$ 为视频总帧数，$e_t$ 为连续帧之间的事件总数。该设计成功将长视频帧数从 $M$ 压缩至非冗余集合 $M_c$。在细粒度阶段，为保证抽取的关键帧服务于具体问答，利用轻量视觉-文本双塔（如 CLIP/BLIP）计算候选帧与提问文本的余弦相似度。为了避免贪婪选取 Top-K 导致帧全部扎堆在某一瞬时狭窄窗口、丧失全局时序语境，C2FS 引入了时序分桶策略：将粗筛后的候选帧在时间轴上均匀划分为 $B$ 个连续桶区间，从每个桶中独立选出与问题相似度最高的帧，最终保留 $M_f$ 帧（$M_f \ll M_c \ll M$），实现了语义高度对齐与全局时序跨度的双重平衡。

2. 空域零代价自适应剪枝（ZAP）：物理显著性先验与语义注意力复用

该设计针对现有外部剪枝计算相似度带来二次方开销、以及内部剪枝无法减少早期层开销的缺陷。ZAP 模拟人类视觉从低级物理感知到高级语义聚焦的认知分流过程，在视觉编码器之后、LLM 输入之前执行双阶段无参数剪枝：第一阶段为物理感知选择（Physics-Aware Selection）。事件在空域上的空间分布展现出高度的自发显著性：天空、路面、静止墙面等占据巨大面积的区域几乎不激发事件，而运动前景和交互主体则聚集大量事件。ZAP 将事件帧划分为与 RGB 视觉 Patch 空间位置 1:1 对应的非重叠网格，统计各 Patch 内的事件点数量作为重要性得分，直接保留得分最高的比例 $R_p\%$ 的 Token。该步骤完全基于纯事件计数，计算开销仅占整体模型的 0.00027%，几乎为零代价。第二阶段为语义感知选择（Semantic-Aware Selection）。纯粹基于物理运动显著性可能漏掉静态却具备关键语义的线索（如静止的路标、文字或背景中的静止目标）。为了弥补这一漏洞，ZAP 在不增加额外参数或额外前向传播的前提下，直接复用视觉编码器最后一层输出的注意力矩阵。通过在 Query 维度对注意力矩阵求均值，获得每个 Token 的全局语义重要性评分，并在未被物理显著性命中的剩余 Token 中，挑选评分最高的 $R_s\%$ Token。两者互补融合，既保留了强动态的前景交互，又兜底了静态核心语义。

3. 跨帧自适应预算分配与轻量事件模拟：全时空统一协同

传统的 Token 剪枝通常对所有选定帧施加相同的固定保留比例，割裂了帧级别的重要性差异。EventSTU 引入了跨时空的全局预算分配机制，直接将时域 C2FS 得到的图像-文本相似度得分 $s^t$ 转化为各帧的空域保留预算。令 $M_f$ 为精细采样的关键帧数，$N$ 为单帧初始 Token 数，$R$ 为全局预期的平均保留比例，$B$ 为防止信息完全丢失的基础保留比例（默认设为 5%）。可供灵活分配的总 Token 预算为 $N_{\text{alloc}} = M_f \cdot N \cdot (R - B)$。对于关键帧 $F_t$，其最终自适应保留比例 $R^t$ 定义为： $$R^t = \min\left( \frac{N_{\text{alloc}} s^t + BN}{N}, 1 \right)$$ 其中 $s^t$ 经 Softmax 归一化。若计算出的 $R^t \ge 1$，则该帧保留全部 Token，超出部分的预算返还并重新分配给其他帧。在此基础上，物理感知保留率 $R_p^t$ 与语义感知保留率 $R_s^t$ 根据总保留率动态联动：若 $R^t \le R_p$，则全额由物理感知分配；若 $R^t > R_p$，则物理感知占满 $R_p$，剩余比例经重新归一化后分配给语义感知： $$R_s^t = \frac{R^t - R_p}{1 - R_p}$$ 针对没有物理事件传感器的通用视频，EventSTU 采用轻量对数帧差模拟技术，对相邻 RGB 帧执行逆伽马变换 $\gamma^{-1}$ 后计算对数光强差 $\Delta L_{t, t-1} = \log(\gamma^{-1}(F_t)) - \log(\gamma^{-1}(F_{t-1}))$，并按极性阈值量化生成事件图。该方法避免了微秒级高帧率光流插值的沉重开销，全流程仅需约 1.52 ms，使常规视频能够直接享受事件驱动的时空剪枝红利。

一个完整示例¶

以一段无人机巡检长视频中回答“黑色汽车在弯道处是否有违章变道”为例： 1. 时域粗筛：原视频共 2000 帧，直道匀速滑行阶段亮度变化缓慢，事件累积迟迟未达阈值；而在无人机转弯或车辆变道区域，事件激增频繁触达阈值 $\tau$。C2FS 将 2000 帧迅速粗筛至 500 帧候选集。 2. 时域细选：将 500 帧划分为 32 个时序均匀分桶，计算各帧与文本“黑色汽车违章变道”的匹配度，从每个桶各提取 1 帧，最终输出 32 帧关键帧。 3. 自适应预算分配：包含黑色汽车变道动作的连续 3 帧获得了极高的语义匹配分 $s^t$，自适应分配到 85% 的 Token 保留率；而仅包含道路背景的巡航帧仅分配到 15% 的保留率。 4. 空域双感知筛选：在变道关键帧中，车身移动区域事件极其密集，物理显著性精准截取了车辆及邻近车道线（约 60% Token）；随后语义注意力复用机制进一步挑出了静止的悬空指路标志（约 25% Token）；草坪与天空背景被完全剔除。32 帧经此处理仅产生极紧凑的视觉 Token 序列，大语言模型瞬间完成预填充并精准输出判断。

损失函数 / 训练策略¶

EventSTU 为完全无需训练（Training-Free）的即插即用框架，不修改也不微调视觉编码器与大语言模型的任何预训练权重。在超参数设置上，实验在 8 张 NVIDIA RTX 3090 GPU 上进行，默认粗采样率 $S = 25\%$，精细采样目标帧数 $M_f = 32$。LLaVA-OneVision-7B 采用每帧 $N=196$ Token，Qwen3-VL 采用动态分辨率（最高 $640 \times 28 \times 28$）。针对纯静态无运动演示视频（如幻灯片录屏），在事件模拟时加入了轻量扰动机制（Shake Trick），确保无动态场景下注意力与分桶机制依然正常生效。

实验关键数据¶

主实验¶

论文在自行构建的真实物理事件基准 EventBench（EB，500 道专家设计选择题，8 种细分任务）以及三个主流常规视频基准（Video-MME、LongVideoBench、MLVU，使用轻量模拟事件）上进行了系统评测。

在 LLaVA-OneVision-7B 上的主要对比结果如下表所示：

方法	保留比例	FLOPs (T) ↓	FLOPs 相对比 ↓	EventBench ↑	Video-MME ↑	LongVideoBench ↑	MLVU ↑	平均得分 ↑
LLaVA-OV-7B (基线)	100%	41.71	100%	52.50	58.48	56.40	64.81	58.05
仅关键帧采样
BOLT	100%	170.6	409%	-	59.90	59.60	66.80	-
AKS	100%	170.6	409%	54.09	60.44	60.28	69.41	61.06
C2FS (本文)	100%	79.34	190%	55.09	60.96	60.43	69.87	61.59
仅 Token 剪枝
FastV	50%	21.61	51.8%	50.90	57.74	56.10	63.98	57.18
LLaVA-PruMerge	50%	19.24	46.1%	51.90	58.04	55.95	64.63	57.63
DyCoKe	50%	24.45	58.6%	52.50	59.04	55.80	64.54	57.97
FastVID	50%	19.21	46.1%	52.69	58.33	56.55	64.49	58.02
HoliTom	50%	19.21	46.1%	52.69	58.52	56.62	65.87	58.43
ZAP (本文)	50%	19.20	46.0%	54.09	59.15	57.37	65.69	59.07
采样 + 剪枝联合设置
AKS + FastV	50%	150.5	361%	53.49	60.22	60.28	69.27	60.82
AKS + HoliTom	50%	148.1	355%	54.29	60.78	59.99	70.06	61.28
EventSTU (本文)	50%	56.83	136%	55.09	60.70	61.11	70.98	61.97
AKS + FastV	30%	143.4	344%	51.10	58.89	58.56	69.41	59.49
AKS + HoliTom	30%	140.2	336%	51.90	60.78	59.01	70.84	60.63
EventSTU (本文)	30%	48.93	117%	54.49	61.07	60.73	71.16	61.86

在更高输入分辨率的 Qwen3-VL-8B 上，EventSTU 同样表现出优异的压缩与加速效果： - Qwen3-VL 原模型基线：FLOPs 为 169.1T (100%)，平均分为 66.60。 - EventSTU (50% 留存率)：FLOPs 降至 104.4T (62%)，平均分跃升至 69.77 (+3.17)。 - EventSTU (30% 留存率)：FLOPs 进一步降至 73.64T (仅原模型的 44%)，平均分依然维持在 69.29 (+2.69)。

消融实验¶

1. 粗细采样算法策略消融（在 EventBench 与 LongVideoBench 上验证）：

阶段	采样策略	策略说明	EventBench ↑	LongVideoBench ↑
粗采样	UNI	均匀间隔粗采样	53.09	59.54
粗采样	TOP	挑选瞬时事件密度最高的帧	54.09	58.94
粗采样	ACC (本文)	事件密度累积自适应阈值触发	55.09	60.43
细采样	TOP	全局贪婪选与问题相似度最高的帧	53.89	60.21
细采样	BIN (本文)	跨时段均匀分桶内部最佳匹配	55.09	60.43

2. ZAP 内部核心组件消融：

配置	语义感知 (Sem.)	物理感知 (Phy.)	自适应预算 (Ada.)	EventBench ↑	LongVideoBench ↑	说明
仅语义感知	✓	×	×	52.10	58.12	仅利用注意力度量语义
仅物理感知	×	✓	×	53.29	58.64	仅利用事件密度初筛
物理 + 语义固定比例	✓	✓	×	54.09	59.54	双重结合，各帧固定比例
完整 ZAP	✓	✓	✓	55.09	61.11	跨帧自适应分配，平均提升 1.28 点

关键发现¶

打破性能-效率二元对立：当将 Token 留存率压缩至 30% 时，EventSTU 在 LLaVA-OneVision 上的平均准确率不降反升，较原模型基线提升了整整 3.81 个百分点。这证明长视频中存在的大量非关键背景与无关帧实际上充当了干扰噪声，适度的事件引导剪枝能有效提升多模态特征的信噪比。
首字生成延迟（TTFT）大幅优化：在延迟分析中，现有竞争方案如 PruMerge 和 HoliTom 因需计算 Token 两两相似度，增加了大量预处理时间；而 ZAP 利用零计算代价的事件密度与既有的注意力矩阵，额外前置开销仅为 1.24 ms，使首字生成延迟相较原始模型直接下降 66.2%。
泛化能力卓越：无需任何参数微调，EventSTU 在 LLaVA-Video-7B（+2.79）、Qwen2.5-VL-7B（+3.39）、InternVL3.5-8B（+3.39）等主流模型上平均取得 3.19 点的一致提升。

亮点与洞察¶

生物启发与物理先验结合：巧妙地将事件相机的物理机制（异步亮度差触发）抽象为通用的时空信息增量指标，以几乎为零的计算代价（0.00027%）替代了以往昂贵的成对距离度量与大模型前置打分。
解耦冗余消除与语义对齐：时域 C2FS 先利用物理变化做通用冗余帧过滤，再利用问题嵌入进行跨时段分桶检索；空域 ZAP 先用物理事件密度大面积切除静态背景，再用注意力矩阵复原关键细节，层层递进、逻辑自洽。
真实与模拟双轨贯通：既构建了首个成对实拍多模态事件基准 EventBench 树立评估标准，又证明了简单高效的帧差对数能够胜任常规视频的事件模拟，摆脱了对专用传感器的强依赖。

局限与展望¶

极端低照度与高速晃动退化：在极端全黑环境或相机自身极剧烈不受控震颤下，事件信号会充满传感器热噪声或全画面大面积触发，可能导致物理显著性筛选失效。
轻量模拟对平缓微小动作的敏感度有限：由于常规视频帧率较低且压缩编码存在伪影，基于帧差对数的模拟事件无法捕捉亚像素级或微秒级的高频微弱变化。
未来方向：探索端到端的事件-视觉神经自适应融合模块，以及在具身机器人和自主导航中结合事件相机低时延特性的实时流式推理系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将事件相机机理同时引入时域采样与空域剪枝，立意新颖且兼具通用扩展性]
实验充分度: ⭐⭐⭐⭐⭐ [自建包含 500 个专家标注样本的真实基准 EventBench，并横跨 4 个权威基准与 5 种主流 Video-LLM]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，方法设计严谨自洽，公式与图表清晰详实]
价值: ⭐⭐⭐⭐⭐ [有效打破长视频大模型计算瓶颈，免训练即插即用，具有极高学术与工业落地价值]