EventPrune: Cascaded Event-Assisted Token Pruning for Efficient First-Person Dynamic Spatial Reasoning¶

会议: NeurIPS 2026
arXiv: 2605.19506
OpenReview: https://openreview.net/forum?id=XyYCbuAP7m
领域: 多模态推理
关键词: 空间推理、事件相机、视觉Token剪枝、第一人称视频理解、边缘注意力汇聚

一句话总结¶

针对第一人称动态空间推理中视频多模态大模型高分辨率Token二次方注意力开销巨大的难题，提出首个免训练事件辅助级联剪枝框架ECP，结合时域事件因果采样、空域运动显著性过滤与层级秩对齐融合，在减少80%视觉Token的同时超越全量Baseline并实现1.89倍推理加速。

研究背景与动机¶

第一人称动态空间推理是具身导航、四足机器人感知以及无人机巡航等场景的核心基石。随着Qwen2.5-VL、LLaVA-OneVision等长上下文视频大语言模型（Video-LLMs）的发展，模型被广泛应用于连续动作规划、相对距离判断与地标定位。然而，以自身视角运动为主导的具身任务伴随着剧烈晃动、高速位移以及复杂的几何拓扑变化。为了捕获这些细粒度线索，Video-LLMs必须输入密集的多帧高分辨率图像，而Transformer架构在多模态视觉序列上的二次方计算复杂度，使得推理延迟急剧飙升，极大地制约了其在严苛延迟限制下的实时落地。

为了缓解视觉Token爆炸，现有的免训练Token剪枝方法通常沿帧间（Inter-frame）与帧内（Intra-frame）两条路径展开，但在高动态第一人称场景下表现脆弱。在帧间维度，诸如DTD等差分方法仅依赖静态RGB帧的像素差分或特征相似度对比，计算匹配本身引入显著延迟，且难以捕获连贯的瞬态运动轨迹与速度变化；在帧内维度，基于注意力权重的FastV、PyramidDrop或多样性聚类方法，往往会破坏精细结构。更关键的是，作者通过对28层Transformer跨2万余帧的深入统计，发现视觉注意力机制存在严重的“边缘汇聚”（Peripheral Sink）现象：模型的注意力过度堆叠在画面四周边界与角落，导致中心重要语义区域被盲目剔除，而多样性聚类又极易切碎局部物体的连续轮廓与拓扑边缘。

事件相机（Dynamic Vision Sensor）作为一种仿生传感器，能够以微秒级时间分辨率异步记录单个像素的对数亮度突变，天然兼具高时间连续性与极强的几何边缘敏感度。然而，事件信号在表征上是异步非网格化的稀疏数据流，与Video-LLM内部规则对齐的离散网格特征存在巨大的模态表征鸿沟。核心 idea：将高频事件流作为免训练的物理运动与几何先验，构建时间帧因果锚定、空间运动显著过滤与注意力层级秩对齐融合的三级级联剪枝机制（ECP），校准并净化下游KV缓存中的边缘注意力伪影。

方法详解¶

整体框架¶

Event Cascade Pruning（ECP）是一个全流程免训练（Training-free）的事件辅助级联剪枝框架，无需微调模型权重或引入额外的神经事件编码器。整个流程串联了时域、空域以及表征注意力层三个粒度的降噪与压缩，旨在将事件相机的高频连续运动与边界先验无缝注入到预训练Video-LLM（如Qwen2.5-VL-7B-Instruct）的推理计算图中。

输入系统包含两路对齐的时序信号：连续的多帧RGB视频序列，以及硬件物理对齐（或离线事件仿真）的异步事件流 $\mathcal{E}$。首先在时域上，事件触发因果采样（ETCS）根据事件窗口内的活跃通量与跳变差分，锚定最具动态突变性的关键帧并滤除静态冗余时段；随后在空域上，事件引导运动显著性过滤（EMSF）将所选关键帧附近的事件活跃度映射为Token网格显著图，直接剪除大范围完全静止的视觉背景；最后，事件-注意力秩对齐融合（EARF）针对Video-LLM特定层中暴露出的边缘注意力汇聚偏差，利用非参数化秩变换将文本查询引导的注意力得分与事件显著度映射到统一尺度进行加权校准，抑制无事件支撑的边界冗余Token，实现全局KV缓存净化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 连续RGB视频序列 + 异步事件流 $\mathcal{E}$"] --> B["事件触发因果采样<br/>计算时窗活跃通量与变化率差分"]
    B --> C["关键帧锚定与冗余时段滤除"]
    C --> D["事件引导运动显著性过滤<br/>Token网格空间对齐与事件累积归一化"]
    D --> E["粗粒度Token空间初筛<br/>预先剔除静止背景候选"]
    E --> F["事件-注意力秩对齐融合<br/>层级非参数化秩投影与边缘汇聚偏差校准"]
    F --> G[" purified KV-Cache 与自回归空间推理生成"]

关键设计¶

1. 事件触发因果采样：兼顾动态突变与时域覆盖的关键帧锚定

面对高动态第一人称移动，均匀时序下采样容易错过瞬时转弯或急促运动，而RGB光流或特征匹配则计算沉重。ETCS直接在无参数的事件域中建立双指标因果评估。首先将持续时间切分为固定时窗 $W_n = [n\Delta t, (n+1)\Delta t)$，经过时空密度滤波去噪后累加事件数，得到时窗事件活跃通量 $S_n$。

为精准捕捉场景几何跳变与动作转折点，ETCS同时计算相邻时窗的活跃度绝对差分： $$ \Delta S_n = |S_n - S_{n-1}|, \quad n \ge 1 $$ 其中较大的 $S_n$ 代表场景内剧烈的绝对运动，而显著的 $\Delta S_n$ 则标志着动作发起的临界因果变化。给定目标帧数预算 $N_{\text{target}}$，ETCS联合选取高活跃度 $S_n$ 与极值跳变 $\Delta S_n$ 窗口，并在时间轴上剔除过密聚集的低动态候选，填补大范围时域空洞，最终映射至最近的RGB物理帧。由于全部在滤波事件计数上运行，该机制几乎零延迟即可实现高质量的自适应时序锚定。

2. 事件引导运动显著性过滤：无特征匹配的低运动Token早期抑制

在选定关键帧 $f$ 后，单帧网格内依然存在大量静态或无效的背景Token，直接参与前向自注意力会造成 $O(N^2)$ 的冗余开销。EMSF将每个关键帧对应的时间窗口 $\mathcal{W}_f = [a_f, a_f + \Delta t)$ 内的滤波事件流 $\tilde{\mathcal{E}}$，按像素坐标投影到各个视觉Token $i$ 所覆盖的感受野物理区域 $\Omega_i^{(f)}$ 内。

对落入区域的事件进行非负空间积分，得到Token级离散事件频次 $C_i^{(f)}$，并通过帧内极值归一化构造运动显著性得分： $$ C_i^{(f)} = \sum_{e_k \in \tilde{\mathcal{E}}} \mathbb{I}\left[(x_k, y_k) \in \Omega_i^{(f)}, t_k \in \mathcal{W}_f\right], \quad M_i^{(f)} = \mathcal{N}_f\left(C_i^{(f)}\right) $$ 给定空间保留率 $\rho$，EMSF仅保留运动显著性前 $K = \lfloor \rho N \rfloor$ 个视觉Token。这一早期粗筛直接将后续注意力计算量从 $O(N^2)$ 缩减至 $O(K^2) = O(\rho^2 N^2)$，在不引入可学习参数的前提下切断了静止背景对空间注意力的分散。

3. 事件-注意力秩对齐融合：消除边缘汇聚偏差的KV缓存净化

当经过EMSF筛选的候选Token进入深层注意力计算时，作者在实证中发现Video-LLM存在顽固的“边缘汇聚”（Peripheral Sink）现象：跨28个Transformer层、超2万帧图像的统计显示，视觉注意力在画面四角和边界处过度放大，边缘对中心注意力比值全层显著大于1，并在中层达到惊人的5.64倍。如果单纯依据文本查询注意力剪枝，模型会大量保留图像边界的无意义Token，反倒删除了真正承载空间动态与几何实体的中心区域。

为解决两种模态数值尺度差异大、均呈现严重长尾分布而难以直接相加的问题，EARF将前一层多头平均的后Softmax文本引导注意力得分 $A_i^{(l,f)}$ 与事件显著度 $M_i^{(f)}$ 分别投影至当前帧活跃Token集合的单调非参数化秩空间中： $$ R_{\mathcal{V}^{(l,f)}}(\phi, i) = \frac{\operatorname{rank}{\mathcal{V}^{(l,f)}}(\phi_i)}{\max(|\mathcal{V}^{(l,f)}| - 1, 1)}, \quad \phi \in {A^{(l,f)}, M^{(f)}} $$ 并在指定干预层 $\mathcal{L}_p$ 按照由浅至深的层级信噪比动态权重 $\gamma_l$ 进行线性秩校准： $$ S, i) $$ 通过该校准机制，那些仅仅因位置偏置导致注意力畸高、但缺乏物理事件运动支撑的边缘Token（}}^{(l,f,i)} = (1 - \gamma_l) R_{\mathcal{V}^{(l,f)}}(A^{(l,f)}, i) + \gamma_l R_{\mathcal{V}^{(l,f)}}(M^{(f)$R(A) \approx 1, R(M) \approx 0$）得分被压制至约 $1-\gamma_l$；而兼具语义与运动边界的真实物体Token则稳定保留。被剪除Token的Key与Value直接从下游活跃序列中剔除，彻底避免了边缘噪声在自回归阶段持续污染全局KV缓存。

损失函数 / 训练策略¶

ECP全流程为完全免训练（Training-free）机制，无需对模型进行任何参数微调、梯度反向传播或提示词微调。在具体推断执行策略上： 1. 干预层设置：根据实测的各层偏差一致性指标 Cohen's $d$，选择在注意力边缘偏置急剧攀升的浅层与中层阶段设立剪枝层 $\mathcal{L}_p$，在误差沿残差连接扩散前尽早纠偏； 2. 动态融合权重：浅层注意力受边缘汇聚影响最重且统计一致性最高（Cohen's $d=1.97$），设置较高事件权重（如 $\gamma=0.8$）；随着网络加深至深层语义抽象阶段，注意力逐渐收敛至具体语义概念（$d=1.04$），逐步退火减小 $\gamma$（如衰减至 $0.5$），从而在物理运动边界矫正与高阶语言-视觉语义对齐之间取得最佳平衡。

实验关键数据¶

主实验¶

实验基于Qwen2.5-VL-7B-Instruct架构，在包括室内具身基准VSI-Bench（13项第一人称感知、认知与规划任务）以及真实硬件采集的双模态基准ESR-Real上开展了严谨评测。下表对比了在不同Token保留比例下的多模态推理准确率（Avg.Acc包含所有任务综合均值）：

方法	Token保留率	VSI/Urban综合均值 (%)	起止位置判定 SE.Pos (%)	相对距离 Rel.Dis (%)	关联推理 Ass.Reason (%)	ESR-Real实测均值 (%)
Original (全量Token)	100%	36.31	55.10	44.51	16.90	51.90
DTD (帧间差分)	70%	36.36	55.10	42.63	15.96	51.20
FastV (注意力剪枝)	70%	36.28	57.14	44.51	16.90	51.48
PyramidDrop (金字塔)	70%	36.73	53.06	44.83	15.96	51.20
ECP (本文方法)	70%	37.78	59.18	49.22	17.37	52.89
DTD	50%	36.55	59.18	42.01	17.37	49.51
FastV	50%	35.67	51.02	42.32	17.37	48.94
DivPrune (多样性)	50%	36.77	48.98	44.51	18.31	50.21
DEP (纯事件剪枝)	50%	33.28	38.80	38.20	15.00	41.50
ECP (本文方法)	50%	38.16	59.18	50.47	18.78	54.58
DTD	20%	35.37	51.02	39.50	16.43	46.40
FastV	20%	32.64	28.57	33.23	14.55	39.77
PyramidDrop	20%	33.12	26.53	33.86	15.96	39.49
DivPrune	20%	34.40	32.65	36.36	16.90	45.56
DEP (纯事件剪枝)	20%	29.95	22.40	36.10	12.20	40.20
ECP (本文方法)	20%	37.62	55.10	44.20	20.19	50.07

在计算开销与运行效率方面（UrbanVideo-Bench，20%保留率）：

剪枝方法	保留比例	单样本推理耗时 (s)	计算量 GFLOPs $\downarrow$	显存峰值 Mem (MB)
Full Tokens (基线)	100%	2.10	294.6	18848
DTD	20%	1.80	185.9	16880
FastV	20%	1.16	173.9	17068
DivPrune	20%	1.25	187.1	17169
ECP (本文方法)	20%	1.11	141.9	16637

消融实验¶

针对ECP各核心模块组合的有效性消融（跨压缩率综合测试）：

配置组合 (ETCS / EMSF / EARF)	推理延迟 (s)	综合准确率 (%)	变动说明
Baseline (未剪枝)	2.08	36.31	完整全量Token基线
仅启用 ETCS	1.58	36.52	时序因果采样大幅节省时间，微幅提点 (+0.21%)
仅启用 EMSF	1.83	37.22	空域背景粗剪，有效滤除静止干扰 (+0.91%)
仅启用 EARF	1.53	37.15	秩校准有效净化注意力伪影 (+0.84%)
ETCS + EMSF	1.47	37.51	时空联合过滤，提升明显
ETCS + EARF	1.17	37.75	延迟逼近极限，精度保持强劲
EMSF + EARF (无时序锚定)	1.59	37.00	缺乏事件时域对齐时，空域与表征融合收益受限
完整 ECP (ETCS+EMSF+EARF)	1.16	37.85	最佳时空协同效果，综合精度最高且加速1.79倍

层级权重分配策略消融（20%保留率下）： - 全纯事件 ($\gamma=1.0$)：准确率达到37.36%，相较纯注意力Baseline（34.18%）暴涨3.18%，但因完全丢失高阶文本语义导向，稍低于联合融合； - 递减策略 Decay (0.8 $\to$ 0.5 $\to$ 0.3)：准确率为37.04%，显著优于反向递增策略 Growth (35.99%)； - 偏差导向调度 (0.8, 0.6, 0.5)：实现最优精度 37.62%，验证了在边缘偏置最强烈的浅层加大校准力度的科学性。

关键发现¶

80%极端稀疏度下的反超机制：在20%极低Token保留率下，纯RGB注意力剪枝（FastV、PyramidDrop）准确率发生雪崩式下滑（跌破33%），这是因为有限的Token预算全被四周边角位置偏置占领，核心目标被严重切碎；而ECP依靠微秒级事件流精确定位移动主体边界，反而以 37.62% 超越未剪枝全量基线（36.31%）。
纯事件剪枝并非解药（DEP的陷阱）：仅使用事件密度进行空间选点的DEP方法在20%保留率下仅获得29.95%的准确率。这证明事件信号不能直接替代语义理解，必须通过非参数化秩变换与Video-LLM深层注意力进行共形校准，才能发挥先验效能。
物理硬件端对端验证：在搭载Prophesee EVK4 HD事件相机与全局快门工业相机的全新ESR-Real数据集上，ECP在50%保留率下取得 54.58%，超越全量基线达2.68个百分点，证实了该技术在真实微秒级异步物理传感下的强大鲁棒性。

亮点与洞察¶

发现并逆转了多模态视频模型的“边缘汇聚”现象：文章严谨论证了多模态注意力长期存在的空间边界偏置伪影，并创造性地利用物理世界亮度突变的事件相机先验，从机理上抑制了边缘噪声对KV缓存的持续污染。
优雅跨越异步与同步的数据模态鸿沟：摒弃了训练沉重跨模态网络或复杂特征对齐器的重度路径，ECP以纯粹轻量的“时域通量统计 + 空间网格投影 + 非参数化单调秩对齐”策略，实现了完全免训练的即插即用加速。
高动态具身端侧计算的全新范式：不仅为大模型瘦身，更在极低算力预算下显著提升了动态空间推理能力，为四足机器人、智能穿戴眼镜以及高速微型无人机的边缘大模型实时部署指明了方向。

局限与展望¶

依赖同步的事件传感硬件：ECP的方法论核心依赖高质量的事件数据流。虽然在公共数据集上可通过vid2e合成事件，但其实际工程价值主要面向搭载物理事件相机的特定具身硬件平台，难以直接泛化到纯RGB单目消费级设备。
离线合成的事件仿真开销：在缺乏物理事件相机的标准公开基准上，需要借助vid2e离线生成模拟事件流。虽然该步骤不计入在线推断延迟，但对数据预处理流水线带来了一定计算负担。
未来改进方向：可进一步探索能否将事件引导的注意力净化机制蒸馏进纯RGB模型内部，通过隐空间结构正则化，使普通Video-LLMs无需外接物理事件传感器亦能摆脱边缘注意力偏置。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次发现Video-LLM空间注意力边缘汇聚偏差，并独创性地引入事件物理先验进行非参数化秩对齐剪枝。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成数据集与真实搭建的RGB-Event双模态基准（ESR-Real），跨13类任务与超2万帧进行了严谨的消融与机理验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，问题定义精准，数学公式紧凑优雅，机理推导自洽明了。
价值: ⭐⭐⭐⭐⭐ 兼顾52%算力降低与空间推理性能反超，对具身智能与实时边缘视觉大模型部署极具借鉴价值。