Instance Segmentation as Tracking: A New Paradigm for Multi-Small-Object Tracking with Event Cameras¶

会议: ECCV 2026
论文: ECCV 2026
领域: 视频理解
关键词: 事件相机 / 多小目标跟踪 / 时空点云 / 实例分割 / 3D稀疏卷积

一句话总结¶

针对传统事件相机多小目标跟踪中“先转帧再检后跟”造成的微秒级时序离散化与背景冗余，本文提出将跟踪重构为3D时空点云实例分割的新范式，结合3D稀疏卷积与基于几何一致性的图关联网络 Ev-ISNet，在保留事件原生高时序分辨率的同时实现高效流式在线跟踪。

研究背景与动机¶

多小目标跟踪（MSOT）在反无人机侦测、广域周界安防与低空智能监控等国防民用场景中具有极高的实用价值。然而，传统基于可见光或红外相机的成像系统受限于有限的动态范围（约 60 dB）与较低的曝光帧率（通常 30–60 Hz），在面对目标高速机动、极端强逆光照明以及复杂杂乱背景时，极易产生严重运动模糊或图像过曝光，导致小目标信号湮灭与航迹断裂。事件相机凭借仿生异步触发机制，具备超过 120 dB 的超高动态范围和微秒级时序分辨率（可达 1 MHz），理论上能够完整记录高速弱小目标的连续运动轨迹。

然而，现存的事件跟踪算法（如 RVT、SpikeYOLO 搭配 SORT/TrackTrack 等）大多沿袭传统视频处理的“转帧-检测-跟踪”（Convert-then-Detect-and-Track）范式：先将异步事件流在时间窗内累加投影为致密体素网格或事件计数图，再调用基于外观或运动学模型的目标检测与数据关联算法。这一范式对于高速微小目标暴露出三大不可调和的矛盾：其一，事件转帧过程本质是粗暴的时间下采样，直接破坏了事件原生的微秒级时序连续性，使高速机动目标的轨迹碎片化；其二，弱小目标成像极其微弱（通常仅占据数个像素），极度缺乏纹理、轮廓与颜色等外观判别性线索，依赖外观建模的重识别算法极易混淆；其三，将高度时空稀疏的事件强行转为致密帧结构引入了大量的背景冗余计算，大幅削弱了边缘计算平台的实时流式处理能力。

若直接将问题重构为 3D 点云实例分割（如 PointGroup、HAIS），又会遭遇传统 3D 算法的两大内在假设缺陷：传统点云分割大多基于“实例呈现紧凑、向质心聚集”的几何先验，而高速小目标的时空事件流在三维空间中呈现为极度细长（slender）的时空曲线，几何质心往往远离真实轨迹曲率；同时，传统点云分割基于离线全局批处理，无法兼容目标跟踪严苛的因果性流式推理需求。核心 idea：将多小目标跟踪重构为连续3D时空点云中的实例分割任务，设计 Ev-ISNet 利用极细粒度3D稀疏卷积提取体素表征并预测局部运动方向，继而依托几何一致性驱动的图网络与并查集实现包内轨迹提取和跨包因果关联，以轻量级架构达成端到端流式跟踪。

方法详解¶

整体框架¶

Ev-ISNet 摆脱了传统“检测框提取+帧间级联匹配”的分离架构，将输入的异步事件流按固定时间间隔划分为连续数据包（Packet，默认时长 $\Delta T = 800\text{ ms}$）。对于每个数据包，网络首先以 $1\text{ pixel} \times 1\text{ pixel} \times 1\text{ ms}$ 的非重叠极细粒度时空网格构建稀疏体素输入，随后送入 3D 稀疏 U-Net 提取逐点体素表征并解耦预测前景语义概率与局部运动方向；接着，在过滤出的前景候选点上构建局部图结构，利用几何一致性网络判别边连接关系并通过并查集生成包内子轨迹；最后，跨包关联模块计算相邻时间包间的时序候选边亲和度，实现流式轨迹增量扩展。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续事件流数据包<br/>(x, y, t, p)"] --> B["3D稀疏体素与双分支预测<br/>1×1像素×1ms体素 + 语义/运动方向分支"]
    B --> C["包内几何一致性图关联<br/>k-NN构图 + 相对几何特征 + 并查集聚合"]
    C --> D["跨包图关联与流式聚合<br/>相邻时间包候选边 + 权重共享GC网络"]
    D --> E["流式时空轨迹实例分割结果<br/>逐事件跟踪标签"]

关键设计¶

1. 极细粒度3D稀疏体素表征与双分支预测：消除时空下采样并捕获局部运动趋势
针对传统密集帧表征计算冗余高、时序下采样损失严重的问题，本文打破常规的 50 ms 粗体素压制方式，采用 $1\text{ pixel} \times 1\text{ pixel} \times 1\text{ ms}$ 的超细时空分辨率将输入事件 $E = \{(x_k, y_k, t_k, p_k)\}$ 映射至 3D 稀疏体素网格中，并采用子流形稀疏卷积（Submanifold Sparse Convolution）构建 3D 稀疏 U-Net 主干，仅在非空体素激活计算，兼顾时序超保真度与计算低开销。主干提取的点级特征 $F_{\text{event}}$ 送入两个轻量级双层 MLP 分支：语义分支输出二分类概率判断是否为目标事件（阈值 $\tau_{\text{object}} = 0.5$），滤除背景噪声；方向分支则输出三维运动方向分类预测。针对目标交错与局部盲区，方向分支显式估计局部瞬时切线方向。监督标签通过收集事件局部 $k$ 近邻的协方差矩阵主特征向量并离散化为方位角与俯仰角类别获得： $$C = \sum_{e_j \in \text{kNN}(e)} (e_j - \bar{e})(e_j - \bar{e})^T$$ 利用方向预测的连续几何外推性，网络能够在目标短暂重叠或弱信号处维持几何平滑，有效抑制航迹混淆。

2. 基于几何一致性的包内图关联：突破质心聚类假设以重构细长轨迹
传统 3D 实例分割算法依赖空间欧氏距离与中心回归，面对在时空维度上拉伸长达数十甚至数百毫秒的细长弱小目标轨迹必然产生欠分割与断裂。为此，本文设计了基于几何一致性的图关联网络（GC Network）。首先在语义前景点集上建立 $k$ 近邻图（$k=15$），构建 $k \cdot N$ 条局部候选边；随后，轻量级两层 MLP 边缘预测网络接收相连节点间的相对几何特征——包括相对位置差 $\Delta L$ 与相对运动方向差 $\Delta D$ 的特征差分 $\Delta F_{ij} = F_i - F_j$，预测两点属于同一轨迹实例的亲和度概率： $$p_{ij} = \sigma(\text{MLP}(\Delta F_{ij}))$$ 消融实验证实，纯相对差分特征相比绝对坐标能更好抵抗全图漂移与杂波干扰。阈值化（$p_{ij} \ge \tau_{\text{edge}} = 0.5$）剪枝后，使用高效的并查集（Union-Find）算法聚合连通子图，使得局部相似的几何线索能够沿细长曲线自然扩散，完整拼合出包内单目标运动航迹。

3. 跨数据包图关联与并查集流式聚合：消除离线批处理限制实现实时流式跟踪
单包图分割仅能处理 $\Delta T$ 内的静态短航迹，为满足在线跟踪的因果流式要求，本文提出跨包图关联机制。对于相邻时间数据包 $G_t = (V_t, E_t)$ 与 $G_{t+1} = (V_{t+1}, E_{t+1})$，算法仅在时序时间界面处检索跨包 $k$ 近邻候选边集 $E_{t, t+1} \subseteq V_t \times V_{t+1}$。该模块完全复用包内几何一致性网络（参数严格共享），评估跨包边界邻近事件的时空连续性与运动方向一致性，最后通过跨包并查集合并相同根节点的航迹。该设计不仅无需引入重型时序循环单元，而且保证了流式推理时状态转移的确定性与高吞吐。

损失函数 / 训练策略¶

模型采用端到端多任务联合优化，总损失函数定义为三项任务的加权组合： $$\mathcal{L} = \mathcal{L}_{\text{seg}} + \alpha \mathcal{L}_{\text{direction}} + \beta \mathcal{L}_{\text{edge}}$$ 其中 $\mathcal{L}_{\text{seg}}$ 为前景语义分类的二值交叉熵（BCE）损失；$\mathcal{L}_{\text{direction}}$ 为针对真实目标事件掩码 $M_{\text{obj}}$ 加权的离散方向分类交叉熵损失；$\mathcal{L}_{\text{edge}}$ 为边亲和度预测的二值交叉熵损失。训练时平衡权重设为 $\alpha = \beta = 1$。优化器选用 Adam，初始批大小为 1，进行 5 轮线性预热至学习率 $1 \times 10^{-2}$，随后采用余弦退火算法平滑衰减至 $1 \times 10^{-3}$，共训练 50 个 epoch。

实验关键数据¶

主实验¶

在本文构建的基准数据集 EV-UAV-Track（包含 147 个微弱小目标序列、230万+标注事件，平均目标尺寸仅 $6.8 \times 5.4$ 像素）上，Ev-ISNet 与 16 种先进算法（涵盖传统检测跟踪、事件检测跟踪、脉冲神经网络 SNN 跟踪及 3D 点云实例分割）进行了全面评测。在处理 8 秒事件序列时，各项指标对比如下：

方法	事件表征	MOTA (%) ↑	MOTP (px) ↓	IDF1 (%) ↑	mCov (%) ↑	mIoU (%) ↑	参数量 (MB) ↓	耗时 (s) ↓
CenterTrack	密集体素+短时序	26.80	8.92	16.61	12.22	13.23	114.1	4.13
FairMOT	密集体素+短时序	31.72	7.35	12.58	11.02	12.18	247.3	3.53
ByteTrack	密集体素+短时序	29.83	7.91	18.67	8.89	9.52	68.5	3.12
MOTIP	密集体素+短时序	33.89	8.01	16.28	13.35	12.36	465.8	6.87
RVT + SORT	密集体素+短时序	37.08	6.23	21.71	22.17	17.68	9.9	1.92
RVT + TrackTrack	密集体素+短时序	36.91	6.99	23.16	22.20	17.01	319.2	2.24
SpikeYOLO + DeepSort	SNN脉冲+短时序	34.88	6.87	23.87	24.12	17.02	72.1	2.56
SNNTracker	SNN脉冲+长时序	35.20	5.53	26.11	24.30	17.19	24.8	3.18
PointGroup	稀疏体素+长时序	51.19	2.38	29.86	30.72	20.18	29.6	1.98
HAIS	稀疏体素+长时序	52.71	1.95	30.19	32.35	22.29	353.2	1.57
OneFormer3D	稀疏体素+长时序	55.09	1.81	33.21	31.21	30.18	220.4	1.87
Ev-ISNet (本文)	稀疏体素+长时序	64.48	1.29	48.73	37.12	36.49	7.73	1.48

在极度密集的公开 Bee Swarm 数据集（平均每时刻 80 只飞行蜜蜂，目标仅占数像素且存在强烈风吹树叶噪声）上，Ev-ISNet 取得 31.5% MOTA 与 28.9% IDF1，大幅超越先前最优的 HAIS（23.1% MOTA）与 SNNTracker（22.1% MOTA），展现了强大的域外泛化鲁棒性。

消融实验¶

1. 系统核心组件消融（模块贡献度）

配置	运动方向 (Dir.)	包内关联 (Intra.)	跨包关联 (Inter.)	在线流式	MOTA (%) ↑	MOTP (px) ↓	IDF1 (%) ↑	mIoU (%) ↑
基线（HAIS风格）	-	-	-	否	52.71	1.95	30.19	22.29
+ Dir.	✓	-	-	否	53.89	1.76	32.23	24.16
+ Intra.	-	✓	-	否	60.84	1.30	46.81	34.98
+ Intra. + Inter.	-	✓	✓	是	60.85	1.31	46.82	34.99
完整模型 (Ev-ISNet)	✓	✓	✓	是	64.48	1.29	48.73	36.49

2. 几何特征组合对边缘亲和度的影响

特征配置	绝对坐标 $L$	相对坐标 $\Delta L$	绝对方向 $D$	相对方向 $\Delta D$	MOTA (%) ↑	MOTP (px) ↓	IDF1 (%) ↑	mIoU (%) ↑
单绝对坐标	✓	-	-	-	55.73	1.98	42.04	26.37
单相对坐标	-	✓	-	-	60.85	1.31	46.82	34.99
单绝对方向	-	-	✓	-	42.35	2.56	38.86	14.23
单相对方向	-	-	-	✓	45.23	2.13	40.75	17.32
相对组合 ($\Delta L + \Delta D$)	-	✓	-	✓	64.48	1.29	48.73	36.49
全特征拼合	✓	✓	✓	✓	58.22	1.43	40.23	25.24

关键发现¶

包内图关联模块为决定性核心：对比基线，引入包内关联模块使得 MOTA 直接从 52.71% 跃升至 60.84%（净增 +8.13%），IDF1 提升 +16.62%，证明了沿几何轨迹扩散聚合相比传统空间中心先验具有压倒性优势。
相对几何特征显著优于绝对坐标：单纯依赖绝对坐标或叠加所有特征时 MOTA 下降至 58.22%，而仅使用相对位置与相对方向（$\Delta L + \Delta D$）达到最优 64.48%，说明相对位移与切线夹角对辨识航迹连通性具备平移不变性与抗噪能力，避免了绝对空间位置引起的过拟合。
时间分辨率与时间窗敏感性：将体素时间窗从 1 ms 放宽至 50 ms 会造成 10.4% 的事件发生时空压缩碰撞，导致 MOTA 剧烈滑坡至 45.7%；时间窗口大小在 $\Delta T = 800\text{ ms}$ 时达到最优峰值，过短（100 ms，MOTA 55.32%）无法提供足够长程上下文，过长（1200 ms，MOTA 63.89%）则会引入过期运动模式造成时空混叠。
超高计算能效与低延迟：得益于 3D 稀疏卷积，Ev-ISNet 模型参数量仅 7.73 MB（不及 MOTIP 465.8 MB 的 2%），在 20 ms 滑动步长下推理时延仅需 18.2 ms，全面满足超高频事件流的在线实时处理要求。

亮点与洞察¶

范式颠覆（Tracking as 3D Instance Segmentation）：首次系统性将事件微小目标跟踪在数学与架构层面统一为 3D 时空点云实例分割，彻底摆脱了“转帧破坏时序”与“小目标无外观特征”的死结，为神经形态视觉跟踪提供了全新方法论。
轻量解耦的几何一致性图聚类：放弃复杂的注意力机制或递归结构，设计了以相对几何位移与运动方向为核心的轻量 GC 网络，辅以并查集算法，以极低算力消耗实现了对长程弯曲时空轨迹的高保真重构。
全链路保真基准 EV-UAV-Track：构建了首个具备 3D 事件点级别精细跟踪 ID 标注的大规模微小目标数据集，修复了原有 EV-UAV 仅有粗糙帧间框匹配导致的 ID 频繁跳变缺陷，为后续事件视觉研究奠定了扎实基石。

局限与展望¶

作者承认的局限：在极端密集的交叉航迹或多个微小目标并排行进且发生近距离碰撞时，基于局部 $k$-NN 的边预测偶发错误归并，导致 ID 切换或合并。
进一步发现的局限：模型依赖固定 $K=15$ 的近邻数设定，面对场景中目标密度动态巨变（如单机稀疏巡航突然遭遇蜂群密集袭来）时缺乏自适应图拓扑伸缩机制；此外，评估中采用的是固定步长的滑动窗，在机载算力受限平台上可能需要根据事件触发速率动态调节处理包长。
改进思路：可探索引入拓扑自适应图卷积或时空几何连续性约束；同时可结合轻量脉冲时空记忆（Spike SNN Memory）以进一步压低功耗。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将事件多小目标跟踪从根本上重构为3D时空点云实例分割，突破传统质心聚类先验]
实验充分度: ⭐⭐⭐⭐⭐ [对比16种SOTA方案，涵盖主实验、跨域蜂群验证及多维度严谨消融实验]
写作质量: ⭐⭐⭐⭐⭐ [动机链条清晰紧凑，图表逻辑自洽，数学表述严谨透彻]
价值: ⭐⭐⭐⭐⭐ [提供了颠覆性的范式转变以及首个高质量微小目标点级标注数据集，具备极高学术与应用价值]