UGO: Unified Architecture for General Multi-Object Tracking by Segmentation¶

会议: NeurIPS 2026
arXiv: 2609.37339
代码: https://github.com/jerpelhan/ugo
领域: 语义分割
关键词: 通用多目标跟踪、视频实例分割、掩码整合、能量最小化、分层自适应记忆

一句话总结¶

UGO 将通用目标检测头（GECO2）与视频对象分割头（SAM2）集成在同一骨干网络下，利用无需训练的能量最小化整合模块将可能存在重叠与冲突的检测/跟踪输出解算为像素级互斥掩码，配合分层自适应记忆机制实现了高精度、强泛化的通用多目标跟踪。

研究背景与动机¶

通用多目标跟踪（General Multi-Object Tracking, GMOT）旨在仅凭首帧给定的单个任意类别目标样例（bounding box exemplar），在后续视频序列中检测并持续跟踪该同类别的所有实例。与限定闭集预定义类别的传统多目标跟踪（MOT）以及仅追踪单目标的单目标跟踪（SOT）相比，GMOT 既要求具备 SOT 强大的开集类别泛化与外观辨识能力，又必须具备 MOT 发现新实例并维护多条轨迹的全局视野。然而，现实场景中缺乏多样化且标注密集的 GMOT 专用视频训练数据，使得现有方法高度依赖于在静态目标检测数据集上的代理训练，难以建模密集体群在时间维度上的复杂交互与动态遮挡。

更致命的瓶颈在于表征粒度与冲突消解机制。以往主流 GMOT 框架普遍将目标约束为轴对齐边界框，并沿用卡尔曼滤波与匈牙利匹配等传统启发式关联策略。对于非刚性、可形变（如鱼群、飞鸟）或密集拥挤的目标，边界框表征会卷入大量背景噪声与重叠区域，导致非极大值抑制（NMS）或图匹配频繁发生身份互换与轨迹断裂。尽管视频基础模型（如 SAM2）具备强大的实例掩码连续传播能力，但在缺乏先验提示的情况下既无法自动发现新进入画面的未知实例，又在面对多个外观高度相似的同类干扰物（distractors）相互遮挡时极易发生过分割与漂移。

为此，本文尝试打破检测与单目标跟踪的割裂，将两者统一在同一个基础分割骨干网络中，让密集的像素级存在概率直接在空间维度竞争互斥，并通过全局记忆协同修正局部漂移。核心 idea：将样例引导的新实例检测与基于记忆的帧间实例传播统一在共享分割头下，通过无需训练的能量最小化算法将重叠 logits 转化为全局像素互斥的确定性掩码，并借助整合反馈构建包含类别级与实例级的两层自适应记忆系统。

方法详解¶

整体框架¶

UGO 的整体处理流程分为骨干特征提取、双头概率图预测、无训练能量最小化整合、轨迹生命周期更新以及分层自适应记忆反馈五个核心步骤。在时间步 \(t\)，系统维持当前正处于活跃跟踪状态的 \(N_{\mathcal{T}}\) 个实例轨迹，其视觉历史分别保存在各自的实例级记忆中；同时维护一个类别级样例记忆库以表征目标类别。当输入新的一帧图像 \(\mathbf{I}_t \in \mathbb{R}^{H \times W \times 3}\) 时，首先通过 Hiera 视觉 Transformer 骨干提取空间特征图 \(\mathbf{F}_t \in \mathbb{R}^{h \times w \times c}\)。

随后，骨干特征被分别送入两个轻量级任务头：SAM2 视频分割头利用各实例先前的记忆信息，生成对应的实例跟踪 logit 图集合 \(\mathcal{T}_t = \{\mathbf{T}_{t,k}\}_{k=1}^{N_{\mathcal{T}}}\)；GECO2 通用检测头则基于类别样例记忆定位视野中所有潜在的同类目标，并通过共享的 SAM2 掩码解码器输出检测 logit 图集合 \(\mathcal{D}_t = \{\mathbf{D}_{t,i}\}_{i=1}^{N_{\mathcal{D}}}\)。由于两者使用完全一致且预训练对齐的分割解码器，输出的 logit 在幅值尺度上高度兼容。接下来，无需学习的掩码整合模块在像素层面建立全局互斥优化目标，剔除重复检测并消除跨实例的重叠过分割，产生干净的互斥掩码与新实例检测。最后，轨迹管理器据此初始化新跟踪器或更新存活状态，并触发两级记忆（HAM）的受控刷新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入视频帧 I_t 与首帧样例"] --> B["Hiera 骨干特征提取 F_t"]
    B --> C["双分支分割预测<br/>SAM2 实例传播头 + GECO2 类别检测头"]
    C --> D["无训练能量最小化掩码整合<br/>MM 迭代求解像素互斥标签 Y"]
    D --> E["轨迹生命周期管理<br/>新实例初始化、存活更新与淘汰"]
    E --> F["分层自适应记忆反馈 HAM<br/>类别级 FIFO 更新 + 整合驱动的 DRM 刷新"]

关键设计¶

1. 共享分割解码器与对齐 Logit 张量构建：解决多源预测的标度失配

传统级联框架通常将外部检测器产生的边界框转换为跟踪器的粗略先验，因模态与置信度校准差异而难以精细融合。UGO 让 GECO2 类别检测头与 SAM2 实例传播头共享相同的预训练 SAM2 掩码解码器。检测头输出候选目标框后，送入共享解码器生成像素级对数几率 \(\mathbf{D}_{t,i}\)；跟踪头则结合实例历史记忆同样生成对数几率 \(\mathbf{T}_{t,k}\)。两者均表示各个像素属于特定目标的校准信念度（belief）。系统将 \(N_{\mathcal{D}}\) 个检测图、\(N_{\mathcal{T}}\) 个跟踪图以及一个赋值为常量 \(\lambda_{\mathrm{BG}}\) 的背景图在通道维度拼接，构成统一的 logits 张量 \(\mathbf{L} = \mathrm{cat}(\mathcal{D}_t, \mathcal{T}_t, \mathbf{1}\lambda_{\mathrm{BG}}) \in \mathbb{R}^{H \times W \times S}\)，其中通道总数 \(S = N_{\mathcal{D}} + N_{\mathcal{T}} + 1\)。这种显式的多头同质化设计，为在像素级别展开直接竞争奠定了数学基础，无需额外的标度对齐或后验概率校准。

2. 基于 MM 算法的无训练能量最小化掩码整合：消除过分割与多目标冲突

多个检测器与跟踪器独立预测时，常发生单个目标被多个跟踪器割裂（over-segmentation）、同一目标被检测与跟踪重复响应、或干扰物被错误划入前景的问题。针对非刚性目标的复杂拓扑交叠，经典的二分图匈牙利匹配无法在像素尺度实施有效裁决。UGO 将像素分配表述为一个离散最优化问题：寻找互斥标签映射 \(\mathbf{Y} \in \{1,\dots,S\}^{H \times W}\)，在满足像素互斥的前提下，优先信任连续跟踪的实例，并偏向受到检测器证据支撑的跟踪掩码，同时惩罚掩码发生剧烈收缩扭曲的退化候选。其目标能量泛函定义为：

\[\hat{\mathcal{L}}(\mathbf{Y}) = -\sum_{\mathbf{x}\in\Omega, s=\mathbf{Y}(\mathbf{x})} \log\Big(\mathbf{L}(\mathbf{x},s) \cdot \Theta_1(s) \cdot \Theta_2(s)\Big)\]

其中一元先验项 \(\Theta_1(s)\) 对检测标签赋予 \(\frac{1}{2}\theta_0\)，对跟踪器赋予基础奖励 \(\theta_0\) 加上与当前所有检测掩码的最大交并比 \(\max_{d\in\mathcal{D}_t} \mathrm{IoU}(\mathbf{Y}\equiv s, d)\)，背景标签则为 \(1\)，从而保证跟踪器相较于单帧检测的连续性优势，并优先扶持获得新检测佐证的可靠跟踪；约束项 \(\Theta_2(s)\) 计算整合后掩码与其初始独立响应区域的 IoU，若实例被相邻物体严重侵蚀吞噬，其置信度将被自动折损。为了克服 \(\mathbf{Y}\) 的非凸组合耦合，论文引入辅助变量 \(\mathbf{A}_1, \mathbf{A}_2 \in \mathbb{R}^{1 \times S}\) 并构建上界替代目标，利用 Majorize-Minorize（MM）方法在交替迭代中更新：在给定上一轮标签 \(\mathbf{Y}^{(k-1)}\) 时解析求解辅助权值 \(\mathbf{A}_1^{(k)}(s) \propto \Theta_1(s)\) 与 \(\mathbf{A}_2^{(k)}(s) \propto \Theta_2(s)\)；固定辅助权值时，各像素独立通过加权 argmax 进行闭式重分配：

\[\mathbf{Y}^{(k)}(\mathbf{x}) = \operatorname*{argmax}_{s\in\{1:S\}}\Big(\mathbf{L}(\mathbf{x},s) \cdot \mathbf{A}_1^{(k)}(s) \cdot \mathbf{A}_2^{(k)}(s)\Big)\]

算法以未加权的逐像素最大值初始化，仅需 3 次迭代即可稳定收敛。随后对残存掩码面积比例低于阈值（跟踪器 \(\tau_{\mathrm{lo}}=0.2\)，检测器 \(\tau_{\mathrm{md}}=0.6\)）的退化分支直接置为背景，一次性输出彼此互不重叠的高质量实例切分。

3. 整合驱动的分层自适应记忆（HAM）：跨帧抑制漂移与开集样例演进

在长时追踪中，通用跟踪极易因外观剧变或背景干扰产生错误更新。UGO 提出了覆盖宏观类别与微观实例的双层自适应记忆架构。在类别级记忆 \(\mathcal{M}_t^D\) 中，系统保存初始人工标注样例 \(\mathbf{b}_1^E\) 及容量为 3 的 FIFO 队列。仅当某个跟踪器的轨迹持续超过 10 帧且当前掩码与检测器高度吻合（\(\mathrm{IoU} \ge 0.9\)）时，最具确定性的跟踪框才被采纳为新的类别参考，动态捕获同类物体在姿态与光照变化下的群体表观。

在实例级记忆 \(\mathcal{M}_{t,k}^T\) 中，UGO 细分为近期外观记忆（RAM，4 个插槽）和干扰排除记忆（DRM，3 个插槽）。针对 GMOT 中新跟踪器往往始于不完全精确的自动检测、初始帧不具备绝对真值（GT）权威性的现实，UGO 废除了将首帧长期锁死在 DRM 的传统做法，转而利用掩码整合前后的形变差异来捕捉干扰。当跟踪器在整合前后的掩码 IoU 显著下降（\(<\tau_{\mathrm{hi}}=0.8\)），但整合后的收缩掩码依然得到独立检测器的可靠支撑（\(\mathrm{IoU} \ge \tau_{\mathrm{md}}=0.6\)）时，表明该帧成功剔除了紧贴的临近干扰物体。该修正后的高质量掩码会被定向推入 DRM，指导后续帧在遭遇相似目标逼近时保持特征正交，彻底杜绝混淆。

损失函数 / 训练策略¶

UGO 的核心模块均直接复用在大规模数据集上预训练好的成熟权重，整体架构呈现 Training-Free（免训练） 特性。骨干与实例分割头采用在大型视频分割数据集上预训练的 SAM2.1 Hiera-L 模型；通用开集检测模块采用预训练的 GECO2 检测头。推理阶段的所有冲突判定、边界竞争、掩码裁决与记忆调度均由能量最小化 MM 优化和确定性生命周期规则驱动，无需在任何 GMOT 视频基准上进行二次微调，彻底规避了小样本场景下的过拟合风险，并在单张 A100 GPU 上处理 100 个并发目标时维持约 2.1 FPS 的实时吞吐量。

实验关键数据¶

主实验¶

论文在通用的 GMOT-40 基准上全面对比了代表性开集跟踪框架（基于文本提示或样例驱动）及当前领先方案 S-DETR；并在多物种野生动物跟踪基准 AnimalTrack 上与专有领域 MOT 方法进行了极限泛化对比。

表 1：GMOT-40 通用多目标跟踪基准测试对比

方法类别	方法组合	IDF1↑	HOTA↑	MOTA↑	MT↑	ML↓	IDSw↓
Open-Vocab	GLIP-T + ByteTrack	45.1	-	27.0	447	746	2706
Open-Vocab	SAM3 (文本提示)	72.8	60.1	50.2	1209	276	990
Template	GTrack + DeepSORT	24.4	-	14.5	72	1363	1315
Template	S-DETR + ByteTrack	41.4	-	33.7	331	764	4204
Template	S-DETR + TbQ-SwB	51.3	-	50.0	1083	278	11252
本文方法	UGO (免微调)	77.09	63.8	61.4	1349	170	1136

表 2：AnimalTrack 跨类别多动物跟踪基准主实验对比

方法	模型范式	HOTA↑	MOTA↑	IDF1↑	MT↑	ML↓	IDSw↓
ByteTrack	领域特化训练	40.1	38.5	51.2	310	329	1309
Tracktor++	领域特化训练	44.2	55.2	51.0	364	268	1976
TransTrack	领域特化训练	45.4	48.3	53.4	327	361	1978
QDTrack	领域特化训练	47.0	55.7	56.3	367	317	1970
SAM3	开集概念提示	52.1	43.9	66.4	642	188	470
UGO	通用零样本泛化	59.4	53.8	71.7	700	156	463

消融实验¶

论文在 GMOT-40 基准上对各个核心组件、优化项及记忆机制展开了系统性消融。

表 3：GMOT-40 核心组件消融实验数据

配置	HOTA	MOTA	IDF1	IDSw	说明
UGO 完整模型	63.83	61.39	77.09	1136	完整能量整合 + 双层 HAM
w/o 掩码整合 (UGOCONS)	50.98	43.12	61.47	24173	移除整合改用最大 IoU 匹配，ID 切换暴增 20 倍
替换为匈牙利算法 (UGOHM)	52.35	5.88	60.76	2402	传统离散匹配在非刚性密集掩码下彻底崩溃
w/o 偏置项 \(\Theta_1\) (UGO\(\overline{\Theta_1}\))	52.39	57.11	56.86	5773	丧失跟踪优先与检测支撑偏置，HOTA 骤降 11.4 点
w/o 形状约束项 \(\Theta_2\) (UGO\(\overline{\Theta_2}\))	62.76	59.16	75.66	1375	缺乏对侵蚀变形掩码的置信度折损，出现微小退化
换用标准 SAM2 记忆 (UGODRM)	63.19	60.30	76.10	1244	缺乏整合驱动的干扰排除机制，长期跟踪抗混淆下降
换用 DAM4SAM 记忆 (UGOD4S)	61.00	57.33	72.81	2132	沿用强行锁定初始帧方案，在有噪声的 GMOT 中受挫
仅单一样例固定记忆 (UGO1ex)	62.37	58.34	75.07	1113	类别记忆不更新导致外观剧变物体漏检漏跟

关键发现¶

掩码整合是系统抗崩溃的定海神针：彻底移除整合模块（直接依赖逐框匹配）会导致 IDSw 激增至 24173 次，轨迹断裂近乎翻倍；若强行套用传统 MOT 的匈牙利算法（UGOHM），因其无法在重叠区域做多重像素裁决与再分配，MOTA 直接跌至 5.88%，验证了连续概率场能量优化相比离散二分匹配的压倒性优势。
\(\Theta_1\) 一元势函数的战略杠杆效应：在整合目标中，\(\Theta_1\) 负责确立“跟踪优先于检测”以及“获得检测证实的跟踪更可靠”双重逻辑。移除该项后，HOTA 暴跌 18%（相对值），是消融中对最终指标杀伤力仅次于完全移除整合的单项。
超参数宽容度极大：消融实验对偏置强度 \(\theta_0\)（0.3 至 0.8）及各交并比门限 \(\tau_{\mathrm{md}}\)、\(\tau_{\mathrm{lo}}\)、\(\tau_{\mathrm{hi}}\) 进行了宽幅扫描，发现除 \(\tau_{\mathrm{md}}=0.45\) 带来约 2% MOTA 波动外，HOTA 指标在所有变体下的变动均小于 1 点，证明系统性能主要源于统一分割架构与能量优化的自洽性，而非特定阈值的精调。

亮点与洞察¶

多头 logits 无缝融合的能量整合机制：摒弃传统将检测与跟踪拆分为异构阶段的做法，利用共享掩码解码器将两分支统一在同一特征标度下，用极低算力消耗（MM 迭代 3 步）的连续无训练优化化解了离散二分图匹配在密集非刚性场景下的过分割硬伤。
整合反哺记忆的闭环设计：将“优化后掩码被压缩但受到检测支撑”这一状态作为识别空间干扰物的显式信号，颠覆了 SOT/VOS 默认将初始首帧视作无瑕真值长久锁定的教条，构建了贴合开放多目标场景的扰动免疫记忆管理。
向跨任务迁移的潜力：该能量分配模式天然适用于任何涉及“局部重叠实体空间竞争”的视频视觉任务，例如密集显微细胞追踪、工业计数流水线以及开放世界交互分割。

局限与展望¶

类别概念粒度的语义漂移风险：当初始单一样例存在歧义时（例如在鸟类场景中框选鹅的一只局部，或在混合鸭群中追踪特定品种），由于底层 GECO2 仅基于视觉外观先验进行开集联想，系统无法理解精细的物种分类边界，可能将临近外貌相似但属于不同亚种的目标一并检出，造成假阳性（FP）上升。
重度极端全遮挡下的再检测延迟：虽然轨迹存活机制允许连续 10 帧空白缓冲，但在长时遮挡后，若目标姿态发生剧烈形变且未被当前容量仅为 3 的类别 FIFO 库覆盖，可能发生跟踪器失活且检测头未能及时重捕获的漏跟现象。
未来方向：可进一步将紧凑的语言引导先验轻量注入类别记忆库，结合文本语义边界对视觉样例进行正交解耦，在保持开集泛化优势的同时有效抑制细粒度品类的假阳性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将双头预测在共享分割解码器下统一为连续能量优化问题，方案兼具创新性与数学优美度]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 GMOT-40、AnimalTrack、MOT17、Science-Count 计数及 SOT DiDi 数据集，消融极其详实]
写作质量: ⭐⭐⭐⭐⭐ [行文严谨、数学推导扎实完整，问题剖析一针见血]
价值: ⭐⭐⭐⭐⭐ [为开集多目标跟踪与密集非刚性实例分割树立了崭新的免训练整合基线]