TR-MoE: Temporal Reliability-Aware Mixture-of-Experts for Robust Tracking¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Avant1v/TR-MoE
领域: 视频理解
关键词: 视觉目标跟踪, 混合专家模型, 状态空间模型, 时序可靠性, Kolmogorov-Arnold网络
一句话总结¶
针对SAM2细粒度分割与判别式跟踪器在遮挡模糊下的互补特性，TR-MoE打破基于单帧置信度的静态融合范式，将多跟踪器融合建模为时序演化过程，利用Mamba时序轨迹修正器与KAN解耦预测头实现对累积误差的自适应专家门控与高精几何修正，在LaSOT与GOT-10k上创下SOTA。
研究背景与动机¶
单目标视觉跟踪长期由判别式模型主导，从全卷积Siamese网络演进至单流Transformer架构（如OSTrack、LoRAT），这类方法依托全局语义特征关联，在目标发生剧烈形变、严重遮挡或运动模糊时展现出优秀的重识别能力。然而随着视觉大模型兴起，Segment Anything Model 2（SAM2）凭借强大的记忆机制和像素级掩膜预测能力，在精细轮廓贴合和相似干扰物区分上实现了出色的零样本泛化，但在长程严重遮挡下极易发生不可逆漂移。两类范式各自拥有鲜明且互补的归纳偏置与失效模式，这使构建混合专家系统（MoE）成为提升跟踪鲁棒性的自然选择。
然而，如何协调异构跟踪专家面临本质瓶颈。现有跟踪融合方案主要依赖卡尔曼滤波、启发式几何规则或当前帧静态置信度评分。这类方法本质上具有严重的“短视性”：它们仅根据单帧的孤立响应分配权重，无法感知跟踪器状态随时间推移的漂移趋势。在实际视频中，跟踪器的崩溃往往是累积性的渐进过程；若缺乏对长时序状态演化、预测分歧度及运动轨迹惯性的连续建模，系统在专家出现突发抖动或不可逆漂移时将无法及时完成容错仲裁，甚至导致错误跨帧蔓延。
本文的切入角度是将多专家跟踪融合重塑为时序状态序列的动态修正问题。核心 idea：利用具备线性复杂度的Mamba选择性状态空间模型连续建模跟踪器历史误差演化趋势，并借助Kolmogorov–Arnold网络（KAN）解耦预测方向、尺度与动态可靠性权重，实现兼具物理可解释性与时序容错性的自适应多专家跟踪修正。
方法详解¶
整体框架¶
TR-MoE在每一帧接收SAM2与判别式基础跟踪器的粗预测边界框，构建包含两专家相对位移、瞬时一致性交并比及目标归一化尺度的11维状态向量，并维护长度为\(N=32\)的历史时序滑动窗口。整个系统分为三个紧密衔接的阶段：首先通过KAN投影层将低维状态序列非线性映射至高维潜在流形；随后利用堆叠的Mamba时序轨迹修正器（MTR）自适应调整时序扫描衰减率，捕获长程误差累积趋势；最后经由KAN增强的解耦修正头，分别独立输出各专家的方向修正量、动态尺度抑制因子以及专家可靠性置信度，经Softmax加权融合得到当前帧最终目标边界框。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入历史序列<br/>SAM2与判别跟踪器相对位移+IoU+尺度"] --> B["KAN特征嵌入<br/>边缘可学习激活映射至潜在流形"]
B --> C["Mamba时序轨迹修正器<br/>选择性状态空间建模长程误差演化"]
C --> D["KAN解耦轨迹修正头<br/>独立输出方向矢量/动态尺度/融合置信度"]
D --> E["时序可靠性加权融合<br/>动态门控聚合各分支几何修正框"]关键设计¶
1. KAN特征嵌入：自适应映射非线性误差流形 传统跟踪融合通常采用简单线性层进行特征降维或升维，但在低维几何状态序列中，IoU的阶跃式跌落与边界框微小抖动之间存在高度非线性的动态对应关系，刚性矩阵映射难以高效刻画这一复杂流形。TR-MoE在输入端设计了KANLinear层配合LayerNorm的映射机制，依据Kolmogorov–Arnold表示定理将可学习的一维B样条基函数置于计算图边上。该层将当前帧及历史帧的11维状态向量\(X_t = [\Delta B_{sam}, \Delta B_{track}, \mathcal{C}_t, S_{t-1}]\)投影至128维潜在特征空间\(E_t\)。其中\(\Delta B\)记录两专家相对于上一帧最终修正框的相对坐标偏移，\(\mathcal{C}_t = \text{IoU}(B_{sam}, B_{track})\)作为反映专家瞬时一致性的动态门控，\(S_{t-1}\)提供归一化宽高上下文。KAN嵌入使模型在参数极低的前提下，高保真地解构了几何位移与置信度波动间的非线性交互。
2. Mamba时序轨迹修正器：长程时序演化与误差模式建模 静态融合策略仅依赖单帧特征，容易被偶发的局部检测抖动误导。MTR模块采用堆叠的\(L=4\)层Mamba块，基于选择性状态空间模型（SSM）建立输入自适应的时序传递动力学方程： $\(h_t = \overline{\mathbf{A}}_t h_{t-1} + \overline{\mathbf{B}}_t x_t, \quad y_t = \mathbf{C}_t h_t\)$ 与传统线性时不变系统不同，Mamba的核心离散化参数\(\Delta_t, \mathbf{B}_t, \mathbf{C}_t\)由当前输入动态决定。当两跟踪器IoU维持在高位且运动平滑时，模型自适应缩短时间步长\(\Delta_t\)，主动重置历史隐藏状态并聚焦即时局部运动；一旦检测到两专家预测急剧分歧或IoU陡降，模型自发调大\(\Delta_t\)以延长历史时序感受野，跨越更长的时序跨度追溯历史轨迹一致性。这种机制使MTR在维持\(O(N)\)线性推理复杂度的同时，精准辨析出某个跟踪器是处于瞬时遮挡下的良性抖动，还是已陷入不可逆的目标丢失状态。
3. KAN解耦轨迹修正头：方向、尺度与动态可靠性的正交分解 若直接使用全连接层输出四维最终框，位移偏移、边界缩放与专家权重严重纠缠，导致优化过程不稳定且缺乏物理可解释性。TR-MoE提出将几何微调与融合决策正交解耦为三个独立物理量。对于每个专家\(k \in \{\text{SAM2}, \text{Tracker}\}\)，方向矢量由B样条KAN预测\(\mathbf{d}_k = \mathcal{K}_{dir}^{(k)}(H_t^{(L)})\)，动态幅度因子由标量门控输出\(m_k = \sigma(\text{Linear}(H_t^{(L)}))\)，最终专家偏移量由两项相乘调制得到\(\Delta B_k = m_k \mathbf{d}_k\)。同时，独立的KAN评分头计算各专家的可靠性置信度\(s_k = \mathcal{K}_{score}^{(k)}(H_t^{(L)})\)，并经Softmax归一化生成融合权重\([w_{sam}, w_{track}]\)。这一解耦结构允许模型在判定某专家失真时，通过接近于零的尺度\(m_k\)与权重\(w_k\)迅速抑制错误蔓延，大幅提升了几何修正的数值稳定性。
一个完整示例¶
假设在一段复杂的追逐视频序列中，目标在第980帧遭遇树木遮挡。此时SAM2依赖局部特征在边缘发生轻微漂移，而判别式跟踪器LoRAT凭借全局语义依然保持锁定，两者的IoU一致性得分\(\mathcal{C}_t\)自0.85陡降至0.32。此时MTR模块连续观察到该剧烈分歧，内部SSM时间步长自发增大，追溯前32帧的运动轨迹。在第982帧，LoRAT因遮挡出框发生严重漂移，两专家预测完全背离。MTR通过累积历史状态判定LoRAT进入系统性失效模式，KAN评分头输出的置信度评分\(s_{track}\)从0.80急剧下降至0.15，而\(s_{sam}\)恢复至0.85，融合权重\(w_{sam}\)瞬时自0.3提升至0.88。同时KAN解耦头输出方向向量\(\mathbf{d}_{sam}\)微调边界框贴合，尺度因子\(m_{track}\)被压制，系统平稳将主跟踪控制权交接给SAM2，成功避免了因单专家崩溃而导致的跟踪中断。
损失函数 / 训练策略¶
TR-MoE整体损失函数由四项加权构成： $\(\mathcal{L}_{total} = \mathcal{L}_{main} + \lambda_{aux}\mathcal{L}_{aux} + \lambda_{score}\mathcal{L}_{score} + \lambda_{reg}\mathcal{L}_{reg}\)$ 其中权重超参数设置为\(\lambda_{aux} = 0.5, \lambda_{score} = 2.0, \lambda_{reg} = 5.0\)。 - 主回归损失 \(\mathcal{L}_{main}\)：引入全局有效性掩膜 \(\mathcal{M}_{valid} = [\max(\text{IoU}_{sam}, \text{IoU}_{track}) > \tau_{valid}]\)，仅在至少一个专家未完全丢失目标时计算融合框 \(\hat{B}_{fused}\) 与真值框 \(B_{gt}\) 之间的 L1 损失与 GIoU 损失（权重分别为 5.0 与 2.0），避免在双重不可恢复失效样本上强行回归导致梯度破坏。 - 可教性辅助损失 \(\mathcal{L}_{aux}\)：对单个专家分支施加辅助监督时，设置可教性阈值 \(\tau_{teach}\)，仅当该专家原始预测与真值的 IoU 超过阈值时才反向传播梯度，防止解耦头对完全丢失的目标进行无意义的“脑补”修正。 - 可靠性对齐损失 \(\mathcal{L}_{score}\)：采用均方误差强制评分头预测的置信度 \(\hat{s}_k\) 对齐专家原始候选框与真值的真实 IoU。 - 尺度正则化项 \(\mathcal{L}_{reg}\)：对预测的尺度增量施加 L2 正则化约束 \(||\Delta S||_2^2\)，鼓励模型保持最小必要介入。
实验关键数据¶
主实验¶
评估涵盖长程跟踪标杆 LaSOT、高难扩展集 LaSOText 及大规模无类别重叠评测 GOT-10k。基线融合方案为 SAM2-T 搭配 LoRAT-L378。
| 数据集 | 指标 | TR-MoE (Ours) | LoRAT-L378 | SAM2-T | MCITrack-L384 | SPMTrack-L378 | 相对提升(vs最佳单基准) |
|---|---|---|---|---|---|---|---|
| LaSOT | AUC (%) | 77.3 | 75.1 | 67.3 | 76.6 | 76.8 | +0.5 (+2.2 vs LoRAT) |
| LaSOT | PNorm (%) | 86.5 | 82.0 | 74.2 | 86.1 | 85.9 | +0.4 (+4.5 vs LoRAT) |
| LaSOT | P (%) | 85.3 | 84.1 | 71.3 | 85.0 | 84.0 | +0.3 (+1.2 vs LoRAT) |
| LaSOText | AUC (%) | 58.4 | 56.6 | 52.4 | 55.7 | - | +1.8 vs LoRAT |
| LaSOText | PNorm (%) | 70.8 | 69.0 | 61.8 | 66.5 | - | +1.8 vs LoRAT |
| LaSOText | P (%) | 68.3 | 65.1 | 59.7 | 62.9 | - | +3.2 vs LoRAT |
| GOT-10k | AO (%) | 81.4 | 77.5 | 78.5 | 80.0 | 80.0 | +1.4 (+2.9 vs SAM2) |
| GOT-10k | SR0.5 (%) | 91.9 | 86.2 | 88.9 | 88.5 | 89.4 | +2.5 (+3.0 vs SAM2) |
| GOT-10k | SR0.75 (%) | 78.8 | 78.1 | 72.4 | 80.2 | 79.9 | -1.4 vs MCITrack |
消融实验¶
消融实验均基于 LaSOT 数据集，专家组合采用 SAM2-T 与 LoRAT-B224。
表1：核心架构模块消融分析
| 配置编号 | 嵌入层 (Embedding) | 骨干网络 (Backbone) | 输出头 (Head) | AUC (%) | PNorm (%) | P (%) |
|---|---|---|---|---|---|---|
| A | Linear | MLP | Linear | 72.54 | 81.49 | 78.76 |
| B | Linear | Transformer | Linear | 74.34 | 83.85 | 79.82 |
| C | Linear | Mamba | Linear | 74.53 | 83.94 | 80.84 |
| Ours | KAN | Mamba | KAN | 75.22 | 84.50 | 81.70 |
表2：解耦头结构、尺度回归与融合机制分项消融
| 配置编号 | 头结构 (Head) | 尺度建模 (Scale) | 融合机制 (Fusion) | AUC (%) | PNorm (%) | P (%) | 说明 |
|---|---|---|---|---|---|---|---|
| A | 耦合 (Coupled) | 隐式 (Implicit) | 简单平均 (Average) | 71.01 | 79.57 | 75.83 | 静态朴素融合基线 |
| B | 解耦 (Decoupled) | 隐式 (Implicit) | 简单平均 (Average) | 72.48 | 81.35 | 78.55 | 方向与幅度解耦 (+1.47% AUC) |
| C | 解耦 (Decoupled) | 隐式 (Implicit) | 自适应 (Adaptive) | 74.82 | 83.75 | 81.04 | 引入动态权重分配 (+2.34% AUC) |
| D | 解耦 (Decoupled) | 动态 (Dynamic) | 简单平均 (Average) | 72.62 | 82.16 | 79.43 | 显式动态尺度调控 |
| E | 耦合 (Coupled) | 隐式 (Implicit) | 自适应 (Adaptive) | 74.27 | 83.13 | 80.32 | 仅自适应门控无解耦 |
| Ours | 解耦 (Decoupled) | 动态 (Dynamic) | 自适应 (Adaptive) | 75.22 | 84.50 | 81.70 | 全模块完整配置 |
关键发现¶
- 骨干网络演进中，将无时序记忆的MLP替换为Mamba使AUC从72.54%大幅攀升至74.53%，且Mamba的表现超越同等参数规模的Transformer（74.34%），证明选择性状态空间模型对捕捉低维连续误差漂移具有独特的归纳偏置优势。
- KAN在输入映射与输出头中的双重赋能为模型带来显著增益（配置C到Ours提升0.69% AUC），证实样条基函数的非线性拟合能力能够精准捕捉IoU剧烈震荡下的连续几何位移。
- 在跨专家泛化性验证中，即使与超轻量跟踪器SGLATrack（AUC 63.0%）融合，TR-MoE仍取得70.5%的AUC，不仅未被弱专家拖累，反而超越单体SAM2达3.2%，彰显出极其强大的抗噪声容错仲裁能力。
亮点与洞察¶
- 将多模型融合重构为时序状态轨迹建模：打破以往跟踪器融合仅看当前单帧分类分数的弊端，将IoU一致性与相对偏移作为状态序列，使模型具备感知“误差正在累积”的前瞻判断能力。
- KAN与SSM在低维几何时序中的优雅结合：摒弃单纯加大MLP参数的暴力拟合做法，利用KAN的可解耦非线性逼近与Mamba的线性时序选择机制，以极低计算开销实现了高度结构化且物理可解释的轨迹微调。
- 设计了“可教性”阈值与有效性掩膜监督：在多任务损失中严密防范错误梯度的传播，避免在两个专家均彻底丢失目标的极端样本上产生幻觉拟合，为时序跟踪系统的平稳训练提供了可靠保证。
局限与展望¶
- 依赖上游跟踪器的原始推理速度：虽然TR-MoE自身轨迹修正模块开销极轻，但整体系统延迟受限于最慢的专家组件（如SAM2分割解码耗时较大），在强实时端侧部署时需针对基专家进行针对性蒸馏或剪枝。
- 两专家假设的可扩展性待验证：当前设计主要针对SAM2与单一判别式跟踪器的双分支结构，未来可探索扩展至包含光流专家、深度估计专家或三元异构跟踪器的更广泛MoE体系。
- 端到端联合微调尚未涉及：目前TR-MoE作为两阶段后处理与融合框架运行，未来有望探索专家模型与MTR模块联合反向传播的端到端学习策略。
相关工作与启发¶
- vs SAMURAI / HiM2SAM: SAMURAI与HiM2SAM均聚焦于在SAM2内部通过运动启发式规则（如分层运动估计、运动引导记忆选择）修补漂移问题，仍然受困于单模型上限；TR-MoE则引入异构判别式跟踪专家，从外部时序仲裁角度系统性化解了SAM2的根本失效模式。
- vs SPMTrack / LoRATv2: SPMTrack探索了在Transformer主干内部引入MoE做时空参数高效微调（PEFT），属于模型内部表征层面的混合；TR-MoE属于任务决策层的模型级时序MoE，专注于对异构黑盒/灰盒跟踪器输出结果进行状态演化建模与轨迹重整，互不排斥且可协同增益。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [将跟踪器融合重构为基于Mamba的时序误差演化建模，并巧妙引入KAN解耦几何预测，构思独到]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖LaSOT、LaSOText、GOT-10k三大权威数据集，提供深入的模块级消融与跨5类异构跟踪器的泛化性验证]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，问题定义清晰，公式与图表规范详实]
- 价值: ⭐⭐⭐⭐☆ [为大模型时代经典判别式视觉算法与基础视觉分割模型的深度融合提供了极具启发性的通用范式]