TrackFish3D: Self-Supervised 3D Tracking of Schooling Fish from Multi-view Videos

会议: NeurIPS 2026
arXiv: 2609.38347
论文: arXiv PDF
领域: 3D视觉
关键词: 3D多目标跟踪, 自监督学习, 多视角几何, 鱼群追踪, 对比学习

一句话总结

TrackFish3D 针对鱼群个体外观极度相似、无身份标注的稠密 3D 追踪难题，提出一种完全由校准多视角几何与时空自洽性驱动的自监督跟踪框架，无需任何跨视角/时序身份标注或 3D 真实轨迹，即可实现高精度的时空关联与长程跟踪。

研究背景与动机

量化鱼群、鸟群及昆虫群体的群体集体行为（Collective Animal Behaviour）是行为生态学、计算生物学乃至群体机器人学的核心课题。为了精确建模鱼群在受到环境扰动、捕食逃避或密度变化时的局部交互规律，必须获取群体中每一个体连续、高保真的三维空间运动轨迹。然而，在自然或受控水体环境中，由于水体折射、光照变化以及个体之间高频发生的相互遮挡，传统 2D 视频分析不仅难以反映真实的三维空间拓扑排布，而且极易因视角遮挡发生目标丢失；通过多相机系统恢复稠密 3D 轨迹因而成为不可或缺的手段。

然而，现有的稠密多视角 3D 多目标跟踪（MVMOT）方法在面对鱼群时遇到了根本性瓶颈。现存范式要么依赖单视角 2D 跟踪后再向 3D 空间提升，但这在同质外观下会导致大量碎片化 2D tracklet；要么依赖强大的跨视角外观重识别（Re-ID）特征与时空图神经网络，但这些模型均需要大量有标注的身份标签（Identity Supervision）。由于野生或养殖鱼群中的个体外观几乎完全一致、缺乏纹理差异，人工逐帧标注跨相机身份极其昂贵甚至不可行，导致传统基于外观特征与监督训练的算法彻底失效。

为了打破对外观特征与人工身份标注的依赖，本文提出必须将跟踪的可靠线索从视觉纹理转向校准多视角系统固有的多重视角几何约束与时序平滑性。核心 idea：利用校准多视角相机的三角测量与重投影自洽性生成伪关联监督，通过全局关联 Transformer 与自监督对比学习拉开共视个体的空间嵌入，并结合时序预测器跨帧平滑传递身份，实现无需任何人工身份标注或 3D 真值轨迹的纯几何驱动 3D 跟踪。

方法详解

整体框架

TrackFish3D 接收 \(C\) 个经过几何校准的同步摄像机输入的 2D 实例检测结果（边界框、分割质心与置信度）。整个系统分为三个核心阶段：首先，轻量几何编码器将无外观属性的检测质心、尺度与世界空间反投影光线编码为紧凑嵌入；随后，结合 2D 旋转位置编码（RoPE）的全局关联 Transformer 在单帧内对所有相机的全部检测进行全局自注意力推理，预测跨相机成对关联概率；最后，通过多视角分组三角化生成 3D 候选假设，利用帧内对比损失保证共视个体的嵌入正交分离，并通过时序预测器在帧间传递身份嵌入，平滑跨越短暂遮挡与检测丢失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角同步视频 2D 检测<br/>(掩码质心, 边框尺寸, 相机参数)"] --> B["几何特征编码<br/>无外观 9D 几何属性与世界光线"]
    B --> C["全局关联 Transformer<br/>RoPE 空间位置编码与全图自注意力"]
    C --> D["几何伪标签自监督关联<br/>三角化与双向重投影一致性约束"]
    D --> E["多视角分组与三角化<br/>匈牙利匹配与团聚类生成 3D 假设"]
    E --> F["自监督对比学习<br/>组内拉近与组间推开正交嵌入"]
    F --> G["时序预测与长程轨迹关联<br/>跨帧匹配与 MLP 时序前滚平滑"]
    G --> H["输出稠密 3D 鱼群轨迹"]

关键设计

1. 几何特征编码与 RoPE 全局关联 Transformer：摆脱外观依赖的场景级全局推理

针对鱼群个体缺乏外观辨识度、传统 CNN/ViT 外观特征易混淆的痛点，该模块彻底舍弃 RGB 纹理输入，仅利用纯几何量构建 9 维输入向量：包含图像归一化质心坐标、归一化边界框宽高、相机索引、检测置信度以及通过相机内参逆矩阵与外参旋转矩阵反投影得到的三维空间单位视线方向 \([r_x, r_y, r_z]\)。两层 MLP 将其映射为 128 维几何嵌入。为了解决局部成对几何匹配容易陷入稠密假阳性候选的问题，模型采用全局自注意力 Transformer，将单帧内来自全部 \(C\) 个相机的 \(N\) 个检测 token 联合输入。为注入连续平移等变的 2D 空间排布，将归一化质心解耦为垂直与水平方向分别施加 2D 旋转位置编码（RoPE）。这使得模型能够同时对全部视角进行场景级全局推理和传递闭包推导，有效消除空间距离接近时的几何歧义。

2. 几何伪标签重投影自监督：无需人工标注的跨视角关联学习

针对稠密水下场景缺乏跨视角标注身份的瓶颈，该模块直接利用多视角几何内在的重投影自洽性作为监督信号。对于同一时间步来自不同相机的任意检测对，利用多视角对极几何进行双目或多目三角化计算空间 3D 假设点，并将该点重新投影回各自图像平面。若该候选匹配对应同一条鱼，则重投影误差极低且落入彼此的 2D 边框内，由此构建二值伪真实关联矩阵 \(G_{ij} \in \{0, 1\}\)，并基于平均重投影像素误差计算连续置信度：

\[C_{ij} = \frac{1}{1 + \text{err}_{ij}}\]

利用该置信度对二值交叉熵损失进行加权，对正负样本分别进行独立归一化以防止大量负样本对梯度产生主导：

\[\mathcal{L}_{\mathrm{asso}} = -\frac{\sum_{G_{ij}=1} C_{ij} \log P_{ij}}{\sum_{G_{ij}=1} C_{ij}} - \frac{\sum_{G_{ij}=0} \log(1 - P_{ij})}{|\{G_{ij}=0\}|}\]

3. 多视角分组与自监督对比学习：在嵌入空间拉开共视个体

针对仅靠两两关联概率容易在多视角聚类时产生冲突的问题，模型设计了结合预测关联概率与嵌入余弦相似度的混合亲和度打分：\(A_{ij} = w_p P_{ij} + w_f \frac{\cos(\boldsymbol{h}_i, \boldsymbol{h}_j)+1}{2}\)（设置 \(w_p=0.6, w_f=0.4\)）。在相机对之间进行匈牙利匹配后通过并查集聚类融合成多视角假设群组，并经重投影边框包容性检验进行几何滤除。为了强化同一群组内部各相机视角的表征一致性、并推开不同个体，引入了基于 InfoNCE 的自监督对比损失：

\[\mathcal{L}_{\mathrm{ctr}}^{(i)} = -\log \frac{\sum_{j \in \mathcal{P}_i} \exp(\boldsymbol{z}_i^\top \boldsymbol{z}_j / \tau)}{\sum_{k=1, k\neq i}^N \exp(\boldsymbol{z}_i^\top \boldsymbol{z}_k / \tau)}\]

其中 \(\boldsymbol{z}_i\) 为 \(\ell_2\) 归一化的 Transformer 嵌入，\(\mathcal{P}_i\) 为同一多视角群组内的其他检测（同一实体的不同视角检测），分母则遍历同帧所有其他检测。该损失迫使视觉上完全相同的个体在几何潜空间中聚成紧凑且相互正交的簇。

4. 时序预测器与自监督跨帧平滑链接：跨越短暂遮挡与运动模糊

针对水下高频相互遮挡导致 3D 假设断续的难题，模型引入了轻量 MLP 时序预测器 \(\rho\)。在训练阶段，相邻帧 \(t\) 与 \(t+1\) 的三维假设根据 3D 空间距离与群组平均嵌入 \(\bar{\boldsymbol{h}}\) 的余弦距离联合构建代价进行匈牙利匹配，并采用滑动窗口回退机制捕捉跨越数帧的匹配对。时序预测器以加权均方误差形式受监督：

\[\mathcal{L}_{\mathrm{temp}} = \frac{\sum_{(i,j)} w_{ij} \|\rho(\bar{\boldsymbol{h}}_i^{(t)}) - \bar{\boldsymbol{h}}_j^{(t+1)}\|^2}{\sum_{(i,j)} w_{ij}}\]

在推理阶段，若某个跟踪轨迹连续数帧未被观测到（最大允许 15 帧），系统可迭代应用 \(\rho\)（最多前滚 5 次）将身份嵌入外推至当前帧，并动态放宽空间门控与余弦相似度门控，极其稳定地跨越局部遮挡，显著降低轨迹碎片化。

损失函数 / 训练策略

总体训练目标为三项自监督损失的多任务联合加权：

\[\mathcal{L} = \mathcal{L}_{\mathrm{asso}} + \lambda_{\mathrm{ctr}} \mathcal{L}_{\mathrm{ctr}} + \lambda_{\mathrm{temp}} \mathcal{L}_{\mathrm{temp}}\]

其中损失权重分别设为 \(\lambda_{\mathrm{asso}}=1.0, \lambda_{\mathrm{ctr}}=0.5, \lambda_{\mathrm{temp}}=0.25\)。训练策略采用两阶段学习课程：前 100 个 epoch 作为热身阶段（Warmup），仅激活关联损失 \(\mathcal{L}_{\mathrm{asso}}\)，让编码器与 Transformer 建立起基础的空间多相机几何对齐能力；101 至 400 epoch 开放多视角聚类、对比损失与时序预测损失，进行全流程端到端联合优化。模型总可学习参数量仅约 65.5 万（655K），在单个 GPU 上训练轻量高效。

实验关键数据

主实验

论文在虚幻引擎 5 构建的高拟真 SynFish 基准（6 个测试场景，4–16 条外观均一鱼，含未见相机拓扑）以及真实世界斑马鱼基准 3D-ZeF 上进行了系统评测，对比涵盖几何 MVA、学习型 MVA、单视角 2D MOT 升维以及监督多相机 MOT 等 13 种完整流水线。

数据集	方法类型	方法	MOTA(%) ↑	MT(%) ↑	IDSw ↓	Frag ↓	MTBF ↑
SynFish (6 scenes)	几何 MVA + 3D-NN	SAM3 + Hungarian	83.5	71.9	7.5	12.8	183.8
SynFish (6 scenes)	几何 MVA + 卡尔曼	SAM3 + 3D-SORT	87.7	77.1	4.0	9.0	209.4
SynFish (6 scenes)	监督多相机 MOT	MCTR	83.7	82.7	1.7	14.2	160.6
SynFish (6 scenes)	自监督跟踪(本文)	TrackFish3D (SAM3)	95.8	95.8	0.0	6.5	266.3
SynFish (6 scenes)	自监督跟踪(本文)	TrackFish3D (YOLO26+SAM2)	96.6	95.8	0.2	3.7	296.5
3D-ZeF (真实斑马鱼)	几何 MVA + 3D-NN	Hungarian + nearest	77.4	90.0	6.0	73.0	42.5
3D-ZeF (真实斑马鱼)	几何 MVA + 卡尔曼	3D-SORT	75.6	90.0	13.5	65.5	43.4
3D-ZeF (真实斑马鱼)	自监督单目/多目	Self-MVA	50.8	60.0	21.5	73.5	48.5
3D-ZeF (真实斑马鱼)	自监督跟踪(本文)	TrackFish3D	81.1	90.0	4.0	30.5	93.6

消融实验

在 SynFish 数据集上对自监督损失项、输入特征类型及模型架构进行了详尽消融（消融基准采用 8 场景平均验证）：

实验组	配置变体	MOTA(%) ↑	MT(%) ↑	IDSw ↓	Frag ↓	MTBF ↑	说明
损失消融	TrackFish3D (Full)	97.7	98.3	0.5	3.1	283.1	完整三损失联合优化
损失消融	w/o \(\mathcal{L}_{\mathrm{temp}}\)	86.0	85.2	2.0	5.2	243.1	移除时序预测损失，ID切换增加4倍
损失消融	w/o \(\mathcal{L}_{\mathrm{ctr}}\)	36.8	23.8	3.0	8.0	99.1	移除对比损失，空间个体严重混淆
损失消融	w/o both (\(\mathcal{L}_{\mathrm{temp}} \& \mathcal{L}_{\mathrm{ctr}}\))	36.9	25.6	3.8	9.8	88.8	仅保留重投影关联，性能断崖下跌
视觉特征消融	纯几何输入 (Ours)	97.7	98.3	0.5	3.1	283.1	仅 9 维纯几何特征
视觉特征消融	几何 + DINOv3 视觉特征	97.9	99.2	1.1	3.2	270.2	纹理相似导致 IDSw 反而翻倍
架构消融	TrackFish3D (Transformer)	95.8	95.8	0.0	6.5	266.3	全局全图自注意力机制
架构消融	替换为纯 MLP 编码器	78.4	64.2	2.0	16.3	172.9	失去跨视角全局上下文交互能力

关键发现

• 对比学习对空间判别至关重要：去除对比损失 \(\mathcal{L}_{\mathrm{ctr}}\) 导致 MOTA 从 97.7% 剧烈跌落至 36.8%，绝大多数目标落入 Mostly Lost (36.4%)。这证实单纯的双目重投影误差无法在密集鱼群中有效区分距离相近的不同个体，必须依靠帧内对比学习强制分离共视嵌入。
• 外观特征对同质群体无增益甚至有害：将目前最先进的自监督视觉大模型 DINOv3 提取的视觉特征与几何特征拼接，MOTA 仅出现微不足道的波动（97.7% vs 97.9%），但身份切换数（IDSw）从 0.5 上升至 1.1，平均无故障时间（MTBF）反而缩短。这是因为高度相似的鳞片反光与纹理在遮挡时诱发了视觉误匹配。
• 全局自注意力不可替代：将 4 层关联 Transformer 降级为逐 token 独立计算的纯 MLP 模型后，MOTA 下降 17.4 个百分点（95.8% 降至 78.4%），表现甚至落后于传统纯几何启发式匹配（SAM3 + Hungarian 的 83.5%），证明密集场景中传递闭包推理和全局拓扑上下文必不可少。

亮点与洞察

• 将多视角几何物理约束直接内化为自监督标尺：巧妙利用校准相机的重投影自洽性与多目空间相交作为弱监督源，彻底摆脱了学术界长期以来对三维真值或人工跨相机标注的强依赖。
• 纯几何拓扑特征击败复杂视觉表征：证明了在生物集群这类具有极高外观自相似性的场景中，过度追求深度视觉骨干（如 DINOv3）反而是负累，紧凑精炼的世界光线与多模态空间几何才是最鲁棒的判别依据。
• 跨物种通用性与下游实用价值验证：在未做领域微调的前提下，直接迁移至 3D-POP 真实鸽群数据集达到 91.9% MOTA；重建的 3D 运动轨迹可直接用于下游无监督异常游动检测（F1 达 93.9%），展现出强劲的实用前景。

局限与展望

• 强依赖精准相机离线标定：系统依赖精确的外参标定矩阵；当相机外参旋转误差超过 \(0.2^\circ\) 时，由于重投影门控误判，MOTA 会出现较大幅度下降（下降约 14.5%）。
• 极端密集集群下的视线自遮挡瓶颈：当鱼群规模扩大至 30 条以上且相互剧烈重叠时，大量个体在多视角中少于 2 个相机可见，导致多视角三角化存在理论物理死角。
• 未来方向：未来可探索相机在线动态自标定与时空神经隐式场结合，并构建多相机多物种的大规模真实带真值 3D 基准。

相关工作与启发

• vs MessyTable / ASNet: 传统多视角关联方法依赖人工标注的跨视角实例 ID 进行全监督学习；TrackFish3D 利用三角化一致性自主挖掘伪标签，摆脱人工标签束缚。
• vs ReST / MCTR: 多相机多目标跟踪方法主要依托视觉 Re-ID 特征在时空图上进行聚类，在同质鱼群场景中完全崩溃（ReST MOTA 仅 61.3% 且 ID 切换高达 173.7 次）；TrackFish3D 采用纯几何特征与自监督对比学习，实现极高身份保真度。
• vs 3D-SORT: 传统运动学滤波方法假定匀速直线运动，在鱼群急转、盘旋时易发生身份互换；TrackFish3D 在时序嵌入空间进行表征前滚，兼具全局场景上下文与运动平滑性。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [首次实现针对同质鱼群集群的纯几何驱动自监督 3D 多目标跟踪]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖仿真鱼群、真实斑马鱼、真实鸽群、异常检测下游应用及详尽消融]
• 写作质量: ⭐⭐⭐⭐⭐ [问题定义明确，理论推导严密，系统流水线与损失机制条理清晰]
• 价值: ⭐⭐⭐⭐⭐ [为生物集群行为量化与复杂多目标无标注 3D 重建提供了极具推广价值的全新范式]

相关论文

• [NeurIPS 2026] Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
• [NeurIPS 2026] RayTun3R: Online Camera Adaptation in 3D Foundation Models
• [NeurIPS 2026] Articraft: An Agentic System for Scalable Articulated 3D Asset Generation
• [NeurIPS 2026] UnfoldArt: Zero-Shot Recovery of Full Articulated 3D Objects from Text or Image
• [NeurIPS 2026] GReFEM: Multimodal LLMs as Zero-Shot Semantic Assistants for Physics-Guided 3D Mesh Refinement