Detect by Track: Making Detector-Free Matcher Trackable¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D视觉
关键词: 无检测器匹配, 特征跟踪, 多视角一致性, 姿态估计, 增量SLAM

一句话总结¶

针对无检测器特征匹配器隐式关键点选取导致多视角轨迹断裂的核心痛点，本文提出 Detect-by-Tracking (DeT) 机制，通过伪轨迹与双线性采样操控局部相似度矩阵，使无检测器匹配器在无需重新训练的前提下直接输出亚像素级连续轨迹。

研究背景与动机¶

在三维重建（SfM）、视觉里程计（VO）、增量 SLAM 以及目标跟踪中，跨帧连续的二维局部特征轨迹是求解几何与位姿优化的基石。传统的基于检测器的方法（如 SuperPoint 配合 LightGlue）遵循“先检测、再描述、后匹配”的范式，虽然显式关键点天然能够串联成多视角连贯的轨迹，但受限于两阶段割裂的启发式关键点提取，在弱纹理、重复图案或光照剧变场景中极易丢失对应；同时，注意力匹配的计算复杂度随关键点数量呈二次方增长，难以高效扩展到半密集场景。

近年来兴起的无检测器匹配方法（如 LoFTR、EDM、JamMA）打破了显式检测的桎梏，通过骨干网络的全图稠密交互与粗到细（Coarse-to-Fine）匹配架构，在双视角匹配精度与运行速度上均大幅超越传统方案。然而，无检测器匹配器的致命缺陷在于其关键点并非独立显式提取，而是作为两两图像配对匹配的副产物隐式确定的。这意味着同一物理点在基准图上的像素位置会随着配对目标图的改变而漂移，造成严重的多视角不一致性与轨迹碎片化，使得传统增量 SLAM 和跟踪算法完全无法直接应用。

此前少数尝试引入无检测器匹配的工作（如 Detector-Free SfM、Dense-SfM）主要依赖离散网格粗量化配合极度沉重的多图像全局重优化（如 Transformer 优化或高斯泼溅后处理）。这种批处理架构计算代价高昂且专为离线 SfM 定制，完全无法适用于在线连续估计的增量 SLAM 或实时目标跟踪。本文的核心切入角度在于：无检测器匹配器内部粗到细相似度矩阵本身具备平移等变性，且其行向 Softmax 天然承载了条件匹配概率分布，完全可以通过引导采样直接将双视角匹配转化为以历史轨迹点为锚的条件跟踪。核心 idea：提出 Detect-by-Tracking (DeT) 机制，基于局部运动平移一致性构造伪轨迹引导目标特征裁剪，并利用相似度矩阵的平移等变性对历史亚像素锚点进行双线性重采样，在零样本免训练条件下使现成无检测器匹配器直接输出连续亚像素轨迹。

方法详解¶

整体框架¶

无检测器匹配器通常由提取粗特征 $C_A, C_B$ 和细特征 $F_A, F_B$ 的骨干网络、粗匹配模块以及局部细匹配模块组成。传统两视角匹配直接在粗匹配点对周围截取局部窗口 $\kappa \times \kappa$，计算相似度矩阵并取 Dual-Softmax 的极大值，导致基准图上的点随着匹配配对而浮动。

DeT 逆转了这一过程：给定上一帧已建立的亚像素轨迹查询点 $q_A$ 以及当前图像对 $(I_A, I_B)$，DeT 首先根据局部最邻近检测匹配推导目标图的伪轨迹以覆盖真实匹配区域，随后在连续空间中平移并重采样基准特征块，使得输出的局部相似度矩阵行向 Softmax 直接对应以 $q_A$ 为起点的连接概率分布图 $P_q$，最终通过最大概率定位与细回归头输出连贯的下一帧亚像素位置 $q_B$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：图像对 (IA, IB) 与历史亚像素轨迹 qA"] --> B["目标裁剪引导<br/>NN近邻匹配推导伪轨迹 qB_ps 并裁剪 FB"]
    B --> C["锚点裁剪引导<br/>利用平移等变性在 FA 上双线性采样 qA"]
    C --> D["相似度操控与条件概率计算<br/>提取行向 Softmax 得到连接概率图 Pq"]
    D --> E["亚像素轨迹更新<br/>arg max 定位粗网格 + 细回归头修正得到 qB"]
    E --> F["输出：多视角连续轨迹 qB（作为下帧输入）"]

关键设计¶

1. 目标裁剪引导：通过伪轨迹保障感受野覆盖 传统局部相关性计算仅在离散粗匹配中心 $\bar{p}_B$ 展开 $\kappa \times \kappa$ 窗口，但历史查询点 $q_A$ 对应的真实匹配点 $q_B^{\text{GT}}$ 可能因视差或运动漂移滑出默认窗口边界。为了确保真实对应点落在局部细匹配的感受野内，DeT 引入了基于局部运动一致性的伪轨迹引导。算法在当前帧标准两两匹配结果中检索与 $q_A$ 空间距离最近的匹配点对 $(p_A, p_B)$，在局部场景深度相近的前提下，假设局部运动服从平移一致性，将目标图的粗预测中心对齐到： $$q_B^{\text{ps}} = \Delta_f \cdot \left\lfloor \frac{q_A + (p_B - p_A)}{\Delta_f} \right\rceil$$ 其中 $\Delta_f$ 表示细特征的采样步长（如 2 像素）。通过将目标特征切片 $F_B^{q_B^{\text{ps}}}$ 的中心直接锁定在伪轨迹处，极大概率保证了真实匹配点位于 $\kappa \times \kappa$ 窗口内部。

2. 锚点裁剪引导：基于平移等变性的亚像素重采样 即使目标窗口对准，常规相似度矩阵行索引仅定义在 $\Delta_f$ 离散网格上，无法直接计算任意浮点坐标 $q_A$ 的匹配概率。DeT 洞察到两幅图像特征裁剪块计算的局部相关性矩阵具有优良的平移等变性质：当锚点特征块在图像空间发生位移时，其对应的匹配概率分布在经验和理论上均保持等变位移。因此，DeT 无需修改网络内部结构或重新离散化，而是直接在连续坐标 $q_A$ 处对基准细特征图 $F_A$ 进行双线性插值采样，提取中心严格位于 $q_A$ 的特征块 $F_A^{q_A}$： $$P_q = \operatorname{softmax}\left( \operatorname{Corr}\left(\mathcal{M}_F(F_A^{q_A}), \mathcal{M}_F(F_B^{q_B^{\text{ps}}})\right) \big|_{[0,0]} \right)$$ 这一变换巧妙地将离散网格偏移查找转化为连续特征对齐，使得中心位置 $[0,0]$ 的行向 Softmax 严格代表以任意亚像素点 $q_A$ 为起点的匹配概率分布。

3. 亚像素轨迹更新与新生轨迹补充 在获得连接概率图 $P_q$ 之后，模型首先在细网格分辨率（步长 $\Delta_f$）下寻找峰值概率位置 $\hat{q}_B = \arg\max P_q$，随后直接复用原匹配器已有的轻量级回归头预测亚像素残差偏移 $\delta$，合成最终更新的亚像素跟踪坐标 $q_B = \hat{q}_B + \delta$。此外，为了应对长时间跟踪过程中由于视场移出、遮挡或误匹配导致的轨迹丢失，DeT 允许在每帧可选地将高置信度的双视图独立匹配点对作为“新生轨迹”（Newborn Tracks）动态注入轨迹池，实现即插即用且长期保活的流式跟踪。

损失函数 / 训练策略¶

DeT 是完全在推理阶段生效的即插即用机制，不需要任何额外训练或微调。在具体实现中，DeT-JamMA 和 DeT-EDM 分别直接加载官方预训练模型权重。两者的增量计算仅包含微小的双线性特征插值、局部特征变换与最大值搜索，相对于骨干网络（ConvNeXt、Mamba 或 Correlation Injection）的计算开销，额外 FLOPs 开销仅占约 2%，保持了极高的实时推理效率。

实验关键数据¶

主实验¶

论文在 MegaDepth 与 IMC 数据集上构建了 5 帧图像序列，评测跨帧连续轨迹质量、多视角位姿估计（Essential 矩阵分解）以及无 Bundle Adjustment 的增量 SLAM 初始重建精度（AUC@$5^\circ$）。

表1：多视角位姿估计精度对比（AUC@$5^\circ$，原论文 Table 1）

方法类别	方法名称	IMC Reichstag	IMC Sacre C.	IMC St-Peters	MegaDepth 0015	MegaDepth 0022
基于检测器	SIFT + LightGlue	69.0	81.8	60.7	46.3	48.2
基于检测器	SuperPoint + LightGlue	75.0	72.6	47.0	58.0	37.8
无检测器 + 简单匹配	NN-JamMA	35.0	45.0	11.0	24.4	18.3
无检测器 + 简单匹配	NN-EDM	19.0	36.0	5.0	12.6	15.9
Detect by Track (本文)	DeT-JamMA	84.0	77.0	61.0	72.4	46.3
Detect by Track (本文)	DeT-EDM	29.0	52.0	12.0	17.3	19.5

表2：增量 SLAM 初始位姿精度对比（AUC@$5^\circ$，原论文 Table 2）

方法类别	方法名称	IMC Reichstag	IMC Sacre C.	IMC St-Peters	MegaDepth 0015	MegaDepth 0022
基于检测器	SIFT + LightGlue	64.9	82.3	56.3	61.8	34.7
基于检测器	SuperPoint + LightGlue	46.0	70.9	41.1	43.4	24.6
无检测器 + 简单匹配	NN-JamMA	59.8	83.0	61.9	58.0	41.1
无检测器 + 简单匹配	NN-EDM	55.1	79.7	57.4	51.9	34.3
Detect by Track (本文)	DeT-JamMA	68.7	88.0	69.6	65.5	44.9
Detect by Track (本文)	DeT-EDM	55.4	79.5	59.4	55.2	35.7

消融实验¶

为评估 DeT 将无检测器匹配限制在历史轨迹关联时可能带来的两视角约束损失，论文在 MegaDepth 上进行了三元组两视角相对位姿消融实验。

表3：两视角匹配与位姿精度消融（原论文 Table 3）

方法配置	是否可跟踪 (Trackable)	检测匹配/轨迹数	正确率 (%)	Pose AUC@$5^\circ$	Pose AUC@$10^\circ$	Pose AUC@$20^\circ$
EDM 基线	否	2395	93.0	64.5	77.7	86.8
JamMA 基线	否	4021	88.9	64.1	77.4	86.5
DeT-EDM (本文)	是	2393	93.0	63.6	77.0	86.3
DeT-JamMA (本文)	是	2427	90.9	61.4	75.1	84.9

关键发现¶

在 5 帧跨视角的连续跟踪实验中，传统无检测器匹配由于两两匹配点无法精准闭合，使用最近邻（NN）串联轨迹时数量急剧下跌；而 DeT 能够维持高出 SuperPoint + LightGlue 5 倍以上的正确连续轨迹数（对极误差 $< 10^{-3}$）。
在增量 SLAM 任务中，DeT-JamMA 不仅在所有测试场景中取得了最高的位姿 AUC 精度，而且相比于稀疏检测器基准注册了多达 4 倍以上的 3D 点云数量，展现出对半稠密地图构建的巨大价值。
两视角消融实验证明，将现成无检测器匹配器转化为连续跟踪器后，位姿 AUC@$5^\circ$ 仅有轻微下降（JamMA 由 64.1 变为 61.4，EDM 由 64.5 变为 63.6），但彻底消除了多视角轨迹不一致性。

亮点与洞察¶

平移等变性的巧妙再利用：不仅发现且实证了特征混合器后局部相关性矩阵的平移等变性，将离散特征网格拓展到连续亚像素域，无需改变网络架构即可实现跨视角亚像素级轨迹对接。
零成本模型泛化：机制完全脱耦于训练过程，作为推理期插件能够即插即用直接赋能 EDM 与 JamMA 等不同骨干架构的无检测器模型，仅需约 2% 的微小计算增量。
弥合两视角匹配与多视角几何的鸿沟：打破了过去无检测器匹配只能服务于双目配对或必须依赖昂贵全局离线重优化的定势思维，为在线增量视觉导航（VO/SLAM）开辟了实用落地途径。

局限与展望¶

局部平移运动与深度一致性假设：伪轨迹计算假定最近邻参考点与待跟踪点深度相近且局部运动一致。在遭遇强烈深度断裂、大尺度旋转或视差急剧突变的物体边缘时，若真实对应点超出 $\kappa \times \kappa$ 窗口，轨迹将无法恢复。
尺度缩放下的匹配冲突：无检测器匹配器往往对粗粒度网格采用一对一限制，当相机发生大幅缩放（Zoom-out）时匹配数量会因物理分辨率压制而骤减。
闭环与重微调潜力：当前工作主要专注于链式因果追踪，未来可在序列闭环处通过概率重加权引入回环一致性，或者引入多帧轨迹损失进行端到端联合微调以进一步收紧误差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用局部相似度平移等变性化解了无检测器匹配领域悬而未决的多视角轨迹碎片化难题。
实验充分度: ⭐⭐⭐⭐☆ 涵盖跟踪精度、多视角位姿估计、增量 SLAM 及两视角消融，对比详实。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学推导直观自然，图示和消融设计逻辑缜密。
价值: ⭐⭐⭐⭐⭐ 为轻量级无检测器特征匹配器落地于工业界实时视觉里程计与在线 SLAM 提供了关键范式。