WovenAnchor Matcher: Specialized Intra- and Inter-Image Context Modeling for Feature Matching¶

会议: NeurIPS 2026
arXiv: 2610.30799
OpenReview: https://openreview.net/forum?id=1tYCWPWHHq
代码: https://github.com/mmaiLab/WovenAnchorMatcher
领域: 3D 视觉
关键词: 特征匹配, 半稠密匹配, 状态空间模型, 交叉注意力, 相对位姿估计

一句话总结¶

针对半稠密特征匹配中图内空间传播与图间对应检索需求不对称的问题，提出专用算子解耦架构 WAM，结合水平再垂直编织状态空间模型与局部多锚点交叉注意力，在显著降低参数量与耗时的同时将 MegaDepth 相对位姿 AUC@5° 提升至 66.1。

研究背景与动机¶

局部特征匹配是视觉定位、运动恢复结构（Structure-from-Motion, SfM）、视觉 SLAM 以及图像配准流水线的核心基石。在基于深度学习的半稠密匹配体系中，主流方案普遍采用由粗到精（coarse-to-fine）的两阶段匹配范式：先在降采样粗分辨率网格上建立可靠的上下文特征表征并预测候选对应关系，随后在细分辨率局部窗口内微调匹配坐标。为了在弱纹理、重复纹理以及视角剧烈变化区域获得鲁棒的判别能力，模型在粗匹配之前必须引入上下文聚合模块，同时吸收单张图像内部的全局几何结构与两幅图像之间的对应线索。

然而，图像内部聚合（intra-image）与图像之间聚合（inter-image）在归纳偏置需求上具有本质不对称性。图像内部聚合的职责是在保持二维欧氏空间拓扑邻域与几何依赖的前提下，将周围几何上下文沿空间平滑传递给当前特征点；而图像间聚合的核心职责则是从另一视角中检索具有真实几何一致性的潜在对应区域，同时严格抑制来自外观相似但不相干背景的噪声污染。现有代表性匹配器并未对这两种角色进行专门解耦：LoFTR 风格的 Transformer 架构通篇使用标准的自注意力与交叉注意力，将计算昂贵的通用全连接注意力作为单一图内与图间算子；而近期以 JamMa 为代表的高效 Mamba 匹配器虽然利用状态空间模型显著削减了长程建模开销，但其 JointMamba 模块仍以同质的一维序列展开偏置同时处理图内与图间交互。

这种同质化设计限制了特征匹配系统的精度与效率边界。如果能根据两种聚合特性的差异量身定制专用算子——在图内构造具备严密二维感受野偏置的高效连续状态传递，在图间通过局部结构锚点聚合证据以规避单像素密集交叉注意力的歧义性，就能实现更精准且高效的匹配。本文的核心 idea 是显式解耦图内与图间上下文建模算子，提出由水平垂直级联编织状态空间模型（WovenMamba）与局部软聚类锚点交叉注意力（AnchorCrossAttention）组成的专用半稠密匹配器 WAM。

方法详解¶

整体框架¶

WAM 遵循轻量高效的由粗到精半稠密匹配范式。系统输入成对图像 \((I^0, I^1)\)，首先通过轻量级 ConvNeXtV2 编码器提取 \(1/8\) 分辨率粗特征 \(\mathbf{F}_c^0, \mathbf{F}_c^1 \in \mathbb{R}^{H_c \times W_c \times C_c}\) 以及 \(1/2\) 分辨率细特征 \(\mathbf{F}_f^0, \mathbf{F}_f^1\)。粗特征随后交由两级串联的 WovenAnchorModule 模块进行深度上下文增强。在每个 WovenAnchorModule 阶段内部，先通过 WovenMamba 在两幅图像内部独立执行空间编织状态传递，再通过 AnchorCrossAttention 在两图间交换对应区域证据，最后经前馈网络更新。更新后的粗特征通过最近邻互匹配与阈值筛选获得粗对应，并在细特征引导下通过期望解算完成亚像素精修。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["成对图像输入<br/>(I⁰, I¹)"] --> B["ConvNeXtV2 双尺度骨干<br/>粗特征 1/8 尺度 + 细特征 1/2 尺度"]
    B --> C["WovenMamba<br/>先水平后垂直级联扫描图内传播"]
    C --> D["AnchorCrossAttention<br/>局部多锚点软聚类与图间交叉检索"]
    D --> E["前馈网络 (FFN) 深度更新<br/>输出增强粗特征"]
    E --> F["粗匹配与亚像素级细化<br/>输出稠密对应点集与位姿估计"]

关键设计¶

1. WovenMamba：水平级联垂直扫描的图内二维感受野偏置

传统视觉 Mamba 模型在处理二维图像网格时，往往采用双向或四向独立平铺扫描后将输出求和相加（Scan-and-Sum）。这种相加方式本质上仅是将相互独立的一维因果响应在通道层面叠加，无法在离散网格上形成严格的二维联合空间依赖。WovenMamba 针对图像内部几何上下文需要精确保留空间相对方向与距离的需求，提出了水平再垂直的级联组合扫描机制。输入特征首先通过投影分支为状态传播流 \(\mathbf{X}\) 与门控流 \(\mathbf{Z}\)，传播流先经行优先水平扫描展开并通过选择性状态空间模型更新并还原为网格，再对其进行层归一化后直接输入列优先垂直扫描。由于垂直阶段直接在已完成水平上下文融合的特征上运算，输出算子 \(\mathcal{S}_v(\mathrm{Norm}(\mathcal{S}_h(\mathbf{X})))\) 构造了精确的跨行列二维复合卷积核，使得任意位置 \((p,q)\) 能够通过中间网格路径以距离与方向衰减的形式平滑作用于目标位置 \((i,j)\)，避免了独立扫描叠加导致的轴向十字伪影。

2. AnchorCrossAttention：局部软聚类锚点的对应感知图间检索

在两张图像之间进行直接的稠密像素级交叉注意力计算时，单点特征容易因视点大范围变换、噪声或弱纹理产生假阳性高相似度，造成特征语义污染，同时带来 \(O(H_c^2 W_c^2)\) 的高昂计算开销。AnchorCrossAttention 将稠密图间交互转换为基于局部代表性几何锚点的结构化检索。算法在特征图上以重叠滑窗（窗口大小 \(w \times w\)，步长 \(w/2\)）划分局部区域，并在每个窗口内学习共享投影向量 \(\mathbf{q}_k\)，通过温度归一化 Softmax 将窗口内像素软聚类为 \(K\) 个局部锚点。聚类权重不仅加权汇总原始与归一化特征，还将分配中心、协方差与质量编码为空间几何项 \(\mathbf{f}_{m,k}^{\mathrm{geo}}\)。在跨图像交互时，仅将两图中具有相同锚点标识 \(k\) 的锚点描述子按窗口集合 \(\mathbf{A}_k \in \mathbb{R}^{M \times D}\) 进行多头交叉注意力交互，将运算复杂度缩减至 \(O(K M^2)\)。

3. 锚点特征反投影与熵加权交叠融合

在完成跨视角的代表性锚点交互更新 \(\Delta \mathbf{A}_k\) 后，需要将更新量无失真地分发回稠密的单点像素特征图上。AnchorCrossAttention 采用保持一致性的分配概率 \(P_{m,k}(u,v)\) 将同一窗口内的 \(K\) 个更新锚点反向线性组合投影回像素网格。针对重叠滑窗引入的同一空间坐标多重更新问题，论文进一步依据像素在所属窗口内的分配熵构建重叠归一化权重 \(\lambda_m(u,v)\)。若某像素在某窗口内的锚点归属分布更加尖锐、信息熵更低，表明该窗口对该局部特征的几何结构解耦更为纯粹，因而在重叠加权融合（Fold）中赋予更高的置信度，从而实现了光滑且抗伪影的稠密特征重构。

损失函数 / 训练策略¶

WAM 沿用成熟的由粗到精匹配监督目标，包含粗匹配阶段的双向 Softmax 交叉熵损失以及精匹配阶段由真值几何投影诱导的局部亚像素坐标 \(L_1\) 回归损失。模型在 MegaDepth 数据集上使用尺寸填充为 \(832 \times 832\) 的图像对训练 20 个 epoch，批大小为 8。优化器采用 AdamW，基础学习率为 \(4 \times 10^{-4}\)，在前 14,550 步执行线性预热（约 3.16 个 epoch）并配合余弦退火学习率调度策略。

实验关键数据¶

主实验¶

在室外相对位姿估计基准 MegaDepth-1500 上，使用 LO-RANSAC 评估姿态误差曲线下面积（Pose AUC）。WAM 显著超越了 JamMa、LoFTR 以及同期的半稠密与稀疏匹配模型，在保持极低参数量与延迟的同时取得了半稠密领域的顶尖性能。

模型类别	匹配器	参数量 (M)	耗时 (ms)	AUC@5° ↑	AUC@10° ↑	AUC@20° ↑
稀疏匹配	SuperPoint + SuperGlue	13.3	55.2	57.6	72.6	83.5
稀疏匹配	SuperPoint + LightGlue	13.2	47.2	58.8	73.6	84.1
稠密匹配	DKM	72.3	315.9	67.3	79.7	88.1
稠密匹配	RoMa	111.3	470.2	68.5	80.6	88.8
半稠密匹配	LoFTR	11.6	63.6	62.1	75.6	85.0
半稠密匹配	ASpanFormer	15.8	91.9	62.6	76.1	85.7
半稠密匹配	ELoFTR	16.0	41.5	63.7	77.0	86.4
半稠密匹配	JamMa	5.7	43.8	64.1	77.4	86.5
半稠密匹配	EDM	10.3	20.9	64.5	77.6	86.8
半稠密匹配	WAM (本文)	4.5	35.4	66.1	78.9	87.7

在 ScanNet-1500 室内场景零样本迁移评测中，WAM 在未进行任何微调的前提下达到 23.2%（AUC@5°）和 41.2%（AUC@10°），全面领先 JamMa（18.5% / 35.6%）与 LoFTR（20.7% / 37.7%）；在 HPatches 单应性估计基准上，角点误差阈值 @3px 下达到 68.5%，证明了模型在室内结构与跨视角平面场景中的通用鲁棒性。

消融实验¶

针对 WovenAnchorModule 内各核心组件与算子选择的受控消融实验验证了架构设计的合理性：

实验组别	模型变体配置	耗时 (ms)	AUC@5° ↑	AUC@10° ↑	说明
组件消融	完整 WAM (WovenMamba + ACA)	35.4	66.1	78.9	默认专用解耦架构
组件消融	去除 WovenMamba (w/o WovenMamba)	30.5	64.6	77.7	图内仅依赖局部卷积提取，性能下降 1.5%
组件消融	去除 ACA (w/o AnchorCrossAttention)	27.4	64.0	77.0	缺失跨图检索，性能骤降 2.1%
组件消融	两者皆去除 (w/o both)	20.9	62.0	75.0	无深层交互模块，精度降至基线水平
图内算子对比	UniMamba / BiMamba	33.1 / 35.7	65.2 / 65.2	78.3 / 78.4	一维单向或双向无法建立二维空间感受野
图内算子对比	FourMamba (四向相加)	40.4	65.3	78.5	独立扫描相加开销上升且存在轴向伪影
图内算子对比	Self-Attention	49.0	64.8	77.8	传统图内全连接自注意力耗时高且效果弱
图间算子对比	CrossFourMamba	37.1	65.4	78.2	Mamba 用于图间无法按几何相似度动态检索
图间算子对比	Dense CrossAttention	50.3	65.0	78.2	稠密全图交叉注意力易混淆非对应假阳性
算子角色互换	ASA (图内) + CWM (图间)	36.0	64.9	77.7	角色互换造成归纳偏置错位，全面退化

关键发现¶

图内传播与图间检索必须角色特化：无论在图内用自注意力还是在图间用 CrossMamba，性能均出现 1.0%~1.5% 的断崖式掉点；将两个算子完全互换（ASA + CWM）性能跌落至 64.9%，无可辩驳地证实了图内连续空间衰减偏置与图间对应检索偏置不可混为一谈。
级联优于相加：WovenMamba 仅需 2 次连续扫描即达到 66.1 AUC，显著优于 4 次独立扫描相加的 FourMamba（65.3 AUC），有效感受野可视化（ERF）也证实其在目标点周围建立了连贯紧致的二维支撑区。

亮点与洞察¶

解构半稠密匹配的归纳偏置不对称性：精辟指出视觉特征匹配中图内上下文聚合重在保持二维局部拓扑与几何邻近，而图间聚合重在依据外观与几何相似度精准检索对应点，终结了以往无脑堆叠同质化自注意力/交叉注意力的常规范式。
状态空间模型的编织级联思想：避开了传统视觉 Mamba 采用多向展平后求和的直觉设计，证明先水平后垂直的级联组合在数学解析与实际感受野上均能自然生成二维连续各向异性核，极具通用视觉特征建模的推广价值。

局限与展望¶

计算复杂度随窗口数二次扩展：尽管 AnchorCrossAttention 将单窗口内点积复杂度显著降低，但窗口间多头注意力的计算开销仍与窗口总数 \(M\) 呈现二次方依赖 \(O(KM^2)\)，在超大分辨率输入时吞吐量仍受制约。
近邻粗匹配引发多对一歧义：继承了 JamMa 式的双向最近邻硬分配策略，在极端重复纹理或对称结构建筑场景中易生成多对一或错误匹配，未来可结合最优传输（Optimal Transport）或双仿射正则进行后验约束。

评分¶

新颖性: ⭐⭐⭐⭐ [针对性解耦匹配任务中的图内几何传递与图间对应检索，提出紧凑精巧的算子设计]
实验充分度: ⭐⭐⭐⭐⭐ [完备的消融实验、多种算子对照、有效感受野分析以及跨数据集零样本验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严密，动机叙述层层递进，设计意图传达透彻]
价值: ⭐⭐⭐⭐ [为高效半稠密特征匹配与视觉定位系统提供了极具竞争力的新范式]