Rectified Embedding Flow Learning for Aerial Multi-view Geo-localization¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/rhaohur/REFL
领域: 遥感
关键词: 航拍地理定位、多视角地理定位、流匹配、条件分布输运、跨模态跨视角对齐

一句话总结¶

针对航拍多视角地理定位中由于视觉场景高度同质聚合导致文本指令难以消除跨视角分布漂移的难题，提出整流嵌入流学习框架（REFL），通过连续常微分方程（ODE）轨迹显式建模并单向输运查询嵌入至目标视角分布，在 Aerial MVGL 基准上取得 44.83% 的平均 R@1 和 65.85% 的平均 R@10。

研究背景与动机¶

空地协同与低空经济的迅猛发展使得航拍地理定位在大规模空间检索、无人机自主导航以及应急灾害救援中发挥着不可替代的作用。相比易受地面建筑物遮挡、视场狭窄受限的地面跨视角定位，航拍视角能够跨越地形障碍实现大范围无盲区感知。然而，现有的航拍地理定位研究大多割裂地聚焦于单一检索范式，例如文本引导的卫星图像定位、纯视觉的无人机-卫星跨视角匹配或文本引导的无人机定位。在复杂的开放现实环境中，各单模态检索系统暴露出严重的视角与模态不确定性：光照突变和恶劣天气会破坏视觉表征，自然语言指令常伴随描述歧义，而单模态传感器故障更会导致系统完全失效。为此，将无人机（UAV）与卫星（Satellite）的图像与文本模态联合纳为一个统一定向检索任务——航拍多视角地理定位（Aerial Multi-view Geo-localization, AMGL），成为兼顾环境适应性与系统完备性的关键路径。

然而，直接将通用多模态统一检索范式（如 UniIR、MM-EMBED 等基于多模态大模型的检索架构）迁移至 AMGL 任务时遇到了严重的分布瓶颈。通用多模态检索面向的是类别方差极大的开放域数据，文本指令只需提供粗粒度的宏观语义偏置（宏观均值与方差平移 $\Delta\mu, \Delta\sigma^2$）即可区分截然不同的图文检索意图；与之相反，AMGL 任务的数据全部聚集在视觉和语义高度同质的地理场景中（如道路、植被、屋顶与建筑立面），正负样本在连续地理空间内形成了极其致密的细粒度子分布聚合，分布间可分边界被严重压缩。当单个查询视角（如无人机航拍图）需要根据检索意图同时完成面向卫星图像的视角几何变换对齐以及面向文本描述的跨模态语义对齐时，仅凭文本提示引入的静态全局语义偏置无法解析并重建底层复杂的非线性分布拓扑差异。

这种单一静态嵌入空间与多视角异构分布之间的深层冲突表明，跨视角与跨模态特征对齐绝非简单的特征静态投影，而需要依赖连续的非线性分布变换。本文的核心 idea 是：将航拍多视角检索对齐形式化为一个有向条件分布输运（Directed Conditional Distribution Transport）过程，利用神经连续正规化流先在无监督下学习各视角分布到潜在共享流形的 ODE 变换先验，再沿目标视角的流场速度场对查询特征执行显式轨迹整流，使其连续平滑输运至静态候选集的目标分布域。

方法详解¶

整体框架¶

REFL 框架以轻量级多模态大模型（Qwen3-VL-Embedding-2B）为基础特征提取器，将跨域检索空间定义为包含无人机图像、无人机文本、卫星图像、卫星文本的联合域集合 $\mathcal{D} = \{U_i, U_t, S_i, S_t\}$。整个框架由统一特征抽取、两阶段分布建模与特征整流机制构成：第一阶段为速度先验流学习（Velocity-Prior Flow Learning, FL），冻结 MLLM 主干，利用各视角先验编码器估计高斯统计量并结合逆方差加权锚定共享潜流形，独立拟合各视角域到潜在流形的常微分方程（ODE）速度场；第二阶段为轨迹引导的嵌入整流（Trajectory-Guided Embedding Rectification, ER），将查询特征首先逆向积分投影至共享流形，再根据特定检索意图沿候选视角的正向流场连续积分输运生成整流查询嵌入，最后与静态候选特征实施单向对比学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：查询对 (xq, Pq) 与候选目标 xc"] --> Enc["统一 MLLM 特征抽取<br/>提取初始嵌入 fq 与 fc"]
    Enc --> S1["速度先验流学习<br/>逆方差加权确定共享潜流形 M_z* 并拟合各视角 ODE 速度场"]
    S1 --> S2["轨迹引导的嵌入整流<br/>逆向积分回溯流形 + 正向积分定向输运至目标域"]
    S2 --> Loss["单向对比对齐学习<br/>整流查询嵌入与静态候选嵌入的 InfoNCE 损失"]

关键设计¶

1. 速度先验流学习：以共享潜流形解耦多视角 ODE 速度场

针对航拍地理多视角之间严格联合配对数据高昂、无法直接构建全局高维联合流匹配的问题，该模块借鉴 FlowBind 机制，假设所有异构视角分布均由同一个潜在共享流形分布 $\mathcal{M}_{z^*}$ 衍生而来。给定属于查询视角 $\mathcal{M}_q$ 和候选视角 $\mathcal{M}_c$ 的配对样本特征 $f_q, f_c$，先验编码器首先提取各自分布的多元高斯均值 $\mu_m$ 与方差 $\sigma_m^2$。为了合理融合具有不同不确定度的模态分布，设计采用逆方差加权（Inverse Variance Weighting）自适应计算潜在锚点 $z^*$ 的高斯参数： $$\sigma_{z^*}^2 = \left(\sum_{m\in\{\mathcal{M}_q,\mathcal{M}_c\}}\frac{1}{\sigma_m^2}\right)^{-1}, \quad \mu_{z^*}=\sigma_{z^*}^2\sum_{m\in\{\mathcal{M}_q,\mathcal{M}_c\}}\frac{\mu_m}{\sigma_m^2}$$ 通过重参数化采样得到流形锚点 $z^* = \mu_{z^*} + \epsilon \odot \sigma_{z^*}$（其中 $\epsilon \sim \mathcal{N}(0, I)$）。随后为每个视角域 $m$ 独立配置参数化速度场网络 $v_{\theta_m}$，构建从 $z^*$ 到对应视角样本 $f_m$ 的线性插值速度拟合目标。这一设计解耦了多模态视角间的错综关系，使模型在单一特征空间之外学到了各视角特有的非线性几何流形演变先验。

2. 轨迹引导的嵌入整流：两阶段 ODE 积分定向补偿分布漂移

为了让连续流变换先验直接赋能特征检索、摆脱静态特征空间的判别瓶颈，嵌入整流机制将查询嵌入的跨视角对齐形式化为连续的条件分布输运。在检索推理时，候选库特征保持离线静态提取以保证检索响应效率，仅对输入查询特征 $f_q$ 施加动态流式修正。整流过程分为两步数值积分：首先沿查询视角 $\mathcal{M}_q$ 的速度场 $v_{\theta_{\mathcal{M}_q}}$ 执行反向时间积分（$t: 1 \to 0$），将包含特定源视角偏差的特征逆向“清洗”并回溯映射至中立的潜在共享流形，提取中间锚定状态： $$z_q^* = f_q + \int_{1}^{0} v_{\theta_{\mathcal{M}_q}}(z_t, t) dt$$ 紧接着，根据指定的检索任务意图，以 $z_q^*$ 为起点沿着目标候选视角 $\mathcal{M}_c$ 的速度场 $v_{\theta_{\mathcal{M}_c}}$ 执行正向时间积分（$t: 0 \to 1$），沿着目标流形的速度轨迹驱动特征连续演变： $$\tilde{f}_q = z_q^* + \int_{0}^{1} v_{\theta_{\mathcal{M}_c}}(z_t, t) dt$$ 该机制通过显式连续 ODE 积分完成了从源视角分布到目标视角分布的无缝迁移，精确补偿了航拍视角变换与跨模态转换引入的细粒度特征漂移。

3. 单向流驱动对比监督：保持候选集静态并端到端联合优化

为避免将候选空间一同动态变形所导致的大规模检索索引失效，整流后的查询特征 $\tilde{f}_q$ 与静态提取的候选特征 $f_c$ 之间构建单向 InfoNCE 对比损失（$\mathcal{L}_{\text{ER-CL}}$）。该机制只驱动查询特征去精确重合静态候选目标在流形中的原生分布位置。第二阶段引入超参数 $\lambda = 0.5$ 将速度场回归损失与对比检索损失联合优化，并通过 LoRA 仅微调 MLLM 核心投影权重，既保证了流场 ODE 轨迹与判别语义空间的相互校准，又完全避免了基座多模态大模型的灾难性遗忘。

损失函数 / 训练策略¶

REFL 采用两阶段解耦训练策略以保障收敛稳定性：在第一阶段（Prior Flow Learning），冻结 Qwen3-VL-Embedding-2B 主干参数，仅优化各视角的轻量级 MLP 速度场网络。为避免流匹配坍缩为无意义平庸解，将时间轴拆解为 $t \in (0, 1]$ 与 $t = 0$ 两个互补项： $$\mathcal{L}_{\text{flow}}^{(m)} = \mathbb{E}_{t \sim \mathcal{U}(0,1]} \left\| v_{\theta_m}(z_{m,t}, t) - (f_m - \text{sg}(z^*)) \right\|_2^2$$ $$\mathcal{L}_{t_0}^{(m)} = \mathbb{E}_{t=0} \left\| v_{\theta_m}(z^*, 0) - (f_m - z^*) \right\|_2^2$$ 其中 $z_{m,t} = t f_m + (1-t)\text{sg}(z^*)$，$\text{sg}(\cdot)$ 为截断梯度算子。$\mathcal{L}_{\text{flow}}^{(m)}$ 截断 $z^*$ 梯度专心拟合速度场，$\mathcal{L}_{t_0}^{(m)}$ 允许梯度反传优化先验编码器。总流先验损失为 $\mathcal{L}_{\text{FL}} = \sum_{m \in \{\mathcal{M}_q, \mathcal{M}_c\}} (\mathcal{L}_{\text{flow}}^{(m)} + \mathcal{L}_{t_0}^{(m)})$。

在第二阶段（Trajectory-Guided Correction），解冻 MLLM 并利用 LoRA（秩 $r=64$, $\alpha=128$）进行端到端联合微调。总损失函数定义为： $$\mathcal{L}_{\text{stage2}} = \lambda \mathcal{L}_{\text{FL}} + \mathcal{L}_{\text{ER-CL}}$$ 其中 $\lambda = 0.5$；对比学习温度系数初始化为 $\tau = 0.07$。ODE 积分求解采用步长设为 16 的数值积分，既保证了精细轨迹传输精度，又维持了极高的推理效率。

实验关键数据¶

主实验¶

实验在作者构建的包含 6 大类检索任务、共 10 个子任务数据集的 Aerial MVGL Benchmark 上全面展开，并与专用多视角定位模型 GeoBridge、通用统一检索框架 UniIR（CLIP/XVLM 底座）、以及统一大模型检索基座 VLM2Vecv2 与 Qwen3-VL-Embedding-2B 进行了对比。

数据集 / 任务	检索方向	指标	REFL (本文)	Qwen3-VL (基线)	GeoBridge	UniIR (XVLMfs)
GeoText-1652 (Task 1)	$U_t \to U_i$	R@1 / R@10 (%)	14.27 / 30.05	12.48 / 27.71	5.17 / 15.39	12.05 / 25.42
GeoText-1652 (Task 2)	$U_i \to U_t$	R@1 / R@10 (%)	23.85 / 64.68	18.31 / 58.57	0.96 / 8.60	15.92 / 51.88
VRSBench (Task 3)	$S_t \to S_i$	R@1 / R@10 (%)	15.26 / 48.06	12.31 / 40.72	2.79 / 16.13	11.89 / 43.82
FIT-RSFG (Task 3)	$S_t \to S_i$	R@1 / R@10 (%)	15.56 / 38.34	14.13 / 36.30	3.81 / 18.55	11.47 / 34.35
VRSBench (Task 4)	$S_i \to S_t$	R@1 / R@10 (%)	14.23 / 47.17	10.57 / 39.36	1.40 / 9.69	8.33 / 36.11
FIT-RSFG (Task 4)	$S_i \to S_t$	R@1 / R@10 (%)	18.79 / 42.34	16.56 / 40.87	3.57 / 18.46	13.18 / 38.06
University-1652 (Task 5)	$U_i \to S_i$	R@1 / R@10 (%)	78.64 / 96.70	70.71 / 94.98	13.20 / 43.90	59.99 / 89.48
SUES-200 (Task 5)	$U_i \to S_i$	R@1 / R@10 (%)	89.08 / 99.89	83.29 / 99.68	30.83 / 78.61	91.10 / 99.06
University-1652 (Task 6)	$S_i \to U_i$	R@1 / R@10 (%)	84.88 / 93.72	79.32 / 91.01	18.69 / 43.65	79.32 / 90.73
SUES-200 (Task 6)	$S_i \to U_i$	R@1 / R@10 (%)	93.75 / 97.50	90.00 / 93.75	40.00 / 66.25	92.50 / 95.00
全基准平均 (Avg.)	综合 10 项	mR@1 / mR@10	44.83 / 65.85	40.77 / 62.29	12.04 / 31.92	39.57 / 60.39

消融实验¶

消融实验深入验证了阶段 1 先验学习、ODE 嵌入整流及各损失函数构件的有效性（表 6），以及 ODE 积分步数对检索性能的影响（表 9）。

配置编号	静态对比 $\mathcal{L}_{\text{CL}}$	Stage 1 先验流	整流对比 $\mathcal{L}_{\text{ER-CL}}$	阶段 2 流损失 $\mathcal{L}_{\text{FL}}$	mR@1 (%)	mR@5 (%)	mR@10 (%)	说明
C0	-	-	-	-	19.91	32.76	39.01	零样本未微调基线
C1	-	✓	-	-	16.15	26.15	32.44	仅引入流先验但无对比判别信号
C2	✓	-	-	-	40.77	55.34	62.29	标准静态特征空间对比微调
C4	-	-	✓	-	42.84	58.20	64.81	无预训练先验的嵌入整流对比
C5	-	-	✓	✓	42.95	58.21	64.67	无 Stage 1 先验、直接端到端联合训练
C6	-	✓	✓	-	43.06	58.29	64.46	具备 Stage 1 先验，但阶段 2 去除流正则
C7 (REFL 完整模型)	-	✓	✓	✓	44.83	59.57	65.85	完整两阶段速度先验与整流对齐

在 ODE 积分步数消融中（表 9），随着数值积分步数从 1 步递增至 2、4、8、16、32、64 步，mR@1 分别为 41.56%、43.16%、43.78%、44.57%、44.83%、44.95%、44.95%。可见积分步数达到 16 步时已实现性能充分饱和，继续增加至 64 步仅有 0.12% 微弱提升但带来额外延迟，16 步在精度与耗时之间达成了最优平衡。

关键发现¶

嵌入整流是跨越静态特征表示瓶颈的关键：对比 C2 与 C7 可以发现，相比在静态特征空间中强行对齐所有视角（40.77% mR@1），通过 ODE 轨迹进行特征整流的完整 REFL 实现了 4.06% 的显著跃升，证明了细粒度同质地理分布必须依靠非线性连续输运才能精准补偿域漂移。
阶段 1 速度先验与阶段 2 联合正则具有高度互补性：若缺少 Stage 1 的充分预热先验（C5），mR@1 会从 44.83% 跌至 42.95%；若阶段 2 放弃流损失正则约束（C6），mR@1 同样下降至 43.06%。只有先学好各视角到共享流形的流场先验，并在微调阶段持续保持流形拓扑约束，才能使整流轨迹精准击中目标域。
零样本域外泛化验证：在未参与微调的 ERA、RSICD、RSITMD 和 DenseUAV 四个纯域外基准上测试时，REFL 训练后的多模态大模型底座在去掉 ER 推理模块（即 REFL w/o ER）时取得了 19.74% 的平均 R@1，全面击败未微调基线 Qwen3-VL（17.46%），证明了两阶段流学习训练有效巩固了多模态主干的抗遗忘能力和表征泛化性。

亮点与洞察¶

将多视角地理检索抽象为有向条件分布输运问题：摆脱了以往依赖文本 Prompt 强行让静态特征“硬对齐”的套路，引入连续正规化流显式刻画分布位移场，为致密同质特征空间中的跨域匹配提供了全新的数学范式。
单向推理积分设计兼顾高性能与工程可落地性：仅在推理端对即时传入的 Query 嵌入进行 16 步轻量 MLP 速度场数值积分，而庞大的底库 Gallery 特征完全离线静态存储，既完成了非线性漂移补偿，又避免了重构检索库索引的高昂开销。
跨领域通用启发：该方法中“共享中立流形 + 双向 ODE 变换”的思路，能够直接迁移到如跨视角车路协同目标定位、红外-可见光跨模态行人重识别等高度同质聚合但视角与传感器差异极大的其他细粒度检索任务中。

局限与展望¶

极端相似地理硬负样本的拓扑歧义：从作者给出的可视化失败样例可见，在极度同质的城市网格、标准厂区或相似植被地块中，即使特征精确输运到卫星图像域，仅凭宏观轮廓仍然极易受到具有高度一致几何拓扑的硬负样本干扰。未来可结合局部几何显著图（如角点或建筑立面线条）引入细粒度结构约束。
固定 ODE 步数带来的计算开销：当前框架默认采用固定的 16 步常微分方程数值积分，虽然速度场网络仅为轻量 MLP，但在超高并发检索场景下仍会引入一定的响应时延。后续可探索自适应步长求解器或基于流蒸馏（Flow Distillation）的一步生成技术。
更高维度的连续视角插值：当前任务将视角粗粒度离散划分为无人机斜视/平视与卫星正射俯视两类，未来若能将无人机的实时俯仰角、飞行高度与光照太阳高度角作为连续条件变量注入速度场网络，有望实现真正任意视角连续航拍定位。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将连续流匹配与条件分布输运引入航拍多视角检索，突破了静态嵌入空间的表达天花板。
实验充分度: ⭐⭐⭐⭐⭐ 构建了覆盖 10 个子任务的标准 Aerial MVGL 基准，并给出了详尽的消融、域外零样本验证与质性可视化分析。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学推导完备自洽，问题意识鲜明且逻辑链条极其紧凑。
价值: ⭐⭐⭐⭐⭐ 为低空经济时代的无人机空天地一体化协同定位与多模态通用地理检索提供了极具启发性的技术路线。

数据集 / 任务	检索方向	指标	REFL (本文)	Qwen3-VL (基线)	GeoBridge	UniIR (XVLMfs)
GeoText-1652 (Task 1)	\(U_t \to U_i\)	R@1 / R@10 (%)	14.27 / 30.05	12.48 / 27.71	5.17 / 15.39	12.05 / 25.42
GeoText-1652 (Task 2)	\(U_i \to U_t\)	R@1 / R@10 (%)	23.85 / 64.68	18.31 / 58.57	0.96 / 8.60	15.92 / 51.88
VRSBench (Task 3)	\(S_t \to S_i\)	R@1 / R@10 (%)	15.26 / 48.06	12.31 / 40.72	2.79 / 16.13	11.89 / 43.82
FIT-RSFG (Task 3)	\(S_t \to S_i\)	R@1 / R@10 (%)	15.56 / 38.34	14.13 / 36.30	3.81 / 18.55	11.47 / 34.35
VRSBench (Task 4)	\(S_i \to S_t\)	R@1 / R@10 (%)	14.23 / 47.17	10.57 / 39.36	1.40 / 9.69	8.33 / 36.11
FIT-RSFG (Task 4)	\(S_i \to S_t\)	R@1 / R@10 (%)	18.79 / 42.34	16.56 / 40.87	3.57 / 18.46	13.18 / 38.06
University-1652 (Task 5)	\(U_i \to S_i\)	R@1 / R@10 (%)	78.64 / 96.70	70.71 / 94.98	13.20 / 43.90	59.99 / 89.48
SUES-200 (Task 5)	\(U_i \to S_i\)	R@1 / R@10 (%)	89.08 / 99.89	83.29 / 99.68	30.83 / 78.61	91.10 / 99.06
University-1652 (Task 6)	\(S_i \to U_i\)	R@1 / R@10 (%)	84.88 / 93.72	79.32 / 91.01	18.69 / 43.65	79.32 / 90.73
SUES-200 (Task 6)	\(S_i \to U_i\)	R@1 / R@10 (%)	93.75 / 97.50	90.00 / 93.75	40.00 / 66.25	92.50 / 95.00
全基准平均 (Avg.)	综合 10 项	mR@1 / mR@10	44.83 / 65.85	40.77 / 62.29	12.04 / 31.92	39.57 / 60.39