MCVL: Multi-Space Cross-View Learning for Aerial-Ground Person Re-Identification¶
会议: ECCV 2026
论文: ECCV 原文
领域: 遥感与多视角协同 / 行人重识别
关键词: 空地行人重识别、跨视角表征学习、可变形单应性变换、多空间对齐、视角去相关对比学习
一句话总结¶
针对空地行人重识别中航拍与地面视角之间剧烈的几何形变与特征空间鸿沟，MCVL 提出结合可变形单应性变换（DHT）与跨视角学习（CVL）的中间几何投影，并在全局特征空间引入视角去相关对比损失（VDCL），实现了无额外推理开销的端到端视角无关且判别性表征学习。
研究背景与动机¶
随着无人机（UAV）技术深度融入现代智能安防体系，传统仅局限于地面对地面或航拍对航拍的单一视角行人重识别已难以满足复杂动态场景下的全域监控需求。地面监控摄像机能够提供长时稳定的连续观察，但视角受限且存在盲区；无人机航拍具备灵活机动的覆盖能力，但往往以大俯角、非刚性局部视角进行瞬时捕捉。空地行人重识别（Aerial-Ground Person Re-Identification, AG-ReID）应运而生，其核心任务是在跨异构视角的摄像头网络中完成相同行人身份的精确匹配。
然而，空地摄像头之间存在极大的高度差与拍摄俯角差异，导致行人在图像中的人体部件空间排布、宽高比例以及局部外观呈现出严重的非刚性形变与透视失真，进而在空地特征分布间诱发了极大的表征鸿沟。现有 AG-ReID 方法大多试图忽略这一空间层面的本质差异，强行依赖高层语义辅助信息（例如额外的人体属性预测、解耦视角的视觉 token 或可学习的提示词 prompt）来建立全局跨视角对应关系。这不仅导致训练过程缺乏显式的空间几何约束、特征对齐收敛困难，而且许多方法在推理阶段仍需保留额外的解码器或提示模块，显著增加了边缘计算与实时检索系统的显存和延迟负担。
针对上述瓶颈，本工作认为解决空地视角剧烈差异的关键在于构造兼顾粗粒度透视与细粒度局部形变的几何对齐中间特征空间，同时在全局表征中彻底剥离视角特异性偏差。核心 idea：通过可变形单应性变换构建空地双向中间投影空间，利用跨视角空间一致性与对比约束缩小空间分布差异，并结合记忆库驱动的视角去相关对比损失消除全局视角偏差，在零推理额外开销下学习视角不变且高判别的统一身份特征。
方法详解¶
整体框架¶
MCVL 整体架构分为特征提取基座、可变形单应性变换（DHT）模块、跨视角特征学习（CVL）策略以及视角去相关对比学习（VDCL）模块四个部分。给定来自航拍与地面视角的输入图像，网络首先利用预训练 ViT 提取包含分类标记（class token）\(F_i^v\) 和空间 Patch 标记 \(f_i^v\) 的视觉特征。随后，DHT 模块将航拍特征与地面特征通过可变形网格采样分别向对方视角平面进行几何投射，构建跨视角的中间空间特征。在此基础上，CVL 策略在投影特征与原始特征之间施加空间几何一致性与视角判别约束；同时，VDCL 模块利用记忆库动态更新各视角的全局原型表征，排斥视角偏置并拉近同身份跨视角特征。最终在推理阶段，所有辅助投影模块与记忆库均被移除，仅保留主干特征提取器进行高效的余弦距离匹配。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["空地成对输入图像<br/>航拍图像 / 地面图像"] --> FE["特征提取基座 ViT<br/>全局标记 F / Patch 标记 f"]
FE --> DHT["可变形单应性变换 DHT<br/>全局单应性矩阵 + 局部形变偏移场"]
DHT --> CVL["跨视角学习 CVL<br/>身份一致性损失 + 跨视角对比损失"]
FE --> VDCL["视角去相关对比学习 VDCL<br/>记忆库动态维护 + 视角原型负向排斥"]
CVL & VDCL --> OPT["多任务联合优化训练<br/>Identity + Triplet + CVL + VDCL"]
OPT --> INF["轻量推理部署<br/>移除投影与记忆库，仅保留 ViT 提取特征"]关键设计¶
1. 可变形单应性变换：显式打通粗细粒度跨视角几何映射
标准单应性变换（Homography Transformation, HT）假设场景为平面映射，仅能捕捉全局的透视刚性变换，但人体作为三维非刚性目标，在俯视航拍与平视地面之间会产生极强的透视缩放与局部身体关节形变。DHT 针对此痛点，将全局单应性矩阵与局部可变形偏移场有机结合。对于航拍空间特征 \(f_i^a \in \mathbb{R}^{C \times H \times W}\)，首先通过轻量级回归网络预测 8 个独立自由度参数构造 \(3 \times 3\) 单应性矩阵 \(H\)（尺度固定 \(h_{33} = 1\)），将坐标 \((u, v, 1)^\top\) 全局映射至地面视平面的投影归一化坐标 \((u', v')\)：
$$
\begin{bmatrix} x' \ y' \ w' \end{bmatrix} \simeq H \begin{bmatrix} u \ v \ 1 \end{bmatrix}, \quad u' = \frac{x'}{w'}, \ v' = \frac{y'}{w'}
$$
为了补偿局部非刚性畸变，DHT 并行引入两个轻量卷积分支：一个分支预测 \(P\) 组局部候选位移 \(\{\Delta x_i(u, v)\}_{i=1}^P\)，另一分支预测对应的空间注意力归一化权重 \(\alpha_i(u, v)\)，得到最终的连续形变偏移量 \(\Delta \mathbf{x}(u, v) = \sum_{i=1}^P \alpha_i(u, v) \Delta x_i(u, v)\)。最终采样坐标为 \(\tilde{\mathbf{x}}(u, v) = (u', v')^\top + \Delta \mathbf{x}(u, v)\)，利用可微双线性网格采样与轻量残差细化网络生成投射后的空地特征 \(f_i^{ag}\)。对于地面到航拍的投影，则利用逆单应性矩阵 \(H^{-1}\) 实施对称逆向映射，获得 \(f_i^{ga}\)。
2. 跨视角空间学习：约束几何投影保真度与跨视角表征泛化
仅依靠可变形变换网络容易出现空间扭曲退化，必须引导投影特征保留身份语义并缩小跨空间分布差异。CVL 策略设计了两项互补约束。首先是跨视角身份一致性损失（Cross-View Identity Consistency Loss, CICL），采用 Smooth L1 损失显式拉近原始视角特征与其对端投影特征的空间分布距离：
$$
\mathcal{L}{\text{CICL}} = \mathcal{L}}}(f_i^a, f_i^{ag}) + \mathcal{L{\text{smoothL1}}(f_i^g, f_i^{ga})
$$
其次，跨视角对比损失（Cross-View Contrastive Loss, CVCL）直接对航拍到地面投影特征 \(f_i^{ag}\) 与地面到航拍投影特征 \(f_i^{ga}\) 施加判别式度量约束：对同身份样本拉近空间距离，对异身份样本推开至边界阈值 \(m\) 之外：
$$
\mathcal{L}|_2) \right)^2 \right]
$$
两项损失协同优化，使得中间投射特征兼顾了对源视角身份特征的高保真重构与跨视角的几何对齐判别力。}} = \frac{1}{N} \sum_{i=1}^N \left[ y_i |f_i^{ag} - f_i^{ga}|_2^2 + (1 - y_i) \left( \max(0, m - |f_i^{ag} - f_i^{ga
3. 视角去相关对比学习：全局特征层面的视角偏差显式解耦
在全局特征空间中，航拍独特的俯仰光照、背景俯视地貌以及地面相机的水平背景极易成为模型误判的快捷特征（shortcut features）。VDCL 在全局维度显式剥离这些视角独有偏置。框架为每个身份与视角的组合在外部记忆库中维护固定容量 \(K\) 的全局特征队列，并在训练中按动量系数 \(\mu=0.9\) 进行平滑更新：
$$
\hat{F}i^v \leftarrow \mu \hat{F}i^v + (1 - \mu) F_i^v
$$
在每个训练批次 \(B\) 中，通过聚合批次内所有身份的记忆特征，分别计算航拍与地面视角的全局视角原型 \(\mathcal{P}_a\) 与 \(\mathcal{P}_g\)。视角去相关损失 \(\mathcal{L}_{\text{VD}}\) 显式最小化当前特征与对应视角原型的余弦相似度，从而迫使模型抑制与视角绑定的共性特征：
$$
\mathcal{L} \sum}} = - \frac{1}{B_v)
$$
与此同时，结合基于 InfoNCE 的跨视角对比损失 }^B \cos(F_i^v, \mathcal{P\(\mathcal{L}_{\text{CL}}\)，在全局特征尺度拉近同身份在不同视角下的特征相似度 \(s_i^{\text{pos}}\)，并排斥异身份样本。二者结合构成了 \(\mathcal{L}_{\text{VDCL}} = \mathcal{L}_{\text{VD}} + \mathcal{L}_{\text{CL}}\)，确保全局表征纯粹由行人身份决定。
损失函数 / 训练策略¶
整个 MCVL 模型通过端到端多任务联合学习进行优化。总损失函数涵盖基准识别任务与跨视角专用损失： $$ \mathcal{L}{\text{Overall}} = \mathcal{L}}} + \mathcal{L{\text{Triplet}} + \beta \mathcal{L}}} + (1 - \beta) \mathcal{L{\text{CVCL}} + \lambda \mathcal{L} $$ 其中 }\(\mathcal{L}_{\text{Identity}}\) 为交叉熵身份分类损失，\(\mathcal{L}_{\text{Triplet}}\) 为软三元组损失（Soft Triplet Loss），超参数 \(\beta\) 用于平衡空间投影的一致性与对比约束，\(\lambda\) 用于控制全局视角去相关约束的权重。
训练采用 ImageNet 预训练的 ViT-Base 基座，输入分辨率统一为 \(256 \times 128\)。模型在单张 NVIDIA TITAN Xp GPU 上训练 120 个 epoch，采用 SGD 优化器，学习率初始值为 \(8 \times 10^{-3}\) 并通过余弦退火衰减至 \(1.6 \times 10^{-6}\)。批大小设置为 128（32 个身份，每个身份 4 张图像）。在测试时，DHT 模块、投影特征计算以及 VDCL 记忆库完全无需参与运算，直接提取 ViT 的 Class Token 特征进行余弦距离度量，既无额外参数常驻，也无额外延迟。
实验关键数据¶
主实验¶
论文在 CARGO（合成大规模空地数据集）、LAGPeR、G2APS-ReID 以及 AG-ReIDv1 四大基准上与主流通用 Re-ID 模型及前沿专用 AG-ReID 方法进行了详尽对比。
在最具挑战性的真实及合成场景中，跨视角协议（A↔G / A→G / G→A）最能反映模型克服视角断层的真实能力。以下为 CARGO 数据集上的四种协议表现对比：
| 方法 | 模型类型 | ALL Rank-1 (%) | ALL mAP (%) | G↔G Rank-1 (%) | G↔G mAP (%) | A↔A Rank-1 (%) | A↔A mAP (%) | A↔G Rank-1 (%) | A↔G mAP (%) |
|---|---|---|---|---|---|---|---|---|---|
| SBS | 通用 Re-ID | 50.32 | 43.09 | 72.31 | 62.99 | 67.50 | 49.73 | 31.25 | 29.00 |
| BoT | 通用 Re-ID | 54.81 | 46.49 | 77.68 | 66.47 | 65.00 | 49.79 | 36.25 | 32.56 |
| AGW | 通用 Re-ID | 60.26 | 53.44 | 81.25 | 71.66 | 67.50 | 56.48 | 43.57 | 40.90 |
| ViT (基线) | 视觉 Transformer | 61.54 | 53.54 | 82.14 | 71.34 | 80.00 | 64.47 | 43.13 | 40.11 |
| VDT | AG-ReID 专用 | 64.10 | 55.20 | 82.14 | 71.59 | 82.50 | 66.83 | 48.12 | 42.76 |
| VIF | AG-ReID 专用 | 65.71 | 57.46 | 83.93 | 74.19 | 82.50 | 66.98 | 51.25 | 44.55 |
| SeCap | AG-ReID 专用 | 68.59 | 60.19 | 86.61 | 75.42 | 80.00 | 68.08 | 58.13 | 52.35 |
| MCVL (本文) | 多空间跨视角 | 70.51 | 62.92 | 86.61 | 77.86 | 82.50 | 72.41 | 60.62 | 53.74 |
在 CARGO 极具挑战的跨视角 A↔G 协议下，MCVL 相比 ViT 基线大幅提高 +17.49% Rank-1，相比前序 SOTA SeCap 取得 +2.49% Rank-1 和 +1.39% mAP 的提升；在同视角 G↔G 与 A↔A 下亦取得最强一致性。
在跨数据集迁移测试（Transfer Learning）中，MCVL 展现出极其突出的泛化鲁棒性：
| 迁移配置 | 方法 | A→G Rank-1 (%) | A→G mAP (%) | G→A Rank-1 (%) | G→A mAP (%) |
|---|---|---|---|---|---|
| CARGO → AG-ReIDv1 | ViT (基线) | 1.59 | 1.95 | 3.01 | 2.31 |
| CARGO → AG-ReIDv1 | VDT | 19.33 | 11.81 | 15.38 | 11.73 |
| CARGO → AG-ReIDv1 | SeCap | 23.06 | 14.16 | 17.36 | 16.05 |
| CARGO → AG-ReIDv1 | MCVL (本文) | 24.93 | 15.97 | 20.79 | 19.02 |
| LAGPeR → AG-ReIDv1 | ViT (基线) | 33.15 | 22.70 | 28.90 | 20.32 |
| LAGPeR → AG-ReIDv1 | VDT | 34.74 | 23.42 | 29.83 | 21.53 |
| LAGPeR → AG-ReIDv1 | SeCap | 37.93 | 24.96 | 30.87 | 22.99 |
| LAGPeR → AG-ReIDv1 | MCVL (本文) | 51.45 | 36.42 | 43.24 | 33.75 |
消融实验¶
论文在 CARGO 基准上针对 CVL 各项子损失与 VDCL 模块各子项展开细致消融：
| 配置 | \(\mathcal{L}_{\text{CICL}}\) | \(\mathcal{L}_{\text{CVCL}}\) | \(\mathcal{L}_{\text{VD}}\) | \(\mathcal{L}_{\text{CL}}\) | ALL Rank-1 (%) | ALL mAP (%) | A↔G Rank-1 (%) | A↔G mAP (%) |
|---|---|---|---|---|---|---|---|---|
| Baseline (BL) | - | - | - | - | 61.54 | 53.54 | 43.13 | 40.11 |
| + CICL | ✓ | - | - | - | 63.46 | 56.08 | 46.88 | 43.25 |
| + CVCL | - | ✓ | - | - | 64.10 | 55.13 | 48.12 | 42.38 |
| + CVL (两者同时) | ✓ | ✓ | - | - | 65.06 | 56.37 | 50.00 | 43.99 |
| + VD | - | - | ✓ | - | 65.38 | 56.86 | 51.88 | 45.20 |
| + CL | - | - | - | ✓ | 65.06 | 58.11 | 52.50 | 47.60 |
| + VDCL (两者同时) | - | - | ✓ | ✓ | 68.91 | 61.76 | 55.62 | 50.58 |
| 完整 MCVL | ✓ | ✓ | ✓ | ✓ | 70.51 | 62.92 | 60.62 | 53.74 |
此外，对比标准单应性变换（HT）与可变形单应性变换（DHT）的消融结果表明： - 基线 Baseline：ALL Rank-1 为 61.54%，A↔G Rank-1 为 43.13%； - Baseline + HT + CVL：ALL Rank-1 提升至 63.78%，A↔G Rank-1 为 47.50%； - Baseline + DHT + CVL：ALL Rank-1 进一步提高至 65.06%，A↔G Rank-1 达到 50.00%（相较刚性 HT 提高 +2.50% Rank-1）。
计算开销对比¶
MCVL 在推理阶段将辅助分支彻底分离，在计算效率上具备压倒性优势： - FLOPs: MCVL 为 11.05 G，与标准 ViT（11.05 G）完全一致，远低于 SeCap 的 20.90 G； - 推理速度: MCVL 单图推理耗时仅 3.7 ms，而 SeCap 为 7.5 ms（快逾一倍）； - 显存占用: 峰值训练显存仅 0.91 GB/batch，相较 SeCap（1.46 GB/batch）节约 37.7%。
亮点与洞察¶
- 多空间协同治理：视角差异不仅存在于高维抽象的全局语义空间，根源在于低维空间几何上的透视形变与错位。通过空间域的 DHT 投影对齐与全局域的 VDCL 原型排斥，构筑了空间-全局双重解耦与对齐闭环。
- 训练辅助与推理轻量的极致解耦：许多前沿模型为了追求指标，在推理阶段引入繁重的多尺度跨注意力、复杂提示词解码器或属性识别网络，导致部署极难落地。MCVL 的所有几何投影、注意力偏移与视角记忆库仅在反向传播中提供梯度约束，推理时模型就是纯净的单分支 ViT，实现了零额外算力开销下的性能跃迁。
- 跨域迁移鲁棒性：在 LAGPeR 到 AG-ReIDv1 的零样本跨数据集迁移实验中，Rank-1 暴增 +13.52%，证明学到的表征并非单纯过拟合特定相机的几何配准参数，而是真正习得了对俯仰视角失真鲁棒的内在人体结构特征。
局限与展望¶
- 极端遮挡与缺失姿态：在无人机大角度正俯视（垂直俯拍）场景下，人体躯干被头部严重遮挡，单靠基于 2D 平面展开的可变形单应性变换难以完全恢复被遮挡的下肢或躯干纹理，未来可探索结合 3D SMPL 人体网格先验进行立体跨视角投影。
- 动态复杂背景干扰：虽然 VDCL 能够排斥视角级平均偏置，但在复杂城市场景中地面与低空背景纹理差异巨大，未来可引入空地通用的解剖学拓扑图约束或轻量化部件分割网络进行更具细粒度的语义对应。
相关工作与启发¶
空地行人重识别（AG-ReID）区别于传统 Re-ID（如 BoT、AGW、TransReID）的关键在于摄像头高度与俯仰角的非对称性。过去的工作从显式属性分支（Explain、Elevated-View）、视角解耦 token（VDT）或视角感知 prompt（SeCap）切入，但往往忽视了几何空间上的连续变形本性。单应性变换（Homography）在多视角目标检测（如 MVDet、Hou et al.）中多用于标定固定的水平地面投影，而 MCVL 首次将其创新性地改造为结合可变形注意力机制（DHT）的端到端特征重采样对齐模块，这为多无人机协同、车路协同跨视角目标追踪等广义遥感具身感知任务提供了极具启发性的思路。
评分¶
- 新颖性: 4.5 / 5.0（首次将可变形单应性变换与跨视角特征空间双向投射引入空地 Re-ID，兼顾全局原型解耦）
- 实验充分度: 4.5 / 5.0（覆盖 CARGO、LAGPeR、G2APS-ReID、AG-ReIDv1 多个基准，包含详尽的跨数据集与复杂度评测）
- 写作质量: 4.5 / 5.0（逻辑严谨，动机明确，数学推导清晰且公式克制）
- 价值: 4.5 / 5.0（推理阶段完全零额外开销，具备极强的工业监控落地可行性）