VVSim: A Large-Scale Aerial-Ground Dataset and Benchmark for Cooperative Perception¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/LOTEAT/vvdetection3d
领域: 自动驾驶
关键词: 空地协同感知, 自动驾驶, 多模态融合, 协同3D检测, 空地基准数据集

一句话总结¶

针对车车与车路协同感知视角固定且易受遮挡的局限，本文构建了首个包含6.1万帧时空对齐多模态数据的大规模空地协同感知数据集 VVSim，并提出了结合跨视角高度感知与智能体可变形注意力的基准模型 VVFormer，显著提升了复杂动态交通下的协同3D目标检测性能。

研究背景与动机¶

自动驾驶系统依赖对周围环境的高精度实时感知以保障行车安全。然而，单车感知受限于车载传感器的探测距离与视线遮挡，极易出现感知盲区；车车协同（V2V）虽能利用连网自动驾驶车辆（CAV）共享观测互补盲区，但其增益高度依赖车辆的空间分布密度；车路协同（V2I）利用路侧单元（RSU）扩展视野，却受制于固定安装视角无法灵活调整，且面临巨大的基建部署与维护成本。

无人机（UAV）具备动态升降、自由悬停与多机伴飞的敏捷机动能力，能从高空鸟瞰视角提供全局几何轮廓，穿透地面密集障碍引起的严重遮挡，形成空地互补的感知拓扑。然而，空地协同感知（Aerial-Ground Cooperative Perception, AGCP）的发展长期面临双重瓶颈：一是缺乏涵盖多样化极端长尾工况（如密集交互、恶劣天气与多飞行模式）的大规模高保真基准数据集；二是现有协同感知算法多假设智能体具备对称同质视角与相似传感器配置，难以有效处理无人机俯视单目与地面多机激光/相机的异构空间对齐与动态信息增益分配。

为突破上述限制，本文从数据集构建与协同网络架构两方面同步推进，基于扩展的 AirSim 平台研发了大规模空地多模态协同感知数据集 VVSim，并设计了专为空地异构跨视角协同量身定制的基准模型 VVFormer。本文的核心 idea 是：利用统一的3D体素几何投影与高度自注意力将高空无人机图像对齐压缩至地面BEV空间，并借助智能体感知可变形交叉注意力自适应评估多智能体在各网格的信息贡献度，实现高低空视角无缝互补。

方法详解¶

整体框架¶

VVFormer 旨在统一无人机高空俯视多模态数据与地面连网车辆的局部高精度观测。算法整体流程分为四个阶段：元数据广播同步、多模态异构特征提取、跨视角投影与高度感知注意力融合（CVA）、以及智能体感知可变形交叉注意力交互（AAA）。系统首先通过时空标定与元数据共享将各机局部观测纳入统一全局参考系；地面车辆利用 PointPillars 将雷达点云离散化为地面 BEV 特征，无人机则利用 Swin Transformer 提取高空视觉语义特征；随后通过跨视角注意力（CVA）利用体素几何将高空图像特征投影并沿高度轴进行自注意力压缩，得到与地面严格对齐的 BEV 特征；最后通过智能体感知注意力（AAA）动态评估各机特征贡献并聚合，送入 3D 检测头预测目标检测框与运动速度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：无人机下视多模态图像 + 地面CAV激光点云"] --> Pre["特征提取：Swin Transformer视觉特征 + PointPillars激光BEV特征"]
    Pre --> CVA["跨视角特征对齐<br/>3D体素几何重投影 + 图像特征双线性采样"]
    CVA --> HAF["高度感知自注意力融合<br/>正弦位置编码 + 垂直轴自注意力聚合为BEV"]
    HAF --> AAA["智能体感知注意力评估<br/>可变形交叉注意力交互 + ScoringNet网格动态打分"]
    AAA --> SCA["空间交叉注意力增强<br/>参考点可变形采样 + 自车BEV空间上下文精炼"]
    SCA --> Out["3D检测头输出：类别 / 3D包围框 / 运动速度"]

关键设计¶

1. 跨视角体素重投影与特征对齐：建立空地几何统一映射 高空无人机与地面车辆之间存在巨大的视角俯仰差与焦距差异，导致传统的地面跨车单应变换或粗粒度BEV对齐失效。针对这一异构对齐痛点，模型在地面雷达 BEV 柱体基础上沿高度方向拉伸，构造尺寸为 $H_l \times W_l \times D_{vox}$ 的 3D 体素网格。对于全局坐标系下的体素中心 $p_v = (x_v, y_v, z_v, 1)^\top$，利用无人机的外参变换矩阵 $T_{ext} \in \mathbb{R}^{4 \times 4}$ 将其变换至无人机相机坐标系 $p_c = T_{ext} p_v = (x_c, y_c, z_c, 1)^\top$；接着利用相机内参矩阵 $T_{int} \in \mathbb{R}^{3 \times 3}$ 投影至齐次像平面坐标 $[u_h, v_h, w_h]^\top = T_{int} [x_c, y_c, z_c]^\top$，并归一化为图像像素坐标： $$u = \frac{u_h}{w_h}, \quad v = \frac{v_h}{w_h}$$ 引入视锥有效性掩码 $\mathcal{M}(x_v, y_v, z_v)$ 剔除视野外及像平面后方的无效体素。随后，对有效体素按主干网络下采样倍率在无人机特征图 $F_i^c$ 上进行双线性采样，生成与地面激光网格在水平空间完全对齐的三维体素特征体 $F_i^{c2v} \in \mathbb{R}^{D_{vox} \times H_l \times W_l \times C}$。

2. 高度感知自注意力融合：聚合垂直空间语义上下文 单纯依靠几何投影沿垂直方向平均池化会丢失地物的高度层次信息，特别是树木下遮挡或高耸建筑立面带来的高度歧义。为了保留垂直几何结构，模型在体素特征的每个高度切片上注入一维正弦高度位置编码 $P_{height}(d) \in \mathbb{R}^C$： $$\tilde{F}_i^{c2v}(d, h, w) = F_i^{c2v}(d, h, w) + P_{height}(d)$$ 位置编码各通道按不同频率递减生成。随后在每个 BEV 网格位置 $(h, w)$ 独立施加沿高度轴 $D_{vox}$ 的自注意力机制：以切片特征的线性映射作为查询 $Q$ 与键 $K$，计算沿高度维度的注意力权重分布： $$A(d, d') = \frac{\exp((Q_{h,w,d} \cdot K_{h,w,d'}) / \sqrt{C})}{\sum_{d''=1}^{D_{vox}} \exp((Q_{h,w,d} \cdot K_{h,w,d''}) / \sqrt{C})}$$ 最后用加权求和聚合特征 $F_i^{fused}(h, w) = \sum_{d=1}^{D_{vox}} A(d, :) V_{h,w,d}$，将高空图像沿高度维度无损压缩至二维平面，输出融合高度上下文的纯平 BEV 特征图 $F_i^{fused} \in \mathbb{R}^{C \times H_l \times W_l}$。

3. 智能体感知可变形交叉注意力：自适应评估多机信息增益 在空地多节点协同网络中，不同智能体对特定地面网格的观测质量截然不同（例如无人机拥有全局大视野但局部细节较粗，而近距离地面车提供致密点云但远端存在遮挡）。为了自适应融合最具价值的多视角特征，模型设计了智能体感知注意力模块（AAA）。首先以自车展平特征 $X_{ego} \in \mathbb{R}^{S \times C}$（其中 $S = H_l \times W_l$）作为查询，与协作智能体 $j$ 的特征 $X_j$ 进行可变形交叉注意力（DCA）交互： $$X_j^{out}(q) = \sum_{m=1}^M W_m \sum_{k=1}^K A_{mqk} X_j(p_q + \Delta p_{mqk})$$ 其中 $q$ 为查询网格索引，$M$ 与 $K$ 分别为注意力头数与采样点数，$\Delta p_{mqk}$ 和 $A_{mqk}$ 分别为可学习的采样偏移量与归一化注意力权重。接着，交互特征 $X_j^{out}$ 经由轻量打分网络 ScoringNet 预测针对该智能体在各网格的重要性评分图 $S_j \in \mathbb{R}^{S \times 1}$。系统在每个空间位置 $q$ 动态选取评分最高的智能体特征： $$X^*(q) = X_{j^*(q)}^{out}(q), \quad \text{其中 } j^*(q) = \arg\max_j S_j(q)$$ 最后，以自车查询在空间参考点周围进行空间交叉注意力精炼，使选出的优质特征在局部空间连续平滑，构建出抗遮挡、高密度的空地全局感知表征。

训练策略¶

模型采用端到端方式训练，感知范围设定为以自车为中心 $x, y \in [-50, 50]$ 米，BEV 网格分辨率设为 0.5 米。优化器选用 AdamW，初始学习率设为 $0.001$，权重衰减系数为 $0.01$，全流程共训练 24 个 epoch。多任务损失函数包含 3D 边界框回归损失（Smooth L1 损失）、分类焦点损失（Focal Loss）以及速度预测损失，各损失项加权联合优化。

实验关键数据¶

主实验¶

实验在 VVSim 数据集测试集（包含 18,500 帧复杂交通流序列）上进行，对比了具有代表性的单车及协同感知主流方法。评测指标遵循 nuScenes 标准评测体系，包含全类平均精确率（mAP）、平均平移误差（mATE）、平均尺度误差（mASE）、平均朝向误差（mAOE）、平均速度误差（mAVE）以及综合检测得分（NDS）。

方法	出处	mAP ↑	NDS ↑	mATE ↓	mASE ↓	mAOE ↓	mAVE ↓
F-Cooper	SEC 2019	0.5865	0.4773	0.3530	0.1144	0.6915	2.7622
V2X-ViT	ECCV 2022	0.6150	0.4847	0.3455	0.1061	0.7766	2.6077
CoBEVT	CoRL 2023	0.5777	0.4654	0.3681	0.1544	0.7124	2.9697
SICP	IROS 2024	0.6327	0.5144	0.2263	0.1055	0.6877	3.5578
L4DR	AAAI 2025	0.6420	0.4924	0.3595	0.1408	0.7862	2.9374
VVFormer (本文)	ECCV 2026	0.6490	0.5268	0.2168	0.0954	0.6647	3.2290

消融实验¶

在 VVSim 测试集上对无人机数据引入（UAVs）、跨视角注意力（CVA）与智能体感知注意力（AAA）三大关键要素进行了剥离验证：

配置	CVA	AAA	UAVs	mAP ↑	NDS ↑	mATE ↓	mASE ↓	mAOE ↓	mAVE ↓
完整模型 (Full)	✓	✓	✓	0.6490	0.5268	0.2168	0.0954	0.6647	3.2290
去除无人机数据 (w/o UAVs)	✓	✓	✗	0.5912	0.4912	0.2459	0.0991	0.6992	3.3559
去除智能体注意力 (w/o AAA)	✓	✗	✓	0.6063	0.4964	0.2613	0.1089	0.6972	2.5410
去除跨视角对齐 (w/o CVA)	✗	✓	✓	0.5294	0.4550	0.2964	0.1286	0.6720	3.2534

关键发现¶

高空视角的增益显著性：对比去除无人机（w/o UAVs）与完整模型，加入无人机高空视角使 mAP 提升了 5.78%（从 0.5912 增至 0.6490），NDS 提升了 3.56%（从 0.4912 增至 0.5268），证明俯视视角在突破地面遮挡与扩展感知范围上具备质的优势。
跨视角体素对齐不可或缺：去除 CVA 模块会导致性能剧烈崩塌，mAP 暴跌 11.96%（降至 0.5294），NDS 下降 7.18%（降至 0.4550），说明高空异构图像若不经过显式几何投影与高度感知对齐，将无法与地面 BEV 空间产生有效语义交互，甚至引入负向噪声。
动态权衡优于朴素融合：去除 AAA 模块使 mAP 下降 4.27%（降至 0.6063），表明在多智能体交互场景中，基于 ScoringNet 的逐网格最优智能体特征选择机制能有效过滤由于视距较远或视角倾斜导致的冗余/劣化信息。

亮点与洞察¶

构建首个大规模多模态空地协同基准：VVSim 包含 6.1 万帧全标注数据、25.5 万帧 LiDAR 扫描与 350 万张多模态图像（RGB/深度/语义分割），覆盖城市、高校、高速等 11 类典型场景与雨雪雾等 5 种极端天气，填补了空地协同感知的基准空白。
高度感知投影解决空地视差断层：通过 3D 体素投影与沿垂直轴的自注意力加权融合，巧妙化解了无人机大俯角视觉特征与地面柱体雷达特征之间的跨域几何不匹配问题。
多机动态评估机制具备可复用性：AAA 模块基于可变形注意力并配合动态重要性打分筛选最具价值智能体特征，这种“空间可变形采样 + 局部显著性胜出”的轻量策略可直接推广至其他异构 V2X 协同计算任务。

局限与展望¶

作者承认的局限：测试集中目标运动速度跨度极大（涵盖低速漫步到高速超车），且长距离与间歇性观测占比较高，导致速度估计误差（mAVE 为 3.2290）略逊于部分专用时序模型。
实际部署挑战：数据集构建基于扩展的 AirSim 仿真平台，真机部署时无人机的强风颠簸抖动、实时位姿估计漂移以及无线协同传输延迟对对齐精度的负面影响仍需在真实物理世界中深入验证。
未来改进方向：可进一步引入多帧时序特征记忆机制以修正速度估计偏差，并在空地协同链路中结合带宽自适应剪枝与丢包容忍机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐（开创性地推出首个大规模多飞行模式空地协同感知基准及异构跨视角注意力架构）
实验充分度: ⭐⭐⭐⭐☆（在 1.85 万帧测试集上提供 nuScenes 全维度对比及详实的模块消融分析）
写作质量: ⭐⭐⭐⭐⭐（问题建模严谨，几何推导清晰，图表完备）
价值: ⭐⭐⭐⭐⭐（为车路云一体化与空地低空协同自动驾驶研究提供了宝贵的数据资产与基准代码）