HUGE-Bench: A Benchmark for High-Level UAV Vision-Language-Action Tasks¶

会议: ECCV 2026
论文: ECCV 原文
领域: 机器人/具身智能
关键词: 无人机视觉语言动作、高层指令、数字孪生、过程评测、碰撞安全

一句话总结¶

HUGE-Bench 用真实场景重建的 3DGS–Mesh 数字孪生构建短指令驱动的无人机多阶段任务，并联合评估过程完成与碰撞安全；在 4 个场景、8 类任务和 256 万米轨迹上，最佳基线 π0.5 的平均轨迹覆盖率仍只有 0.581。

研究背景与动机¶

无人机巡检并不只是找到一个目的地。操作者说“检查左边那栋楼”，实际上要求系统识别目标、接近建筑、下降到巡检高度、沿边界绕行，并返回起始状态。传统空中视觉语言导航往往提供细致的路线描述，评测则偏向是否到达终点和路径是否够短。这能检验导航，却未必能区分“按要求完成巡检”与“直接飞回终点”：同样的终点可能对应完全不同的任务完成程度。

把评测推进到这种高层行为，还需要解决环境表示的问题。网格适合碰撞检测，却不一定具有足够真实的视觉外观；3D Gaussian Splatting（3DGS）能渲染逼真视角，但本身并不是可靠的碰撞几何。如果感知看到的世界与判定碰撞的世界不一致，就很难判断失败究竟来自模型、视觉域差异，还是模拟器的安全建模。真实采集、配准后的双表示重建和可扩展仿真，使建立同时包含语义、过程和安全的任务集成为可能。

因此，本文没有提出新的通用控制网络，而是重新定义任务、数据与评测协议。短指令保留操作者表达意图的方式，多阶段轨迹标注揭示任务执行过程，数字孪生提供统一的视觉与碰撞依据。核心 idea：把“短指令能否驱动完整且安全的飞行过程”作为评测对象，用对齐的 3DGS–Mesh 环境把语义理解、阶段推进和碰撞安全放到同一个基准中检验。

方法详解¶

整体框架¶

HUGE-Bench 的输入是自然语言任务与无人机观测，策略输出下一步动作目标，例如速度或下一状态。基准侧先从真实场景构建外观与几何对齐的环境，再生成目标标注、空间指代表达和规则轨迹；模型在仿真中执行后，评测其覆盖了多少任务过程、顺序是否正确、推进到哪个阶段，以及是否碰撞。

这里需要分清三种东西：地标与阶段标注用于构建数据和评价；规则路径与规划器用于生成示范；被评测策略负责根据观测和语言预测动作。不能把数据生成时的任务分解或 RRT 规划器误写成所有基线推理时都能调用的组件，也不能把阶段标注等同于模型已经具备阶段记忆。

本文是基准与数据管线贡献，下面按任务定义、环境构建、示范采集、评价协议展开，不把这四部分画成一个新神经网络。

关键设计¶

1. 高层任务与阶段标注：让一句话隐含完整的飞行程序

任务集合不是把同一种“到达目标”换成不同名词，而是区分不同过程约束。Landing 要先朝向目标、到达其上方，再下降到指定高度并悬停；它并不意味着接触地面的物理着陆。Inspection-R 要到达道路、下降、沿指定方向巡检，再升回初始高度。Inspection-B 则需要接近建筑边界、下降、选择绕行方向、保持适应边界的安全间距，并返回起始位姿。

其余任务继续增加几何与记忆要求。Mapping 要覆盖指定区域后恢复初始高度；Orbit-H 控制绕行高度，Orbit-R 控制指令指定的半径；Spiral Down 要执行多圈螺旋下降；Traversal 要穿越指定区域并避障。每种任务具有可标注的阶段，所以可以识别“已到目标附近但未完成绕行”这类部分成功，而不是只给一个终点标签。这也解释了为什么首帧参照、过程记忆和高度感知在该基准中重要。

2. 对齐的数字孪生与空间指代：让看见的目标具有可查询的三维位置

作者使用搭载 Zenmuse L2 的 DJI M400，在办公楼、密集城区、沼泽与农田、施工道路四类户外场景采集数据，总覆盖面积约 6.45 平方千米。主要航拍高度约 85 米，RGB 分辨率为 5280 × 3956，并记录 GNSS、无人机和相机位姿；额外的低空视角用于改善近地重建。每个场景同时重建 3DGS 和三角网格：前者负责视觉外观，后者提供碰撞查询与射线投射深度。

地标不是只在图像上圈一个框就结束。作者在约 60 米高度布置俯视相机网格，取得 3DGS 地图和对应的网格深度，让 LLM 预测地标的归一化图像坐标，再经人工复核，利用相机内参与深度反投影到三维。建筑、道路、田地等延展区域另有人工掩码。采集轨迹前，系统在选定目标附近随机取初始视角，用目标掩码提示 LLM 生成“左上方建筑”等空间指代。这样既保持指令简短，又减少场景中多个同类目标导致的歧义；这些描述仍由机器生成并结合人工标注，不应当成真实用户自由表达的完整分布。

3. 规则示范与泛化划分：同时改变起始视角、目标和措辞

对齐后的数字孪生导入 Isaac Sim，任务规则生成三维航路点，执行时同步记录 RGB、深度、位姿、飞行状态和碰撞信号，并提供子任务阶段标注。直线路段大约每前进 1 米采样一帧，转弯时每改变 5° 航向额外采样，使视角变化不会被单纯的距离采样漏掉。Traversal 的示范使用 RRT 系列规划器生成；为降低密集三角网格的碰撞查询成本，作者清理漂浮几何并进行网格简化。这是示范采集策略，不是证明模型学会了显式搜索。

数据按 5,330 条训练轨迹、593 条 test-seen 轨迹和 294 条 test-unseen 轨迹划分。test-seen 的目标地标在训练中出现过，但首帧高度、水平距离和相对方位随机化；test-unseen 来自未见地标与保持语义的指令改写两类来源，改写会替换动作词或目标描述。因此，“unseen”不等于完整城市或完整场景留出。Mapping 占 20.4%，Traversal 占 8.1%；不同任务的长度和几何复杂度也不同，所以任务均值不能替代分任务诊断。

4. 过程与安全分开计量：不让终点成功掩盖漏做或碰撞

Trajectory Coverage Rate（TCR）将预测轨迹视作折线，对真实轨迹的每个采样点计算到这条折线的最短欧氏距离，再统计距离小于阈值的点所占比例。论文报告 TCR@1 m、TCR@2 m 和 TCR@5 m，并用 Avg. TCR 汇总任务上的覆盖表现。覆盖度衡量“去过哪些地方”，但逆序飞行也可能覆盖同样位置，因此还要报告 nDTW，通过轨迹的序列对齐补充方向与时序敏感性。主表没有进一步交代 Avg. TCR 如何合并多个距离阈值，不能自行把它解释成某个单一阈值的结果。

Normalized Task Progress（NTP）根据带标注任务阶段的完成情况给出 0 到 1 的进度，避免未完成全程的策略全部记零；正文未给出更细的阶段权重和阶段通过规则。安全指标针对 Traversal：Collision Rate（CR）是至少发生一次碰撞的 episode 比例，而 Collision-aware SPL（CSPL）把终点成功、全程无碰撞与路径效率相乘。具体说，只有到达目标且从未碰撞才有非零 CSPL，其效率项为参考路径长度除以参考路径与预测路径长度的较大值。任何一次碰撞都会把该 episode 的分数清零，即使最终到达了目的地。

这些量必须联合阅读。一个几乎不动的策略可能 CR 很低，却既不覆盖轨迹，也不推进任务；一个走捷径的策略可能终点成功，但漏掉巡检过程。过程指标和 Traversal 安全指标也不是对同一任务集合的同义测量，不能把较高的 CSPL 直接解释为所有八类高层任务都可靠完成。

损失函数 / 训练策略¶

论文比较 OpenVLA、MemoryVLA、FastVLM、π0、π0.5 与加入深度观测的 π0.5，没有提出统一的新损失函数。MemoryVLA 是加入隐式记忆的 OpenVLA 系基线；FastVLM 在这里不是直接输出文字的原始 VLM，而是提取视觉语言隐状态，再接上由 π0 初始化的动作专家。深度版本将深度图编码为额外视觉观测。

评测采用首帧与当前帧两时刻的视觉输入，意在帮助策略判断相对空间状态与任务进度。作者说明各基线遵循相同输入格式和协议，但深度版本显然增加了感知模态，因此它是受控的模态扩展，而非完全相同的信息条件。仅有两帧也不等于完整历史记忆，MemoryVLA 的额外记忆机制仍有研究意义。

当前全文缓存包含正文和参考文献，不包含文中指向的附录与补充材料。优化器、训练步数、具体超参数、动作实现细节及专家飞手的数值结果不在可读材料中，这里不补写推测值。

实验关键数据¶

主实验¶

以下为原文表 2 的测试集汇总。各指标保持原表小数形式；CR 越低越好，其余越高越好。

方法	Avg. TCR	nDTW	NTP	CR	CSPL
OpenVLA	0.112	0.011	0.122	0.003	0.032
MemoryVLA	0.234	0.077	0.549	0.072	0.226
FastVLM + π0 动作专家	0.285	0.136	0.633	0.060	0.391
π0	0.558	0.443	0.653	0.011	0.802
Depth-aware π0.5	0.577	0.459	0.617	0.013	0.792
π0.5	0.581	0.467	0.618	0.018	0.805

π0.5 在 Avg. TCR、nDTW 和 CSPL 上最好，π0 的 NTP 更高。原文正文称 π0 的 CR 最低，但原表 OpenVLA 的 0.003 数值上更低；表注同时提醒原地旋转等低性能结果比较意义有限。因此应把 π0 的安全优势限定在具有实质任务执行能力的比较中，不能略去 OpenVLA 这一例外，也不能反过来宣称 OpenVLA 最安全。

消融实验¶

正文没有独立消融表，下面从表 2 提取记忆与深度的受控变体比较。差值是本笔记直接相减得到的绝对变化，不是原文额外报告的实验或相对提升百分比。

变体比较	Avg. TCR 变化	nDTW 变化	NTP 变化	CR 变化	CSPL 变化
MemoryVLA − OpenVLA	+0.122	+0.066	+0.427	+0.069	+0.194
Depth-aware π0.5 − π0.5	−0.004	−0.008	−0.001	−0.005	−0.013

隐式记忆伴随更明显的阶段推进，却没有同步降低碰撞率；基线运动能力本身的差异也使 CR 变化不能直接当作记忆机制的独立安全效应。加入深度将 π0.5 的 CR 从 0.018 降至 0.013，但 CSPL 从 0.805 降至 0.792，说明减少碰撞并不自动提高任务成功与路径效率的综合结果。

关键发现¶

最强覆盖与最强阶段推进不是同一个模型：π0.5 的 Avg. TCR 为 0.581，π0 的 NTP 为 0.653，支持多维诊断而非单指标排名。
图 6 的正文分析指出，着陆和绕行等结构化、地标中心任务较易迁移，巡检、测绘、螺旋下降和穿越更难；缓存没有提供可可靠摘录的逐任务图中数值，因此不虚构分任务表。
记忆与深度改善不同短板，但本文结果并不能证明任何单一模态或预训练规模已解决长时程安全执行。

亮点与洞察¶

高层指令难度来自“未说出的程序”，不只是词汇识别。把返回高度、巡检范围和绕行过程显式纳入任务，可以揭示终点指标忽略的能力缺口。
外观与碰撞几何共享同一个对齐环境，使失败分析具有更清楚的参照。相同思路可用于其他需要视觉真实感和接触约束的具身评测。
低碰撞率必须与实际行动能力一起解释。OpenVLA 的例子表明，安全评价应防止把不行动误当成可靠执行。

局限与展望¶

作者明确承认主要是静态环境，未覆盖动态障碍、天气和照明变化；仿真表现不能直接等同于真实无人机部署可靠性。
场景只有 4 个，且未见测试主要是地标留出和语言改写。检验跨城市、跨传感器或跨场景泛化仍需新的划分与验证。
规则示范与 LLM 生成指令便于扩展，但可能限制行为和表达多样性；未来可加入真实操作者指令及多条有效过程，避免把单条参考路径当成唯一正确行为。
TCR 对顺序不敏感，必须搭配 nDTW 和阶段进度；NTP 的阶段判据、阈值聚合以及训练细节还需附录或实现核实，正文也未报告置信区间。
可进一步研究显式阶段记忆与几何安全约束，并用硬件在环测试检验迁移；这是由结果引出的方向，不是本文已验证的改进。

评分¶

新颖性: 4/5。任务抽象与评测组合有针对性，贡献主要在基准而非新控制架构。
实验充分度: 3/5。比较了多种模型及记忆、深度变体，但场景规模有限，训练与专家实验需补充材料核实。
写作质量: 4/5。任务动机与指标互补关系清楚，CR 最优表述和部分指标汇总细节仍需更严谨。
价值: 4/5。适合诊断高层无人机任务中的过程与安全缺口，距离真实部署认证仍有明显边界。