RescueBench: Can Embodied Agents Save Lives in the Wild?¶
会议: NeurIPS 2026
arXiv: 2606.01848
论文: https://arxiv.org/abs/2606.01848
代码: https://github.com/UnrealZoo/RescueBench
领域: 其他
关键词: 具身智能基准, 搜救任务, 级联失效诊断, 自主探索, 空间记忆
一句话总结¶
本文提出面向野外搜救（SAR）的具身智能高保真评测基准 RescueBench，将搜救形式化为包含多模态探索、定位救援、记忆返航和伤员交接的四阶段序贯流水线，设计五级递进难度并评测了五大类具身架构，实验证实当前模型在最高难度下的全任务成功率均为 0%，确立了自主探索与空间记忆为具身智能的两大独立核心瓶颈。
研究背景与动机¶
搜救（Search-and-Rescue, SAR）是具身智能极具现实价值但也最具挑战性的落地场景之一。在火灾、废墟或偏远野外等复杂危险环境中，智能体必须在缺乏先验地图和精确导航指引的条件下自主展开探测，在非结构化场景中穿越地形与物理障碍定位伤员，并依靠探索过程中积累的空间记忆原路折返，将伤员转移至基地救护车。这要求智能体兼具不确定性下的多模态自主探索、多阶段连续物理交互以及超长时程的空间记忆检索能力。然而，现有具身智能基准测试往往将上述能力切分为割裂的单项子任务进行孤立评估：视觉语言导航（VLN）基准主要考察细粒度逐步指令跟随，操作基准局限于桌面级静态短时交互，而室外导航评测则大多预先给定已知目标坐标。
这种孤立评估范式导致的核心矛盾在于：真实搜救环境下的任务执行具有强烈的时序依赖性，前序阶段的感知漂移、探索盲区或局部避障挫折会沿任务链不可逆地向下游累积放大。现有评测既无法量化探索失败对后续交互与返航的级联影响，也忽视了从单向路径搜索向闭环空间记忆返航拓展时的认知断层。此外，现有基于多模态大模型的提示词评测往往脱离具身动作空间的连续闭环控制，缺乏对不同感知-动作架构深层局限的细粒度归因。
本文的切入视角是构建一个高保真、四阶段序贯组合并具备阶段级归因能力的具身搜救诊断基准。基于 Unreal Engine 5 高保真环境构建涵盖五级递进难度的评测集，并设计全自动剧集生成与标注管线以消除人工标注成本。本文的核心 idea 是：将真实搜救流程形式化为包含「多模态探索、定位搜救、记忆返航、定位交接」的四阶段强依赖序贯任务，通过可控的环境难度分级与阶段级解耦打分，系统诊断多模态不确定性探索与闭环空间记忆检索在具身架构中的级联失效机制。
方法详解¶
整体框架¶
RescueBench 构建在基于虚幻引擎 5.6（UE5.6）的 UnrealZoo 仿真平台之上，通过 UnrealCV 统一调度连续控制与高保真传感渲染（RGB、深度图与语义分割图）。基准场景涵盖住宅区、商业街区、户外野外地形等 7 个代表性虚拟世界，跨越平地开阔空间至多楼层三维立体建筑。搜救任务在几何空间 \(\mathcal{E}\) 中定义，救护车担架基准点为 \(\mathbf{p}_{\text{amb}} \in \mathcal{E}\)，被困伤员坐标为 \(\mathbf{p}_{\text{tar}} \in \mathcal{E}\)。智能体接收连续运动控制指令（线速度与角速度）以及三种离散环境交互动作（抓取、放下、开门）。
整个评测流程被形式化为四个在时序上严格依赖的阶段：S1（多模态自主探索）、S2（目标定位与施救）、S3（空间记忆引导返航）、S4（救护车定位与交接）。全任务的最终成功要求逻辑与算子成立：\(\text{S1} \wedge \text{S2} \wedge \text{S3} \wedge \text{S4}\)。为解耦导航探索能力与机械臂高精度操作瓶颈，基准引入环境辅助交互触发机制：除原生支持物理交互的策略（如 ROCKET-2）外，其余导航架构在进入交互距离阈值 \(\delta_{\text{trig}} = 1.5\,\text{m}\) 时自动触发状态机转换，从而精确将失效归因于探索、寻路和空间记忆缺陷。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境初始化与多模态线索输入<br/>稀疏视觉抓拍 + 文本描述"] --> B["四阶段序贯级联任务形式化<br/>S1探索→S2搜救→S3返航→S4交接"]
B --> C["五级递进式环境与线索复杂度分级<br/>L1开阔近程至L5跨区多层立体搜救"]
C --> D["自动数据收集与标注管线<br/>NavMesh采样-状态机驱动-VLM生成线索"]
D --> E["连续动作空间执行与环境辅助交互<br/>线速度/角速度控制与1.5m邻域判定"]
E --> F["阶段级连续得分与综合指标诊断<br/>TCR全完成率 / TS阶段渐进得分 / DTW相似度"]关键设计¶
1. 四阶段序贯级联任务形式化：解耦多阶段级联失效与阶段独立诊断
真实搜救任务无法通过单一的“前往坐标点”抽象，其本质是探索与记忆闭环交织的长时序任务。RescueBench 显式定义四个序贯阶段： - S1（多模态探索 Explore）：仅提供稀疏且不完整的先验多模态线索 \(\mathcal{C}_{\text{multi}} = \{V_{\text{sparse}}, T_{\text{text}}\}\)（如伤员衣着、周边地标提示），智能体在无坐标、无路径规划指引下自主在开阔或遮挡环境中搜寻目标； - S2（定位搜救 Locate and Rescue）：智能体在视野中捕捉到伤员后收敛至目标近邻，进入 \(\delta_{\text{trig}} \le 1.5\,\text{m}\) 范围并触发急救动作； - S3（记忆引导返航 Return）：智能体在无逐步导航指令的情况下，仅依赖 S1 阶段自主构建的时空感知轨迹与内部空间记忆，逆向规划返回救护车停放点 \(\mathbf{p}_{\text{amb}}\)； - S4（定位交接 Locate and Handoff）：智能体接近救护车担架区域完成精准对准，触发移交放置动作。
为克服二值化成功率（Task Completion Rate, TCR）在衡量长时序局部渐进能力上的粗粒度缺陷，基准定义了连续的任务得分（Task Score, TS），量化每个阶段最大逼近程度： $\(\text{TS}_i = \sum_{k=1}^4 \text{StageScore}_{k,i}, \quad \text{StageScore}_{k,i} = 25 \cdot \text{clip}\left(1 - \frac{d_k^{\text{best}}}{\max(d_k^{\text{init}}, \epsilon)}, 0, 1\right)\)$ 其中 \(d_k^{\text{init}}\) 为阶段 \(k\) 起始点距目标的欧氏距离，\(d_k^{\text{best}}\) 为智能体在该阶段轨迹中所达到的最小欧氏距离。该指标使评测不仅能捕获完全成功，还能精确量化智能体在不同阶段的“擦肩而过”与距离缩减幅度。
2. 五级递进式环境与线索复杂度分级体系：严格控制实验变量
为系统剖析不同环境要素对各子能力的独立影响，基准沿「环境物理复杂度、线索歧义性、空间层级结构」三大维度构建了五级难度梯度 \(\mathcal{L} = \{L_1, \dots, L_5\}\)：
- \(L_1\)（近距离开阔基准）：伤员处于 $5\text}15\,\text{m}$ 范围，环境为纯净平坦单层室内（FlexibleRoom），线索提供直接视觉匹配；
- \(L_2\)（视觉杂波近距离）：距离扩展至 $5\text{30\,\text{m}\(，引入室外复杂背景、植被与光照变化，测试纯视觉感知鲁棒性；
- **\)L_3$（视线遮挡主动搜寻）：伤员距离设定为 $10\text}40\,\text{m}\(，伤员隐藏在遮挡物后，智能体无法直接目视，必须依靠线索中描述的地标特征进行区域性主动探索，此级别构成性能衰减断崖；
- **\)L_4$（跨区域门禁通道）：目标距离达 $10\text{60\,\text{m}\(，强制要求智能体在路径中寻找并打开房门或闸门（必须包含至少一个环境交互结构），线索转变为空间拓扑导向；
- **\)L_5$（跨楼层三维立体搜救）**：目标距离增至 $10\text}80\,\text{m}$，且强制施加三维垂直落差约束 $|\Delta z| \ge 3\text{4\,\text{m}$（要求智能体跨越楼梯、斜坡或立体站台），多模态线索采用极简抽象描述，强迫模型自主进行层次化空间目标分解。
3. 基于 UE5 的可扩展自动数据收集与标注管线：零人工干预生成海量带交互专家轨迹
现有具身轨迹收集管线普遍局限于纯位移轨迹，缺乏状态机与交互标注。RescueBench 开发了完整的四步自动化剧集生成方案： - 可通行区域解析：通过专用 UE5 插件导出导航网格 \(\mathcal{M}_{\text{nav}}\) 并均匀采样生成候选位姿点集 \(\mathcal{P}\)，自动剔除狭长无效死角并划定合规救护车停靠区域 \(\mathcal{Z}_{\text{amb}}\)； - 约束式情境配置：在满足目标难度级别的距离 \([d_{\min}^{(l)}, d_{\max}^{(l)}]\)、高度落差 \(|\Delta z|\) 与障碍物交互约束下，协同采样救护车 \(\mathbf{p}_{\text{amb}}\)、伤员 \(\mathbf{p}_{\text{tar}}\) 以及智能体初始位姿（位于救护车 \(7.5\,\text{m}\) 范围内）； - 全自主专家演示录制：利用内置 NavMesh 最短路径导航结合定制状态机，驱动专家智能体遍历 S1 至 S4 完整任务，录制多视角 RGB-D、语义分割、航向角、线角速度以及每个交互点触发前后的密集交互特征； - VLM 驱动的多模态线索生成与双重校验：抽取专家轨迹在关键转折点的第一人称视角图像序列，输入 Qwen-3.5 Plus 大模型，根据预设难度的提示词模板自动生成符合该难度级别的自然语言搜救线索；随后再次执行自动化规则验证，剔除无效剧集。
损失函数 / 训练策略¶
RescueBench 自动收集了约 400K 步高保真专家示范步数，涵盖所有 7 个场景与 5 级难度。为检验领域自适应微调对突破基线架构瓶颈的有效性，评测针对 4 种具备适配能力的具身架构进行了微调训练，统一采用 9:1 划分的训练集与验证集： - Uni-NaVid（视频 VLA）：基于 CLIP-224 预处理，微调视频动作预测头 2 个 epoch，有效批量大小为 64，采用 AdamW 优化器（\(\beta_1=0.9, \beta_2=0.999\)），最大学习率设为 \(1 \times 10^{-5}\)，搭配余弦退火学习率调度与 0.03 的预热比； - ViNT 与 NoMaD（VLN 基础模型）：微调其基于拓扑图的路径点检索与动作去噪模块，采用 AdamW 优化器与余弦衰减，初始学习率设为 \(1 \times 10^{-4}\)。ViNT 以输入分辨率 \(85 \times 64\) 训练 5 个 epoch（batch size 256）；NoMaD 基于扩散模型目标掩码架构以输入分辨率 \(96 \times 96\) 训练 30 个 epoch（batch size 64）； - ROCKET-2（目标导向视觉运动策略）：以 \(640 \times 360\) 输入分辨率加载官方跨视角目标对齐微调配置，端到端微调连续速度预测与原生离散交互头。
评测采用按难度递增的时间预算截断（$L_1\text}L_2$: 180s, \(L_3\): 240s, $L_4\text{L_5$: 300s），单步推理时间由各基线模型自身延迟真实决定，真实模拟搜救现场的算力与时间约束。
实验关键数据¶
主实验¶
主实验在 7 种代表性算法、2 种参考基线（人类玩家与无感知误差的理论上界 Oracle）上系统对比了全任务完成率（TCR, %）、任务得分（TS, 0–100）、平均执行时间（s）以及碰撞次数。
| 方法 | 类型 | 运行FPS | L1 (TCR / TS) | L2 (TCR / TS) | L3 (TCR / TS) | L4 (TCR / TS) | L5 (TCR / TS) |
|---|---|---|---|---|---|---|---|
| LLM-YOLO Planner | 经典两阶段 | 3.3 | 48.0 / 72.2 | 0.0 / 12.1 | 0.0 / 5.7 | 0.0 / 6.0 | 0.0 / 6.2 |
| Uni-NaVid (Zero-shot) | 视频 VLA | 6.2 | 24.0 / 67.4 | 11.8 / 21.9 | 5.1 / 14.2 | 2.7 / 12.9 | 0.0 / 12.2 |
| ViNT (Zero-shot) | VLN 基础模型 | 6.8 | 0.0 / 14.2 | 0.0 / 8.2 | 0.0 / 4.7 | 0.0 / 4.3 | 0.0 / 1.8 |
| NoMaD (Zero-shot) | VLN 基础模型 | 5.6 | 0.0 / 10.0 | 0.0 / 6.4 | 0.0 / 3.9 | 0.0 / 7.0 | 0.0 / 5.8 |
| SG-Nav | 3D场景图/LLM | 0.2 | 0.0 / 62.3 | 0.0 / 14.1 | 0.0 / 8.4 | 0.0 / 10.0 | 0.0 / 2.0 |
| OmniNav (Visual) | 地图视觉定位 | 0.4 | 0.0 / 15.6 | 0.0 / 11.0 | 0.0 / 4.5 | 0.0 / 6.8 | 0.0 / 3.3 |
| ROCKET-2 (Zero-shot) | 目标对齐策略 | 4.6 | 16.0 / 59.0 | 14.7 / 57.2 | 10.0 / 42.6 | 2.5 / 32.2 | 0.0 / 8.2 |
| Uni-NaVid (Fine-tuned) | 视频 VLA | 6.0 | 52.0 / 80.9 | 11.8 / 26.1 | 11.9 / 18.2 | 10.1 / 27.3 | 0.0 / 7.0 |
| ViNT (Fine-tuned) | VLN 基础模型 | 5.5 | 8.0 / 18.2 | 3.4 / 10.5 | 1.6 / 8.4 | 0.0 / 6.6 | 0.0 / 2.8 |
| NoMaD (Fine-tuned) | VLN 基础模型 | 5.1 | 8.0 / 25.3 | 1.7 / 11.3 | 0.0 / 3.2 | 0.0 / 11.5 | 0.0 / 1.0 |
| ROCKET-2 (Fine-tuned) | 目标对齐策略 | 4.5 | 32.0 / 66.0 | 11.8 / 66.8 | 15.0 / 52.0 | 5.2 / 29.0 | 0.0 / 4.5 |
| Human Player (人类玩家) | 参考基准 | 5.1 | 100.0 / 100.0 | 100.0 / 100.0 | 100.0 / 100.0 | 100.0 / 100.0 | 93.5 / 95.2 |
| Oracle Navigator | 理论上界 | 9.9 | 100.0 / 100.0 | 100.0 / 100.0 | 100.0 / 100.0 | 100.0 / 100.0 | 100.0 / 100.0 |
消融实验与阶段诊断¶
下表展示了各模型在跨难度级别上的四阶段细分得分（各阶段满分 25 分），揭示了 S1（探索）与 S3（返航空间记忆）的级联衰退机理。
| 难度等级 | 模型配置 | S1: 探索 (/25) | S2: 搜救 (/25) | S3: 返航 (/25) | S4: 交接 (/25) | 平均执行步数 | 人类轨迹相似度 HS (%) |
|---|---|---|---|---|---|---|---|
| L1 | LLM-YOLO Planner | 23.0 | 20.3 | 15.0 | 13.9 | 343.6 | 80.5 |
| Uni-NaVid (ft) | 21.0 | 21.0 | 20.0 | 18.9 | 517.0 | 84.9 | |
| ViNT (ft) | 9.0 | 5.2 | 2.0 | 2.0 | 1063.0 | 43.4 | |
| ROCKET-2 (ft) | 18.0 | 18.0 | 16.0 | 14.0 | 575.8 | 69.2 | |
| Human Player | 25.0 | 25.0 | 25.0 | 25.0 | 111.1 | 100.0 | |
| L2 | LLM-YOLO Planner | 6.6 | 5.5 | 0.0 | 0.0 | 574.3 | 43.4 |
| Uni-NaVid (ft) | 10.3 | 8.9 | 3.7 | 3.1 | 958.5 | 55.3 | |
| ROCKET-2 (ft) | 21.3 | 20.5 | 13.9 | 11.0 | 496.9 | 64.7 | |
| Human Player | 25.0 | 25.0 | 25.0 | 25.0 | 201.4 | 100.0 | |
| L3 | LLM-YOLO Planner | 3.8 | 1.9 | 0.0 | 0.0 | 748.0 | 43.9 |
| Uni-NaVid (ft) | 5.5 | 5.1 | 3.8 | 3.8 | 1215.1 | 44.5 | |
| ViNT (ft) | 4.7 | 2.9 | 0.4 | 0.4 | 1322.0 | 57.5 | |
| ROCKET-2 (ft) | 18.4 | 17.6 | 8.8 | 7.4 | 804.4 | 42.5 | |
| Human Player | 25.0 | 25.0 | 25.0 | 25.0 | 260.4 | 100.0 | |
| L4 | Uni-NaVid (ft) | 9.0 | 8.5 | 5.1 | 4.6 | 1504.7 | 48.2 |
| ROCKET-2 (ft) | 12.2 | 11.8 | 2.6 | 2.4 | 1194.0 | 59.4 | |
| Human Player | 25.0 | 25.0 | 25.0 | 25.0 | 381.6 | 100.0 | |
| L5 | Uni-NaVid (ft) | 4.0 | 3.0 | 0.0 | 0.0 | 1828.2 | 47.2 |
| ROCKET-2 (ft) | 2.4 | 2.1 | 0.0 | 0.0 | 1523.6 | 48.4 | |
| Human Player | 24.2 | 24.2 | 23.4 | 23.4 | 555.0 | 100.0 |
关键发现¶
- L5 全军覆没与探索首要瓶颈：没有任何基线模型能在最具挑战性的跨区域多楼层场景（\(L_5\)）中完成全流程任务（TCR 均为 0.0%）。阶段得分分解表明，S1（不确定性多模态探索）是绝对主导的瓶颈；从 \(L_3\) 视线遮挡开始，大部分模型的 S1 得分均出现断崖式下跌。
- 空间记忆构成第二重独立障碍：S2（搜救）到 S3（返航）之间存在系统性衰减。即使模型在 S1/S2 成功搜寻并触达伤员，在无外力导航指令的情况下逆向返航救护车时性能依然严重滑坡。例如微调版 ROCKET-2 在 \(L_3\) 上 S2 得分为 17.6，但 S3 陡降至 8.8；在 \(L_4\) 上 S2 为 11.8，而 S3 崩塌至 2.6。这确证了当前具身模型在单向前向探索后，缺乏将短期观察编码为紧凑可逆空间拓扑记忆的能力。
- 三类行为模式揭示架构性局限：
- 推理延迟受限（Map-based）：SG-Nav 与 OmniNav 依赖复杂的在线 3D 场景图重构与图模型检索，推理帧率极低（0.2–0.4 FPS），在严格的有限时间预算内仅能执行数十步动作，导致空间覆盖率极其贫乏；
- 死循环原地空转（VLN Foundation）：ViNT 和 NoMaD 依赖拓扑图路标检索范式，在无图的未知新场景中无法匹配路标，陷入高频碰撞和原地打转的“无效位移”陷阱；
- 具备探索潜力但收敛精度差（VLA / Visuomotor）：Uni-NaVid 与 ROCKET-2 展现了连贯的主动搜索覆盖行为，但残存的末端对准误差以及返航阶段的迷失使其最终任务成功率仍受限。
亮点与洞察¶
- 将搜救任务形式化为四阶段序贯闭环闭环：该设计巧妙打破了传统导航任务中“给定已知目标点/路径指令”的简化假设，将前向开阔探索与反向空间记忆闭环置于统一诊断框架下，使得各子能力的级联失效机制首次获得定量化剖析。
- 环境辅助交互触发机制的严谨解耦：针对大量导航与 VLA 架构不具备复杂机械臂操控能力的现实，引入 \(1.5\,\text{m}\) 临界触发判定，成功避免了因末端操作缺陷而掩盖核心导航与空间探索缺陷的问题。
- 揭示了拓扑图检索范式在开放探索中的先天不足：实验有力证明了单纯通过大规模路径预训练无法涌现出开放世界探索能力；相比确定性航点预测，扩散生成式策略（NoMaD）对多峰动作分布的拟合在复杂场景下探索性显著更强。
局限与展望¶
- 作者承认的局限：主实验重点集中在单智能体环境，尽管附录初步验证了无人机（UAV）与地面人形机器人（CityWalker）的异构空地协同，但协同高度依赖全局真实 GPS 坐标共享，在室内或地下失步场景下难以实用。
- 实验设计与环境局限：环境中伤员均为静态平卧姿态，尚未涉及瓦砾掩埋挖掘、伤情动态恶化或移动被困者的动态交互；此外，环境辅助触发机制略去了智能体姿态调整与载具固定等真实物理耦合。
- 未来改进方向：探索基于语义空间记忆切片的长程记忆增强型 VLA 架构，研究 GPS 拒止条件下的跨实体分布式语义地图共享与去中心化空地协同规划。
相关工作与启发¶
- vs R2R / VLN-CE: 传统 VLN 任务依赖逐步细粒度自然语言导航指引，本质是“根据指示去哪”；RescueBench 则仅提供模糊的多模态线索片段，核心考察“在未知中自主决定去哪探索”。
- vs ALFRED / Habitat 3.0: ALFRED 与 Habitat 3.0 聚焦于室内结构化环境中的桌面或日常起居操作；RescueBench 则跨越室内外混合大尺度复杂场景，且独创了要求逆向记忆检索的返航闭环设计。
- vs UrbanNav / CityWalker: 现有城市级室外导航基准均预设明确的目标点，忽略了搜寻过程；RescueBench 填补了未结构化野外大尺度搜救中级联探索与记忆评测的空白。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出多阶段级联闭环具身搜救基准，开创了探索与空间记忆失效的序贯解耦诊断范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖五大主流架构、7 种代表性模型及人类/Oracle 参考，包含 400K 步微调实验与跨楼层立体环境分析。
- 写作质量: ⭐⭐⭐⭐⭐ 动机严密自洽，阶段形式化与失效机制归因深入透彻，图表数据详实。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能从“玩具级指令跟随”迈向“现实世界应急搜救”提供了关键的评测诊断基础设施。