Can LLM Agents Respond to Disasters? Benchmarking Heterogeneous Geospatial Reasoning in Emergency Operations¶

会议: NeurIPS 2026
arXiv: 2605.11633
代码: https://github.com/Junjue-Wang/DORA
领域: LLM Agent
关键词: 灾害响应, 大模型智能体, 地理空间推理, 遥感图像, 基准评测

一句话总结¶

提出了首个端到端灾害应急响应智能体基准 DORA，涵盖 45 场真实灾害事件的 515 个多步骤复杂任务，构建了包含 108 个 MCP 工具的生态系统，全面评测 13 种前沿大模型并揭示了多源异构数据与工具调用中的复合脆弱性。

研究背景与动机¶

自然灾害与突发人道主义危机（如地震、洪涝、飓风、野火及山体滑坡）每年造成数以万计的人员伤亡与数千亿美元的基础设施损毁。灾害现场的应急响应与调度决策绝非单张卫星影像的目视解译所能胜任，而是高度依赖复合多维分析能力：在极端气象和通信受限条件下解译异构遥感图像、结合路网拓扑与人口分布进行空间关联分析、在物资与运力物理约束下制定搜救与疏散路线、追踪灾情动态演变并生成规范决策简报。这些长流程闭环工作流亟需智能体自主整合遥感感知、GIS 空间计算以及运筹逻辑。

然而，现存的评测体系存在显著的断层与孤岛效应。通用智能体基准（如 WebArena、SWE-bench、GAIA）主要运行在网页浏览或软件工程等纯数字空间中，缺乏物理世界异构地理空间数据的感知与空间语义约束；而现有的遥感视觉问答或对地观测智能体基准（如 xBD、DisasterM3、Earth-Agent、ThinkGeo）大多仅停留在单步感知、双时相变化检测或通用地理信息问答，未能覆盖灾害指挥中心从感知、研判、规划到简报生成的真实端到端操作流程。前沿多模态大模型在缺乏领域知识和专业工具调用的情况下，完全无法胜任此类多步骤空间决策。

本文的切入点在于弥合遥感感知算法与应急指挥业务流之间的鸿沟，将灾害响应系统性地解构为包含感知解译、空间拓扑运算、运筹物流约束与多模态合成的闭环认知图谱。核心 idea：构建首个面向真实灾害应急响应的端到端智能体基准 DORA，依托 45 场真实灾难的异构遥感与社会地理数据，设计覆盖 6 大功能的 108 个 MCP 工具库，形式化定义五级递进认知维度的 515 个专家任务与可重放黄金轨迹，系统揭示前沿模型在灾害语义对齐与长链组合中的瓶颈。

方法详解¶

整体框架¶

DORA 将灾害应急响应任务形式化建模为四元组 $(\mathcal{Q}, \mathcal{D}, \mathcal{T}^*, \mathcal{A}^*)$。其中 $\mathcal{Q}$ 为面向实际业务需求的自然语言指令；$\mathcal{D}$ 为多源异构数据清单，包含光学、SAR、多光谱遥感栅格影像（空间分辨率跨越 0.015m 至 10m，涵盖单时相、双时相及 3-5 阶段多时相序列）、数字高程模型（DEM/坡度）以及 GeoJSON 格式的道路网络、POI 设施、人口栅格等社会矢量图层；$\mathcal{T}^* = \langle t_1, \dots, t_K \rangle$ 为经领域专家核验的黄金工具调用轨迹；$\mathcal{A}^*$ 为包含标量、字符串、点、线、多边形、集合或字典等七类标准类型的结构化最终判决。

在智能体推理循环中，模型仅能观测 $(\mathcal{Q}, \mathcal{D})$，必须通过统一的 JSON-RPC 协议在 108 个 MCP 灾害工具库中自主选择工具、推断参数并串联执行。评测系统通过确定性重放引擎和双层评估协议（轨迹结构与最终答案四类原子算子判定）实施严密评分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["灾害场景输入<br/>自然语言指令 Q + 异构数据清单 D"] --> D1["五维任务认知分类体系<br/>T1感知 / T2空间 / T3规划 / T4时序 / T5简报"]
    D1 --> D2["108个MCP专业工具生态库<br/>感知 / 栅格 / 矢量 / 逻辑 / 可视化 / 总结"]
    D2 --> D3["专家符号轨迹与填空执行重放<br/>GT掩码参考答案生成与确定性回放"]
    D3 --> D4["双层评估与多维诊断协议<br/>轨迹匹配度 + 答案四原子算子 + 失败归因"]
    D4 --> Out["应急决策输出 A<br/>避难路径 / 物资配置 / 态势简报"]

关键设计¶

1. 五维任务认知分类体系：分级解耦应急业务的推理复杂度 真实应急场景的认知需求跨度极大，如果笼统混杂则无法精细化归因模型能力断点。DORA 紧密对接 UNOSAT、Copernicus EMS、FEMA ICS 及 UN OCHA 等国际权威应急标准，提炼出五大递进能力维度： - T1 灾害感知与评估（Disaster Perception & Assessment, PA）：单/双时相影像的原子化量化，如提取建筑损毁等级、淹没区域或滑坡掩埋体量，均值轨迹长度 3.35 步； - T2 空间关联分析（Spatial Relational Analysis, SR）：感知掩码与 GIS 图层的复合空间计算，包含邻近性（Buffer）、拓扑包含、空间相交（Intersection）等暴露面分析； - T3 灾害运筹规划（Disaster Operational Planning, OP）：结合现实运力限制（道路残损通行度、车次载重、搜救时间窗）开展最短可行避难路径导航与救援物流调度； - T4 时态演化推理（Temporal Evolution Reasoning, TE）：跨 3-5 个观测时相追踪洪水蔓延、火势扩散或灾后重建，执行跨阶段循环统计与极值/拐点捕捉； - T5 多模态报告综合（Multi-modal Report Synthesis, RS）：综合串联 T1-T4 衍生结果，调用专题图绘制与图表渲染工具生成图文并茂的标准联合国态势简报，平均轨迹达 11.96 步。

2. 108个MCP专业工具生态库：覆盖对地观测与应急运筹的标准化解耦 现有遥感工具多为离散模型脚本，无法直接融入通用智能体框架。DORA 采用模型上下文协议（MCP）封装了涵盖 6 大功能模块的 108 个专业工具，每个工具均具有严格的类型化输入输出规范（JSON-RPC）： - 感知模块（Perception, 31 个）：集成基于 DinoV3、SegFormer、HRNet、SwinUperNet 构建的建筑破损检测、水体识别、道路破损、滑坡与熔岩分割模型，均在公开赛道与基准的训练集严格预训练并在测试集评估，严防数据泄露； - 栅格模块（Raster, 18 个）：基于 GDAL 与 Rasterio 实现，包含面积统计（ras.area）、图层差分运算（ras.diff）、阈值二值化与多边形矢量化（ras.vectorize）； - 矢量模块（Vector, 31 个）：基于 Shapely、NetworkX 与 GeoPandas，提供相交（vec.intersect）、缓冲（vec.buffer）、基于路网破损图的最短路径搜寻（vec.shortest_path）以及 POI 受灾过滤； - 逻辑模块（Logical, 15 个）：包含跨时相迭代循环（logi.loop）、汇总归约（logi.reduce）以及运力计算（logi.truck_trips）； - 可视化与总结模块（Visualization & Summarization, 13 个）：调用 Matplotlib 渲染损害专题图（vis.damage_map）、路径态势图（vis.route_map）以及固化后端指标提取（m.extract_evidence）。

3. 专家符号轨迹与填空执行重放：保证基准确定性与环境解耦 传统基于自由调用的智能体评测极易受到下游环境状态漂移与级联随机误差干扰。DORA 提出三阶段构建机制：首先由具备遥感与灾害管理背景的专家在多源数据清单上人工编写自然语言任务需求 $\mathcal{Q}$ 与黄金工具序列 $\mathcal{T}^*$；在参数定义上，跨步骤依赖均采用符号引用机制（如 <mask_path> from trajectory[2].obs），完全解耦底层运行路径；接着在基准构建阶段通过确定性重放引擎（Deterministic Replay Engine）执行流水线，将感知工具替换为人工标注的真实 GT 掩码以抹除感知模型本身的不确定性，推导出高精度金标答案 $\mathcal{A}^*$；最后实施跨学科一致性核验与类型完备性检查。

4. 双层评估与多维诊断协议：多角度解构推理过程与最终结果 为兼顾执行过程的合理性与最终灾情研判的正确性，DORA 建立了双层度量系统： - 轨迹层度量：衡量工具组合逻辑，包含无序工具召回率（Tool-Any-Order）、最长公共子序列有序度（Tool-In-Order）、最长公共前缀严格匹配度（Tool-Exact-Match）以及工具名正确前提下的参数准确率（Parameter Accuracy）； - 答案层度量：将七类结构化输出投影至四类原子算子中打分： - 标量相对容差判定： $$|y_p - y_g| \leq \tau_r |y_g| \quad (\tau_r = 0.2)$$ - 字符串标准化精确匹配： $$\mathrm{nrm}(y_p) = \mathrm{nrm}(y_g)$$ - 地理坐标点欧氏距离门控： $$\|(y_p^x, y_p^y) - (y_g^x, y_g^y)\|_2 \leq \tau_{\text{px}} \quad (\tau_{\text{px}} = 20\text{ px})$$ - 空间多边形重叠度门控： $$\mathrm{IoU}(y_p, y_g) \geq \tau_{\text{IoU}} \quad (\tau_{\text{IoU}} = 0.5)$$ 复合类型（字典、集合、折线）按子元素递归解构平均；同时引入执行效率度量： $$\textsc{Eff} = \frac{|\mathcal{T}^*|}{\max(|\mathcal{T}^{\text{pred}}|, |\mathcal{T}^*|)}$$ 抑制无效重复与冗余试错。

实验关键数据¶

主实验¶

论文对 13 个主流前沿大模型进行了全面基准测评，分为工具缺失的纯视觉推理 Baseline、商业闭源模型以及开源模型三个梯队。主实验各维度答案准确率（Final Answer Accuracy）与轨迹指标对比如下：

模型分类	模型名称	AVG (%)	T1 (PA)	T2 (SR)	T3 (OP)	T4 (TE)	T5 (RS)	T-Exact-M (%)	ParAcc (%)	Eff. (%)
基线（无工具）	Gemini-3.0-Flash (Tool-free)	18.55	5.98	19.91	17.48	29.36	20.03	-	-	-
基线（无工具）	Qwen3-VL-235B (Tool-free)	18.30	5.53	28.63	12.63	27.75	16.95	-	-	-
上界参考	Gold Trajectory (Oracle)	80.48	71.31	63.19	83.63	90.77	93.50	100.0	100.0	100.0
商业闭源	Gemini-3.0-Flash	53.74	54.19	49.00	59.82	60.40	45.31	35.55	42.63	83.05
商业闭源	Grok-4.1-Fast	52.10	53.07	53.40	54.23	55.28	44.52	28.09	31.96	86.83
商业闭源	Claude-Sonnet-4.6	52.01	54.43	48.23	51.82	60.05	45.53	32.28	39.48	75.32
商业闭源	GPT-5.4	47.63	52.85	50.80	53.50	51.90	29.11	31.82	37.71	88.46
商业闭源	GPT-5.4-Nano	38.14	44.40	33.41	39.98	45.55	27.37	21.81	27.02	84.36
开源模型	Qwen3.5-397B-A17B	53.45	51.03	53.40	51.82	61.83	49.17	32.13	36.50	76.54
开源模型	MiMo-V2-Pro	52.89	53.68	47.43	55.48	63.58	44.26	34.24	38.45	79.11
开源模型	Gemma-4-31B	51.17	51.46	49.00	52.33	61.03	42.03	32.82	38.23	86.43
开源模型	MiniMax-M2.7	48.35	51.87	48.53	50.16	50.59	40.62	25.32	29.68	79.33
开源模型	DeepSeek-V3.2	48.23	49.80	49.15	50.57	50.62	41.01	30.39	34.69	72.44
开源模型	Step-3.5-Flash	46.68	49.70	44.91	48.33	48.90	41.58	25.33	29.43	78.29
开源模型	GPT-OSS-120B	35.11	42.70	37.58	42.00	24.43	28.84	22.79	26.24	90.42
开源模型	Qwen3.5-35B-A3B	24.01	14.15	13.89	33.08	37.62	21.30	23.10	27.08	80.39

消融实验¶

为了探究智能体在“工具选择（Tool Selection）”与“参数落地（Argument Grounding）”上的瓶颈，论文对比了自主规划模式（Auto-Planning, AP）与指令遵从模式（Instruction-Following, IF，即直接提供黄金工具调用顺序提示，智能体仅需自主生成参数与解析输出）：

测试模型	评测模式	T-Any-O (%)	T-In-Ord (%)	T-Exact-M (%)	ParAcc (%)	最终答案 AVG (%)
Gemini-3.0-Flash	w. AP（自主规划）	75.17	66.57	35.55	42.63	53.74
Gemini-3.0-Flash	w. IF（指令遵从）	82.56	82.03	62.53	53.49	55.71
增益对比	$\Delta_{\text{AP}\to\text{IF}}$	+7.39	+15.46	+26.98	+10.86	+1.97
Gemma-4-31B	w. AP（自主规划）	69.89	62.58	32.82	38.23	51.17
Gemma-4-31B	w. IF（指令遵从）	79.80	79.63	61.76	50.24	52.25
增益对比	$\Delta_{\text{AP}\to\text{IF}}$	+9.91	+17.05	+28.94	+12.01	+1.08
MiniMax-M2.7	w. AP（自主规划）	62.89	55.19	25.32	29.68	48.35
MiniMax-M2.7	w. IF（指令遵从）	80.85	79.83	50.95	43.98	52.75
增益对比	$\Delta_{\text{AP}\to\text{IF}}$	+17.96	+24.64	+25.63	+14.30	+4.40

此外，在 Gemma-4-31B 上评估不同智能体支架架构（Scaffold）的影响： - ReAct（基线循环）：AVG 51.17%，T-Exact-M 32.82%，ParAcc 38.23%，单任务耗时 80s； - Plan-then-Execute (PE)：AVG 54.41%（+3.24%），T-Exact-M 38.83%，ParAcc 47.27%，单任务耗时 179s（前置规划减少了中间观测干扰）； - Reflexion（反思机制）：AVG 52.74%（+1.57%），T-Exact-M 36.21%，ParAcc 40.05%，耗时 167s（因错误主因是领域知识缺失而非逻辑反思，收益甚微）； - ReWOO（无中间观测解耦）：AVG 44.26%（-6.91%），T-Exact-M 25.18%，ParAcc 25.92%，耗时 82s（缺乏中间掩码和几何反馈导致严重崩溃）。

关键发现¶

工具链长随复合异构性发生级联崩溃：当轨迹长度在 2-3 步短流程时，顶尖智能体与金标轨迹差距在 7% 以内；但当轨迹延伸至 $\geq 11$ 步的长链时（如 T5 任务），智能体与金标差距拉大至 56%。值得注意的是，长流程下金标准确率高达 93.50%，说明任务本身逻辑清晰，性能断崖纯粹源于模型在长异构链路上的复合脆弱性。
工具选择与参数落地的“双重瓶颈”：在 IF 模式下，即便直接喂给模型完美的工具调用时序提示，T-Exact-M 提升了近 27%，但最终答案准确率仅微增 1.08%–4.40%，仍然距离金标相差 25% 以上。智能体无法准确推断灾害分类标签索引、GSD 分辨率尺度参数和中间文件引用。
三大灾害领域特定失败模式：
灾害管线级编排错误（占 56.3%）：38.5% 将下游工具挂载到错误的上游掩码，12.8% 遗漏拓扑相交与缓冲核心算子；
灾害损害语义对齐失真（占 20.3%）：混淆轻度受损、严重倒塌与水浸等级，14.3% 在二值化后仍传递过期的多分类索引；
传感器模态错配（占 14.8%）：混淆栅格与矢量拓扑算子，或在云雾遮蔽场景中错误选择光学代替 SAR 传感器。
多模态数据输入反向稀释性能：纯光学影像下各模型达 52%–59% 准确率；但引入 OSM 社会矢量后准确率暴跌至 18%–27%，引入 SAR 模态后降至 24%–36%，表明当前模型在空间跨传感器对齐和符号-栅格混合推理上存在显著短板。

亮点与洞察¶

将灾害应急推向全流程闭环：摆脱了过去遥感评测只关注“分割精度”或“单步 VQA”的狭隘视角，首次将对地观测感知与应急资源调度、避难路径计算与联合国标准简报生成打通。
确定性重放与符号化轨迹解耦设计：采用 <var> from trajectory[i] 符号引用与 GT 掩码填空执行，既杜绝了感知模型方差对规划评测的污染，又保证了评测轨迹的大规模可重放性。
揭示了“知道工具顺序依然解不对”的深层事实：IF 消融实验颠覆了“只要 Agent 规划对了工具流程就能完成任务”的常见假设，证明应急领域的物理参数接地和状态演变才是卡死 Agent 的真正瓶颈。

局限与展望¶

感知端与规划端的误差传递未完全动态建模：评测金标生成依赖离线标注 GT 掩码，而实际推理中感知模型的漏检和误分割可能对下游 GIS 算法输入造成对抗性噪声。
缺少实时动态交互环境：当前任务基于固定的多时相静态观测切片，尚未整合实时气象变化、次生灾害并发演化与救援车队实时反馈的仿真器环境。
未来方向：探索结合多源对齐灾害领域微调（Domain-specific SFT）与强化学习（RL），加强 Agent 对地理空间元数据、CRS 投影和灾害分类索引的先验 grounding 能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立闭环灾害应急响应智能体基准，系统性定义了五维认知空间与标准化 MCP 工具链。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 13 种主流大模型、多模态消融、IF 提示控制与智能体架构对比，统计数据详实完整。
写作质量: ⭐⭐⭐⭐⭐ 架构定义清晰，评测指标数学形式化严谨，错误归因分析深刻。
价值: ⭐⭐⭐⭐⭐ 为大模型智能体赋能人道主义救援与防灾减灾提供了极具参考价值的测试基准与技术航标。