OpenEarthAgent: A Unified Framework for Tool-Augmented Geospatial Agents¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/mbzuai-oryx/OpenEarthAgent
领域: 遥感
关键词: 工具增强智能体、地理空间推理、确定性回放、轨迹监督、多源遥感

一句话总结¶

OpenEarthAgent 把视觉感知、GIS、光谱指数和地理配准栅格操作接到统一执行器上，再用经过回放校验的轨迹微调 Qwen3-4B，使自建测试集上的严格工具顺序匹配率从 14.71% 提升到 67.24%，但非生成任务答案准确率仍只有 45.26%。

研究背景与动机¶

遥感问答并不总能靠“看图后描述”完成。要回答某区域内两类设施相隔多远，模型必须先确定地理边界、查询兴趣点，再调用距离计算；要比较两期植被或火灾变化，还要处理影像时间、光谱指数和空间范围。Prithvi、AnySat 等模型擅长学习地球观测表征，GeoChat、EarthDial 则让遥感影像可以被语言查询，但表征能力和描述能力本身都不保证这些分析步骤能正确执行。

困难尤其在于工具之间的依赖和空间语义：GeoTIFF 是带地理参考的栅格文件，不是可以直接提交给地名解析器的地名；像素计数也不是平方米，换算要依赖地面采样距离。ThinkGeo、Earth-Agent 已开始把外部工具接入遥感推理，但仍需要模型同时选对工具、填对参数、保留坐标上下文并利用返回结果继续规划。某一步语法合法，不代表整条链满足任务要求；文字解释听起来合理，也不代表对应的地理操作有物理依据。

本文因此把关注点放在“什么样的轨迹值得学习”，而不只是扩大问答数量。它先把不同来源的数据与工具调用规范化，再真正执行候选轨迹，检查几何、参数和空间一致性，最后训练一个语言控制器来复现这些可执行决策。核心 idea：用统一地理空间工具接口和经过执行校验的多步轨迹，把遥感推理从生成答案转化为学习一条可追踪、可运行的分析流程。

方法详解¶

整体框架¶

输入是自然语言任务及其相关材料，可以是 RGB、SAR、前后时相影像、GIS 图层或带地理参考的栅格；输出既可以是数值或文字答案，也可以是标注图像、地图和派生图层。模型负责下一步决策，工具负责实际感知与空间计算，执行结果进入工作记忆后再交给模型。

完整方案包含训练侧的数据构建与回放校验，以及推理侧的工具反馈循环。图中虚线表示训练数据或监督关系，实线表示工具规范或推理数据流；“轨迹监督与回放”不是每次测试时重新训练模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源数据与标注"] --> B["可执行语料构建"]
    B -.->|候选轨迹| E["轨迹监督与回放"]
    C["统一工具注册表"] --> D["工作记忆与反馈执行"]
    C -.->|工具控制器校验| E
    Q["查询与影像或图层"] --> D
    D --> T["工具结果与缓存"]
    T --> D
    E -.->|离线监督训练| D
    D --> O["答案或可视化产物"]

这不是把所有遥感模态直接塞入一个新训练的视觉编码器。论文具体训练的是 Qwen3-4B-Instruct-2507 语言控制器，多模态能力由外部感知、GIS 和光谱工具共同提供；因此，控制器规模不能代表完整系统的全部计算成本。

关键设计¶

1. 可执行语料构建：先确认任务有数据、有依据，再生成轨迹

RGB/SAR 分支先用样本充分性筛选去掉缺少所需标注的样本，再协调不同数据集的类别与标注格式。GIS 分支从候选区域和可用兴趣点图层出发，避免生成目标对象根本不存在的问题；指数分支则从 NDVI、NBR、NDBI 等时间变化中筛选有意义的事件。这里的 NDVI 对应植被状态，NBR 用于火烧相关分析，NDBI 用于建成区分析，它们为问题提供了可计算的地表属性，而非仅靠图像外观猜测。

这些分支最终汇入统一 JSON，保存影像路径、GeoPackage 信息、空间属性和工具参数，再由带任务模板与单个示例的语言模型生成查询及推理轨迹。候选 GIS 查询会先被程序执行；生成后的条目还要检查参数、几何有效性和空间一致性，出现问题时受控重生成，必要时定向人工核验。作者另外人工检查全部测试样本，明确举出修正面积估计中的 GSD 不一致问题。最终有 14,538 个训练样本和 1,169 个测试样本，训练轨迹含 100,656 步，测试轨迹含 7,064 步；这里的一步是显式的思考、动作、观察转换，不应简单当成一个独立问答。

2. 统一工具注册表：把不同地理操作变成有明确输入输出的调用

视觉检测器输出框，GIS 算子输出几何或距离，光谱算子输出指数图层，这些结果不能靠一段自由文本可靠地串接。注册表为每个工具规定结构化输入、结构化输出和实际执行函数，并统一使用 JSON 契约；中央编排器解析模型调用、验证参数、执行函数，再把返回值写回上下文。模型因此需要学的是“下一步调用哪个接口并传入哪些已有结果”，而不是模拟一个工具会返回什么。

工具分为五类：感知工具负责检测、区域属性、计数、分割与变化检测；GIS 工具处理边界、兴趣点、距离及相关空间量；光谱工具添加指数图层、计算跨时相变化并可视化；地理配准栅格工具从 GeoTIFF 提取边界并把结果绘回原栅格；辅助工具提供计算器、求解、绘图、文字标注、OCR、检索和终止操作。最关键的不是工具数量，而是保留对象类型、坐标参考和文件引用，使前一步产物能成为后一步的有效输入。作者称新增工具可通过注册接口接入，但“无需重新训练即可注册”不等于模型必然会正确使用任何新工具。

3. 工作记忆与反馈执行：把已经发生的操作和已经生成的图层留在状态里

每一轮决策读取当前工作记忆，其中包含用户指令、此前工具调用、观察结果、空间元数据和执行反馈。控制器给出调用后，编排器负责实际运行并追加返回结果；随后模型根据更新的状态继续，直至调用 Terminate。这使问题从一次性长文本生成变成可观察的交互过程，例如某个图层已成功保存时，后续操作应引用该结果，而不是重新猜测它的内容或位置。

工作记忆之外，执行缓存保存派生矢量层、栅格子集、指数图和几何对象，供同一轨迹后面的调用复用。两者职责不同：前者保存决策所需的上下文，后者保存真正的数据产物。缓存既避免重复计算，也支撑回放时复用一致的中间状态；但论文并未证明任意外部数据源变动后结果仍完全可复现，更没有给出依靠缓存就能保证最终答案正确的结论。

4. 轨迹监督与回放：训练动作策略，不训练模型伪造环境反馈

轨迹纳入训练前会通过工具控制器重新执行，检查参数格式、坐标完整性、几何有效性以及整条调用链能否运行。与只检查 JSON 是否可解析相比，回放可以暴露“字段都齐了，但引用了不存在的图层”或“操作在空间上不成立”的问题。合格轨迹为监督微调提供下一步动作目标，训练时保留历史工具结果作为条件，让动作学习建立在实际反馈上。

方法节强调只优化工具动作策略，工具观察不计入损失；实现节则把这一点描述为 response-only masking，仅对 assistant 生成的 token 计算损失，屏蔽输入提示和外部工具输出。两种表述共同明确了策略与环境的边界，但正文没有完整展开 assistant 回合内所有文本字段的掩码粒度。因此，应理解为带执行反馈上下文的监督学习，而不是把工具数值一起当作模型要背诵的答案，更不是通过在线强化学习探索出来的策略。

一个完整示例¶

原文图 1 的任务是在给定 GeoTIFF 上显示博物馆与商场，找到最近的一对并把距离标到图像上。这一例子的关键不是“理解博物馆是什么”，而是不能跳过从栅格文件获取地理边界的依赖。

先制定计划，调用 GetBboxFromGeotiff 提取西、南、东、北边界，再把边界交给 GetAreaBoundary，得到后续 GIS 操作使用的 GeoPackage。
分别调用 AddPoisLayer，使用 {"tourism": "museum"} 和 {"shop": "mall"} 查询两类兴趣点。图示返回各 1 个兴趣点，这两个结果成为可计算的图层，而不是仅存在于解释文字中的对象。
用 ComputeDistance 对两个图层求最近距离，再用 DisplayOnGeotiff 将结果叠加到原始栅格上，用 AddText 标注距离，最后终止并返回图像。图示按高层计划、调用及结束展示了 9 个步骤，不等于 9 次计算距离。

未微调 Qwen3-4B 的失败路径则直接把 from GeoTIFF 作为区域参数交给地名解析工具，得到无结果后提前终止。这个对比说明监督轨迹教会了正确的输入依赖，但只是一个案例，不能据此断言模型已具备普遍的错误恢复能力；缓存中没有给出可可靠引用的最终距离数值，故此处不补造数值。

损失函数 / 训练策略¶

训练沿用自回归最大似然思想：给定任务、历史动作与环境返回值，提高经过验证的下一步动作的生成概率。缓存中的原文公式存在明显抽取缺损，因此这里保留文字机制，不把修补后的表达式冒充作者原式。

基础模型为 Qwen3-4B-Instruct-2507，使用 Unsloth 的 FastLanguageModel，在 4 张 NVIDIA A100 40 GB 上训练 1 个 epoch。学习率为 2e-5，采用 cosine schedule、0.05 warmup ratio，batch size 为 16，最大序列长度为 4096 token；训练样本在文本与 JSON 工具交互之间交替，外部工具输出只提供上下文。

实验关键数据¶

主实验¶

自建测试集含 1,169 个样本，所有比较模型都作为同一框架中的可替换控制器。逐步评测给定交互历史、检查下一步调用，但不真实执行工具，且首个高层计划步骤不参与校验；端到端评测则让模型实际调用工具并依据返回值继续执行。这两种协议不能混为一谈。

表 1 摘录原文表 3，数值为百分比。Inst. 检查调用是否有语法或逻辑错误，Tool 检查工具选择，ArgN 检查必需参数是否齐全，ArgV 检查参数值是否正确，Summ. 检查能否正确整合历史结果形成回答。

控制器	Inst.	Tool	ArgN	ArgV	Summ.
Qwen3-4B-Instruct-2507，未微调	97.34	86.94	84.12	33.55	83.28
GPT-4o	99.18	93.88	85.48	45.80	86.76
o4-mini	83.68	68.33	64.17	37.95	89.48
OpenEarthAgent-4B	99.51	97.18	96.08	62.10	83.64

表 2 摘录原文表 4 的端到端结果，数值为百分比。GIS F1 比较 GIS 工具选择与参考工具集合；AnyOrder 要求工具及重复次数匹配但不计顺序，SameOrder 还要求顺序一致，Unique 只比较不计重复次数的工具集合。

控制器	GIS F1	AnyOrder	SameOrder	Unique	Ans.	Gen.
Qwen3-4B-Instruct-2507，未微调	71.82	16.00	14.71	21.47	13.72	15.86
GPT-4o	95.80	50.81	50.38	55.52	39.22	77.93
GPT-5	91.50	46.96	46.79	47.81	43.88	46.21
OpenEarthAgent-4B	98.52	67.75	67.24	72.71	45.26	75.86

Ans. 是非生成任务的答案准确率，由 gpt-4o-mini 按统一提示判定；Gen. 根据图像生成相关工具调用的正确性及执行成功判断，不是对产物视觉质量的全面评估。因而 75.86% 不应解读为遥感图像生成质量，也不能与 45.26% 当成同类任务直接比较。

消融实验¶

提供的正文只说明补充材料有额外消融，当前缓存没有这些结果。表 3 因此仅整理同骨干训练前后的分析，不是逐个删除注册表、缓存或回放的模块消融；它能支持整个训练方案有效，不能单独量化任何组件的因果贡献。

协议与指标	未微调 Qwen3-4B	OpenEarthAgent-4B	提升（百分点）
自建测试集，逐步 ArgV	33.55	62.10	28.55
自建测试集，端到端 SameOrder	14.71	67.24	52.53
自建测试集，端到端 Ans.	13.72	45.26	31.54
Earth-Agent，逐步 Tool	60.61	70.33	9.72

最后一行来自原文表 5，Earth-Agent benchmark 含 248 个任务、13,729 张图像，工具经过接口改写并提供规范 JSON 示例。该结果说明一定程度的跨基准迁移，但不是在完全未经适配的陌生工具环境中零样本执行；同一表中 GPT-4o 的 Tool 为 71.65，仍高于本文的 70.33。

关键发现¶

调用形式原本已较稳定，真正的大幅收益在参数值和长链顺序；这与“学习工具依赖而不只是合法 JSON”的方法定位一致。
SameOrder 达到 67.24%，但 Ans. 只有 45.26%，说明接近参考流程不等于最终答对。逐步 Summ. 也仅从 83.28% 到 83.64%，并未同步大幅增长。
原文表 6 在均衡的 60-query 子集上报告平均延迟 21.67 秒，对比基础模型 42.02 秒和 GPT-Agent 933.54 秒；这是特定工具、任务和部署条件下的系统延迟，不能推成纯模型推理加速比。

亮点与洞察¶

可执行轨迹是比“解释写得完整”更实在的数据标准。对遥感任务，把坐标、GSD 和图层引用纳入校验，直接约束了文本推理容易忽略的空间前提。
把工具返回值排除出训练目标，保留了模型决策与环境事实之间的边界。迁移到其他专业智能体时，也应优先监督可靠动作，而不是让模型记忆外部系统的结果。
小模型的收益主要来自领域工作流对齐。它提示专业工具系统未必首先需要更大的控制器，但工具本身的感知质量与运行成本仍是系统的一部分。

局限与展望¶

作者正文没有独立局限章节，但结果明确显示参数值、最终回答及图像任务仍存在缺口；结论也仅将系统定位为迈向地理空间智能体的一步。
从本文实验设计看，缺少当前可核验的模块消融，无法拆分数据筛选、确定性回放、缓存和轨迹微调各自贡献。后续应在相同数据量与预算下逐项对照。
从评测口径看，参考工具顺序会惩罚某些等价解法，LLM judge 也可能引入偏差。更有说服力的补充是对距离、面积、坐标误差及最终图层进行独立数值校验。
回放保证的是给定执行环境内的可执行性，而非外部地理数据永远正确。正文没有充分展开地理区域隔离、时间外推与实时数据变化的压力测试，实际灾害和环境监测部署仍需验证。

评分¶

新颖性: 4/5。创新偏系统与监督数据整合，空间校验有针对性，但控制循环和监督学习范式已有基础。
实验充分度: 3/5。具有逐步、端到端和跨基准结果，当前正文缺少可核验的组件消融与更充分的地理外推分析。
写作质量: 4/5。案例直观，工具与训练边界较清楚，但部分评测口径仍需读者谨慎区分。
价值: 4/5。为可执行遥感智能体提供了实用的训练与评测思路，距离可靠自主分析仍有差距。