Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes¶

会议: NeurIPS 2026
arXiv: 2610.18356
OpenReview: https://openreview.net/forum?id=ls2ORqqsqZ
代码: https://github.com/AMAP-ML/Urbex
领域: 3D表示与场景理解
关键词: 城市级3D Grounding、主动空间搜索、VLM智能体、强化学习、多视角环境

一句话总结¶

针对超大尺度城市场景下 3D 视觉定位面临的候选框依赖与高昂计算开销，Urbex 放弃静态候选排序范式，将定位建模为多视角交互环境中的主动空间搜索，通过强化学习训练具备地标检索、高精缩放与侧斜视验证能力的视觉语言智能体，实现了免候选框的高效精准 3D 空间定位。

研究背景与动机¶

在三维场景中根据自然语言描述定位目标物体（3D Visual Grounding）是具身智能、自动驾驶与低空巡检的核心能力。然而，现存 3D 定位技术大多聚焦于室内或小尺度物体中心场景；当扩展至平方公里级、包含数千万至上亿激光点云的室外城市场景时，传统方法遭遇了严峻瓶颈。室内常用的大规模下采样策略（如强制采样至 40,000 点）会直接抹去车辆、标识等小型物体的精细几何结构，导致传统室内点云定位模型在城市场景中几乎完全失效。

为应对海量点云的计算负载，近期的城市级 3D 定位方案（如 CityRefer 与 CityAnchor）普遍将任务退化为两阶段的“静态候选排序”：先依赖预训练的实例分割算法或人工标注生成候选目标框，再用多模态大模型逐一计算文本与候选框的匹配得分。这一范式不仅存在严重的误差累积——受限于上游候选框的召回率与分割质量，而且当场景内重复实例（如海量停放车辆、连排建筑）激增时，评分模型的推理时间呈线性爆炸，单次查询甚至需耗费数十秒；更根本的是，它将具有丰富空间线索与层级依赖的城市探索割裂成了被动的单次多项选择题。

面对大范围城市环境，人类的搜寻过程本质上是序贯式、自上而下的主动空间探测——先借助显著地标（如“警察局左侧”）锚定街区，再放大查看局部区域，最后结合不同观察角度确认目标。本文的核心 idea 是：将城市级 3D 定位重构为交互式多视角环境下的“主动空间搜索”问题，构建一套城市感知轻量工具集，并利用群组相对策略优化（GRPO）结合平滑中心距离奖励，训练 VLM 智能体自主决策何时查地标、何时缩放与侧视验证，从而彻底摆脱对预生成 3D 候选框的依赖。

方法详解¶

核心机制¶

Urbex 将城市级 3D 空间定位的核心机制确立为“环境工具化”与“主动决策闭环”。传统方法被动接收静态点云或海量预计算候选框，而 Urbex 将城市场景抽象为一个具备确定性坐标变换的交互式多视角环境 $\mathcal{V}$。智能体接收自然语言查询 $q$ 和全局鸟瞰图（BEV）$I_{\mathrm{global}}$，在有限的交互轮数预算（8 步）内，通过思维链（Chain-of-Thought）推理生成动作。动作既可以是调用空间感知工具以获取更高分辨率或跨维度的局部观测并拓展环境状态，也可以是直接在已知鸟瞰坐标系中提交归一化 2D 预测框 $\hat{b}_v$。环境随后利用预先标定的几何映射矩阵 $T_v$ 将 2D 框精确反投影为世界坐标系中的 3D 空间范围，实现了连续、端到端且无需候选提案（candidate-free）的精细化主动定位。

整体框架与流程¶

整个推理与决策流程由多视角交互环境、VLM 智能体决策核心以及强化学习训练目标三部分构成。智能体在每个时间步 $t$ 根据观测历史 $h_t$ 生成推理文本与结构化动作，经环境执行后将文本反馈与新图像增量追加至上下文，直至提交最终包围框。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    A["自然语言查询 + 全局鸟瞰图 (BEV)"] --> B["VLM 决策智能体<br/>(Qwen3-VL-4B-Instruct)"]
    B --> C{"选择动作类型"}
    C -->|调用地标查询| D["1. 地标检索与全局空间锚定<br/>解析专有名词并获取投影坐标"]
    C -->|调用高精缩放| E["2. 高精局部缩放<br/>切取原图大分辨率局部 BEV"]
    C -->|调用侧斜视渲染| F["3. 侧斜视角三维验证<br/>渲染多朝向立体结构以核验外观"]
    D --> G["环境坐标系更新与上下文追加"]
    E --> G
    F --> G
    G --> B
    C -->|提交最终答案| H["自由形式 2D 框预测 $\hat{b}_v$"]
    H --> I["视角至世界坐标系反投影 $T_v$"]
    I --> J["最终 3D 空间定位结果"]

关键设计¶

1. 城市感知交互工具集：从全局地标到侧斜视角三维确认 城市场景幅员辽阔，且自然语言描述往往包含层级空间参考（例如远距离的建筑名与道路方位）。针对这一特性，Urbex 设计了三个互补且紧凑的城市感知工具，避免动作空间膨胀： - 地标查询（Landmark Query）：针对查询文本中的建筑物、道路设施等专有名词，从 OpenStreetMap（OSM）地理数据库中解析出真实地理坐标，并将其投影至当前指定的观测视角中，为智能体在大范围地图中提供大尺度的粗粒度空间锚点。 - 局部高精缩放（Zoom-in）：原始城市全景 BEV 图像的长边分辨率通常突破 10,000 像素，在全局缩放视图中汽车等小目标仅占几个像素。该工具将智能体在当前视图指定的 2D 区域映射回超高分辨率原始底图并执行裁剪，赋予局部视野新的视图标识符与对齐的投影矩阵，恢复细粒度几何与纹理细节。 - 侧斜视角渲染（Oblique Rendering）：自顶向下的纯 BEV 视角无法分辨物体高度、立面构造与悬空结构。该工具允许智能体从东、南、西、北四个主基向渲染候选区域的倾斜视角图像，提供侧面几何线索以供确认；该视角仅作为辅助视觉证据，不破坏全局提交时的坐标规范。

2. 统一多视角坐标映射与免候选自由框提交 为了使大模型摆脱复杂的 3D 连续空间坐标回归，Urbex 建立了统一的归一化 2D 坐标规范。每个局部 BEV 裁剪视点 $v \in \mathcal{V}$ 均附带一个显式的仿射变换矩阵 $T_v$，记录其相对于世界坐标系的缩放和平移参数。VLM 智能体仅需在当前激活的任意 BEV 视图中输出 $[x_{\min}, y_{\min}, x_{\max}, y_{\max}]$ 格式的归一化二维框。环境引擎在收到预测后，利用 $T_v^{-1}$ 自动将其反算映射至真实物理世界的三维地面边界框 $\hat{b}$。该机制使得模型无须显式接收任何现成的候选 3D proposals，彻底解决了由于候选生成器漏检导致的性能上界受限问题。

3. 渐进式多阶段强化学习：平滑距离奖励与轻量过程塑造 纯基于最终 IoU 的稀疏奖励在广袤的城市场景中会导致严重的冷启动问题——训练初期智能体预测框命中正确目标的概率极低，易陷入梯度弥散。Urbex 采用组相对策略优化（GRPO）算法，在无需额外训练 Critic 价值网络的前提下实现显存高效的策略更新。其终端奖励定义为： $$R_{\mathrm{term}}=\lambda_{\mathrm{iou}}\,\mathrm{IoU}(\hat{b},b^{\star})+\lambda_{\mathrm{dist}}\exp\!\left(-\frac{d(\hat{b},b^{\star})}{\tau}\right)-\lambda_{\mathrm{step}}\frac{T}{T_{\max}}$$ 其中 $d(\hat{b}, b^\star)$ 为预测中心与真值中心的地面欧氏距离，设置尺度参数 $\tau=80\,\text{m}$，确保在 IoU 为 0 时仍能提供密集的引导梯度；$\lambda_{\mathrm{step}} \frac{T}{T_{\max}}$ 惩罚不必要的冗余调用。此外，引入基于真值信息但不泄露给模型观测的轻量过程奖励（Tool-level shaping）：若缩放中心比上一轮更接近真实目标则给予正向奖励，反之扣分；若侧斜视渲染区域重叠真值则给予加分。这种设计引导智能体自然收敛出“地标查询 $\to$ 局部缩放 $\to$ 侧视确认 $\to$ 提交答案”的高效搜索模式。

理论分析与设计权衡¶

将 3D 定位任务转换为智能体主动搜索，核心权衡在于“单步感知与多步交互预算”以及“搜索自由度与动作空间离散化”： - 搜索复杂度 vs. 候选遍历开销：传统排序模型对 $N$ 个候选框分别提取点云与多模态特征，前向计算复杂度为 $\mathcal{O}(N)$，在城市级场景中 $N$ 往往多达数百至数千，导致在线时延过高（>30 秒）。Urbex 将复杂度转化为与场景实例数无关的交互步数预算 $\mathcal{O}(T)$（$T \le 8$），通过对数级空间收缩迅速聚焦目标，在线推理时间缩短至 3.2 秒（加速达 10 倍）。 - 坐标投影误差与高度自由度折叠：城市场景中大多数人造物体（车辆、建筑）严格贴合地面。Urbex 将 3D 搜索降维至 BEV 平面，再通过侧斜视补充立面信息。这种设计大幅降低了多模态模型直接输出 7-DoF 3D 框的回归难度，但权衡在于预测结果高度依赖高精正射影像的标定与先验高度估算，若地面起伏剧烈或存在多层重叠结构，纯 BEV 框可能会丢失局部层高精度。

实验关键数据¶

主实验¶

在城市场景标准基准数据集 CityRefer 上，实验评估了在“提供真实候选框（With GT）”与“免候选框（Without GT）”两种场景下的表现。测试切分包含未见语言描述（ND）和未见全景场景（NO）。

方法	ND With GT (Hit@1)	ND With GT (Hit@3)	NO With GT (Hit@1)	NO With GT (Hit@3)	NO Without GT (2D IoU)	NO Without GT (3D IoU)	推理时延 (s)
EDA (CVPR 2023)	0.1	0.1	0.2	0.3	0.5	0.4	3.0
InstanceRefer (ICCV 2021)	1.6	5.0	4.9	15.9	-	-	0.6
CityRefer (ICCV 2023)	1.6	3.9	0.6	2.1	-	-	0.7
CityAnchor (ICLR 2025)	23.4	35.3	14.2	22.4	-	-	32.1
GPT-5.4 + Urbex Tools	9.3	12.4	13.1	18.6	4.6	1.9	-
Qwen3.6-plus + Urbex Tools	6.4	9.6	11.5	16.2	4.3	2.1	-
Urbex (本文)	25.8	39.2	23.9	36.9	14.6	7.7	3.2

注：在真实部署场景（Without GT）下，若采用 SoftGroup 提取 proposals 再结合 CityAnchor 排序，其 NO 上的 2D IoU / 3D IoU 仅为 4.2% / 2.4%，远落后于 Urbex 的 14.6% / 7.7%。

消融实验¶

为验证各工具模块与强化学习奖励设计的有效性，作者在 CityRefer-NO 验证集上进行了系统的消融实验。

配置编号	工具配置 (Zoom / Landmark / Oblique)	交互步数预算 (Turns)	Hit@3 (%)	2D IoU (%)	说明
A1	无工具（仅全局 BEV）	0	10.5	2.1	缺乏局部几何与地标，盲目猜测
A2	仅局部缩放（Zoom-in）	8	15.5	4.1	恢复高分辨率细节，提升局部感知
A3	缩放 + 地标（Zoom + Landmark）	8	28.2	8.9	大尺度地标提供核心空间锚点，增益最大
A4	全工具（Zoom + Landmark + Oblique）	7	34.8	11.0	侧视补充立面与高度验证
A5 (Full)	全工具（Zoom + Landmark + Oblique）	8	36.9	14.6	完整模型达到最佳性能与效率均衡
A6	全工具（Zoom + Landmark + Oblique）	9	36.8	13.2	步数过多导致过度探索与扰动

此外，在奖励函数设计的消融中： - 仅终端 IoU 奖励：Hit@3 为 22.8%，2D IoU 为 6.7%，由于大场景稀疏反馈严重受阻； - IoU + 距离平滑引导：Hit@3 提升至 30.6%，2D IoU 提升至 10.9%，中心距离连续反馈显著加速探索； - IoU + 工具级过程塑造：Hit@3 为 28.4%，2D IoU 为 9.6%； - 完整奖励（Full Reward）：Hit@3 达到 36.9%，2D IoU 达到 14.6%。

关键发现¶

地标工具是定位性能飞跃的关键使能器：消融表明加入 Landmark Query 使 Hit@3 从 15.5% 跃升至 28.2%，IoU 翻倍，证明城市尺度下必须先通过地理专有名词锁定街区范围，细粒度视觉识别方能奏效。
强化学习学得了结构化的搜索范式：训练动态监控显示，智能体初期会盲目调用 4~5 次缩放，后期自动收敛至“地标 $\to$ 缩放 $\to$ 侧视 $\to$ 提交”各 1 次的紧凑序列；即使将此固定序列脚本化，经 RL 训练的模型仍以 10.0% Hit@1 碾压基础模型（2.7%），说明其学会了如何根据视觉反馈合理挑选裁剪参数。
跨场景零样本泛化能力强劲：在未参与训练的 STPLS3D-Refer 数据集上，Urbex 实现了 27.2% 的 Hit@1 与 13.0% 的 2D IoU，显著超越 CityAnchor（2.1%）与商业顶尖大模型 GPT-5.4（16.3%），证明主动搜索策略相比静态排序具有更强的跨几何分布适应性。

亮点与洞察¶

从被动排序向主动空间推演的范式转移：传统方法将大场景 3D 定位视为静态候选检索，受限于提案召回率与二次方计算瓶颈；Urbex 通过交互环境与轻量工具将定位重构为动态搜索，优雅避开了预生成 3D proposals 的历史沉疴。
平滑距离引导打破强化学习冷启动死局：针对超大搜索空间中 IoU 极度稀疏的问题，采用指数衰减的中心欧氏距离连续奖励，为远离真值的初始轨迹提供了方向性梯度，这一设计对复杂空间决策具身任务极具参考价值。
极佳的在线部署性价比：将在线推理耗时从 CityAnchor 的 32.1 秒压缩至 3.2 秒，兼备更高的精度与更低的延迟，展现了 Agentic VLM 在大尺度现实物理系统落地的巨大潜力。

局限与展望¶

高度依赖正射影像标定与环境先验：Urbex 依赖高质量全局 BEV 与严格的视角-世界矩阵映射，若建图存在局部拼缝失真或标定误差，2D 反投影至 3D 物理空间时将产生系统性偏差。
预测框边界仍存在过度泛化倾向：深入分析表明，模型预测框面积与真实物体面积的比值中位数达到 1.40（P90 达 9.92），部分预测包围了过多背景上下文；未来可在最后提交阶段接入可交互的轻量 3D 实例分割工具进行轮廓精炼。
依赖真实地标数据库的完备性：当查询描述缺乏命名地标或地理数据库（OSM）缺失标注时，系统需退化为纯视觉扫视，搜索步数与错误率将明显上升。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将城市级 3D 定位重构为智能体多视角主动搜索范式，并验证了免候选框的可行性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 CityRefer 双重切分、STPLS3D 跨域零样本、详尽的模块/奖励消融与轨迹诊断。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，问题定义明确，图表表达直观且实验诊断深刻。
价值: ⭐⭐⭐⭐⭐ 为大尺度具身导航、智慧城市与无人系统空间定位提供了极具实用价值的全新技术路线。