Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

会议: NeurIPS 2026
arXiv: 2606.12830
代码: https://github.com/antoinegg1/PEDIA
领域: 视觉与多模态推理
关键词: 空间推理, 视觉智能体, 工具增强, 强化学习, 观察松弛策略优化

一句话总结

针对视觉语言模型在复杂多步空间推理任务中仅凭隐式编码难以获取细粒度局部证据的问题，本文提出工具增强视觉智能体 PERIA，解耦构建感知与交互两大家族工具沙盒，并提出观察松弛组内策略优化算法 OR-GIGPO 实现精准信用分配。

研究背景与动机

近年来视觉语言模型（VLM）在多模态理解与通用图文推理上取得了显著进展，结合思维链提示与后训练策略更是展现出极高的推理上限。然而，在地铁线路拓扑导航、细粒度视觉探测（Visual Probing）、物体三视图折叠以及地图路径追踪等复杂空间推理任务中，模型往往需要多步骤主动收集局部线索、检验空间几何拓扑并维持长程动态状态，现有模型普遍表现乏力。大量失败案例表明，单靠视觉编码器固定的隐式特征表征，根本无法无损捕获密集场景下的全局拓扑对齐与微小局部空间证据。

尽管在图表问答和数学解题中引入外部专家工具已成为延伸 VLM 能力的自然范式，但在空间推理场景下依然存在深层结构性矛盾：直接给开源模型开放外部感知工具往往不仅不能提分反而导致性能崩溃。深度错误归因分析揭示，开源模型绝大多数失败并非源于工具调用格式错误，而是陷入了工具调用遗漏（Tool-Call Omission）以及受到工具局部噪声干扰而偏航的工具诱导错误（Tool-Induced Error）。换言之，拥有工具（Having tools）绝不等于擅用工具（Using tools）——现有系统既缺乏协同调用全局感知与局部交互工具的主动策略，更缺少能容忍中间观测细微文本差异的长程多步强化学习信用分配机制。

面对这一困境，本文的核心切入点是将多步视觉问题求解显式重构为模块化且闭环的认知流，先借助轻量感知工具提取结构化实体线索，再运用交互几何工具对局部环境施加标注、缩放与路径演算，最终对累积的多步观测进行统一逻辑归纳。核心 idea：构建包含感知与交互两大家族的模块化视觉工具沙盒，采用探索-利用合成与专家重写生成多样化冷启动轨迹，并提出松弛观测匹配的组内策略优化算法（OR-GIGPO），解决多步长程视觉工具调用的中间信用分配难题。

方法详解

整体框架

PERIA 将视觉空间推理建模为部分可观测马尔可夫决策过程（POMDP），输入为多模态问题指令 \(x\) 与初始视觉观测 \(o_0\)（记为 \(q=(x, o_0)\)）。智能体在每个推理步 \(t\) 先生成内部反思思维 \(g_t \sim \pi_\theta(\cdot \mid q, c_{t-1})\)，再生成对应的动作 \(a_t \sim \pi_\theta(\cdot \mid q, c_{t-1}, g_t)\)。其中动作用于触发工具调用或输出最终答案，工具执行后返回新观测 \(o_t\) 并追加到交互历史 \(c_t\) 中。

整个求解流程由三阶段紧密耦合：首先是解耦设计的 PERIA 工具沙盒（包含感知工具与交互工具）；其次是通过有预算约束的探索-利用采样与专家重写构建的高质量可执行轨迹数据集（SFT 初始化）；最后是在强化学习阶段，采用观察松弛组内策略优化（OR-GIGPO）配合复合奖励函数，引导模型自主权衡何时探查、何时局部交互验证以及何时归纳终答。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 空间推理问题与初始图像"] --> B["PERIA 认知闭环决策<br/>动态交替生成思维与行动"]
    B --> C["视觉感知与交互沙盒<br/>提取结构化线索与几何上下文变换"]
    C -->|返回环境观测增量| B
    B -->|满足终止条件或步数上限| D["累积观测综合推理<br/>格式化验证输出最终解答"]
    subgraph 训练优化体系 ["训练优化体系"]
        direction TB
        E["轨迹合成与思维风格重写<br/>冷启动有监督轨迹初始化"] --> F["OR-GIGPO 观察松弛组内强化学习<br/>语义相似度松弛归组与两级优势分配"]
    end
    F -.->|策略参数更新| B

关键设计

1. 视觉感知与交互解耦沙盒：拆解全局线索感知与局部几何变换

传统视觉工具往往只提供简单的全局 OCR 或粗粒度裁剪，无法满足拓扑关联、路径验证与实体计数的混合空间推理要求。PERIA 设计了包含 18 个工具的模块化沙盒，清晰划分为两大正交家族。视觉感知工具负责从图像中抽取离散符号与结构化证据，由 PaddleOCR-VL-1.5、GroundingDINO 与 SAM3.1 三大轻量专用模型驱动，支持包括文本坐标定位（text_spotting）、地图专属文本识别（map_text_ocr）、全景提示分割（auto_segment）与指定概念存在性计数等。视觉交互工具则作为确定性函数库运行，允许智能体直接对视觉空间实施物理操纵，包括局部区域高清切片（image_crop）、几何连接线段绘制（draw_line）、多路点连通路径回溯（draw_path）以及半透明区域高亮（image_highlight）。两类工具相互协同：感知工具用于在大范围场景中建立初始拓扑锚点，交互工具则对锚点之间的连通性进行可观测的画线追踪与切片确认，从物理表征上解决长程拓扑幻觉。

2. 预算化探索-利用合成与专家重写：打通高质量轨迹冷启动

开源基座缺乏稳定的工具调用模式，直接进行强化学习极易因搜索空间庞大与动作语法溃散而难以收敛。为此，PERIA 利用闭源前沿模型通过增加预算的探索-利用策略合成可执行的冷启动轨迹：在第 1 轮强制模型进行工具感知探索，严禁直接回答；在后续轮次根据中间验证器的实时反馈，若产生错误答案则立即回退该尝试，并强制插入反思提示以换用新工具追加搜索，直至匹配真实标签或达到最大轮次预算 \(T=11\)。在此基础上，针对单一模型推理轨迹语言风格单一且脆弱的问题，利用开源专家模型（Qwen3-VL-235B-A22B-Thinking）在严格冻结工具调用名称、参数、工具环境返回观测和最终答案的前提下，仅对中间的思维链文本 \(\{g_t\}\) 进行深度语义重写与思维风格多样化增强。这一设计使得 SFT 后的模型既完整吸收了严谨的工具交互调用规约，又具备了稳健抗扰的推理解释能力。

3. 观察松弛组内策略优化（OR-GIGPO）：突破多步工具交互中的严格状态匹配壁垒

经典的多步智能体强化学习算法（如 GIGPO）在评估中间步骤动作时，要求多个轨迹在某一时间步处于完全一致的锚点状态（Anchor State），才能对比动作优势。然而在多模态视觉智能体环境中，即使模型发出了语义完全等价的工具调用指令，工具环境（特别是轻量工具智能体）返回的文本输出往往在文字顺序、空格、置信度浮点数精度或实体描述格式上存在微小扰动，导致严格状态匹配彻底失效，退化为无步骤级区分度的粗粒度基线（GIGPO 在该场景下仅有 9.3% 的轨迹能分到非零步骤优势）。

OR-GIGPO 提出了基于动作产生结果的观察松弛归组策略。对于相同的任务输入 \(q\)，不仅构建全轨迹层面的样本组 \(\mathcal{G}_E(q)\)，更根据动作执行后产生的观测 \(o_t\) 构建步骤级结果组 \(\mathcal{G}_S(q, \tilde{o})\)。对于图像类确定性输出采用严格哈希 \(h(o_t) = h(\tilde{o})\)，而对于文本类工具输出，则采用语义相似度松弛判定：

\[\mathcal{G}_S(q,\tilde{o}) = \left\{(a_t^{(i)}, R_t^{(i)}): q_i=q,\ h(o_t^{(i)})=h(\tilde{o}) \lor \operatorname{sim}(o_t^{(i)}, \tilde{o}) \ge \delta \right\}\]

其中相似度函数采用基于最长公共子序列的序列匹配率 \(\operatorname{sim}(a,b) = \frac{2M}{|a| + |b|}\)，阈值设为 \(\delta=0.9\)。在计算优势时，将全轨迹优势 \(A_E(\tau_i)\) 与同一观测结果组内的折现回报优势 \(A_S(a_t^{(i)})\) 线性加权：

\[A_t^{(i)} = A_E(\tau_i) + \omega A_S(a_t^{(i)}) = \frac{R_i - \mu_E(q)}{\sigma_E(q) + \epsilon_{\text{adv}}} + \omega \frac{R_t^{(i)} - \mu_S(q,\tilde{o})}{\sigma_S(q,\tilde{o}) + \epsilon_{\text{adv}}}\]

该机制使得获得非零步骤优势的轨迹比例骤升至 62.3%，精准地将轨迹终局的对错奖励回传给关键的中间工具调用决策，显著提升了多工具长程组合调用的策略稳定性。

一个完整示例：地铁线路停靠站拓扑计数

以 ReasonMap 中典型的跨线换乘站计数问题为例（图 4 场景）：问题要求计算洛杉矶地铁系统中，从“Grand Av Arts/Bunker Hill”站到“Jefferson/USC”站之间需经过的中间停靠站数量。

1. 初始感知阶段：智能体接收整幅复杂地铁网络大图，由于文字极小且交叉线路密集，智能体首先调用感知工具 map_text_ocr(image_index=0)。环境返回包含沿途站点的离散文本列表，但由于 OCR 仅给出了离散名字而缺失全局空间线网的连通拓扑，模型无法确定是否存在换乘或特定支线分支。
2. 局部交互与验证阶段：智能体生成中间思维，意识到需要聚焦于连接这两站的具体轨道段，于是调用几何交互工具 image_crop(image_index=0, bounding_box=[420, 310, 680, 590])。环境返回该局部区域的高清切片图像。
3. 空间归纳与终答：智能体在局部切片中清晰辨识出蓝线与蓝金线共线段的物理走向，逐一核实中间经过的站点仅有 “LATTC/Ortho Institute”、“Pico” 与 “7th St/Metro Ctr”，确认两端端点均已排除后，准确输出答案 3。

损失函数 / 训练策略

OR-GIGPO 采用无显式 KL 惩罚的截断代理目标进行策略梯度更新：

\[\mathcal{J}_{\text{OR-GIGPO}}(\theta) = \mathbb{E} \left[ \frac{1}{\sum_{i=1}^N T_i} \sum_{i=1}^N \sum_{\ell=1}^{T_i} \min \left( \rho_\ell^{(i)} \hat{A}_\ell^{(i)},\ \operatorname{clip}(\rho_\ell^{(i)}, 1-\epsilon_{\text{clip}}, 1+\epsilon_{\text{clip}}) \hat{A}_\ell^{(i)} \right) \right]\]

其中重要性采样权重 \(\rho_\ell^{(i)} = \frac{\pi_\theta(z_\ell^{(i)} \mid h_\ell^{(i)})}{\pi_{\theta_{\text{old}}}(z_\ell^{(i)} \mid h_\ell^{(i)})}\)，截断系数 \(\epsilon_{\text{clip}}=0.2\)。轨迹级总奖励采用复合结构：

\[R(\tau) = R_{\text{rep}}(\tau) + R_{\text{format}}(\tau) + R_{\text{correct}}(\tau)\]

针对长程多轮易产生死循环的问题，\(R_{\text{rep}}\) 引入针对字符、单词及句子的轮次归一化惩罚；\(R_{\text{format}}\) 对符合 <think>...</think><action>...</action> 及最终 <answer>...</answer> 的轨迹赋予 \(+1.0\)，截断未完成赋予 \(0.0\)，格式崩溃赋予 \(-1.0\)；\(R_{\text{correct}}\) 在常规空间问答中通过规则匹配结合 LLM-judge 给出二元奖励 \(\{0, 1\}\)，而在 MapTrace 连续轨迹对齐任务中则采用基于归一化动态时间规整（NDTW）的平滑过渡奖励：

\[R_{\text{correct}}^{\text{MapTrace}} = \min \left\{ 1, \max \left( 0, \frac{d_{\text{high}} - d_{\text{NDTW}}}{d_{\text{high}} - d_{\text{low}}} \right) \right\} \quad (d_{\text{low}}=0.3, d_{\text{high}}=0.8)\]

在实现细节上，SFT 阶段学习率设为 \(1 \times 10^{-5}\)，批大小为 32；RL 阶段学习率设为 \(1 \times 10^{-6}\)，采样组大小 \(N=4\)，折现因子 \(\gamma=0.99\)，优势步权重 \(\omega=1.0\)。

实验关键数据

主实验

论文在包含 8 个数据集的 13 个基准测试上进行了全面评估，涵盖分布内（In-Distribution, ID）与分布外（Out-of-Distribution, OOD）空间推理任务。统一评测指标为准确率（Accuracy, %），MapTrace 采用 NDTW 距离阈值 1.0 计算判定。

方法	模型规模	ID 平均 (6项)	OOD 平均 (7项)	全局平均 (13项)	相对基座提升
商用专有模型
GPT-5	-	55.8	39.1	46.8	-
Gemini-2.5-Flash	-	51.7	41.3	46.2	-
Gemini-2.5-Pro	-	58.2	45.2	51.3	-
开源 VLM 与工具基线
InternVL3.5-8B	8B	37.5	35.7	36.6	-
VTool-R1-7B	7B	27.4	32.5	30.2	-
R1-OneVision-7B	7B	30.0	29.1	29.6	-
Mini-o3-7B-v1	7B	40.4	35.0	37.5	-
Qwen3-30B-A3B	MoE	44.7	37.4	40.8	-
Qwen3-235B	235B	49.7	39.6	44.3	-
本文方法
Qwen3-8B (基座)	8B	44.1	31.7	37.4	基准
PERIA-8B (本文)	8B	54.1	36.1	44.4	+7.0

在具体任务维度上，PERIA-8B 在 ReasonMap 上从基座的 12.3% 飙升至 27.1%（+14.8%），在 Visual Probing Hard 上从 26.6% 提升至 44.3%（+17.7%），Cube 3-View 从 21.2% 提升至 36.3%（+15.1%），整体表现全面碾压同尺寸同类基线，并以 8B 规模比肩 235B 级别的 Qwen3-235B（44.3%）与前沿商业模型 GPT-5（46.8%）。

消融实验

针对强化学习算法选择、训练阶段构成以及推理时工具家族配置的消融结果如下表所示：

配置分类	具体消融配置	ID 平均准确率 (%)	关键指标变动说明
RL 算法对比	PERIA-8B (w/ OR-GIGPO)	54.1	最佳算法，非零步骤优势覆盖率达 62.3%
	w/ 经典 GIGPO (严格匹配)	51.3	-2.8%，观测严格哈希失效导致优势稀疏
	w/ GRPO	51.7	-2.4%，缺乏步骤级局部动作信用细分
	w/ DAPO	43.0	-11.1%，动态采样与解耦截断在多工具初期极不稳定
训练阶段分解	完整 PERIA-8B (SFT + RL)	54.1	完整两阶段范式
	w/o RL (仅 SFT)	46.9	-7.2%，仅靠模仿无法学会自适应多工具权衡
	w/o SFT (直接从基座 RL)	40.7	-13.4%，缺乏初始语法冷启动导致探索极度低效
工具可用性分析	完整工具沙盒 (18个工具)	54.1	涵盖感知与交互两大正交集合
	移除全部工具 (No Tool)	44.4	-9.7%，退化为基座纯思考模式
	仅保留旧工具集 (Previous 6)	47.6	-6.5%，缺乏地图/专用几何交互工具支撑
	去除视觉感知工具家族	43.5	-10.6%，缺少结构化证据提取导致搜索失焦
	去除视觉交互工具家族	47.4	-6.7%，无法进行局部切片放大与物理画线验证

关键发现

• OR-GIGPO 观测松弛的必要性：将序列相似度判定阈值从严格匹配放宽至 \(\delta=0.9\) 后，步骤级优势生效比例从 9.3% 暴增至 62.3%，带来了 2.8% 的绝对性能增益；而当过度放宽至 \(\delta=0.5\) 时，不相关观测被强行并组导致噪声剧增，准确率反降至 48.9%，证实了松弛必须保持在紧致的语义边界内。
• 两阶段范式的互补不可替代性：SFT 阶段使得模型确立了工具语法的合法性与基础感知规范（ID 提升 2.8%）；随后的 RL 阶段则赋予了模型在面对不确定性时自主调用交互工具进行二次反思与局部验算的能力（ID 进一步跃升 7.2%）。直接跳过 SFT 进行 RL 导致模型在巨大的动作组合空间中崩溃（得分仅 40.7%）。
• 感知与交互工具的双向协同：去除感知工具性能直降 10.6%，去除交互工具性能下降 6.7%，二者缺失任何一方均会导致系统能力瘸腿，证实了“全局感知锚定 + 局部交互演算”是解决视觉空间几何与拓扑推理的最优组合形态。

亮点与洞察

• 将工具操作深度融入空间推理认知循环：不同于以往将工具调用单纯视为“获取外部知识 API”的检索思路，PERIA 将画线、路径连接、切片高亮等几何交互操作沉淀为智能体的“动态草稿纸”，让智能体在图像物理空间上实现“感知-操纵-验证”的闭环。
• 直击多模态智能体强化学习中观测不确定的痛点：精准定位了轻量工具代理输出微小扰动导致经典强化学习状态锚点崩溃的问题，提出的 OR-GIGPO 算法巧妙平衡了确定性哈希与序列语义编辑距离，为多模态智能体强化学习提供了极具普适性的优化工具。
• 可复用的复杂轨迹高质量冷启动策略：采用前沿模型通过错误回退与反思提示进行高标准探索合成，再通过开源超大模型重写思维链增强语言丰富度，这一“高精度探索 + 风格解耦多样化”的流水线非常适合推广至代码、GUI 操作和科学发现智能体训练中。

局限与展望

• 作者承认的局限：受制于算力开销，论文核心强化学习优化主要在 8B 规模模型上展开，超大规模骨干网络的规模化定律（Scaling Laws）仍有待进一步探索；同时推理时交互轮次被硬性限制在 \(T \le 11\) 轮以内，难以完全应对需要数十步以上长程状态追踪的极端复杂环境。
• 推断局限与迁移阻碍：当前工具沙盒中集成的感知工具依赖于 SAM3.1 和 PaddleOCR 等独立外部模型的推断延迟，串行交互在真实高吞吐生产环境下会引入较高的延迟开销；此外，几何画线工具目前的坐标系仍基于 2D 归一化网格，面对复杂连续 3D 物理交互与机器人具身操作时存在降维投影误差。
• 未来改进方向：探索端到端集成的轻量交互 head 以替代部分外部工具系统调用；将 OR-GIGPO 拓展至具身智能导航与动态 3D 世界模型场景中，支持更长时序的状态表征追踪。

相关工作与启发

• vs VTool-R1 / Mini-o3: 现有多模态工具推理工作多集中于单一任务（如数学图表解析或单纯的多轮图像缩放裁剪），而 PERIA 构建了系统化的感知与几何交互双家族工具库，并在拓扑图、三视图和路径回溯等高难度空间基准上取得了显著优势。
• vs GIGPO / RAGEN: 经典多步智能体强化学习算法严重依赖环境的完全可观测性与严格离散状态重合，OR-GIGPO 创新性地引入观测语义松弛机制，解决了多模态工具反馈文本波动下的步骤优势归组难题，算法通用性更强。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [首次系统性解耦视觉感知与交互工具并提出观察松弛的 OR-GIGPO 算法]
• 实验充分度: ⭐⭐⭐⭐⭐ [跨越 8 个数据集 13 个基准，包含详细的错误归因、算法消融与跨尺寸验证]
• 写作质量: ⭐⭐⭐⭐⭐ [问题链条推导极其严密，概念阐述清晰，图表与实验分析紧密呼应]
• 价值: ⭐⭐⭐⭐⭐ [为视觉智能体的空间推理能力突破和多模态工具强化学习优化提供了标准范式]

相关论文

• [CVPR 2026] SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL
• [CVPR 2026] See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles
• [NeurIPS 2026] Look Before You Reason: Implicit Visual Thinking for Efficient Multimodal Reasoning
• [CVPR 2026] Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
• [NeurIPS 2026] Hear, Localize and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs