SVoT: State-aware Visualization-of-Thought for Spatial Reasoning via Reinforcement Learning¶
会议: NeurIPS 2026
arXiv: 2606.11770
OpenReview: https://openreview.net/forum?id=iEEi07lQqo
代码: https://github.com/clei11/SVoT
领域: 多模态 VLM
关键词: 空间推理、多模态思维链、强化学习、GRPO、顺序状态追踪
一句话总结¶
针对多模态大模型在多跳空间规划中中间状态不可验证与状态转移隐式化的难题，本文提出基于强化学习的状态感知思维可视化框架（SVoT），通过生成结构化中间状态、显式动作转移推理链以及对齐的可视化图像，并结合 GRPO 进行过程级密集奖励优化，在跨分布测试集上取得了高达 65% 的绝对准确率提升。
研究背景与动机¶
空间推理是多模态大语言模型（MLLMs）在智能体规划、具身导航与自动驾驶等任务中的核心基石。然而，现有的视觉问答基准主要关注静态单帧空间关系感知，难以评测模型在动态交互中的顺序状态追踪与多步跨时间推理能力。多跳空间推理本质上要求模型在给定的连续动作序列下，精准维护环境的显式内部状态，预测每一次动作对多物体布局所产生的确定性转移，并检验动作的前置条件与物理约束。
以往的研究（如思维可视化 VoT 及其原生多模态进阶版 MVoT）探索了在每步推理后生成文本状态描述或直接合成图像以辅助空间思维。然而，这些先行方法存在两大核心症结：一是评测场景过度简化，往往将目标归约为单一坐标更新或二元成功标志，忽略了复杂交互场景下多物体间的碰撞、阻挡、收集与数值变化；二是生成链条中缺乏对中间状态的严谨验证机制，模型将状态转移当作黑盒隐式推演，无法保证每一步推理符合逻辑，导致多步误差在长时程规划中雪崩式累积。
为了打破这一瓶颈，研究者迫切需要一种既能保持图像直观辅助、又能强制对动作因果转移进行显式逻辑推导和逐级奖励优化的框架。核心 idea：将多跳空间状态演化拆解为交错的「显式转移推理链-结构化中间状态-对齐图像生成」三元轨迹，利用强化学习（GRPO）结合基于前置条件与效果验证的过程奖励模型（PRM）进行全轨迹联合优化。
方法详解¶
整体框架¶
SVoT 的核心任务是顺序状态追踪：给定任务描述 \(\mathcal{X}=\langle d, s_0, v_0, \mathcal{A}\rangle\)（包含环境规则 \(d\)、初始文本状态 \(s_0\)、初始图像 \(v_0\) 和动作序列 \(\mathcal{A}=\{a_i\}_{i=1}^n\)），模型需要自回归生成每一步的结构化中间状态 \(z_i=\langle a_i, s_i\rangle\) 以及对齐的状态渲染图 \(v_i\)，并最终给出终止目标配置 \(g\)。
为实现这一目标，SVoT 显式引入了转移推理链 \(c_i\) 作为可执行的因果逻辑步：首先结合历史轨迹生成指导状态更新的推理链 \(c_i^z\) 并派生结构化状态 \(z_i\)；随后生成指导视觉渲染的推理链 \(c_i^v\) 并解码出中间图像 \(v_i\)。模型采用原生图文交错大模型 Anole-7B 作为基座，通过监督微调（SFT）冷启动后，采用群体相对策略优化（GRPO）依据细粒度文本/图像奖励进行策略迭代。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入规范<br/>规则 d + 初始状态 s0, v0 + 动作序列 A"] --> B["显式状态转移推理与生成<br/>生成 cz 验证前置条件/效果并产出 zi=(ai, si)"]
B --> C["视觉对齐推理与图像生成<br/>生成 cv 定位前景物体并解码生成中间图像 vi"]
C --> D{"是否完成完整动作序列？"}
D -->|未结束，推进下一步 i+1| B
D -->|已到达终步 n| E["最终目标配置预测<br/>输出最终状态描述与多目标指标 g"]
E --> F["GRPO 奖励优化<br/>状态奖励 rz + 视觉奖励 rv + 过程推理奖励 rc"]关键设计¶
1. 显式状态转移推理链：将经典规划因果逻辑注入自回归生成
以往 MVoT 将中间状态简化为单纯的离散动作，导致模型无法区分“动作产生的位置突变”与“合法物理碰撞约束”。SVoT 借鉴 PDDL 经典规划的形式化思想，在生成每个中间状态元组 \(z_i=\langle a_i, s_i\rangle\) 之前，强制模型先输出显式转移推理链 \(c_i^z\)。以 Sokoban（推箱子）为例，\(c_i^z\) 必须完整写明推导过程：“玩家当前位于 (2,3)，上方无阻挡方块；向上移动一步后，玩家到达 (1,3)，箱子位置保持不变”。这种设计将黑盒隐式记忆转化为结构化因果推导，有效约束了跨步移动中的空间坐标突变与幻觉。
2. 结构化多属性状态建模：突破单变量局限的多对象追踪
针对以往评测中仅追踪单个智能体坐标的缺陷，SVoT 将中间状态 \(s_i\) 扩展为覆盖环境全要素的多对象符号表。例如在 Pacman 任务中，状态包含智能体坐标与动态累积金币数；在 Gather 任务中，状态不仅追踪多步滑移位移，还精确统计多颜色球体的收集数量；在 Sokoban 中则同时追踪玩家与所有障碍箱子的坐标网格。这使得状态检验函数 \(s_i = f(s_{i-1}, a_i)\) 具备严谨的确定性检验能力，为强化学习提供了直接可执行的精确匹配验证接口。
3. 过程奖励驱动的细粒度验证机制：PRM 与方差感知视觉反馈
为确保强化学习探索阶段的高效收敛，SVoT 摒弃了仅在终点反馈的稀疏结局奖励（ORM），构建了涵盖文本与图像的多维过程奖励体系（PRM）： - 状态与推理文本奖励：解析预测文本与真实状态语义字段集合 \(P(y)\)，计算字段级精确匹配率： $\(r( \hat{y}, y ) = \frac{1}{|P(y)|} \sum_{p \in P(y)} \mathbb{I}[p(\hat{y}) = p(y)]\)$ 对于状态奖励 \(r_z\)，\(P(z_i)\) 对应动作、实体坐标与数值计数；对于推理奖励 \(r_c\)，\(P(c_i)\) 抽取前置条件满足判定与转移效果关键词。 - 方差加权视觉对齐奖励：图像奖励 \(r_v = r_{\mathrm{str}} \cdot r_{\mathrm{qua}}\)，通过图像块颜色方差检测动态前景掩码 \(\Omega\)，赋予前景单元格 10 倍于背景的高权重，在结构项 \(r_{\mathrm{str}}\) 中融合感知哈希 \(s_{\mathrm{hash}}\)、Sobel 边缘交并比 \(s_{\mathrm{edge}}\) 和 RGB 颜色直方图相关性 \(s_{\mathrm{color}}\)，并乘上基于 Laplacian 方差的前景清晰度锐度惩罚因子 \(r_{\mathrm{qua}}\)，彻底消除图像模糊与背景幻觉。
损失函数 / 训练策略¶
模型采用两阶段训练策略。基座选用 Anole-7B，通过 LoRA（\(r=8, \alpha=16\)）对全部注意力矩阵及统一输出头进行微调。 - 第一阶段（SFT）：在真实多模态轨迹前缀下训练 5 个 epoch，学习率设为 \(1 \times 10^{-4}\)，联合优化图文自回归交叉熵损失 \(\mathcal{L}_C\) 与 visual codebook 嵌入距离正则项 \(\mathcal{L}_D\)： $\(\mathcal{L} = \mathcal{L}_C + \mathcal{L}_D\)$ - 第二阶段（GRPO 强化学习）：训练 5 个 epoch，学习率 \(5 \times 10^{-6}\)。针对每个状态生成提示，策略采样 \(G=4\) 条候选完成项计算组内相对优势 \(A_g\)。SVoT-PRM 的综合奖励在状态步采用 \(0.5 r_c + 0.5 r_z\)，在图像步采用 \(0.5 r_c + 0.5 r_v\)，结合标准 PPO 裁剪目标（\(\epsilon=0.2, \beta=0\)）实现无 Critic 价值网络的轻量化策略迭代。
实验关键数据¶
主实验¶
在 Maze、FrozenLake、Sokoban、Pacman 和 Gather 五个基准领域中，SVoT 对比了 GPT-4o（Text-CoT）、Anole（Text-CoT）、MVoT 以及基于结果奖励的 SVoT-ORM（\(\text{SVoT}_o\)）与过程奖励的 SVoT-PRM（\(\text{SVoT}_p\)）。下表给出了网格尺寸为 4 和 5 时，在分布内（ID）与长序列/多物体跨分布（OOD）测试集上的最终目标配置覆盖率（以分类选词 C 与自由生成 F 评测）：
| 尺寸 / 领域 | 评测模式 | GPT-4o | Anole (T-CoT) | MVoT | SVoT-ORM (\(\text{SVoT}_o\)) | SVoT-PRM (\(\text{SVoT}_p\)) | 相对 MVoT 提升 |
|---|---|---|---|---|---|---|---|
| Size 4 Maze | ID (C / F) | 100 / 83.3 | - / - | - / - | - / - | - / - | - |
| Size 4 Maze | OOD (C / F) | 90.0 / 56.7 | - / - | - / - | - / - | - / - | - |
| Size 4 Sokoban | ID (C / F) | 63.3 / 48.3 | 75.0 / 33.3 | 86.7 / 46.7 | 100 / 86.7 | 100 / 83.3 | +13.3% / +36.6% |
| Size 4 Sokoban | OOD (C / F) | 56.7 / 36.7 | 66.7 / 33.3 | 80.0 / 56.7 | 88.3 / 63.3 | 88.3 / 68.3 | +8.3% / +11.6% |
| Size 4 Pacman | ID (C / F) | 90.0 / 26.7 | 65.0 / 5.0 | 73.3 / 15.0 | 73.3 / 71.7 | 86.7 / 78.3 | +13.4% / +63.3% |
| Size 4 Pacman | OOD (C / F) | 83.3 / 10.0 | 53.3 / 0.0 | 61.7 / 3.3 | 70.0 / 50.0 | 80.0 / 68.3 | +18.3% / +65.0% |
| Size 5 Maze | ID (C / F) | 66.7 / 23.3 | 71.7 / 16.7 | 83.3 / 26.7 | 90.0 / 76.7 | 93.3 / 80.0 | +10.0% / +53.3% |
| Size 5 Maze | OOD (C / F) | 56.7 / 26.7 | 46.7 / 16.7 | 56.7 / 26.7 | 60.0 / 33.3 | 70.0 / 41.7 | +13.3% / +15.0% |
| Size 5 Sokoban | ID (C / F) | 90.0 / 80.0 | 73.3 / 33.3 | 73.3 / 43.3 | 90.0 / 83.3 | 91.7 / 86.7 | +18.4% / +43.4% |
| Size 5 Sokoban | OOD (C / F) | 86.7 / 56.7 | 43.3 / 26.7 | 53.3 / 36.7 | 83.3 / 56.7 | 85.0 / 58.3 | +31.7% / +21.6% |
| Size 5 Pacman | ID (C / F) | 63.3 / 40.0 | 60.0 / 3.3 | 61.7 / 10.0 | 70.0 / 66.7 | 78.3 / 71.7 | +16.6% / +61.7% |
| Size 5 Pacman | OOD (C / F) | 43.3 / 20.0 | 50.0 / 0.0 | 55.0 / 3.3 | 63.3 / 45.0 | 73.3 / 53.3 | +18.3% / +50.0% |
| Size 5 Gather | ID (C / F) | 83.3 / 23.3 | 71.7 / 51.7 | 73.3 / 56.7 | 90.0 / 60.0 | 93.3 / 66.7 | +20.0% / +10.0% |
| Size 5 Gather | OOD (C / F) | 78.3 / 10.0 | 43.3 / 31.7 | 53.3 / 38.3 | 76.7 / 56.7 | 83.3 / 60.0 | +30.0% / +21.7% |
消融实验¶
在自由生成（Free-response）评测设定下，检验去除关键模块后的模型表现（Size 5 场景下的终态预测准确率）：
| 领域环境 | SVoT-PRM 完整模型 | 去除中间图像 (w/o-V) | 去除 RL 仅保留 SFT (w/o-RL) | 去除 RL 与转移链 (w/o-RL-C) | MVoT 基线 |
|---|---|---|---|---|---|
| Maze (ID / OOD) | 80.0 / 41.7 | 68.3 / 35.0 | 33.3 / 28.3 | 36.7 / 23.3 | 26.7 / 26.7 |
| FrozenLake (ID / OOD) | 86.7 / 58.3 | 70.0 / 53.3 | 65.0 / 50.0 | 50.0 / 36.7 | 43.3 / 36.7 |
| Sokoban (ID / OOD) | 71.7 / 53.3 | 53.3 / 40.0 | 33.3 / 21.7 | 23.3 / 16.7 | 10.0 / 3.3 |
| Pacman (ID / OOD) | 66.7 / 60.0 | 61.7 / 50.0 | 55.0 / 46.7 | 53.3 / 41.7 | 56.7 / 38.3 |
| Gather (ID / OOD) | 3.3 / 1.7 | 0.0 / 0.0 | 3.3 / 1.7 | 1.7 / 0.0 | 3.3 / 0.0 |
关键发现¶
- RL 与 SFT 的本质差异：直接延长 SFT 训练轮数（w/o-RL 训练 10 轮）在多物体强交互的 Sokoban 和空间避障 Maze 中发生剧烈坍塌（Sokoban ID 从 71.7% 跌至 33.3%）。深入分析发现，纯 SFT 容易在长序列中记忆虚假的最终标签捷径，而通过 GRPO 进行基于相对优势的搜索采样，能迫使模型严格遵从物理动力学规则。
- 图像生成的双向促进作用：去除中间可视化生成（w/o-V）导致所有领域的准确率全线下滑（Sokoban ID 骤降 18.4%）。实验证明交错生成的图像并非附带产物，而是作为一种外部情境视觉缓存，辅助 LLM 确认局部障碍物分布与多实体遮挡关系。
- 过程奖励与结果奖励的差异：SVoT-PRM 在收敛速度与稳定性上显著优于 SVoT-ORM。在单步单项验证中，ORM 的状态奖励与图像奖励在训练后期发生解耦（文本预测对但图像画错），而 PRM 通过因果逻辑显式对齐，实现了图文生成的一致性。
- Gather 领域的瓶颈溯源：单步单步拆解实验表明，模型在位置更新上的单步准确率达 95% 以上，但对多步移动路径上沿途收集的多颜色球体数量计数（Ball）单步准确率骤降至 40%-50%，且随序列步数增加发生多跳误差指数级累积。
亮点与洞察¶
- 将 PDDL 规划的前置条件与动作效果显式内化为 CoT：传统视觉规划往往依赖黑盒回归，SVoT 创新性地将“前置条件校验（Preconditions）”与“环境影响结算（Effects）”写成规范的思维链句子，彻底解决了智能体穿墙或凭空位移的逻辑漏洞。
- 方差加权与多特征融合的无监督视觉奖励设计：无需繁琐的逐像素手工标注，仅利用归一化颜色方差即可精准自适应切分前景互动主体，并结合感知哈希、Sobel 边缘和直方图进行结构级奖励惩罚，为多模态连续图像生成的 RL 奖励设计提供了极具工程价值的通用范式。
- 视觉作为外部推理工作内存（Scratchpad）的假说验证：论文扎实证明了让自回归模型同时“边想边画”，能有效弥补纯文本对高维二维紧凑网格注意力分散的缺陷，具象化验证了“人类心智旋转与心理模拟”在 AI 上的实现路径。
局限与展望¶
- 自回归交错生成的计算开销：在测试阶段，模型对轨迹中的每一步都需要逐 token 解码推理链、状态结构体及离散图像 token，面对超长动作序列时推理延迟显著增加。
- 多步跨格复合动作的累积计数瓶颈：在 Gather 这种一次性跨越 3-4 格且沿途吃球的复合长动作场景下，模型对连续空间积分的感知偏弱，暴露出当前的统一离散 token 架构在多模态精细数值推理上的局限性。
- 向连续物理与三维实体场景的迁移挑战：当前评测基于离散的二维网格世界，现实机器人操作与自动驾驶依赖连续高维点云与连续运动动力学，如何将 SVoT 扩展到连续控制与真实渲染引擎中仍待探索。
相关工作与启发¶
- vs VoT (Visualization-of-Thought)：VoT 仅使用 ASCII 字符或文本纯字符串勾勒空间草图，受限于文本序列的单向注意力；SVoT 基于原生多模态交错模型生成连续真实图像，并引入了结构化状态与显式因果推理。
- vs MVoT (Multimodal VoT)：MVoT 是基于图像生成的开创性尝试，但其将中间状态简化为单一离散动作，且缺乏转移过程的显式因果推理和可验证反馈；SVoT 引入了 PDDL 风格的状态转移 CoT 和基于 GRPO 的密集奖励对齐机制，显著缓解了 MVoT 常见的画面模糊与幻觉问题。
- vs 纯文本 CoT / o1 范式：纯文本 CoT（如 GPT-4o）在网格迷宫碰撞检测与多障碍物推箱子中表现乏力；SVoT 证明对于强空间规划任务，多模态交错推理与视觉回馈是突破纯文本大模型空间认知天花板的必要手段。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将显式状态转移因果链、交错视觉生成与基于 GRPO 的过程奖励引入多模态空间推理，体系完整。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个复杂动态领域、ID/OOD 严格划分、自由生成与多选双重指标，具备单步细粒度溯源与超参敏感性消融。
- 写作质量: ⭐⭐⭐⭐⭐ 动机清晰明确，数学形式化表达严谨，问题瓶颈溯源直击要害。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能、多模态智能体规划以及利用强化学习探索大模型非文本思维链提供了重要的方法论借鉴。