Do Multimodal Models Imagine Electric Sheep?¶
会议: NeurIPS 2026
arXiv: 2605.09693
领域: 多模态VLM
关键词: 多模态大模型, 心理意象, 空间推理, 视觉思维链, 动作行为克隆
一句话总结¶
研究发现多模态大模型（VLM）在纯开环动作监督下解决空间几何谜题时，其隐藏激活层自发涌现出编码中间世界状态的“心理意象”（mental imagery）；在此基础上引入紧凑视觉思维链或辅助视觉预测损失，可将平均解题成功率从 83% 显著提升至 89.5%。
研究背景与动机¶
空间认知与想象力是人类智能的核心基石。人类在面对物体三维旋转、拼图或路径规整等空间几何问题时，往往会在大脑中进行心理旋转（mental rotation）并动态投射中间过程的视觉想象。然而，当前主流多模态大语言模型（VLM）即使参数规模巨大，在空间推理基准测试（如 SPACE、OmniSpatial、STARE）中依然频现严重短板，常常无法可靠追踪物体的几何变换与因果物理效应，产生看似合理却缺乏物理与空间约束的幻觉推理。
这种空间认知缺陷的核心矛盾在于：现有 VLM 的训练多依赖于静态图像描述或离散文本问答，缺乏动态推演物理世界状态演变的目标约束。此外，先前的视觉思维链尝试通常因生成像素级完整图像时累积误差剧烈漂移，或者仅依赖符号化文本描述，难以承载高维几何与非线性空间变换。
本文的切入角度是：探究当模型必须在完全不观测任何中间画面的“开环（open-loop）”条件下预测全套动作序列时，其隐层表征内部是否会自发形成用于长程规划的世界状态模型。核心 idea：多模态大模型在无任何显式视觉监督的开环行为克隆中，隐层激活会自发涌现出空间世界状态的“心理意象”；通过引入动作边界辅助视觉损失或每步仅需 16 个离散视觉 token 的紧凑视觉思维链（Visual CoT），能有效锐化内部意象并大幅增强长程空间推理能力。
方法详解¶
整体框架¶
本文构建了包含 12 项空间几何谜题的评测基准套件（涵盖 2D/3D 旋转、七巧板、拼图、推箱子、华容道等），由高性能 Rust 游戏引擎与最优求解器实时采样训练轨迹。模型输入仅为初始谜题图像 \(s_0\) 与任务文本指令 \(t\)。在开环行为克隆基准下，VLM 必须直接自回归预测完整的动作序列 \(a_1, a_2, \dots, a_N\)（以及针对判定任务的答案 \(r\)），整个推演过程无法获得来自环境的中间反馈。
为了探测与引导模型的内部心理意象，本文设计了三层递进架构：首先利用完全冻结的基座 VLM 隐藏状态训练外挂探测头，验证意象自发涌现现象；其次提出“显式视觉监督（Visual Supervision）”，使辅助重构梯度的反向传播直接塑形动作边界表征；最后提出“离散视觉思维链（Visual Chain-of-Thought）”，在模型自回归动作序列中穿插紧凑离散视觉 token 块，实现端到端的显式视觉想象与动作规划。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 初始状态图像 s0 + 文本指令 t"] --> B["阶段1: 开环行为克隆基准策略<br/>Qwen3.5 9B 自回归预测动作序列"]
B --> C["阶段2: 冻结隐状态视觉探测器<br/>MAE 解码各动作边界几何状态"]
C --> D{"机制锐化与利用分支"}
D -->|辅助视觉梯度回传| E["阶段3A: 显式辅助视觉监督<br/>FSQ 离散码预测损失联合优化"]
D -->|自回归穿插图像标记| F["阶段3B: 紧凑视觉思维链<br/>LlamaGen 16/64 离散标记与文本交织"]
E --> G["推理输出: 动作序列与空间判定答案"]
F --> G关键设计¶
1. 动作监督下的开环行为克隆与中间态隐式编码 在多步空间规划任务中，每一步动作都会深刻重塑环境的几何与拓扑空间（例如推箱子中的死锁位置、七巧板中已拼块对剩余空白轮廓的切割）。由于模型在测试和训练展开阶段均采用开环设定，无法依靠外界视觉反馈纠偏，最小化动作预测交叉熵的唯一可能路径就是模型内部必须自行追踪并更新环境的当前状态。通过构建基于掩蔽自编码器（MAE）架构的轻量级浅层 Transformer 探测器（仅 36.9M 参数），在不向 VLM 反传梯度的情况下，仅利用每个动作末尾 token 在各层隐藏状态投影所得的记忆向量，即可成功重构出中间几何轮廓与物体布局，证明模型在动作驱动下自发涌现了空间心理意象。
2. 辅助视觉预测损失与表征梯度锐化 为了消除自发意象的模糊性与几何漂移，显式视觉监督方法移除了外挂探测器上的梯度阻断（stop-gradient）。在动作边界处，模型利用 FSQ（Finite Scalar Quantization，离散码本大小为 \(5^6 = 15{,}625\)）量化编码后的真实中间渲染帧作为辅助监督标签，将视觉状态交叉熵损失 \(\mathcal{L}_{\text{visual}}\) 与语言模型动作预测损失 \(\mathcal{L}_{\text{LM}}\) 联合优化： $\(\mathcal{L} = \mathcal{L}_{\text{LM}} + \lambda \mathcal{L}_{\text{visual}}\)$ 该梯度通过交叉注意力层逆流回基座语言模型的隐藏状态中，强制约束动作边界处的激活向量精确编码物理几何细节。在测试推断阶段，辅助视觉头被完全剥离，模型保持与标准 VLM 一致的计算代价，以零额外推理开销显著提高动作成功率。
3. 离散视觉思维链与视觉词表空间对齐初始化
针对仅靠文本 CoT 无法描述复杂非刚性连续几何形状的问题，本文提出了生成式视觉思维链。模型自回归输出交织的动作文本块与图像标记块（如 <action> a_i </action> <image> v_{i,1}\dots v_{i,K} </image>）。为了压低长序列上下文消耗并抵御生成误差漂移，系统将中间帧压缩为超紧凑离散网格：\(64\times 64\) 分辨率对应仅 16 个 token，\(128\times 128\) 对应 64 个 token。
尤为关键的工程机制在于视觉嵌入词表对齐初始化：由于直接随机高斯初始化新增的 16,384 个 LlamaGen VQ-VAE 词表会导致优化崩溃（解题率在多项任务中锁死在 0%），本文提取专家轨迹帧，计算 VQ-VAE 离散 token 与 Qwen3.5 视觉编码器提取的对应空间嵌入之间的平均映射，用平均视觉编码向量初始化扩展的词表权重，使得 LLM 在自回归遇到视觉 token 时感知到的几何流形与真实图像特征对齐。解耦训练损失定义为：
$\(\mathcal{L}_{\text{vcot}} = w \operatorname{CE}(H_{\text{vis}}) + (1 - w) \operatorname{CE}(H_{\text{txt}})\)$
权重设为 \(w=0.3\)，使生成式视觉注意力能够稳定回溯之前的“心理图景”，完成自闭环长程规划。
损失函数 / 训练策略¶
实验统一采用 Qwen3.5 9B 模型基座（bfloat16 与 FlashAttention-2），序列打包最大长度为 1,024。优化器选用 AdamW（\(\beta_1=0.9, \beta_2=0.999\)，权重衰减 0.01），配合 1,000 步线性预热与余弦衰减调度（最高训练 25,000 步）。基础动作克隆与辅助头变体的学习率为 \(1\times 10^{-5}\)（辅助视觉头参数采用 \(100\times\) 学习率放大因子加速收敛），视觉思维链变体为 \(3\times 10^{-5}\)。当轨迹动作步数超过 32 步时，随机子采样视觉监督帧以约束反向传播显存开销。
实验关键数据¶
主实验¶
在 12 项极具挑战的空间推理与操作任务（各评测 200 个独立保留测试集实例）中，各模型求解成功率（%）对比表明，视觉思维链和视觉表征增强大幅领先于原始基座与符号化文本 CoT。
| 任务类别与代表数据集 | 原始 Qwen3.5 9B (零样本基座) | 纯动作监督 (开环 BC) | 文本 CoT (JSON 场景图) | 辅助视觉监督 (零推理代价) | 视觉思维链 (Visual CoT 16 tokens) | 视觉思维链 (Visual CoT 64 tokens) |
|---|---|---|---|---|---|---|
| 3D 形状匹配 (3D Shape Match) | 0.0 | 72.0 | 48.0 | 90.0 | 88.5 | 92.5 |
| 3D 心理旋转 (3D Mental Rot.) | 51.5 | 69.5 | 60.5 | 78.5 | 79.5 | 81.0 |
| 拼图重构 (Jigsaw) | 0.0 | 67.0 | 45.0 | 81.5 | 87.0 | 91.0 |
| 七巧板拼图 (Tangram) | 0.0 | 83.5 | 84.0 | 86.5 | 91.0 | 88.5 |
| 推箱子 (Sokoban) | 0.0 | 92.5 | 93.0 | 94.0 | 96.5 | 94.5 |
| 华容道 (Rush Hour) | 0.0 | 88.0 | 86.5 | 89.5 | 94.0 | 93.0 |
| 滚动木块 (Bloxorz) | 0.0 | 91.5 | 88.0 | 93.5 | 96.5 | 95.0 |
| 2D 形状匹配 (2D Shape Match) | 4.0 | 94.0 | 92.5 | 96.5 | 97.0 | 96.5 |
| 2D 心理旋转 (2D Mental Rot.) | 52.0 | 90.0 | 87.0 | 92.5 | 93.5 | 94.0 |
| 字符重构拼字 (Char. Recog.) | 0.0 | 96.0 | 95.0 | 97.5 | 99.0 | 98.5 |
| 变位词重排 (Anagram) | 0.0 | 66.5 | 66.0 | 67.0 | 68.0 | 67.5 |
| 七巧板可解判定 (Tangram y/n) | 50.0 | 85.5 | 85.0 | 86.0 | 89.5 | 88.0 |
| 全套 12 项任务平均成功率 | 13.0 | 83.0 | 78.7 | 86.4 | 89.5 | 89.0 |
消融实验¶
| 配置与消融维度 | 全任务平均解题率 (%) | 关键发现与机制说明 |
|---|---|---|
| Visual CoT (LlamaGen, 16 tokens) | 89.5 | 完整模型：高计算效率与抗生成误差漂移的最佳折元 |
| Visual CoT (FSQ 离散标记器) | 88.5 | 相比 LlamaGen 掉点 1.0 个百分点，表明连续流形重构更偏好标准矢量量化离散化 |
| Visual CoT (高斯随机初始化词表) | ~0.0 | 词表与视觉编码空间割裂，推箱子与木块等多步任务完全无法收敛（见原文 Fig. 10） |
| Textual CoT (结构化 JSON 场景图) | 78.7 | 相比 Visual CoT 下跌 10.8 个百分点，在 3D 旋转与拼图等非离散几何任务中严重受阻 |
| BAGEL-7B-MoT (连续流匹配扩散潜码) | ~0.0 | 196 个连续潜码引入自注意力爆炸，测试展开遭遇严重误差复合积累，长程规划彻底崩溃 |
| Qwen3.5 0.8B (Visual CoT) | 88.2 | 小参数模型仍保持类似增益（相比纯动作监督提升约 6.2 个百分点） |
| Qwen3.5 2B (Visual CoT 16 tokens) | 89.9 | 相比纯动作监督提升 5.9 个百分点，Jigsaw 提升 23 个百分点，3D 形状匹配提升 27 个百分点 |
关键发现¶
- 意象自发涌现与保真度正相关：在 12 项任务中的 10 项中，隐藏层特征重构出的图像质量与动作求解成功率呈严格正向单调相关，验证了高质量几何内部表征是完成复杂多步空间推理的前提条件。
- 视觉 CoT 与文本 CoT 的本质差异：将视觉标记替换为经过精心标定的结构化 JSON 场景图后，平均成功率反而暴跌至 78.7%（低于纯动作克隆的 83.0%）。文本在离散逻辑（如推箱子网格）中尚能维持性能，但在连续 3D 旋转角度微调与自由拼图接合面表征上表现极其拙劣，说明空间计算在认知层面上具有不可替代的视觉模态特异性。
- 分辨率与任务尺度的互补性：每步仅 16 个视觉 token 的超紧凑编码在长程规划任务（推箱子、木块翻滚、七巧板）中表现最优，因其有效抑制了自注意力上下文爆炸与自回归生成漂移；而 64 个 token 的更高分辨率编码则在对局部结构敏感的高难度三维任务（3D 形状匹配 +4.0%、拼图 +4.0%）中取得更高胜率。
亮点与洞察¶
- 开环行为克隆下的“意象涌现”实证：首次通过外挂冻结探针严格证实了：仅依靠监督离散动作标签、不提供任何中间帧视觉反馈，大规模自回归多模态模型也能在隐藏层深处自发学习到可逆向解码的动态视觉世界状态。
- 视觉嵌入空间的对齐初始化技巧：发现直接增加离散视觉词表时的灾难性崩溃现象，通过跨模态空间对应特征均值初始化，成功打通了离散 token 与连续视觉编码流形的表征通道，为多模态混合生成与推理提供了极其高效且实用的工程范式。
- 零推理开销的表征锐化策略：提出的显式辅助视觉预测损失仅在训练阶段借助离散 FSQ 码反传几何梯度，推理时完全剥离辅助头，在不增加任何额外参数与延迟的前提下将任务均分稳定提升 3.4 个百分点。
局限与展望¶
当前评估集中于几何定义严密、状态可由离散/参数化规则完全描述的合成谜题空间，尚未直接扩展到开放世界真实物理交互与高保真连续机器人操作中。此外，虽然每步 16 个 token 显著压缩了序列开销，但在数十步的长序列任务中仍会逐步侵占上下文窗口并增加推断延迟。未来的重要研究方向在于探索基于隐式潜在扩散（latent continuous diffusion）与循环隐状态更新的自适应想象机制，使模型能够根据问题复杂度动态决定是否进行心理意象投射。