APIVOT: Adaptive Planning with Interleaved Vision-Language Thoughts¶

会议: NeurIPS 2026
arXiv: 2607.08024
论文: https://arxiv.org/abs/2607.08024
代码: https://emilyzjin.github.io/projects/apivot.html
领域: 机器人
关键词: 具身智能规划, 视觉语言思考, 自适应模态选择, 长程操作规划, 几何可行性验证

一句话总结¶

提出自适应交织图文思维链的 VLM 规划器 APIVOT，在自回归推理轨迹中将语言语义推理与隐式未来视觉思维动态结合，无需外部物理仿真器即可内化几何可行性验证，在长程复杂厨房操作规划上显著超越通用 VLM 与传统规划基准。

研究背景与动机¶

长程机器人操作规划要求规划器在符号任务结构与低层几何可行性之间进行紧密协同推理。以日常“将剩菜存入冰箱”任务为例，机器人不仅需要在语义层面上分解子目标、选择合适的容器并确定满足前置依赖的动作顺序（例如必须先开冰箱门），还必须严格满足连续物理空间的几何约束，包括评估容器容积、规划摆放布局以及预留后续操作所需的自由空间。符号层面完全合理的动作序列，一旦在物理几何上遭遇物体碰撞或容积不足便会彻底崩溃，且早期的贪心几何摆放往往会直接切断后续子步骤的可行解空间。

现有基于大语言模型（LLM）与视觉语言模型（VLM）的规划系统虽能生成高度合理的语义动作步骤，但在涉及严苛空间几何约束时频繁失效。为了弥补几何感知短板，传统方案通常将模型与外部运动规划器、可行性检测器或仿真动力学模型解耦拼接，依赖事后执行失败的反馈进行被动重规划，几何反馈从未内化为规划器自身的显式推理载体。另一方面，纯文本语言表达离散语义极其高效，却难以紧凑、高保真地量化连续场景布局与空间几何裕量；相比之下，视觉隐表征能直观编码场景空间形态与剩余容积，但在全流程中机械铺满视觉生成不仅计算极其昂贵，更会产生不必要的空间表征开销。

如何让 VLM 规划器在自身思维链内部自发融合语义与几何推演，并学会根据决策性质自适应决定“何时用文字推理、何时具象化视觉想象”，是具身长程规划的核心挑战。本文的核心 idea 是：将长程机器人规划构建为图文交织的自回归思考轨迹，利用语言处理离散子目标分解与动作排序，引入对未来场景观测的隐式视觉思维（Visual Thoughts）进行内部几何可行性核查，并通过三阶段渐进式微调课程使模型自主习得自适应模态选择能力。

方法详解¶

整体框架¶

APIVOT 将长程规划任务形式化为参数化技能下的半马尔可夫决策过程（semi-MDP）。在每个闭环规划步，模型接收当前场景 RGB 观测图像、目标指令以及物体检测先验，在自回归解码中先生成一段图文交织的思维链轨迹，随后直接输出参数化动作规划。该思维链由一系列对应子目标的推理步骤串联而成，每个步骤包含用于语义推演的文本标记，并在遇到几何约束时动态触发生成定长的视觉思维标记（Visual Tokens），其解码器隐状态通过投影头与真实未来场景的视觉编码对齐，使后续标记与动作能够直接基于预测的物理未来状态进行因果注意力推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["当前观测图像 + 任务指令"] --> S1["阶段1：视觉思维理解训练<br/>注入真实未来图像特征，学习依图规划"]
    S1 --> S2["阶段2：视觉思维生成训练<br/>自回归生成视觉隐状态，余弦损失特征对齐"]
    S2 --> S3["阶段3：自适应模态选择训练<br/>几何启发式剪裁视觉思维，自适应按需生成"]
    S3 --> Out["图文交织推理轨迹与闭环动作执行"]

关键设计¶

1. 阶段1：视觉思维理解训练（Visual Thought Comprehension） 传统 VLM 在缺乏结构化视觉线索时难以直接利用多模态上下文进行闭环动作决策。为了将“利用视觉思维规划”与“自生成视觉思维”解耦学习，本阶段在参考轨迹的每一个推理步骤中均强制插入视觉思维，并直接将由预训练视觉编码器提取的真实未来环境特征（Ground-Truth Target Features）注入解码器的输入端，关闭视觉特征对齐损失，仅通过离散标记的交叉熵损失进行监督。这种设计使模型优先建立起依靠未来视觉隐状态评估几何可行性、预测下游参数化动作的能力，奠定了后续自生成推理的表征基础。

2. 阶段2：视觉思维生成训练（Visual Thought Generation） 在模型掌握了依据外部视觉隐状态规划的能力后，第二阶段促使模型自发充当“内部世界模拟器”。模型不再接收外部注入特征，而是必须在思维链中自主生成定长（$K=16$）的特殊占位标记 <|image_start|><|image_pad|>...<|image_end|>，并从解码器内部隐状态提取出潜在视觉状态 $H_j \in \mathbb{R}^{K \times d}$。为了让该隐表征真正承载未来场景的几何与外观信息，模型通过可学习的线性投影头 $f_\phi: \mathbb{R}^d \rightarrow \mathbb{R}^{d_E}$ 将其映射至视觉特征空间，并与真实未来帧的平均池化特征计算余弦相似度损失： $$\mathcal{L}_{\mathrm{vis}} = \frac{1}{|\mathcal{B}_{\mathrm{vis}}|} \sum_{j \in \mathcal{B}_{\mathrm{vis}}} \left( 1 - \cos\left( f_\phi(H_j), Z^{\mathrm{gt}}_j \right) \right)$$ 联合优化轨迹文本交叉熵与动作交叉熵，赋予模型在自回归思维流中内化模拟物理演化及预判碰撞的能力。

3. 阶段3：自适应模态选择训练（Adaptive Modality Selection） 在规划全流程中每步都生成视觉隐状态会导致高昂的计算代价与推理冗余，而在纯符号前置条件（如开门）上生成视觉思维对规划毫无增益。第三阶段基于仿真器派生的几何启发式指标（如目标表面剩余自由空间、物体占地包围盒裕量及未来可行性惩罚）构建了细粒度监督信号：将决策类型严格划分为无须视觉思维的符号前置条件、以及紧迫度超过阈值的当前/未来几何约束。通过在参考轨迹中自适应删减非几何步骤的视觉标记，训练模型在解码时自主决定是否输出视觉标记区间。这一机制在保留 91% 全量视觉推理性能的同时将标记消耗大幅削减 39%，实现了规划精度与计算开销的帕累托最优平衡。

一个完整示例：剩菜储存复合规划¶

在复合储存任务中，工作台上有待分类的蔬菜（如西葫芦与番茄）、两个不同规格的烤盘容器以及一台闭门的微型冰箱。APIVOT 的闭环规划流程如下： 1. 语义分解与前置动作（纯文本）：模型识别出“放入冰箱”具有先验依赖，推理输出纯文本步骤解析必须先打开冰箱门，并在文本层完成食物与容器的初步容量匹配，此阶段不产生视觉标记。 2. 容量与碰撞几何核查（触发视觉思维）：当决定将大尺寸西葫芦放入烤盘时，检测到表面剩余裕量紧张，模型在文本阐述后立即触发生成 16 个视觉思维标记，在隐空间内模拟放置后的容器占用状态，验证不存在边界干涉。 3. 全局剩余空间重排（触发视觉思维）：在将两个装满食材的烤盘存入微型冰箱时，模型在视觉隐状态中预演发现若直接推入第二个烤盘将与冰箱内原有障碍物碰撞，因而在推理轨迹中自主插入“先推移挪开障碍物、再紧凑对齐放置”的避碰规划，最终成功输出无碰撞的参数化摆放坐标 $(u,v)$ 并完成执行。

损失函数 / 训练策略¶

APIVOT 的端到端训练总目标函数由三部分加权构成： $$\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{CE,plan}} + \lambda_{\mathrm{CE,trace}} \mathcal{L}_{\mathrm{CE,trace}} + \lambda_{\mathrm{vis}} \mathcal{L}_{\mathrm{vis}}$$ 其中 $\mathcal{L}_{\mathrm{CE,trace}}$ 负责监督思维链的文本语义与视觉标记语法边界，$\mathcal{L}_{\mathrm{CE,plan}}$ 监督最终离散动作与归一化图像放置坐标 $(u,v) \in [0, 1000]^2$ 的自回归生成，$\mathcal{L}_{\mathrm{vis}}$ 约束视觉隐思维特征对齐。超参数设置上，第一阶段设置 $\lambda_{\mathrm{CE,trace}}=1.0, \lambda_{\mathrm{vis}}=0$；第二与第三阶段设置 $\lambda_{\mathrm{CE,trace}}=1.0, \lambda_{\mathrm{vis}}=5.0$。模型以 Qwen3-VL-8B-Instruct 为底座，采用 LoRA（秩 $r=16, \alpha=32$）在单张 96GB RTX PRO 6000 GPU 上微调，总批大小为 64，学习率设为 $4 \times 10^{-5}$ 配备余弦衰减。

实验关键数据¶

主实验¶

在 KitchenWorlds 仿真环境的三大任务族（容器放置 Containment、分类归纳 Sorting、复合剩菜储存 Storing Leftovers）上评估任务成功率（Task Success Rate）。其中 Storing Leftovers 任务未在训练中出现，作为复合泛化能力的留出评测集。

模型类别	模型 / 规划框架	平均成功率 (Avg)	容器放置 (Contain)	分类归纳 (Sort)	剩菜储存 (Store)
通用 VLM	Gemini-3.1-Pro	0.245	0.281	0.241	0.213
通用 VLM	Gemini-ER-1.5	0.338	0.364	0.339	0.311
通用 VLM	Qwen3-VL-8B-Instruct	0.188	0.218	0.183	0.162
通用 VLM	Qwen3-VL-8B-Thinking	0.232	0.259	0.234	0.204
规划基线	FastDownward (PDDL)	0.272	0.331	0.247	0.238
规划基线	Reflect-VLM	0.292	0.348	0.272	0.257
规划基线	VLM-TAMP	0.329	0.370	0.311	0.307
本文方法	APIVOT (Ours)	0.419	0.472	0.421	0.365

消融实验¶

表 A 针对训练课程的三大阶段进行消融评估；表 B 分析了不同推理模态对规划性能与计算代价的影响。

表 A：三阶段训练课程消融

训练配置	平均成功率	平均思考标记消耗 (Token Usage)	说明
APIVOT (完整三阶段)	0.419	262	达到帕累托最优性能与开销平衡
缺少阶段1 (w/o Stage 1: 理解)	0.301	235	丢失利用视觉思维指导规划的能力，性能暴跌 11.8%
缺少阶段2 (w/o Stage 2: 生成)	0.345	206	无法稳定自发合成高质量视觉隐表征，掉点 7.4%
缺少阶段3 (w/o Stage 3: 自适应)	0.457	498	机械化步步生成图像，虽略增成功率但计算开销激增 90%

表 B：推理阶段模态策略消融

训练模态	推理策略	平均成功率 (Avg)	Contain	Sort	Store
纯文本 SFT	纯文本推理	0.244	0.281	0.217	0.235
图文微调 (APIVOT)	纯文本推理	0.282	0.332	0.267	0.246
图文微调 (APIVOT)	每步生成视觉思维 (Always)	0.459	0.483	0.466	0.428
图文微调 (APIVOT)	自适应模态 (Adaptive)	0.419	0.472	0.421	0.365
图文微调 (APIVOT)	真实图像预言机 (GT Oracle)	0.482	0.494	0.482	0.470

关键发现¶

几何受限越严重，视觉思维增益越巨大：在物体占地与可用区域面积比（Occupancy Ratio）极高的拥挤场景下，基准模型的成功率因空间碰撞急剧衰减，而 APIVOT 与顶尖基准（Gemini-ER-1.5）的性能差距从宽松场景下的 7 个百分点迅速扩大至极限拥挤场景下的 17 个百分点。
视觉思维具备极高的表征密度：在相同或相近的推理 Token 预算下，APIVOT 始终大幅碾压拉长纯文本 CoT 思维链的 VLM；通过少量离散视觉隐状态即可高效传递繁复的空间拓扑与连续坐标信息。
自适应模态选择具备物理自洽性：统计显示，APIVOT 在纯符号前置步骤（如开门）中触发视觉思维的比例为 0%，而在自由空间受限步骤中触发率为 48.4%，在涉及下游可行性依赖的步骤中触发率高达 56.2%，表明模型确实学会了根据空间几何不确定性精准分配多模态计算。

亮点与洞察¶

将物理验证从外部仿真器移入内生思维链：以往方法将环境模拟器置于规划外部做试错重规划，而 APIVOT 通过自回归视觉潜状态在模型自身推理流中完成了“脑内推演-几何纠错”，开辟了具身内部验证的新范式。
渐进式解耦课程让难解任务平稳收敛：直接端到端联合训练自回归文本、视觉生成与自适应时机选择极易导致模式崩溃，论文通过“先学会看懂（理解）→ 再学会想象（生成）→ 最后学会克制（自适应）”的教学策略，实现了复杂多模态控制策略的高效稳健学习。
模态自适应避免多模态计算资源浪费：打破了以往多模态模型“要么全图要么全字”的机械范式，建立起了基于任务物理约束类型的动态模态调度机制，对轻量化具身大模型部署极具借鉴价值。

局限与展望¶

依赖仿真器启发式规则构建参考轨迹：Stage 3 的自适应决策监督源自 KitchenWorlds 的几何指标阈值划分，未来可探索利用强化学习（如 PPO/GRPO）由任务最终成功奖励直接驱动自适应模态策略的端到端演化。
视觉隐表征受限于训练域场景分布：当前潜在视觉状态在单一仿真环境内训练，迁移到真实世界高反差、强纹理干扰及密集杂乱场景时表征保真度仍有待实证。
视觉思维粒度相对固定：目前模型固定使用 $K=16$ 个全局 Token 表达未来帧，未来可结合稀疏点提示（Points）、2D/3D 包围盒（Bounding Boxes）等多尺度空间图元构建分级视觉推理链。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在长程机器人规划中构建自回归隐式视觉思维链，并实现了基于几何约束的自适应模态动态切换。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多样化长程任务、严苛的拥挤度递增评测、计算效率前沿分析及完整的课程消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构异常严谨，问题动机、框架图示与实验因果链条论证极其扎实清晰。
价值: ⭐⭐⭐⭐⭐ 为解决具身智能中“高层语义推理与底层空间几何约束脱节”提供了极其优美的原生多模态解法。