Visual Spatial Tuning¶

会议: ECCV2026
论文: ECCV 官方页面
代码: https://github.com/Yangr116/VST
领域: 多模态 VLM
关键词: 空间感知、空间推理、文本场景重建、鸟瞰图监督、布局奖励

一句话总结¶

VST 不增加专用 3D 编码器，而是先用多模态几何数据教 VLM 感知空间，再用 BEV 辅助生成的文本重建思维链与强化学习训练空间推理，使 Qwen2.5-VL-7B 的 MMSI-Bench 得分从 25.9 提升至 34.8、VSI-Bench 从 38.9 提升至 61.2。

研究背景与动机¶

视觉语言模型（VLM）已经能够识别物体并输出二维位置，但“看出这是椅子”与“换一个视角后知道椅子在哪”是不同能力。前者主要依赖语义和像素定位，后者需要深度、跨视角对应及时间信息。SpatialVLM 等数据驱动工作补充了空间知识，但不少方案只覆盖单图或监督微调；另一些方法通过额外 3D 编码器注入几何信息，又增加了架构和部署复杂度。

VST 把问题拆成相互依赖的空间感知与空间推理：感知负责确定物体位置和多视角关系，推理负责建立并操作场景的内部表示。直接要求模型写一段更长的思维链，并不能修复它一开始就看错的布局；反过来，只训练输出大量 3D 框，也不保证模型能以语言组合这些关系。作者因此同时处理训练数据的几何一致性、推理中间表示，以及教师生成轨迹的可靠性。

关键切入点是让通用 VLM 先学会可靠地描述布局，再以这个布局为依据回答问题，而非把数值重建当作所有推理任务的必经接口。核心 idea：用统一几何监督建立空间感知，用 BEV 辅助教师生成“文本重建后再推理”的轨迹，最后通过任务适配的奖励强化答案与布局质量。

方法详解¶

整体框架¶

基础模型采用 Qwen2.5-VL 的 ViT-MLP-LLM 架构，输入可以是单张 RGB 图、多视角图像或视频加问题。训练依次经过 VST-P 感知监督微调、VST-R 思维链冷启动与 GRPO 强化学习；输出则依任务而定，包括空间问答、文本布局或 3D 检测框。

四个关键环节是统一几何感知、BEV 教师提示、RT-CoT 文本重建和三维布局奖励。图中的 BEV 与真值标注只用于构造训练监督，不是学生测试时额外获得的地图；训练完成后仍由普通视觉输入进入 VLM。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单图、多图、视频<br/>与几何标注"] --> B["统一几何感知<br/>VST-P 监督微调"]
    A --> C["训练专用<br/>真值框与问答"]
    C --> D["BEV 教师提示<br/>生成 VST-R 轨迹"]
    B --> E["RT-CoT 文本重建<br/>思维链冷启动"]
    D -->|轨迹监督| E
    E --> F["三维布局奖励<br/>任务路由与 GRPO"]
    F -->|训练得到| G["VST 模型"]
    H["测试 RGB 与问题<br/>无真值 BEV"] --> G
    G --> I["文本布局与推理答案<br/>或 3D 检测框"]

VST-P 包含 4.1M 样本、19 类任务，单图、多图和视频分别占 64.8%、33.1% 和 2.1%。VST-R 包含 135K 样本，其中 77.8% 为冷启动思维链数据，22.2% 为可按规则判分的在线 RL 数据；它还混入数学、OCR 和知识类通用推理任务，并非全部都是空间问答。

关键设计¶

1. 统一几何感知：让不同来源的视觉监督描述同一个物理空间

VST-P 不是仅把“左边还是右边”的问答规模做大。单图数据覆盖深度比较、距离和尺寸估计、3D 检测与定位；数据引擎先把深度和 3D 框转换到统一的相机坐标系，再生成指令。检测框描述中心位置、三个方向的尺寸与三个旋转角，共 9 个自由度。多图样本进一步把各视角中的物体都变换到第一张图的相机坐标系，并借助点云、深度建立对应关系，避免相同物体在不同视角下被当成不一致的监督。视频沿用这一引擎，加入物体出现时间，支持顺序、计数和时空关系；约三分之二的视频数据取自 VLM-3R 并重组为多轮格式。3D 框投影得到的松散二维框可能圈错对象，作者因此用专家模型核验目标存在性并生成掩码，减少指代噪声；这与推理时额外加载一个 3D 编码器是两回事。

统一坐标系还不够：焦距不同会改变像素与空间射线之间的对应，使模型把相机差异误学成尺寸差异。FoV Unification 只对度量敏感的数据应用几何一致的图像变换，将输入规范到具有预设焦距的虚拟相机。与此同时，训练混合单轮与多轮检测，使后续框能利用此前框的布局上下文；场景描述则把框和场景图关系转成自然语言空间叙述，避免模型只记住数值输出模板。前者改善几何可比性，后者把几何知识接入语言表达，两者共同为后续文本推理提供基础。

2. BEV 教师提示：先改善教师的空间证据，再蒸馏推理轨迹

如果教师只能看原始多视角 RGB，它也可能把物体对应关系或方向看错，产生流畅却错误的思维链。VST 从 VST-P 中抽取问答，把 RGB 图、真值 3D 框渲染得到的鸟瞰图（BEV）、框的简洁文本元数据、问题及答案一起提供给教师 Seed1.5-VL。BEV 是带有类别和朝向的确定性俯视投影，能够把透视图中难比较的相对位置放在同一平面上。教师仍要产生文本轨迹，但现在有几何标注支撑它跨视角组织布局，而不是仅依靠自身不可靠的空间想象。

这里的特权信息边界很重要：教师在数据合成时看到真值框和答案，是为了生成正确、连贯的训练解释；学生学习的是 RGB 条件下的轨迹生成，不需要在测试时输入真值 BEV。因而这不是先调用外部建图系统、再让 VLM 查询地图的推理流水线。表 8 在同一对象关系子集上比较普通 RT-CoT 与 BEV 辅助轨迹，正是为了检验监督质量的增益，而不是把增加测试输入的效果归功于模型本身。

3. RT-CoT 文本重建：先建立可引用的布局，再转换参考系回答问题

Reconstruction with Text in Chain-of-Thought（RT-CoT）将输出组织为 RECON、REASON、ANSWER 三段：先描述各视角看到的对象、共同参照物及相对布局，再基于这个表示推导问题所要求的关系，最后给出答案。冷启动阶段通过监督学习让感知模型学会这种轨迹格式。这样做的价值不是单纯延长回答，而是把“观察到了什么”和“由此推出什么”分开，让方向判断能够引用前面已经建立的空间关系。论文展示文本布局可以被画成 SVG，这是表示可解释性的例子，不表示模型每次回答都必须生成或渲染 SVG。

对照方案 Num-CoT 直接用 3D 框表达场景，在跨视角相机位姿估计不准时容易受到数值误差影响。RT-CoT 不要求每个问答都先恢复精确的绝对坐标，因此更贴合 VLM 已有的语言建模能力，也适合描述当前视角之外的物体。它并未取消度量任务：需要检测时仍输出 3D 框，需要关系推理时则使用文字布局。代价是自然语言布局并没有自动获得几何一致性保证，错误的物体对应仍可能传播到最终答案，不能把可读的思维链等同于可验证的重建。

4. 三维布局奖励：检测既要框得准，也不能靠多报物体刷召回

冷启动模型作为 GRPO 的初始策略，对同一个问题采样一组响应，用组内相对奖励形成优势，无需单独训练价值模型。奖励按任务硬路由：选择题、开放问答和 OCR 使用各自准确性评分，3D 检测使用布局评分，再与格式奖励相乘。它不是让所有空间问答都使用 IoU，也不是同时给每个样本叠加答案奖励和检测奖励；任务类型决定了什么才算有效反馈。

布局评分先在预测框与真值框之间做二分图匹配，再等权组合成功匹配框的平均 3D IoU 与检测 F1，默认混合系数为 0.5。F1 的真阳性要求匹配框的 3D IoU 超过 0.25，并通过精确率与召回率共同约束漏检和误检。仅奖励 IoU 加召回率时，模型可能输出过多框以提高覆盖率，反而损害最终检测质量；加入 F1 就让多报的代价进入奖励。缓存中的原式排版有缺损，这里按正文解释机制，不把修复后的公式冒充作者原式；布局奖励阈值也不要与报告结果所用的 AP15 阈值混淆。

一个完整示例¶

论文图 4 给出两张卧室图：第一张包含婴儿床及床上的毛巾，第二张包含阳台玻璃门和旁边的窗帘。问题要求想象站在第二张图的门口，以第一张图中的毛巾为前方，判断窗帘相对自己的方向。

在 RECON 阶段，模型先描述两张图里的布局，再利用共同场景把婴儿床、门和窗帘联系起来；不能直接把第二张图片的屏幕右侧当成提问者的右侧。在 REASON 阶段，模型将观察位置放到门口，以朝向毛巾的方向建立新的前后左右，随后在 ANSWER 给出 B，即右前方。图中 Qwen2.5-VL 回答 A，即后方；这是一个定性案例，不是单独的成功率统计。

若在构造这类训练样本，教师可以借助真值 BEV 理清门与床的位置；实际测试时学生只能从给定图像进行文本重建。这个例子说明多视角信息融合与参考系转换为何需要分开，也说明教师看过 BEV 不等于学生测试时拥有完整地图。

损失函数 / 训练策略¶

感知 SFT 在视觉 token 条件下训练文本的自回归预测，并混入通用多模态数据以缓解能力遗忘；RT-CoT 冷启动沿用这一监督目标，之后才切换到 GRPO。正文提到逐 token 损失权重，但缓存中的式 2 损坏，未据此补写精确数学表达。训练学习率、批大小、GPU 配置与完整推理预算被正文指向附录，而本次缓存只有正文和参考文献，因此不能声称已复现这些设置。

作为下游验证，作者按 OpenVLA 风格把动作空间离散为 256 个 bin，以特殊 token 表示动作，用图像和指令自回归预测单步动作，再在 LIBERO 微调模型与动作嵌入。此实验没有使用额外机器人预训练数据，但 VLM 本身已经预训练，VST 还进行了空间训练；“动作学习从头开始”不等于整个网络从随机权重训练。

实验关键数据¶

主实验¶

下表摘录原文表 2，均由 VLMEvalKit 评测；分数越高越好，增益为相对同规模 Qwen2.5-VL-7B 的绝对百分点。CV-Bench 和 3DSRBench 为单图评测，MMSI-Bench 与 BLINK 为多图评测，VSI-Bench 为视频评测。正文没有逐项列出 split 名称或统一测试 token 预算，不能视为严格等算力比较。

模型 / 增益	CV-Bench	3DSRBench	MMSI-Bench	BLINK	VSI-Bench	MMMU
Qwen2.5-VL-7B	80.6	53.2	25.9	56.4	38.9	51.2
VST-7B-SFT	85.5	54.6	32.0	62.1	60.6	50.6
VST-7B-RL	86.5	60.1	34.8	62.6	61.2	49.4
RL 相对基础模型	+5.9	+6.9	+8.9	+6.2	+22.3	-1.8

主表中 MMSI-Bench 的 Gemini-2.5-Pro 为 36.9，高于 VST 的 34.8，故不能概括为所有模型中全面第一。引言写 CV-Bench 为 87.8，与表 2 的 86.5 不一致，本笔记采用表值。SUN RGB-D 的表 3 报告 VST-7B-RL 为 44.2 AP15，但同表 Gemini Robotics-ER 为 48.3，也不支持正文“排名第一”的笼统说法。

消融实验¶

表 8 的 MMSI-Bench 实验使用单独构建的 Qwen2.5-VL-7B 基线：三分之一 VST-P 单图数据，加多视角对应、跨视角 3D 检测与 800K 通用样本。它不等于主表训练配方，所以最后的 35.3 不能替换主表的 34.8。OO 为对象间关系数据，Mix 为混合全部类型。

配置（原文表 8）	MMSI-Bench	相对上一行增益	说明
感知基线	26.4	不适用	尚未进行推理冷启动
Num-CoT，OO，冷启动	29.2	+2.8	以数值 3D 框表示布局
RT-CoT，OO，冷启动	30.0	+0.8	改为文本布局
RT-CoT + BEV，OO，冷启动	31.1	+1.1	改善教师轨迹
RT-CoT + BEV，Mix，冷启动	31.7	+0.6	扩充任务组合
Mix，RL	35.3	+3.6	从上一行初始化 GRPO

表 10 单独检验 SUN RGB-D 上的布局奖励。AP 为原文报告的综合平均精度，AP15 为 3D IoU 阈值 0.15 下的平均精度；均越高越好。正文未在该表明确标注模型规模，也未展开综合 AP 的全部阈值集合，不将它与主表 7B 结果直接拼接。

配置（原文表 10）	AP	AP15	相对基线 AP
基线	20.2	30.3	0.0
3D IoU + Recall	13.8	20.9	-6.4
3D IoU + F1	24.4	36.0	+4.2

因此“+4.2 AP”是相对基线，而非相对 IoU + Recall；后两行相差 10.6 AP。对应的 AP15 基线增益为 5.7，不应混成主表 VST-7B-SFT 到 RL 的提升。

关键发现¶

表 5 的 3B 逐步加数据实验中，在通用视频数据之后加入 VST 视频监督，VSI-Bench 从 38.1 到 54.7，增加 16.6 个百分点；通用视频问答不能替代显式时空监督。
表 7 固定 500M 训练 token，在 Qwen2.5-VL-3B 上，VST-P 的 S-AVG 为 56.2，SPAR 为 50.2；两者都随机取 200K 样本。这比单纯比较不同规模的完整数据集更能支持数据质量的作用。
表 11 的 LIBERO 平均成功率在 2.5K 步下从 53.1 到 61.7，在 10K 步下从 67.9 到 70.8。前一配置 Goal 列的 53.8 到 67.8 实际相差 14.0，而表内标成 +4.0；保留此冲突，不据其错误标注下结论。

亮点与洞察¶

把教师难以读取的几何真值变成 BEV，改善的是推理轨迹的数据质量，而非增加测试输入。这种训练期特权信息蒸馏适合迁移到多视角关系任务。
数值监督与语言中间表示并不冲突：前者教空间基础，后者组织关系推导。VST 的重点是二者衔接，而不是宣布文本能替代所有精确重建。
布局奖励暴露了可操作的 RL 失败模式：只顾覆盖率可能诱发误检。设计奖励时需要同时惩罚“没找到”和“凭空多报”。

局限与展望¶

作者明确指出数值布局受跨视角位姿估计困难影响，IoU 加召回奖励还会产生过多假阳性；本文分别以文本重建和 F1 缓解。
本笔记判断：没有专门的局限章节，也没有实证保证文字布局与真实 3D 几何始终一致；可进一步用可验证关系约束审计中间重建。
本笔记判断：“不损害通用能力”应理解为整体维持竞争力，而非所有指标不降。表 2 中 7B 的 MMMU 从 51.2 降到 49.4，MMBench 从 83.5 降到 83.0。
训练数据制作依赖真值几何、专家模型和教师，不能由“架构不增加编码器”推导出低训练成本。LIBERO 是仿真操控验证，不是自动驾驶或真实机器人部署证据。

评分¶

新颖性: 4/5，BEV 辅助文本重建监督与布局奖励形成了明确的方法组合。
实验充分度: 4/5，跨模态、训练阶段、数据源和机器人迁移对照较丰富，但缺少完整预算与真实部署验证。
写作质量: 3/5，主线清楚，若干数字与排名表述不一致，需要回表核对。
价值: 4/5，为通用 VLM 注入空间能力提供了可复用的数据与训练路径。