ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 空间推理、视角转换、三维标注、空间定位、监督微调

一句话总结¶

ViewSpatial-Bench 用相机与人物参照系下的五类空间定位任务暴露视觉语言模型的视角转换短板，并通过约 43K 条定向监督数据将 Qwen2.5-VL-3B 的基准准确率从 35.85% 提升到 82.09%，提高 46.24 个百分点，而不是相对提高 46.24%。

研究背景与动机¶

视觉语言模型可以识别图中的人、家具和物体，却未必理解一句空间指令究竟以谁为参照。“把我右边的杯子递过来”要求机器人先采用说话者的位置与朝向，而不是直接选择图像右侧的杯子。图像识别正确与空间回答正确之间，还隔着参照系选择、朝向估计以及相对位置变换；相机视角下有效的二维位置线索不能自动解决这些问题。

已有空间基准覆盖物体相对位置、三维关系和部分跨视角任务，但评测对象、方向类别与视角切换方式并不统一。作者希望将“看清空间关系”和“换一个主体理解空间关系”放在同一任务体系内诊断。ScanNet 的三维场景坐标与 MS-COCO 的人物框、关键点提供了互补条件：前者适合构造明确的物体关系，后者支持真实人物的身体朝向与头部朝向分析，因而不必仅依赖语言模型生成空间答案。

论文还提出一个可检验假设：VLM 的部分空间短板可能来自训练数据缺少明确的多视角空间监督，而非模型完全没有学习这些关系的能力。用同一标注逻辑在训练集构建监督数据，再检查不同骨干和回答格式的收益，可以测试这个假设，但不能仅凭准确率就证明模型形成了完整的三维世界模型。核心 idea：把空间问答的参照主体明确写进任务与几何标注，在统一基准中比较相机和人物视角，并用定向监督检验视角转换能力是否可以被有效补足。

方法详解¶

整体框架¶

这是一项基准与数据驱动的微调研究，不是新增视觉编码器或显式三维推理网络。评测输入是图像或任务所需的场景帧、指定参照系的空间问题和候选方向，输出是方向选项；三维坐标和人体朝向估计主要服务于离线标签构建，不能误读为所有被测 VLM 在推理时都额外获得三维真值。

整体过程先定义五类视角任务，再分别处理 ScanNet 和 MS-COCO，以几何规则和必要的人工标注生成方向标签，最后构造选择题并过滤歧义样本。训练阶段在来源数据的训练划分上沿用标注流程，混合相机与人物视角的图文问答进行监督微调；由此得到的模型统称 Multi-View Spatial Model（MVSM）。

这里的“多视角”首先指问题使用不同参照系，不意味着每一道题都有多个相机输入。尤其人物朝向题可以来自单幅 MS-COCO 图像，而场景模拟题借助 ScanNet 的场景与帧信息构造。作为基准笔记，下面直接解释任务、标签和训练的关系，不另画一个容易被误读为网络架构的流程图。

关键设计¶

1. 双参照系任务：把物体位置、人物朝向和场景模拟分开测量

相机侧包含 Cam-Rel. Dir. 与 Cam-Obj. Ori.。前者问两个物体在相机坐标系中的相对方向，后者问人物朝向相对于相机是什么方向。两者并不等价：物体在图像左边，不能说明它自身朝左；人物的头朝向也不能只由其所在图像位置决定。分别测量有助于发现模型究竟是位置判断困难，还是朝向判断困难。

人物侧包含 Per-Obj. Ori.、Per-Rel. Dir. 与 Per-Sce. Sim.。Per-Obj. Ori. 以人物身体朝向为参考，判断头部所指方向；Per-Rel. Dir. 采用图中某人的视角判断其他人或物体的位置；Per-Sce. Sim. 则让模型想象站在物体一处、面向物体二，再判断物体三的方位。最后一种任务把“观察位置”和“面朝方向”分开指定，避免把采用他人视角简化成交换左右标签。

这些任务共有 18 种方向标签，但这是五类任务的并集，不是每题都有 18 个选项。相机与人物任务分别占基准的 48.4% 和 51.6%，使两类观察框架都有充分覆盖；不过它们包含不同任务组合，这一比例接近并不意味着可以把两个聚合准确率的差异全部归因于参照系本身。

2. 几何与人体标注：让方向标签有可追溯的视觉依据

ScanNet 路径服务于 Cam-Rel. Dir. 和 Per-Sce. Sim.。作者先获取场景体素，用最大覆盖采样选择帧：每一步优先选取能增加最多未覆盖体素的帧，在帧预算或停止条件内扩展覆盖。相比重复抽取同一位置的相邻帧，这样能减少冗余，并为后续问题保留更丰富的空间布局。每帧元数据记录可见物体、可见率以及相机坐标系下的三维坐标。

相机相对方向由物体坐标和相机参数计算。场景模拟则先挑选场景中只出现一次的对象，组成三个对象的组合，并寻找同时包含它们的帧；以第一个对象为观察位置、朝向第二个对象，再计算第三个对象相对于这个模拟视角的方向。对象唯一性和共同可见性并非装饰性筛选：若场景里有多个同名椅子，或目标不可见，错误就可能来自指代歧义而不是空间推理。

MS-COCO 路径负责两类人物朝向任务以及人物相对方向。作者首先过滤出主体面积至少占图像 20% 的样本，再用人物框裁剪主体，并利用肩部关键点区分头部与身体区域。Orient-Anything-Large 分别估计两个区域的方位角；对于人物参照系的朝向任务，关键量不是头的绝对朝向，而是头相对于身体转了多少。

原文算法 2 使用下面的环绕角差，避免角度越过整周边界时产生错误的大偏差：

\[ \Delta=(az_{\mathrm{head}}-az_{\mathrm{body}}+540)\bmod 360-180. \]

再根据角差阈值分为左、左前、前、右前、右等方向。肩部不可见的样本会被剔除；相机朝向任务比较头部和身体方向估计的置信度，选择较可信的计算结果。作者还要求视线方向与头朝向基本一致，因此这里的“视线”并不是精细眼动估计。复杂多人场景使用人工标注，Per-Rel. Dir. 的 864 个实例也由人工完成，不能把整套数据描述成完全自动生成。

3. 方向离散化与质量控制：减少选项歧义而不掩盖标注假设

原始坐标或角度不能直接作为统一的语言答案，因此作者按角度区间映射为标准方向，例如 22.5° 至 67.5° 对应右前方，67.5° 至 112.5° 对应右方。对于三对象问题，先确定“站在哪里”和“面向哪里”，再计算目标物体的方向；因此同一目标在相机与模拟观察者参照系中可以有不同答案，答案必须跟随题目的参照系。

候选项也经过约束：若正确答案是单方向“前”，干扰项排除含“前”的复合方向；若正确答案是“左前”，干扰项排除其组成方向“左”和“前”。这样能避免同一道题中出现粒度不同但都可能被认为成立的描述。代价是选择题结构本身可能给模型提供提示，所以作者随后比较选择题与直接回答两种训练格式，而不是仅用选择题高分宣称空间推理已解决。

过滤同时处理几何无效和视觉不可判定两类问题：去除错误或过大的朝向角、距离太近的对象、模糊图像、难以识别的主体，以及头朝向与视线明显不一致的样本。自动处理后再人工检查目标可见性和方位标签。最终表 1 给出 5,712 个样本、1,338 个场景；这些数字比摘要中的约数更适合用来描述基准规模。

4. 视角混合监督：用同一任务语言训练可迁移的空间判断

作者从 ScanNet 与 MS-COCO 的训练集生成约 43K 条训练样本，覆盖全部五类任务。人物相对方向难以稳定自动标注，因此这一训练部分补充 Spatial-MM 数据。问答采用一致的自然语言模板，答案是标准方向分类，并在批次中混合相机和人物视角，让模型不能始终沿用相机参照系回答所有问题。

MVSM 是这些现有 VLM 接受空间监督后的名称，而不是一个独立的新架构。主实验使用 Qwen2.5-VL-3B，并在 Qwen2.5-VL-7B 和 InternVL2.5-2B 上检验同类训练收益。基准主要来自来源数据的验证集，训练来自训练集；这是来源划分层面的隔离，但相同数据域、任务模板与标注规则仍可能产生较强的分布匹配，因此还需要独立迁移测试。

损失函数 / 训练策略¶

正文描述的是监督微调，没有提出新的损失项；本文不自行补写专用优化目标或代码。选择题训练与直接回答训练使用同一批空间数据作格式对照，后者不依赖候选答案列表来表达训练目标。

论文将详细训练与评测设置指向附录 C.1、C.2，但当前官方 PDF 全文缓存只包含正文与参考文献，没有这些附录。因此学习率、训练轮数、有效批大小、冻结策略和推理解码参数无法从本缓存核验，不能把通常使用的 SFT 默认值写成本文设置。

实验关键数据¶

主实验¶

评测指标为准确率。下表摘自原文表 2，数值单位均为 %；Cam 表示相机参照系，Per 表示人物参照系，Rel. Dir. 为相对方向，Obj. Ori. 为人物朝向，Sce. Sim. 为场景模拟。

模型	Cam-Rel. Dir.	Cam-Obj. Ori.	Per-Obj. Ori.	Per-Rel. Dir.	Per-Sce. Sim.	Overall
GPT-4o	41.46	19.58	42.97	40.86	26.79	34.98
Doubao-Seed-2.0	65.60	44.78	47.19	72.09	33.57	53.52
Qwen3.5-Plus (397B)	62.21	38.65	50.20	68.17	38.37	52.28
Qwen2.5-VL (3B)	43.43	33.33	39.16	28.62	28.51	35.85
Qwen2.5-VL (3B) + SFT / MVSM	83.59	87.65	90.16	71.14	75.75	82.09

MVSM 的 Overall 提升为 46.24 个百分点；Cam-Obj. Ori. 提升 54.32 个百分点，是五个子任务中最大的增幅。Overall 直接引用原表，不能简单平均五个子任务列重新计算。表 2 虽标为零样本结果，但 MVSM 接受过同任务类型的专门监督，不能把它与通用模型的比较解读为训练资源严格相同的能力排名。

消融实验¶

原文没有逐个移除标注组件的消融，表 3 提供的是回答格式和骨干分析。以下提升均为准确率百分点，训练格式对照不等于已经穷尽所有捷径学习可能。

配置（原文表 3）	原始准确率	微调后准确率	提升
Qwen2.5-VL (3B)，选择题 MC	35.85	82.09	46.24
Qwen2.5-VL (3B)，直接回答 DA	35.85	79.34	43.49
Qwen2.5-VL (7B)	36.85	83.01	46.16
InternVL2.5 (2B)	34.98	76.45	41.47

直接回答比选择题低 2.75 个百分点，但仍大幅超过原模型，这削弱了“收益完全来自选项结构”的解释。多个骨干均获益则说明现象不局限于 Qwen2.5-VL-3B，尚不能据此断言所有模型架构都会同幅度改善。

另一个必要检查是换任务或换场景后的表现。下表摘自原文表 4，保留任务分项而不混用聚合口径；VSI-Bench 只评测其中两个空间子任务，不代表整个基准的总成绩。

迁移评测（原文表 4）	Qwen2.5-VL (3B)	MVSM	提升（百分点）
VSI-Bench 相对方向	46.00	46.93	0.93
VSI-Bench 路径规划	21.90	31.44	9.54
VSI-App 室内	18.00	41.00	23.00
VSI-App 室外	27.00	36.00	9.00
VSI-App 平均	22.50	38.50	16.00

关键发现¶

路径规划没有对应的显式训练监督，却提高 9.54 个百分点，支持一定程度的跨任务迁移；相对方向只提高 0.93 个百分点，说明迁移收益并不均匀。
VSI-App 只有 50 个场景，室内外各 25 个。表 4 的室内与室外增幅是 23.00 和 9.00 个百分点，但正文另一处写成 20.00 和 4.00，存在内部不一致；本笔记以表 4 的可直接相减数值为准。
相机与人物的总体差距应结合任务组成解释。个别模型并不遵循“相机一定更容易”的模式，不能把平均趋势改写为所有模型的定律。

亮点与洞察¶

把参照系纳入监督内容：问题不仅要求识别对象，还明确指定空间判断的主体。这种设计有助于暴露“物体认对了，但用了错误视角”的失败。
几何标注与人工核验分工明确：可由三维坐标可靠计算的关系自动处理，复杂人物关系保留人工标注。可扩展性并不意味着必须舍弃不适合自动化的高价值样本。
用格式与迁移分析约束结论：直接回答和路径规划结果分别检查候选项依赖与任务迁移。它们提供比单一基准高分更丰富的证据，但仍不足以证明通用三维空间表征。

局限与展望¶

复现信息缺口：缓存缺少正文引用的附录，无法核验训练超参数、详细评测协议和人工标注一致性；正文中的应用增幅也有数值冲突。
标签依赖估计器与筛选假设：头身朝向来自 Orient-Anything-Large，视线还被近似为头朝向。经过清晰可见性筛选的题目，未必代表遮挡严重或眼头方向不一致的真实交互。
控制实验仍不充分：训练与基准使用相同来源域和构造范式；格式对照只能反驳一种捷径解释。更严格的场景、模板、方向组合隔离，以及去图像对照，能进一步区分空间学习与统计模式拟合。
应用证据较小：50 个场景的 VSI-App 与部分 VSI-Bench 子任务不能替代真实机器人闭环测试。可进一步测试连续方向、定位误差、动态遮挡和执行成功率。

评分¶

新颖性: 4/5。贡献在多参照系任务组织和可训练的数据构建，非全新模型结构。
实验充分度: 4/5。模型覆盖、格式对照与迁移测试较完整，但缺少组件级消融及更大规模应用验证。
写作质量: 3/5。任务划分清楚，但百分比措辞、应用增幅与附录可得性影响精确复核。
价值: 4/5。适合作为空间视角转换诊断和定向监督数据设计的参考。