Towards Spatial Supersensing in the Wild¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 空间超感知、长视频理解、世界状态、跨视角记忆、持续计数

一句话总结¶

VSI-Super-Wild 用 442 段真实长视频和 6,980 组人工核验问答，从观察者、物体、环境三个参照中心测试多模态模型的持续世界状态建模，最佳模型 Gemini-3.1-Pro 的总体得分也只有 44.36。

研究背景与动机¶

视频模型能说出“这是街道”“有人在走路”，不代表它记住了自己往哪里移动、某个地点何时经过，以及同一物体有没有被重复看见。这些问题依赖随时间更新的内部状态，而非单帧分类或一段看似合理的语言解释。人的空间记忆把自身运动、外部物体与环境布局联系起来，才能在观察结束之后重新查询过去的经历。多模态大语言模型（MLLM）在一般视频问答上的进步，却可能来自稀疏关键帧、局部匹配和文本先验，未必意味着建立了这样的记忆。

Cambrian-S 提出的 VSI-Super 已把评测推进到空间超感知，即从持续视觉经验中构建、更新并利用隐式三维世界模型。但原基准主要围绕家庭环境中的物体回忆和计数，长视频由短片拼接而成，还包含生成式画面编辑。因此，它较少检验真实连续观察中的场景多样性，也没有充分覆盖观察者自身状态和环境地点状态。本文关心的不是让问答题单纯变长，而是让模型必须在真实时间连续性下保留可查询的空间关系。

作者于是选择自然采集的全景长视频，用不同朝向的视角构造运动、地点和物体相关问题。全景源使同一地点可以换一个观察朝向呈现，从而削弱直接寻找相同画面的解题方式。首次与末次出现的区分，以及唯一实例计数，则要求模型处理后来出现的证据，而不能只保存最初印象。 核心 idea：用真实连续视频与观察者、物体、环境三类参照中心共同约束问答，让“看懂画面”与“持续维护世界状态”在评测中分离。

方法详解¶

整体框架¶

本文交付的是数据集、任务协议和诊断分析，不是一个新的视频网络，也没有提出新的训练损失。构建侧从全景视频出发，生成透视视角、物体时间元数据和相机空间元数据，再按规则形成可人工核验的问答。评测侧给待测模型视频观察与任务问题，要求输出四选一答案或者整数计数。重要的边界是：检测器、分割器与位姿估计器用于制作标注，不是作者给所有被测模型安装的推理模块。模型得分来自其自身的视频理解能力，不能把标注工具的几何信息当作模型已经获得的输入。以下按数据来源、任务所需状态、标注过程与评分协议展开；这是基准设计，因此不把它画成训练网络结构图。

关键设计¶

1. 真实连续观察：用全景源扩展场景与朝向

作者从 YouTube 收集全景视频，覆盖文化娱乐、工业、医疗、办公教育、居住、零售、街景和交通枢纽 8 类场景。人工筛选主要保留第一人称、动态的录制内容，而不是以静止画面或明显低质量内容填充时长。其区别于 VSI-Super 的关键在于保留自然发生的观察顺序，不通过随机拼接短片制造长序列，也不依赖生成式插入物体。这样，后来再次看到一个物体或地点才具有真实的时间与空间含义，而非剪辑带来的假连续性。

全景图像原本采用等距柱状投影存储，构建时被投影到前、后、左、右四个正交透视方向。这些透视视频作为后续处理的独立输入，所以正文中的 442 段视频是视角级视频，不能直接理解为 442 次独立采集行程。前后方向尤其重要：同一个人向前走，后视相机观察到的运动相对观看方向却可能是向后。这让“街景步行通常就是向前”之类语言先验不再可靠。全景源也支持以真实、无生成式编辑的方式改变查询地点的偏航角，而不改变地点身份。这里的“未经编辑”强调自然内容与连续性，并不表示视频完全没有经过投影或采样预处理。

2. 三类参照中心：分别追问运动、地点与物体状态

VMR（运动方向回忆）用一张指定时刻的查询帧，要求模型回忆该时刻相对于观看朝向的运动方向。它不是问相机看向哪里，而是问运动与视线的相对关系；静态道路图像通常不能独自提供答案。模型需要把查询画面与先前视频中的相邻时间证据联系起来，区分前进、后退和侧向移动。这项任务主要探查观察者状态，避免把识别场景等同于推断自运动。

VPO（地点时间排序）给出 4 张来自不同时间、代表不同地点的查询帧，要求按访问先后排序。查询帧经过不同偏航旋转，同一地点在查询中可能朝向视频里未直接匹配的方向。因此，模型应保留对朝向相对不敏感的地点表示，再把地点映射回经历中的时间位置。这一设计削弱逐像素或近似画面匹配，但不能据此声称所有视觉或语义捷径都被彻底排除。

VOO（物体时间排序）给出一组物体概念，并指定按首次出现或末次出现进行排序。首次任务强调记录最早证据，末次任务则要求在物体再次出现时更新已有记录。数据包含 1,675 道首次出现题和 1,675 道末次出现题，共 3,350 道。两类题的对照比单独询问“有没有出现过”更能暴露状态写入之后是否还会被更新。

VOC（持续物体计数）查询某个物体类别，要求返回视频中观察到的唯一实例数量。它不是累计每帧检测框，也不是只统计某一时刻同时可见的目标数。相机绕行或物体重复进入视野时，模型应维持身份一致性，避免把再次观察算成新的实例。因此，该任务同时依赖物体识别、观察者移动与环境中的跨视角关联，连接了三个参照中心。四项任务共同扩大状态覆盖，但成功答题仍只是世界建模能力的行为证据，不是对内部三维表示的直接测量。

3. 双类元数据与人工回查：让答案由视频证据落地

时间元数据首先由人工专家和一个 MLLM 提出视频相关候选物体，再通过 YOLO-World 的出现统计筛选候选。保留下来的物体交给 Segment Anything 3（SAM3），生成带时间戳的实例掩码。这一中间表示把物体的可见时间与实例区域联系起来，为首次、末次出现和计数题提供依据。自然视频中的遮挡、模糊和重复观察仍会造成错误，因此自动标注不是最终真值的充分保证。

空间元数据由 Depth Anything 3（DA3）估计随时间变化的相机位姿，用于支撑运动与空间相关问题的制作。随后，规则式问答生成器把时间和空间信息转成四选一或数值题，答案不是由待测模型自由编写。最终人工核验问答正确性，发现问题时回退修改元数据或问题本身。论文还表示控制了答案分布，以降低统计性选项捷径，但正文未完整展开筛选阈值和核验一致性细节。因此，这是一条人机协作的数据生产流程，不应简写成“用大模型自动生成全部标准答案”。

4. 固定观察预算与排列诊断：区分内容错误和选项偏好

默认评测把每段视频均匀采样为 128 帧，分辨率为 1080P，然后由模型回答相应问题。表 1 带星号的设置使用流式输入，不能与固定帧设置视为完全相同的观察条件。本文没有在该基准上训练一个新方法；这里的主要比较对象是既有模型在指定输入协议下的表现。 VMR、VPO、VOO 都是四选一，以准确率计分，随机猜测的期望准确率为 25%。 VOC 直接输出整数，使用平均相对准确率（MRA），不能套用四选一的随机基线。

按正文第 10 页对真实计数、预测计数与比例误差的定义，MRA 写为：

\[ \mathrm{MRA}=\frac{1}{N}\sum_{i=1}^{N}\left(1-\frac{|\hat{y}_i-y_i|}{\max(y_i,1)}\right). \]

其中 \(y_i\) 是真实计数，\(\hat{y}_i\) 是预测计数，表格以百分数报告该均值。精确计数对应 1，误差按真实数量归一化；正文公式没有给出将负值截断到 0 的操作。该公式在文本提取中排版错位，这里依照正文语义排版恢复，没有额外加入截断或其他修正。 Overall 是跨任务的题目级聚合分数，而不是四个任务得分的简单等权平均，也不是统一含义的分类准确率。由于任务题量不同，VOO 的 3,350 道题会比 VMR 的 1,215 道题占更大权重。

作者还用 Shuffle24 检查四选一问题的全部 24 种选项排列，观察等价问题是否仅因答案位置变化就改变预测。文中 Top-K 指前 K 次尝试中至少答对一次的问题比例；Pass@K 指全部 24 次中至少答对 K 次的问题比例。后者是本文特定定义，不应与常见代码生成评测中“抽 K 次至少成功一次”的 pass@k 混淆。选项顺序偏差用不同排列下准确率的标准差度量，同时报告最好与最差排列的差距。这组分析用于揭示位置敏感性，不能据此假定表 1 的所有分数都已经经过 Shuffle24 聚合。

实验关键数据¶

主实验¶

下表摘录原文表 1（第 9 页），均为默认 128 帧输入的非星号设置。 VMR、VPO、VOO 为准确率（%），VOC 为 MRA（%）；数值为均值 \(\pm\) 均值标准误（SEM）。

模型	VMR	VPO	VOO	VOC	Overall
Gemini-3.1-Pro	\(34.21\pm2.26\)	\(63.84\pm4.46\)	\(42.54\pm1.35\)	\(38.16\pm5.13\)	\(44.36\pm1.39\)
GPT-5.4	\(37.76\pm3.02\)	\(24.87\pm2.63\)	\(37.62\pm3.13\)	\(32.94\pm1.11\)	\(34.52\pm1.68\)
Cambrian-S-7B	\(26.91\pm1.27\)	\(25.58\pm1.21\)	\(40.36\pm0.85\)	\(33.81\pm0.97\)	\(34.22\pm0.54\)
Cambrian-S-7B-LFP	\(26.58\pm1.27\)	\(26.11\pm1.22\)	\(40.27\pm0.85\)	\(28.36\pm0.94\)	\(33.35\pm0.54\)
InternVL3.5-8B	\(27.90\pm1.29\)	\(24.65\pm1.19\)	\(35.13\pm0.82\)	\(36.74\pm0.96\)	\(32.18\pm0.53\)
Qwen3.5-9B	\(25.68\pm1.25\)	\(25.19\pm1.20\)	\(41.25\pm0.85\)	\(30.76\pm0.95\)	\(33.87\pm0.54\)

Gemini-3.1-Pro 的总体领先主要伴随突出的 VPO 表现：63.84%，而不是所有任务都接近相同水平。 Cambrian-S-7B 的 VOO 为 40.36%，但 VMR 和 VPO 仅为 26.91% 与 25.58%，说明物体题成绩不能代表完整空间能力。这些数字支持“部分模型接近随机水平”，不支持“所有模型、所有空间任务都接近随机”的概括。

消融实验¶

本文没有新网络的模块移除消融；下表是原文表 2（第 10 页）的时长分组分析，使用题目级 Overall 分数。时长不同意味着题目和视频集合也不同，因此这是分组比较，不是同一段视频逐步加长的控制实验。

模型 / 时长（分钟）	0–10	10–30	30–60	60–120	120+
Gemini-3.1-Pro	51.9	42.6	40.1	46.9	41.2
Cambrian-S-7B	38.5	34.9	31.5	31.3	28.9
Cambrian-S-7B-LFP	39.4	32.7	30.0	32.2	29.7
InternVL3.5-8B	37.5	32.8	28.2	30.5	28.2
Qwen3.5-9B	40.1	35.5	29.4	29.3	26.0

Cambrian-S-7B 从 38.5 降至 28.9，短视频与 120+ 分钟组相差 9.6 分；并非所有模型都随时长严格单调下降。原表还报告 Average 行从 35.0 降至 26.3，但正文将其称为开源平均，平均所涵盖的行需要进一步确认，因此这里不据此重算模型群体统计。

关键发现¶

原文图 6（第 13 页）中，Cambrian-S-7B 的首次出现排序为 50.7%，末次为 30.0%，相差 20.7 个百分点，符合“能记录、难更新”的诊断。
同图的地点旋转实验中，该模型从 26.2% 降至 25.6%；差距较小且接近随机水平，缺少配套不确定性时不宜夸大其显著性。
图 5（第 12 页）的后视街景例子显示，模型会把“步行游览”的语义直接替换成前进判断，而忽略画面中的相对运动。
图 7（第 14 页）支持更高的选项顺序敏感性，但缓存未提供可可靠读取的曲线数值，这里只保留定性结论。

亮点与洞察¶

三类参照中心将空间能力拆成可检查的行为要求。模型会记物体，不意味着它理解自己如何运动或不同朝向下的地点身份。
首次与末次出现共享物体概念，却要求不同的记忆操作。该对照能把初次记录能力与后续覆盖更新能力分开讨论。
全景数据不仅增加视野，也提供对照条件。改变朝向但保留地点，能比一般长视频问答更直接地检验视角依赖。
人工回查覆盖元数据与最终问答，而不是只润色问题文本。这种回退机制是将自动视觉工具用于高难度标注的可复用做法。

局限与展望¶

作者识别出空间坍缩、语义捷径、更新不足与实例混淆四类失败，但这些行为诊断并不唯一确定模型内部的失败机制。
读者判断：固定 128 帧使长视频的时间采样更稀疏，性能下降同时可能来自证据缺失与记忆困难，不能全部归因于状态更新失败。
读者判断：未来应同时控制采样密度、时长和任务组成，并比较流式与离线设置，才更容易分离观察预算和模型记忆的影响。
原文统计不一致：第 9 页正文平均时长为 38.62 分钟，图 4 标为 41.3 分钟；正文总时长为 284.52 小时，笔记不将冲突数字自行统一。
模型数量口径也不一致：正文称评测 13 个模型，表 1 实际列出 14 个设置，其中包含同一模型的流式与非流式版本。
图 6 的 GPT-5.4 首次/末次得分为 31.3%/22.1%，与表 1 的 VOO 37.62% 不能直接对齐；正文未充分解释是否使用不同子集或协议。
自动标注工具和人工核验的误差仍值得审计；仅有“人工核验”表述不足以替代一致性统计和困难样例复核。

评分¶

新颖性: 4/5。三类参照中心与自然全景长视频结合具有明确价值，但延续了已有空间超感知框架。
实验充分度: 3/5。覆盖多模型、时长与选项排列诊断，仍受输入预算混杂和统计口径不一致限制。
写作质量: 3/5。任务动机清楚，模型数、平均时长及部分分项结果需要更严谨地统一说明。
价值: 4/5。适合作为空间视频模型的压力测试，并提醒研究者区分语义识别、身份保持与状态更新。