Make Geometry Matter for Spatial Reasoning¶

会议: ECCV2026
论文: ECCV 原文
项目: GeoSR
作者: Shihua Zhang, Qiuhong Shen, Shizun Wang, Tianbo Pan, Xinchao Wang
领域: VLM 空间推理
关键词: 几何先验、视觉 token 遮蔽、门控融合、动态空间推理

一句话总结¶

GeoSR 通过训练时削弱二维外观捷径、融合时逐 token 逐通道分配几何贡献，让已有几何分支真正参与空间问答，在 VSI-Bench 和 DSR-Bench 上分别取得 51.9 和 66.1 的官方平均分。

研究背景与动机¶

视觉语言模型（VLM）可以识别画面中的车辆，却未必能判断相机运动后车辆相对另一个物体的方向如何变化。静态空间推理也不等于只看一张照片：场景可以保持刚性，但视频中的视角、可见区域和遮挡仍在变化。动态空间推理进一步允许物体运动，因此距离、朝向、速度及其时间变化都需要跨帧证据。这类问题的困难不是缺少物体名称，而是语义相近的画面可能对应不同的三维关系。早期方法借助深度、点云或显式重建提供空间信息，但额外传感器和多阶段处理会限制单目视频中的适用性。

近期方法转而从预训练三维模型提取隐式几何 token，再把它们加入普通视觉 token。 VG-LLM 代表静态场景中的几何注入思路，GSM 则针对动态视频检索问题相关的几何证据。然而，增加一条信息通路并不保证下游模型会使用它：预训练 VLM 仍可能靠熟悉的二维外观完成训练问答。本文的反常观察是，朴素融合后的模型对几何分支并不敏感，动态设置下移除几何甚至略有改善。因此，问题不仅在于几何特征是否足够好，还在于训练目标能否让模型形成使用这些特征的习惯。

GeoSR 保留已有视觉、文本和几何编码器，将修改集中在训练输入与特征融合两个位置。训练时遮掉部分外观证据，迫使模型寻找替代依据；融合时允许不同位置和通道采用不同的几何权重。前者解决“可以一直不看几何”，后者解决“即使看几何，也不该在所有位置等量混合”。这不是单纯增加模型规模，也不是要求推理时主动破坏输入，而是用训练干预改变完整输入下的信息利用方式。 核心 idea：用视觉 token 遮蔽打破外观捷径，再用几何引导门控融合将几何证据按需送入 VLM，而不是把几何 token 的存在误当成几何推理能力。

方法详解¶

整体框架¶

输入是图像序列或视频帧与文本问题，输出是数值或选项形式的空间问答结果。视觉编码器提取外观 token，几何编码器从同一组帧提取隐式三维特征，文本分支编码问题。静态配置使用 Qwen2.5-VL-7B 与 VGGT，动态配置使用相同 VLM 与 π3。这些是两套任务配置，不是一个推理过程中同时调用两个几何模型。静态分支将几何特征整理、投影到视觉 token 的空间分辨率与通道维度。动态分支先通过问题条件化的 QFormer 提取紧凑几何证据，再将其用于遮蔽位置选择和局部融合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["视频帧 + 文本问题"] --> Encoders["冻结编码器<br/>视觉、文本、几何"]
        Encoders --> Mask["几何释放遮蔽<br/>静态随机 / 动态 TopK"]
        Encoders -->|几何特征与问题| Fusion["几何引导融合<br/>动态检索回填 + 门控"]
        Mask -->|训练时部分置零<br/>推理时完整视觉| Fusion
        Fusion --> Output["VLM 空间问答<br/>动态另附紧凑几何证据"]

图中的几何释放遮蔽只改变训练时送往融合模块的视觉特征，不删除几何分支的输入。几何引导融合在训练和推理时都存在，动态模式最终还将紧凑几何证据附加到融合 token 后。因此，方法同时保留局部位置相关证据与经过问题筛选的全局几何摘要。几何摘要不是额外生成的自然语言思维链，模型仍直接根据融合表征回答问题。

关键设计¶

1. 几何释放遮蔽：让外观捷径在训练中不再总是可用

遮蔽作用于视觉 token 的特征值，而不是要求模型重建像素，也不是删减几何 token。当一次训练输入启用遮蔽时，选中位置的视觉特征被置零，其余位置保持可见。启用概率为 \(\beta\)，启用后的遮蔽比例为 \(\gamma\)，两者分别控制遮蔽发生的频率与强度。论文默认设置为 \(\beta=0.5\)、\(\gamma=0.8\)，不能将其理解成每个输入始终损失 80% 的视觉信息。静态任务在视觉网格上均匀随机选择位置，几何分支仍可以为被遮位置提供结构信息。这种设置保留了无遮挡训练样本，使模型不必完全放弃外观语义，也能学习在外观缺失时使用几何。

动态任务的关键区别是遮哪些位置与问题有关。长度为 \(L_B=32\) 的可学习瓶颈 token 先以文本 token 为键和值进行交叉注意力，得到问题条件化表示。该表示再查询经过通道投影的几何 token，产生紧凑几何证据 \(Z_G\) 及交叉注意力权重。对每个几何位置，论文将权重在所有注意力头和瓶颈 token 上取平均，再做带稳定项的最小值到最大值归一化。这个分数衡量位置对当前问题的注意力相关性，不是有人工标注监督的几何置信度。随后选出分数最高的 TopK 位置，遮住对应二维视觉 token，迫使模型从几何通路取回问题所需的信息。这里刻意遮的是相关位置，而非保留最相关视觉区域；它的目的不是普通显著区域筛选。

设 \(N\) 为当前用于选择遮蔽位置的 token 网格大小，式（7）、（10）的数量关系可写为：

\[ K=\lceil\gamma N\rceil. \]

当几何和视觉网格不同，先通过空间插值及投影将几何表示对齐到视觉分辨率，再计算对应相关性。否则，几何网格中的一个高分位置未必对应视觉特征中的同一个位置，TopK 遮蔽会偏离预期目标。这也说明该方法依赖的是对齐后的几何表示，不是将一个低分辨率掩码不加处理地套到另一条分支上。推理时关闭遮蔽，输入全部视觉 token；相关几何检索仍用于动态融合，不再用于破坏视觉输入。

2. 几何引导融合：在位置与通道上控制几何贡献

只做遮蔽仍不足够，因为简单相加或追加 token 仍可能让 VLM 忽略新通路。静态模式先把几何 token 整理和投影为与视觉特征逐位置对应的表示，再进行门控融合。动态模式额外需要把紧凑摘要 \(Z_G\) 还原成可逐位置融合的证据，因此引入第三次交叉注意力。此次查询来自已对齐的完整几何网格，键和值来自 \(Z_G\)，输出保留完整网格的 token 数量。它不是显式重建三维场景，而是让每个位置从问题相关几何摘要中读取适合自己的信息。紧凑检索因此负责筛出问题相关动态，回填检索则负责将其分配回局部位置。

门控之前，视觉和几何分支分别进行 LayerNorm，以免两路特征尺度直接支配权重学习。归一化后的两路特征按通道拼接，经过可学习线性映射和 sigmoid，生成逐 token、逐通道的门控权重。门控不是每段视频只有一个标量，也不是统一保留固定比例的几何特征。对应位置的两路特征按互补权重混合，使同一位置的部分通道保留外观语义，另一些通道更多采用几何信息。动态模式在局部融合后仍追加 \(Z_G\)，避免位置级回填成为压缩几何证据的唯一出口。静态模式则直接将融合 token 与文本 token 送入 VLM，不需要这条动态摘要追加路径。缓存中的式（12）至（15）存在排版提取损坏，因此这里依据正文解释门控，不将缺失符号猜补成作者的精确公式。

一个完整示例¶

原文图 2 的问题询问：在 2s 到 4s 之间，从相机视角看，相机相对指定车辆的方向如何变化。车辆由边界框标识，答案需要依据时间区间内的空间关系，而不只是识别“这是汽车”。动态几何分支先处理视频帧，问题条件化瓶颈再从几何特征中检索与该车辆、时间和方向有关的证据。训练时若启用遮蔽，相关性较高位置的二维特征被置零，几何证据本身仍然可用。回填检索把问题相关几何摘要分配回位置，门控将这些证据与仍可见的视觉语义混合。 VLM 接收融合 token、紧凑几何摘要与文本，输出方向选项；原图示意答案为 Behind。推理时同一流程保留全部视觉特征，不需要故意遮掉车辆才作答。这个例子解释数据流，并不声称论文提供了该样本每个 token 的实际门控值或注意力分数。

损失函数 / 训练策略¶

论文将训练描述为空间问答微调，没有给出新的独立几何重建损失或强化学习奖励。因此，不应将遮蔽误解成 MAE 式像素重建目标；它是在问答训练中干预可用证据。视觉、文本及几何 tokenizer 保持冻结，训练融合模块并微调 VLM 主干。静态配置沿用 VG-LLM 的 SPAR-7M 与 LLaVA-Hound 数据划分，训练 1 epoch，Adam，batch size 为 64。静态学习率为 \(1\times10^{-5}\)，预热 150 步后余弦衰减到 0。动态配置使用 DSR-Train 官方协议，训练 1 epoch，Adam，batch size 为 32。动态学习率为 \(2\times10^{-7}\)，线性预热 50 步；主文未进一步给出与静态相同的完整衰减描述。两套配置均使用 4 张 141GB H200，静态训练约 14 小时，动态训练约 20 小时。前者采用 DeepSpeed ZeRO-2，后者采用 ZeRO-3 Offload；这些训练成本不能与单卡推理延迟混为一谈。

实验关键数据¶

主实验¶

下表摘自原文表 1（第 11 页）与表 2（第 12 页），仅列各自基准的官方 Avg.。 VSI-Bench 包含来自 288 段视频的超过 5k 个问答：选择题使用准确率，数值题使用多个相对误差容限下的平均相对准确率。 DSR-Bench 包含来自 575 段视频的 1484 个问答，按官方协议报告各类准确率与总平均；两个基准的平均分不是同一种任务难度。

模型	VSI-Bench Avg.，表 1	DSR-Bench Avg.，表 2
Qwen2.5-VL-7B	33.0	23.5
VG-LLM	50.7	38.4
GSM	未列出	58.9
GeoSR	51.9	66.1

相对主表 VG-LLM，静态平均分提高 1.2 分；相对主表 GSM，动态平均分提高 7.2 分。这两项是模型级主表比较，不应声称所有差值都只来自某一个模块。静态结果也并非每类都提升，例如物体尺寸由 VG-LLM 的 58.6 变为 GeoSR 的 57.4。

消融实验¶

下表对应表 3、表 4（均为第 13 页），在训练时改变组件；所有数值均为对应基准 Avg.。 “原始融合”指该任务配置原有的朴素几何融合方式；无几何且有遮蔽的配置用于区分几何使用与普通正则化效果。

配置	视觉遮蔽	几何融合	静态 Avg.	动态 Avg.
(a) 完整 GeoSR	有	门控	51.9	66.1
(b) 替换融合	有	原始融合	50.0	64.7
(c) 仅遮蔽	有	无几何	49.6	58.1
(d) 仅门控融合	无	门控	50.9	64.9
(e) 朴素几何基线	无	原始融合	50.2	62.8
(f) 无几何基线	无	无几何	49.8	64.0

保留门控而去掉遮蔽，静态和动态分别下降 1.0、1.2 分；在遮蔽下改用原始融合则分别下降 1.9、1.4 分。无几何时添加遮蔽，动态分数从 64.0 降至 58.1，说明遮蔽本身并不是普遍有益的增强。作者训练得到的动态朴素几何基线是 62.8，不是主表中 GSM 的 58.9；受控组件对照应使用前者。

下表摘自表 5（第 14 页）：模型训练完成后才移除或置零几何，所有配置的推理时视觉遮蔽均关闭。

模型与设置	完整输入	移除几何	几何置零
静态朴素几何基线	50.2	49.9	49.7
静态 GeoSR	51.9	49.2	49.6
动态朴素几何基线	62.8	63.1	63.0
动态 GeoSR	66.1	63.2	65.0

关键发现¶

动态 GeoSR 移除几何下降 2.9 分，朴素基线反而上升 0.3 分，支持“模型对几何的依赖方式发生变化”。
表 6（第 15 页）中，固定另一参数时，遮蔽启用概率从 0.5 增至 0.7，动态平均分从 66.1 降至 64.5，说明更强遮蔽并非总是更好。
表 7（第 15 页）在单张 H200 上报告朴素几何基线与 GeoSR 的时间为 0.40s、0.41s，峰值显存为 18.81GB、18.95GB；这是该评测设置下的开销，不是通用实时性保证。

亮点与洞察¶

论文把“额外模态是否被使用”变成可干预检验的问题。移除或置零几何，比只报告加入几何后的总分更接近信息利用机制。
遮蔽位置由几何相关性引导，针对的是可替代几何证据的外观捷径。它不是无差别增加噪声，也不是要求几何在任何问题上都压倒语义。
动态摘要先压缩再回填，将问题条件化与位置级融合连接起来。可迁移的思路是同时设计检索瓶颈和局部证据出口，而不是仅追加一段特征。

局限与展望¶

本笔记的评估：主实验覆盖一个静态和一个动态空间基准，尚不足以证明在开放世界视频、长时程任务或机器人控制中的普适收益。
本笔记的评估：几何分支来自冻结预训练模型，正文没有系统量化其几何失真、遮挡失败或分布外运动如何影响门控可靠性。
本笔记的评估：移除几何造成性能下降表明依赖存在，但不能单独证明依赖的是正确三维关系，而非特征分布变化；受控几何扰动会是更强的补充实验。
来源边界：提供的缓存包含主文与参考文献，未包含正文提到的附录，也未见独立局限章节；不将以上阅读者判断冒充作者自述。
提取边界：部分公式符号损坏，本文保留正文可核对的机制和数值，不补造精确门控方向、未给出的损失项或额外实验结论。

评分¶

新颖性: 4/5。组件本身简洁，价值在于针对几何被忽略的失败模式构成完整干预。
实验充分度: 4/5。训练时与推理时消融互补，但跨领域泛化及几何错误鲁棒性证据有限。
写作质量: 4/5。问题与实验相互对应；缓存公式提取损坏限制精确复现，不等于原版排版存在同样问题。
价值: 4/5。为已有几何增强 VLM 提供低增量开销的改进路径，动态任务中的收益尤为明确。