title: >- [论文解读] ConsiSpace：学习几何一致性以增强视频空间推理 description: >- ECCV2026 ConsiSpace 以几何一致记忆压缩冗余视频证据，并用跨视角自监督强化学习稳定空间答案，在 VSI、OSI 与 MMSI-Video 三个基准上显著提升推理性能。 tags: - ECCV2026 - 视觉语言推理 - 视频空间推理 - 几何一致性 - 自监督强化学习 date: 2026-09-16

ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4462
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6027.pdf
领域: 视觉语言推理 / 视频空间推理
关键词: 几何一致记忆、跨视角一致性、分层检索、自监督强化学习、长视频理解

一句话总结¶

ConsiSpace 用相机位姿与深度控制视频证据的写入、融合和检索，再以答案、度量和拓扑三类跨视角一致性奖励做 SFT 后训练，在 VSI-Bench、OSI-Bench 和 MMSI-Video-Bench 上分别达到 76.6、53.0 和最高 58.1 分。

研究背景与动机¶

视频空间推理不仅要认出画面里有什么，还要在相机移动、遮挡和长时间跨度下判断物体方向、距离、大小、场景连通性与接近顺序。通用多模态大模型通常以语义识别为中心；即使引入 DUSt3R、VGGT 一类几何基础模型，常见做法也只是把三维特征作为额外输入或监督信号，并没有回答长视频中的证据应当何时写入、哪些重复观察可以合并、回答问题时该取回哪些视角。

这造成两个相互关联的问题。第一，相邻帧往往只发生很小的位移或转角，把每帧都留在上下文中会增加显存和推理时间，却未必带来新证据。第二，同一静态空间关系本应在不同观察窗口中保持不变，但冗余或视角不匹配的证据会让模型对同一个问题给出不同答案。单纯扩大上下文解决不了证据质量问题，单纯监督正确答案也没有显式约束跨视角稳定性。

ConsiSpace 把静态场景中的几何不变性同时用于证据管理和模型学习：前者依靠位姿、深度与朝向压缩和筛选记忆，后者在 SFT 之后用同一问题的两种观察构造无需额外人工标注的一致性奖励。核心 idea：不把几何仅当作送给模型的附加特征，而是把“跨视角应当一致”变成管理整段视频证据和优化最终答案的共同原则。

方法详解¶

整体框架¶

输入是一段视频 \(V\) 和问题 \(q\)，输出是语言模型生成的答案。冻结的 SigLIP2 从每帧提取语义视觉 token，冻结的 VGGT 提取空间 token、相机位姿和深度图；两类隐式 token 与显式几何线索按时间对齐后进入几何一致记忆（Geometry-Consistent Memory, GCM）。GCM 不保存所有帧，而是根据相机运动决定是否写入，把几何邻近且语义相似的观察融合，并在回答时先检索片段、再筛选帧。

检索到的局部证据还会与全局拓扑、度量摘要 token 一起送入 Qwen3-VL-8B-Instruct。训练分为 SFT 和统一一致性自监督强化学习（UC-SSRL）两段：SFT 先锚定任务正确性，UC-SSRL 再让同一问题在两个时间窗口或检索上下文中的预测保持答案、数值和空间关系一致。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["视频帧 + 问题"] --> Enc["双编码几何证据"]
        Enc --> Memory["几何门控写入与融合"]
        Memory --> Retrieval["分层几何过滤检索"]
        Retrieval --> VLM["Qwen3-VL-8B 生成答案"]
        VLM --> Train["统一跨视角一致性学习"]
        Train --> Output["稳定的空间答案"]

关键设计¶

1. 双编码几何证据：把可回答内容与可验证几何分开保存

仅靠视觉语义 token，模型知道“这是床和电视”，却很难判断两个视角是否描述同一空间位置；仅靠位姿和深度，又不足以回答自然语言问题。ConsiSpace 因此用 SigLIP2 产生视觉语义 token，用 VGGT 产生空间 token、相机位姿 \(T_t\) 与深度图 \(D_t\)。视觉 token 和空间 token 被拼接、投影为固定长度的隐式证据条目，位姿与深度则作为同时间戳的显式几何条目。

这种双记忆并不是两套相互独立的知识库：隐式条目承载“画面中有什么”，供语义检索与语言模型消费；显式条目承载“从哪里、朝哪里看到”，控制后续写入、融合和过滤。把内容与控制信号解耦后，几何误差不会被直接当成语言答案，而能作为证据组织的软约束。

2. 几何门控写入与融合：只在视角真正变化时扩充记忆

对第 \(t\) 帧，系统从相机位姿得到位置 \(p_t\) 和观察方向 \(v_t\)，比较相邻帧的平移量与转角。只有至少一种变化越过阈值时才写入：

\[ \operatorname{write}(t)=\mathbb{I}\left[\lVert p_t-p_{t-1}\rVert_2>\tau_p\ \lor\ \angle(v_t,v_{t-1})>\tau_\theta\right]. \]

默认写入阈值为 \(0.15\) m 和 \(15^\circ\)。这一步直接跳过平滑运动中的重复帧，但“发生移动”仍不等于必须新增条目：系统还会在位置半径 \(r\) 和朝向差 \(\theta\) 限定的几何邻域内搜索已有观察，再从邻域中选择与新证据语义余弦相似度最高的条目进行融合；若邻域为空才追加新条目。默认融合邻域为 \(0.40\) m、\(30^\circ\)，使同一区域的重复观察收敛为紧凑证据，同时保留跨区域或大转角带来的新信息。

3. 分层几何过滤检索：同时保留全局布局与问题相关细节

紧凑记忆仍可能包含与当前问题无关或朝向冲突的条目。ConsiSpace 先按问题与片段键的语义相似度取 top-\(K\) 候选片段，再在候选内部给每帧打分：

\[ s_f(i)=\alpha\cos(q_e,k_i^f)+\beta\cos(Q_{\mathrm{topo}},e_i^{\mathrm{dir}}). \]

第一项寻找与问题语义相关的证据，第二项用由问题导出的方向查询检查观察朝向；因此，一个包含“电视”的帧如果几何视角与题目要求冲突，也会被降权或屏蔽。实现中片段级和帧级都取 top-8，并把筛出的隐式证据及其对齐几何线索送给语言模型。

稀疏 top-\(K\) 容易丢掉整体房间关系，所以模型还从记忆中分别聚合拓扑摘要与度量摘要：前者关注方向和连通性，后者关注距离、大小和顺序。最终上下文由问题 token、两类摘要、局部证据和对应几何线索拼接而成。消融显示，只有摘要会缺细节，只有 top-\(K\) 会缺全局结构；二者结合才得到最均衡的结果。

4. 统一跨视角一致性学习：用同一场景的两种观察互相监督

GCM 能清理证据，但不能保证语言模型面对两个时间窗口或两组检索结果时给出同一答案。UC-SSRL 对同一个 \((V,q)\) 随机采样两种观察，得到预测分布 \(\pi_i\) 与 \(\pi_j\)，并在 SFT 模型上继续优化三种互补奖励。答案一致性惩罚两个预测分布的 KL 散度；度量一致性惩罚两个距离估计之差；拓扑一致性则用双向 KL 约束两组关系分布：

\[ R=-\alpha\operatorname{KL}(\pi_i\Vert\pi_j)-\eta|\hat d_i-\hat d_j|-\beta\left[\operatorname{KL}(P_i\Vert P_j)+\operatorname{KL}(P_j\Vert P_i)\right]. \]

这里一致性本身不等于正确性，因此作者先做最大似然 SFT，再用 UC-SSRL 稳定跨视角预测；只更新 LoRA 参数，避免整个模型因自监督信号漂移。三种奖励分别覆盖分类答案、连续数值和关系结构，奖励消融中任一种单独使用都优于 SFT，而三者同时使用在四项汇总指标上均最好。

一个完整示例¶

假设视频中的相机沿卧室缓慢走动，问题是“站在桌边朝向床时，电视位于哪个方向”。SigLIP2 记录床、桌和电视的语义，VGGT 估计相机轨迹、深度与朝向。连续小幅移动未超过 \(0.15\) m 或 \(15^\circ\) 时不写入；越过阈值的新帧若仍落在已有的 \(0.40\) m、\(30^\circ\) 邻域内，就与最相似的条目融合，否则创建新条目。

回答时先从 4 个记忆片段中取 top-8 候选，再在片段内结合“桌、床、电视”的语义和题目蕴含的朝向选 top-8 帧。拓扑摘要提供房间中的相对方向，度量摘要补充距离关系，局部帧给出对象细节。训练阶段，同一问题还会从另一时间窗口再回答一次；若两次分别预测“右前方”和“左后方”，答案与拓扑奖励都会惩罚这种不一致，而不是把两次预测当作互不相关的样本。

损失函数 / 训练策略¶

模型以 Qwen3-VL-8B-Instruct 为语言骨干，SigLIP2、VGGT、视觉塔和对齐器均冻结，SFT 与 UC-SSRL 都只训练 rank 16、\(\alpha=32\) 的 LoRA。SFT 数据包括 VSI-590K，以及从 22,518 个候选中经过几何有效性、答案可解析性、一致性、MLLM 验证和去重筛出的 nuScenes-10K；对其中随机 1,000 条人工检查，正确率为 91.6%。

训练使用 bfloat16 与 DeepSpeed ZeRO-3，在 8 张 A100 80GB 上训练 200 步；学习率为 \(1\times10^{-4}\)，单卡 batch size 为 1，梯度累积为 2，最大序列长度为 5,120。UC-SSRL 从 SFT checkpoint 初始化，整体奖励权重为 \(10^{-2}\)，复用同一训练池而不增加人工一致性标注。

实验关键数据¶

主实验¶

基准 / 设置	Qwen3-VL-8B	强专用基线	ConsiSpace SFT	ConsiSpace UC-SSRL	相对强基线提升
VSI-Bench Avg.	57.4	SpaceMind 69.6	71.2	76.6	+7.0
OSI-Bench Avg.	31.2	VLM-3R 40.3	45.8	53.0	+12.7
MMSI Sufficient-Coverage Avg.	29.1	VLM-3R 42.6	48.4	57.5	+14.9
MMSI Uniform-50 Avg.	27.6	VLM-3R 43.1	48.9	58.1	+15.0

GCM 消融¶

配置	VSI	OSI	MMSI-Video	归一化记忆条目
完整 ConsiSpace SFT	71.2	45.8	52.3	1.0×
去掉门控写入	69.8	44.5	47.2	2.3×
去掉一致融合	70.3	45.0	47.9	1.8×
去掉几何过滤	69.5	43.9	46.0	1.0×

UC-SSRL 奖励消融¶

答案 / 度量 / 拓扑奖励	VSI	OSI	MMSI-SC	MMSI-U50
无 / 无 / 无（SFT）	71.2	45.8	48.4	48.9
有 / 无 / 无	73.5	48.2	52.1	52.6
无 / 有 / 无	72.8	49.0	51.4	51.9
无 / 无 / 有	72.9	47.1	51.7	52.2
有 / 有 / 有	76.6	53.0	57.5	58.1

关键发现¶

UC-SSRL 相对同一架构的 SFT 在 VSI、OSI、MMSI-SC、MMSI-U50 上分别提高 5.4、7.2、9.1、9.2 分，视角变化和度量关系更强的 OSI、MMSI 获益更大。
GCM 的三个生命周期步骤作用不同：门控与融合主要减少条目，几何过滤不改变条目数却在 MMSI-Video 上贡献 6.3 分，说明“存得少”与“取得准”缺一不可。
在 200 帧输入下，ConsiSpace 使用 35.0GB、推理 3.10s；VLM-3R 使用 78.5GB、推理 10.80s。此时 ConsiSpace 的 VSI/OSI/MMSI-SC/MMSI-U50 为 72.4/46.8/54.4/55.1，均高于 VLM-3R 的 69.5/43.5/51.1/52.3。
给 VGGT 几何加入 30% 噪声后，ConsiSpace 仍有 73.1/49.6/53.4/54.3，但相对干净输入 76.6/53.0/57.5/58.1 已明显下降，几何质量仍是性能上限的重要因素。

亮点与洞察¶

论文最巧妙之处是让同一个“几何一致性”原则贯穿系统两层：在输入侧决定证据如何进入记忆，在输出侧决定两个视角的答案能否互相解释。它避免了几何模块与训练目标各做各的。
门控写入和融合把长视频记忆从“多留帧”改成“只保留空间状态变化”。这类策略也可迁移到机器人巡视、第一人称生活日志和自动驾驶历史缓存，只需把位姿与朝向阈值换成任务相关的状态变化判据。
摘要加 top-\(K\) 的读出设计值得复用：摘要承载全局布局，稀疏检索保留局部证据。其消融结果比单纯增加检索数量更能说明长上下文系统需要区分全局结构与局部细节。
UC-SSRL 不依赖额外人工一致性标签，但必须建立在 SFT 正确性锚点上。这提醒我们，自一致性适合用来降低预测方差，却不能独自保证两个一致答案都是正确答案。

局限与展望¶

论文正文没有单列 limitation section。根据其设置，GCM 依赖冻结 VGGT 输出的位姿、深度和朝向；噪声实验虽显示渐进退化而非突然崩溃，但 30% 噪声下四项指标下降 3.5 至 4.1 分，动态场景、强遮挡或几何估计失效时仍可能写错、融错或过滤掉正确证据。
方法以平滑视角变化下近似静态的三维关系为主要假设。物体自身移动时，“同一位置附近的相似观察应融合”可能过时，显式记忆也缺少对象状态失效、运动轨迹更新和冲突消解机制；未来可加入动态对象跟踪与时间衰减。
UC-SSRL 奖励优化的是跨视角一致性而非直接正确性。虽然 SFT 提供锚点，两个视角仍可能稳定地产生同一个错误答案；可进一步引入可验证几何约束、答案置信度或带真值的小比例校准奖励。
训练成本仍为 8×A100 80GB，且只报告 Qwen3-VL-8B-Instruct 这一骨干。跨模型规模、跨几何编码器和更长真实视频的可迁移性尚未由当前实验覆盖。
nuScenes-10K 的 1,000 条抽检正确率为 91.6%，说明自动构造数据仍含噪声。更细的错误类型审计，以及训练数据与 OSI-Bench 在场景类别层面的潜在相似性分析，会让泛化结论更扎实。

评分¶

新颖性: ⭐⭐⭐⭐☆ 将几何一致性统一用于记忆生命周期与 SFT 后强化学习，组合视角明确且有系统性。
实验充分度: ⭐⭐⭐⭐⭐ 三个主基准、导航验证、效率扩展、组件与奖励消融、阈值和噪声敏感性均有覆盖。
写作质量: ⭐⭐⭐⭐☆ 主线和公式完整，实验组织清楚，但正文未集中讨论局限，部分实现细节留在补充材料。
价值: ⭐⭐⭐⭐⭐ 同时改善长视频空间推理的准确率、跨视角稳定性和资源效率，对记忆增强 VLM 有较强复用价值。