Attention-based Vision-Language Memory for Spatial Reasoning¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4166
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4761.pdf
项目: https://sairlab.org/vlm2/
领域: 视觉语言推理 / 视频空间推理
关键词: 语义几何对齐、视角一致性、自适应位置注入、工作记忆、情景记忆

一句话总结¶

VLM² 先把单目视频中的语义、预测几何和视角信息对齐，再用滑动窗口工作记忆与固定容量情景记忆持续检索、融合和更新场景表示，以纯视频输入在 VSI-Bench 达到 68.8，较 VLM-3R 提高 7.9 个分数点。

研究背景与动机¶

“房间里有几把椅子”看似是识别问题，但相机移动后，同一把椅子会以不同角度出现，也可能暂时离开画面。模型既要避免重复计数，又要记得此前看过而当前不可见的椅子。通用视觉编码器擅长识别“这是一把椅子”，却不一定知道它在场景中的位置；视频上下文能保留若干帧，却不等于形成了可持续更新的空间记忆。

引入几何基础模型也不会自动解决这些问题。几何 token 能表达结构，但不同视角下相似的局部结构可能产生歧义；直接把几何特征与语义特征拼起来，可能破坏原本有用的表示。另一条路线把真实深度和相机参数转换成三维坐标注入视觉 token，效果依赖可靠的额外输入。若改用预测坐标，不可靠区域的误差又会污染语义特征。因此，关键不只是“增加三维信息”，而是让语义、位置和视角先建立可用的对应关系。

即使每帧表示已经可靠，最近窗口仍然会遗忘较早观测，而无限保存历史则不断增加存储与检索负担。本文把这两个问题串起来处理：先得到视角一致的三维感知表示，再让有界记忆保存、检索这种表示。核心 idea：用经过位置门控和视角对齐的语义几何表示作为记忆单元，同时保留近期细节与跨窗口历史，而不是直接堆叠更多视频 token。

方法详解¶

整体框架¶

输入是单目视频与语言问题，输出是语言答案。视频均匀采样后，每帧经过冻结的视觉编码器和冻结的几何基础模型 π3：前者给出语义 token，后者给出几何 token、视角 token 和逐像素三维点图。模型先在两条分支中分别做自适应三维位置注入、视角感知几何对齐，再通过语义几何融合得到每帧的三维感知表示。

之后，有界双记忆以当前表示为查询，从近期窗口和长期记忆库分别读取相关信息，门控融合后更新情景记忆。记忆增强表示与问题嵌入一起送入 LLaVA-Video 的语言骨干生成答案。这里的“纯视频输入”表示推理时无需额外真实深度或点云，不代表系统没有使用预训练几何模型携带的三维先验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["单目视频帧"] --> Enc["冻结视觉编码器与 π3"]
    Enc --> Pos["自适应三维位置注入"]
    Enc --> View["视角感知几何对齐"]
    Pos --> Fusion["语义几何融合"]
    View --> Fusion
    Fusion --> Memory["有界双记忆<br/>双路检索、门控、更新"]
    Memory -->|更新后供下一步检索| Memory
    Memory --> Answer["语言骨干生成答案"]
    Question["语言问题"] --> Answer

关键设计¶

1. 自适应三维位置注入：让语义获得位置，而不无条件接受预测噪声

视觉 token 原本主要表达外观与类别。模型先把 π3 的逐像素点图池化到与视觉 patch 对应的三维坐标，再经过正弦位置编码和两层 MLP 映射到视觉特征维度。这样，每个 patch 可以获得与自身对应的位置提示，而不是只收到一份与语义序列没有对应关系的点云。位置提示以残差方式加入语义特征，原始视觉内容仍然保留。

真正重要的是注入强度由可学习门控控制：模型可以保留对问答有用的位置提示，压低不可靠或不相关区域的影响。论文用椅子与墙面说明“有用性”的差别，但没有给出独立的置信度监督，也未明确门控的完整计算网络，因此不能把它写成一个有几何误差标签的置信度估计器。几何先验是否被采用，是在问答训练中学习的。表 7 中，不带自适应机制的版本只有 58.9，带门控后达到 61.6，支持“坐标并非越多越好”的判断。

2. 视角感知几何对齐：同时补上局部观察方向与整帧视角背景

几何相似并不意味着实例或观察视角相同，例如椅子的前后腿可能产生相似的结构特征。本文先把每个 patch 的视角 token 线性投影到几何特征维度，与对应几何 token 拼接后经过 MLP，得到带局部视角信息的几何表示。这一步不是直接做实例匹配，而是让几何 token 自身携带能够减少观察歧义的线索。

仅有局部线索仍不足以描述整帧的观察背景，因此模型还对视角 token 做池化和线性投影，得到一个全局视角描述符，附加在几何序列末尾。若原来有 \(hw\) 个 patch，现在几何侧有 \(hw+1\) 个 token。局部视角与全局描述符共同为后续注意力提供上下文；原文并未在此给出显式跨帧对应损失，所以“视角一致”应理解为设计目标与实验支持的效果，而不是严格保证同一物体特征完全相等。

3. 语义几何融合：让有位置的语义主动查询有视角的结构

两条分支完成各自对齐后，位置增强的视觉 token 作为查询，视角增强的几何 token 作为键和值，进行交叉注意力。查询端已经知道“看见了什么、可能在哪里”，被查询端补充“结构如何、从什么视角观察”，因此不必把两个不同分布的特征硬拼到同一个向量里。输出的 \(H_t\) 是后续记忆使用的每帧三维感知表示。

缓存中的公式排版存在缺损，下面仅按第 3.1 节正文明确给出的查询、键、值关系整理，不补设注意力头数、投影维度或残差结构：

\[ H_t=\operatorname{Attn}\!\left(Q(F_t^{\mathrm{pa}}),K(G_t^{\mathrm{vc}}),V(G_t^{\mathrm{vc}})\right). \]

其中 \(F_t^{\mathrm{pa}}\) 是位置增强的视觉 token，\(G_t^{\mathrm{vc}}\) 是视角增强的几何 token。几何骨干并非唯一决定因素：同样使用 π3 时，简单拼接加 MLP 为 40.4，交叉注意力为 61.0，再加入两个对齐设计才达到 63.8。这个对比说明融合接口本身可能决定几何信息是帮助还是干扰。

4. 有界双记忆：近期细节与跨窗口历史分开检索，再更新冗余项

工作记忆保存最近 \(L_w\) 个表示，以滑动窗口更新；当前 \(H_t\) 作为查询，通过交叉注意力读取近期相关内容，得到 \(M_t^w\)。情景记忆则维护容量为 \(L_e\) 的固定记忆库，同样用 \(H_t\) 查询，得到 \(M_t^e\)。两路检索都由当前视觉表示驱动，原文没有将语言问题直接接入这两个查询，因此不要把它误写成显式“按问题检索历史帧”。任务相关性主要通过端到端问答训练隐式形成。

读取结果不是直接相加。模型把两路结果拼接，经过 MLP 和 sigmoid 得到门控，再按门控比例融合近期与历史信息。按第 3.2 节文字及公式可辨认部分整理为：

\[ \gamma_t=\sigma\!\left(\operatorname{MLP}([M_t^w;M_t^e])\right),\qquad M_t=\gamma_t\odot M_t^w+(1-\gamma_t)\odot M_t^e. \]

下一步不是无限追加新的情景条目，而是用当前融合表示 \(M_t\) 替换记忆库中与它余弦相似度最高的既有条目。直观上，这是让新观测更新相似历史，同时把其他不同内容留在库内。注意替换目标是“最相似”，不是“最不相似”或“最旧”；缓存没有交代空库初始化、序列表示如何归约为余弦相似度输入等实现细节，不能据此补出一套完整算法。固定容量约束了记忆库存储规模及相关检索开销，但不意味着整段视频的编码和语言生成成本不随输入增长。

一个完整示例¶

沿用论文的椅子计数情景：相机先看到入口处的椅子，随后转入房间深处，再回到入口。首次观测中，位置注入给椅子相关 patch 增加空间提示，视角对齐区分当前观察方向，交叉注意力形成可供记忆读取的表示。相机转动后，工作记忆提供最近的视角上下文；入口椅子离开最近窗口后，情景记忆仍可能保留其相关表示。

在论文最优设置 \(L_w=8,L_e=32\) 下，最近窗口只保留 8 个表示，情景库容量为 32。回到入口时，模型从两路记忆读取上下文，融合后更新最相似的情景条目，再由语言骨干回答问题。这是机制示意，不是论文报告的一条带逐步预测结果的测试轨迹；该架构没有显式椅子 ID 或符号计数器，因此不能保证一次回访必然避免重复计数。

损失函数 / 训练策略¶

主模型采用 LLaVA-Video-7B，其语言骨干是 Qwen2-7B，几何基础模型为 π3。视觉编码器和几何模型均冻结，语言模型使用 LoRA 微调，rank 为 128，scaling factor 为 256。训练在混合数据上进行 1 个 epoch，使用 AdamW，batch size 为 128；正文报告 warmup 阶段 LLM 峰值学习率为 \(10^{-5}\)，硬件为 8 张 NVIDIA H200。

论文称训练目标沿用 VLM-3R，但本缓存没有展开混合数据的完整组成、目标函数细项、采样帧数或损失权重。本笔记不把常见的自回归交叉熵公式冒充为论文明确列出的训练目标。组件消融部分另称基线为 LLaVA-NeXT-Video-7B，并强调统一语言骨干、训练日程和计算预算；这与主模型命名不同，阅读消融时应保留这一说明。

实验关键数据¶

主实验¶

VSI-Bench 包含超过 5,000 个问答对，VSTI-Bench 约有 6,000 个，均来自室内第一人称视频。选择题使用 Accuracy，数值题使用 Mean Relative Accuracy；后者基于相对误差评价数值回答，但缓存未展开具体阈值与聚合定义，因此这里沿用指标名称而不自行补公式。表中的 Avg. 混合不同题型得分，不应统一称为普通分类准确率。

基准 / 指标	对比模型	对比结果	VLM²-7B	分数差
VSI-Bench Avg.，表 1	VLM-3R-7B	60.9	68.8	+7.9
VSTI-Bench Avg.，表 2	VLM-3R-7B	58.8	65.3	+6.5
ScanQA val CIDEr，表 3	Spatial-MLLM-4B	91.8	105.5	+13.7
ScanQA val BLEU-4，表 3	Spatial-MLLM-4B	14.8	17.7	+2.9
SQA3D test EM-1，表 3	Spatial-MLLM-4B	55.9	60.4	+4.5

这些结果支持表中纯视频模型之间的优势，不表示胜过所有额外输入方法。例如使用额外三维信息的 Ross3D 在 ScanQA CIDEr 和 SQA3D EM-1 上分别达到 107.0 与 63.0，均高于本文。VSI-Bench 上本文也并非每一子任务都超过所有通用模型：物体大小得分为 70.8，而 Qwen3-VL-8B 为 76.3。

消融实验¶

下表直接采用原文表 6 的 Avg. 列，同时保留绝对距离、相对方向与路线规划，观察几何表示和记忆的不同贡献。

三维感知表示	工作记忆	情景记忆	Avg.	绝对距离	相对方向	路线规划
无	无	无	55.2	43.3	67.8	40.2
有	无	无	63.8	52.9	84.8	48.5
有	有	无	65.9	56.3	86.2	51.3
有	无	有	66.1	57.7	85.9	50.5
有	有	有	67.8	59.6	87.8	52.6

三维感知表示先带来 8.6 个分数点，单独加入工作记忆或情景记忆再增加 2.1 或 2.3；完整双记忆相对仅三维表示增加 4.0。路线规划由 40.2 升至 52.6，但其中 8.3 已来自三维表示，不能把全部 12.4 的增长归因于记忆。表 6 完整模型的 Avg. 为 67.8，与主表 1 的 68.8 不同；缓存未明确解释两者的汇总口径，本笔记不合并、不擅自修正。

几何接口分析¶

下表选取原文表 7 的 π3 配置。除首行外均使用交叉注意力；A3PI 表示自适应三维位置注入，VAGA 表示视角感知几何对齐。

配置	Avg.	可以检验的问题
π3 + Concat-MLP	40.4	直接拼接几何可能损害原基线
π3 + Cross-Attn	61.0	只改善融合接口能否利用几何
加位置注入，不带自适应门控	58.9	无条件注入坐标是否引入干扰
加 A3PI	61.6	门控是否改善坐标使用
加 VAGA	62.9	视角信息是否减少几何歧义
加 A3PI + VAGA	63.8	两种对齐是否互补

表 8 进一步给出记忆容量分析：固定 \(L_w=8\)，\(L_e\) 从 8、16 增到 32 时，Avg. 依次为 66.3、67.3、68.8；保持 \(L_e=32\) 而将 \(L_w\) 从 8 增到 16，得分反而降到 68.3。较长的近期窗口并不必然更好，结果与无关近期 token 稀释注意力的解释相容，但并不是对这一解释的直接因果证明。

关键发现¶

长视频收益符合记忆设计的预期：表 5 中，超过 2 分钟的视频上，VSI-Bench 从 VLM-3R 的 60.0 提升到 68.1，VSTI-Bench 从 66.4 提升到 74.6。不过该表 Avg. 使用 69.4 / 69.5，而主表使用 68.8 / 65.3，跨表汇总口径不能直接混用。

零样本结果同样不是全面领先：表 4 的 SPAR-Bench 平均分达到 66.8、BLINK 达到 67.2，但 CV-Bench 平均分为 79.4，低于 VG-LLM-8B 的 81.7。合理结论是表示具有迁移性，同时仍存在任务依赖性。

亮点与洞察¶

对齐发生在融合之前。 语义侧补位置，几何侧补视角，随后才跨模态读取。它把“几何先验有没有用”细化为“几何能否通过正确接口进入语义表示”，表 7 对此给出很直接的反例和支持。
记忆保存的是已经对齐的表示。 双记忆不是孤立加在视频模型上的缓存，而是建立在更可靠的三维感知 token 之上。可以迁移到具身问答的思路，是先检查记忆单元的跨视角稳定性，再考虑扩大容量。
更新最相似条目值得关注。 常见直觉是淘汰最旧内容，这里则优先刷新冗余内容以保留多样性。它提供了一个有界空间记忆的简单策略，但是否适合动态场景仍需要独立验证。

局限与展望¶

复现细节不足。 缓存没有展开门控结构、记忆初始化、相似度的序列归约、训练混合比例及完整损失细节。需要原始实现或补充材料核实，不能仅靠主文恢复完整训练配方。
表格与正文存在口径问题。 主表、组件消融及视频时长分析的 Avg. 不同；正文的若干“全面领先”表述也被细分指标反例限制。后续应公开逐题预测、分组权重及统一计算脚本。
有界记忆不等于经验证的全系统高效率。 正文没有提供延迟、吞吐或显存对比，也未证明几何前端能够以固定成本处理任意长度视频。需要把记忆开销与整个推理链路的成本分开测量。
长期更新可能混淆近似实例或变化状态。 这是笔记推断而非作者已验证的失败案例：若两个相似对象落入同一特征邻域，替换最相似条目可能覆盖仍有用的历史。加入空间一致性约束或时间标记是否有效，需要动态场景和长程回访实验。
输入与任务范围仍有限。 主要证据来自室内视频问答，没有直接证明户外、强动态环境或真实机器人闭环任务的可靠性；多随机种子方差和误差条也未在这些表中报告。

评分¶

新颖性: 4/5。语义位置、几何视角和有界双记忆的结合具有明确针对性，但基础组件仍是门控、注意力与记忆更新。
实验充分度: 4/5。覆盖多个空间问答基准、零样本迁移与组件消融，但效率数据、统计方差和跨表口径说明不足。
写作质量: 3/5。主线与设计动机清晰，部分实现细节和结果表述仍需澄清，缓存公式排版也妨碍复核。
价值: 4/5。为只提供视频的空间推理系统提供了可借鉴的表示与记忆接口，但离长期机器人部署还有验证距离。