Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: VLM 效率
关键词: 测试时训练、流式空间理解、快权重记忆、时空卷积、稠密场景描述

一句话总结¶

Spatial-TTT 将在线更新的快权重、局部滑窗注意力与少量全注意力层结合，用稠密三维场景描述教会模型保留空间证据，使 2B 模型在 VSI-Bench 上取得 64.4 分，并在 1024 帧输入时比 Qwen3-VL-2B 使用更少显存与计算。

研究背景与动机¶

看懂一间房间并不等于识别某一帧里的桌椅。相机沿房间移动时，同一物体会反复出现，也会被遮挡；回答“门相对桌子在哪边”或“总共有几把椅子”，需要把不同时刻的局部观察组织为一致的空间记忆。现有视觉语言模型（VLM）大多从二维图文数据学习语义，即使通过空间问答微调改善了短视频表现，也未必能在长视频里持续记住物体身份、布局和相对位置。

简单扩大上下文会使注意力与 KV 缓存开销迅速增长，而稀疏抽帧可能恰好删去辨认同一物体或恢复相对位置所需的连续观察。测试时训练（TTT）提供了另一种存储方式：不保存所有历史 token，而把它们写进一小组可更新参数。但直接替换预训练模型的全部注意力层会损害已有的跨模态对齐；仅把独立 token 写入快权重，也没有特别鼓励模型保留几何关系。更重要的是，简短问答标签只监督场景的一小部分，不能充分告诉记忆模块哪些信息值得长期保存。

本文因此同时改变记忆结构、更新输入和训练监督：保留部分全注意力层承接预训练能力，让局部时空上下文参与快权重更新，再用完整场景描述而不只是短答案训练这种更新行为。核心 idea：让模型学习把连续观察中的空间证据写入可在线更新的非线性记忆，同时保留局部精细交互与预训练语义推理能力。

方法详解¶

整体框架¶

模型从 Qwen3-VL-2B-Instruct 初始化，输入视频帧与问题，输出空间描述或问答答案。训练先通过“稠密监督与课程训练”塑造记忆行为；推理时，“混合记忆架构”用快权重保存跨块信息，“空间预测更新”让写入和读取依赖相邻时空上下文，而不只是单个视觉 token。

这里的“训练”有两个层次：离线阶段学习主干、新增模块与快权重更新行为；在线阶段则在处理当前视频时，用输入自身产生的键值对更新快权重，并不需要测试问题的正确答案。稠密描述是离线监督，不是测试时额外提供的场景真值。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    D["稠密监督与课程训练"] -.->|仅离线训练| H["混合记忆架构"]
    I["视频帧与问题"] --> H
    H -->|TTT 分支 Q/K/V| P["空间预测更新"]
    P -->|完整块写入| M["快权重记忆"]
    M -->|历史块记忆读取| P
    H -->|滑窗与全注意力路径| O["分支融合与后续解码<br/>空间描述或答案"]
    P --> O

图中的快权重回环表示沿视频推进的状态更新，不是让当前块内较早 token 读取未来 token。全注意力锚点层仍属于混合解码器；因此，这张图也不是把整个模型简化成一个完全定长的循环网络。

关键设计¶

1. 稠密监督与课程训练：先学会保留完整场景，再学会按问题调用记忆

普通空间问答常只要求一个选项、整数或两个物体之间的关系，这会让模型只对局部证据获得监督。作者从 SceneVerse 的物体中心三维场景图构造连贯的场景描述，覆盖场景类型与功能、物体类别与精确数量、物体布局与两两关系。这样，模型若丢掉早先出现的物体或空间关系，就难以完成后续的完整描述；离线学习的重点因此从“答对这一小问”扩展到“保留可供未来使用的场景证据”。第一阶段约有 16k 样本，包括约 3.6k 条 ScanNet 描述和 12.5k 条 ARKitScenes 描述，这些都是近似统计。

训练还逐渐缩小滑窗，而不是一开始就强迫新快权重承担全部跨块信息。第一阶段滑窗从 5600 线性退火到块大小 2648，随着局部注意力能覆盖的历史变短，快权重逐步接管更长程的信息传递。第二阶段再用空间 VQA 学习相对方向、距离、计数、路线与房间尺度等任务，固定窗口与块大小相等。它不是先训练一个显式三维重建器再交给语言模型，而是用语言监督塑造隐式记忆。

2. 混合记忆架构：快权重负责跨块信息，注意力保留局部交互与语义能力

每四个解码器注意力层中，三个改为 TTT 层，一个保留完整自注意力作为锚点，即 3:1 的比例。锚点层可以访问完整上下文，降低改造架构对预训练跨模态能力的破坏。TTT 层内部又有并行的滑窗注意力（SWA）与快权重分支，两者共享原有 Q/K/V 投影，TTT 的 query 和 key 另加可学习缩放与平移。快权重是一组无偏置 SwiGLU-MLP 参数，键用于学习到值的映射，查询则从这个随视频变化的小网络中读取历史信息。它保存的是压缩关联，不是可逐帧无损恢复的视频副本。

与每 16 或 64 个 token 更新一次相比，大块更新能提高并行度，并减少任意切分对视觉结构的破坏，但也带来因果约束：不能先把当前完整块写进记忆，再让块首 token 读取包含块尾的信息。因此，TTT 负责跨块历史，当前块内的合法交互由并行 SWA 补上，窗口满足 \(w\geq b\)，以覆盖块内的因果下三角关系。推理时，SWA 缓存保留最近 \(w\) 个 token，另一个 pending KV 缓存累积到 \(b\) 个 token 后执行一次快权重更新并清空；这些是 TTT 层的局部缓存机制，不应与全注意力锚点层的缓存混为一谈。

3. 空间预测更新：把邻域上下文写进记忆，而不是孤立 token

常规点式 Q/K/V 投影没有直接利用视频 token 的空间邻接与时间连续性。本文把 TTT 分支的视觉 Q/K/V 还原成时间、高度、宽度网格，再分别经过 \(3\times3\times3\) 深度卷积，使每个通道聚合局部时空邻域。于是键和值之间的预测关联携带了附近区域与相邻观察的信息，查询也带有相同类型的上下文。所谓“空间预测”不是额外预测一幅未来 RGB 图像，而是让快权重学习时空上下文之间的映射，以利于保留几何对应与连续性。

卷积采用 Dirac 初始化，初始行为接近恒等映射，避免突然改变预训练特征。在线优化采用带动量的 Muon 更新，通过 Newton-Schulz 迭代正交化梯度，并对权重进行保留原始幅值的 L2 归一化。这里的三维卷积只提供局部归纳偏置，并不显式输出三维坐标、相机位姿或全局地图；长程空间组织仍依赖记忆更新和离线监督。缓存中的公式 (1)、(3) 至 (7) 存在括号、算符或符号缺损，本笔记不猜补精确损失、分支融合公式和 Muon 递推式。

一个完整示例¶

设想相机先拍到桌子和两把椅子，转向门口，再回到桌边，用户询问椅子总数以及从桌边去门口的方向。这是解释机制的示意，不是论文报告的单独测试案例。

在第一段观察中，视觉 token 进入混合解码器；局部注意力处理近邻交互，TTT 分支通过时空卷积形成带邻域信息的键值。pending 缓存累积到 2648 个 token 时，完整块被压进快权重，缓存随后清空。块大小是 token 数，不应直接理解为 2648 帧。

相机转向门口后，较早的桌椅 token 会离开 TTT 层的滑窗，但快权重仍可为后续查询提供压缩后的历史证据。再次看见椅子时，模型需要结合局部观察与历史关联判断是否为同一实例，而不是简单累加检测数；训练中的物体计数和关系描述正是要鼓励这种持久性。

最后，答案由混合解码器生成，不是从显式地图执行确定性的路径搜索。因此，该机制给出了保留空间证据的途径，却不保证任意长视频都能无误计数或导航；论文中的计数与回忆分数也没有达到满分。

损失函数 / 训练策略¶

在线内循环用当前输入形成的键值关联提供自监督信号，离线训练则通过稠密场景描述及后续空间 VQA 塑造主干和更新行为。正文没有在可读文本中完整给出内循环损失的精确形式或外循环各项权重，不能自行补成均方误差或某个加权联合目标。

第一阶段：均匀采样 32 帧，前两个 epoch 将窗口从 5600 退火到 2648，块大小始终为 2648。
第二阶段：输入帧数从 64 增至 128，保持 \(w=b=2648\)。
主干学习率为 \(10^{-6}\)，新增 TTT 参数学习率为 \(10^{-5}\)，warmup 为 1k 步，使用余弦学习率调度。
新增门控投影初始化为零，缩放初始化为一，平移初始化为零；卷积用 Dirac 初始化。这些设置用于降低架构替换初期的扰动。
数据规模存在原文冲突：第 3.4 节称第二阶段使用 2M 空间 VQA 样本，第 4.1 节称 3M；所给缓存没有补充材料，故保留两个口径，不自行选一个作为确定值。

实验关键数据¶

主实验¶

VSI-Bench 包含来自 288 段室内视频的 5,000 多个问答。数值问题使用 Mean Relative Accuracy（MRA），选择题使用准确率（ACC），总分为各任务宏平均；MRA 衡量数值预测与真值的相对接近程度，当前正文未展开具体阈值协议。以下为原文表 1 的部分列，保持原始分数口径。

模型	物体计数 MRA	绝对距离 MRA	相对方向 ACC	路线规划 ACC	总平均
Qwen3-VL-2B-Instruct	62.1	40.2	42.0	30.4	50.3
Qwen3-VL-8B-Instruct	67.5	47.0	50.9	35.0	57.9
VST-7B-SFT	72.0	44.4	55.8	44.9	60.6
Cambrian-S-3B	70.7	40.6	61.9	27.3	57.3
Spatial-TTT-2B	70.8	47.8	73.0	47.4	64.4

Spatial-TTT 比其初始化主干高 14.1 分，比 VST-7B-SFT 高 3.8 分；相对方向达到 73.0，但计数仍低于 VST 的 72.0，不能说所有子任务都最佳。不同方法的训练数据和规模不同，主表体现最终系统能力，不等于把 14.1 分全部归因于 TTT。

原文表 2 的 MindCube-Tiny 总准确率为 76.2，对比 Gemini-3-pro 的 63.9 高 12.3 个百分点。该集合含 1,050 道题，按任务微平均；本文在 Among、Around、Rotation 上分别为 74.0、89.8、55.5，Rotation 明显不是其优势项，也远低于 GPT-5 的 94.5。

消融实验¶

原文表 4，所有配置在 VSI-Bench 上评估；去除混合架构指改为纯 TTT，而非恢复纯全注意力。

配置	数值题	选择题	总平均	相对完整模型变化
完整模型	64.0	64.8	64.4	0.0
去除空间预测机制	60.7	63.4	62.1	-2.3
去除稠密描述数据	61.0	61.5	61.3	-3.1
去除混合架构	55.4	52.4	53.9	-10.5

保留全注意力锚点层的影响最大，尤其选择题下降 12.4 分。空间卷积和稠密监督也分别有增益，但这组结果不能拆出 SWA、大块更新、Muon 与窗口退火各自的独立贡献。

关键发现¶

原文表 5 在 \(352\times480\) 分辨率下报告峰值显存及每次前向的 TFLOPs，下面只摘录与同规模主干的比较。

输入帧数	Qwen3-VL-2B 显存 GB	Spatial-TTT-2B 显存 GB	Qwen3-VL-2B TFLOPs	Spatial-TTT-2B TFLOPs
128	6.2	6.2	75.9	74.3
256	8.3	7.0	179.9	156.2
512	12.6	8.4	473.9	341.9
1024	21.2	11.9	1403.1	799.4

1024 帧时显存减少约 43.9%，TFLOPs 减少约 43.0%；这是由表中数值计算的相对降幅，不是实测延迟加速比。
原文表 3 以 1 fps 评估流式任务：120 分钟的 VSI-SUPER-Recall 为 30.0 ACC，VSI-SUPER-Count 为 38.4 MRA。计数明显优于表中其他模型，但回忆能力只是相对稳健，不能描述为近乎完美的长期记忆。
表 3 将部分 OOM 情况记为 0；表注写“超过 120 分钟”，表中 120 分钟列已为 0，阈值表述存在不一致。这类分数同时受可运行性影响，不能全部解读为正常推理后的准确率。

亮点与洞察¶

记忆监督的覆盖范围是关键变量。稠密描述要求同时交代全局环境、实例与关系，比只扩大问答数量更直接地约束“哪些信息必须留下”。
快权重和注意力承担不同职责。纯 TTT 消融的大幅下降表明，压缩历史的能力不能自动替代预训练语义与全局推理能力。
几何偏置被放在记忆写入和读取端。局部三维卷积不必先构建显式地图，就能让更新接触时空邻域，这一位置选择可启发其他视频记忆模块。

局限与展望¶

整模型恒定内存尚未被证明。第 3.4 节的定长双缓存针对 TTT/SWA 路径，而锚点层仍有完整注意力；表 5 中显存也从 6.2 GB 增到 11.9 GB，不能把分支线性复杂度直接推广到整个混合网络。
论文提供计算量和显存，而非端到端流式延迟、更新吞吐或持续运行功耗。真实部署还需计入在线优化开销，并解释全注意力锚点在超长流中的缓存策略。
当前消融未独立评估 Muon、窗口退火、块大小、锚点比例及长期遗忘。重复经过同一物体、场景改变或动态物体是否导致记忆冲突，仍值得专门验证。
实验主要围绕室内空间与受控空间推理，不能直接推出真实机器人闭环导航可靠性。2M/3M 的数据量冲突、损坏公式和未提供的补充材料也限制了仅凭当前正文复现全部训练细节。

评分¶

新颖性: 4/5。把快权重、空间邻域与稠密监督连成完整方案，但混合 TTT 和大块更新有明确前作。
实验充分度: 4/5。覆盖常规空间问答、长流感知、消融和资源开销，仍缺在线延迟与细粒度更新策略消融。
写作质量: 3/5。主线清楚，但训练数据规模及恒定内存表述需要进一步澄清。
价值: 4/5。提供了紧凑模型持续积累空间证据的可行方向，尚不能等同于可靠的无限时域空间记忆。