Fast Spatial Memory with Scalable Elastic Test-Time Training¶
会议: ECCV 2026
OpenReview: https://eccv.ecva.net/virtual/2026/poster/4558
论文: CVF Open Access
代码: https://fast-spatial-memory.github.io/
领域: 重建与渲染
关键词: 测试时训练 (TTT), 弹性权重整合 (EWC), 4D重建, 新视角合成, 空间记忆
一句话总结¶
针对大块测试时训练（LaCT）在长时序4D动态场景中完全可塑导致的快权重漂移与过拟合难题，本文提出弹性测试时训练（LaCET），引入基于费舍尔信息量加权与滑动平均锚点的弹性正则，构建了兼顾高吞吐与多块时序稳定性的可扩展4D空间记忆模型 FSM。
研究背景与动机¶
构建具备空间记忆的4D世界模型是具身智能、机器人导航以及虚拟现实领域的核心基石，其关键在于将跨视点和跨时序的大量长视频观测压缩为统一的时空表示。近年来，以 LRM 和 LVSM 为代表的大规模前馈重建模型取得了巨大进展，但它们高度依赖 Transformer 的序列建模，单次前向受限于显存容量中急剧膨胀的激活值，难以拓展至超长序列。尤其在动态4D场景中，观测数据通常在时间上延展极长但在视角空间分布极其稀疏，导致现有前馈模型在超出训练长度时重建质量急剧崩溃，泛化能力脆弱。
测试时训练（TTT）与近期的长块测试时训练（LaCT）通过将 KV 缓存压缩为模型内部的前向可塑快权重，大幅降低了硬件开销并缓解了长上下文瓶颈。然而，LaCT 这种完全可塑（fully plastic）的在线快权重更新机制在4D动态序列中暴露了致命缺陷：当场景外观、视角和物体运动随时间持续演变时，不受约束的连续梯度更新会导致快权重在参数空间中严重漂移，产生类似于持续学习中的“推理时灾难性遗忘”与局部过拟合。在实际测试中，LaCT 必须退化为处理整个序列的单一大块（single chunk），丧失了分块流式处理任意长序列的能力，并且极易投机取巧地退化为相邻帧的相机轨迹内插，无法学习到长程连贯的时空几何表征。
针对完全可塑性带来的漂移矛盾，本文从持续学习中的弹性权重整合（EWC）汲取灵感：快权重更新不能无约束地自由滑移，而应在拥抱新观测的同时守住关键表征的记忆锚点。核心 idea：提出大块弹性测试时训练（LaCET），在分块快权重更新后执行弹性巩固操作，利用在线估计的参数费舍尔重要度软性约束快权重向动态平滑演进的滑动平均锚点（Streaming-EMA Anchor）收拢，构建支持超长多块序列稳定自适应的 4D 快速空间记忆（FSM）。
方法详解¶
整体框架¶
FSM 采用端到端前馈序列架构，仅依赖光度重建监督完成训练。系统输入为 \(V\) 张带有位姿及时间戳的任意视点观测图像，经过面元化（Patchify）与位姿-时间联合嵌入后输入由 LaCET 模块堆叠的骨干网络中。在模块内部，前向过程根据输入视点的键值统计量分块计算梯度并更新 SwiGLU 快权重，随后通过重要度加权的弹性巩固算子限制参数漂移。模型支持两种解耦的渲染解码头：直接预测新视点 RGB 面元的 LVSM 风格解码器，以及回归显式 4D 高斯面元（4DGS）图元并进行可微光栅化的 LRM 风格解码器。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入时空观测<br/>RGB 图像 + Plücker 射线图 + 时间戳"] --> B["时空几何面元编码<br/>Concat(I, P, T) 线性投影为 D 维 Token"]
B --> C["分块键值快速自适应<br/>SwiGLU-MLP 前向与分块替代伪梯度更新"]
C --> D["流式弹性记忆巩固<br/>在线重要度加权软拉回 Streaming-EMA 锚点"]
D --> E["双模态渲染解码器<br/>LVSM 直接预测面元 / LRM 栅格化 4DGS 图元"]
E --> F["目标视点与时刻图像<br/>高质量 4D 新视角合成"]关键设计¶
1. 分块键值快速自适应：解耦目标视点交互的高吞吐快权重更新 传统逐 Token TTT 硬件效率极低，而 LaCT 通过在大小为 \(b\) 的大块内聚合梯度实现吞吐加速。FSM 骨干网络中的快权重网络采用无偏置的 SwiGLU-MLP，参数包含三个投影矩阵 \(\boldsymbol{\theta} = \{\boldsymbol{\theta}_1, \boldsymbol{\theta}_2, \boldsymbol{\theta}_3\}\)。对于块 \(c\) 内的所有输入 Token \(x_i\)，通过局部线性注意力与损失函数计算关于快权重的关联损失： $\(\mathcal{L}(f_{\boldsymbol{\theta}}(k_i), v_i) = -\,f_{\boldsymbol{\theta}}(k_i)^\top v_i = -\,[\mathrm{SiLU}(\boldsymbol{\theta}_1 k_i) \circ (\boldsymbol{\theta}_2 k_i)]^\top \boldsymbol{\theta}_3^\top v_i\)$ 根据所有 Token 损失累积得到整个分块的替代伪梯度，完成快权重的单步前向步进： $\(\boldsymbol{\theta}'_c = \boldsymbol{\theta}_c - \sum_{i=1}^b \eta_i(x_i) \left. \nabla_{\boldsymbol{\theta}} \mathcal{L}(f_{\boldsymbol{\theta}}(k_i), v_i) \right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_c}\)$ 关键的是，只有输入视点的 Token 参与键值投影并回传梯度，目标查询视点（Target Query）不参与快权重梯度的生成。这种设计严格隔离了目标视点之间的信息泄露，避免了动态评估或上下文泄露带来的不公平捷径，同时保证了新视点渲染能够并行独立进行。
2. 在线突触重要度估计：轻量捕捉多源参数曲率 为了确定哪些快权重对过往场景记忆至关重要，LaCET 引入了受突触可塑性启发的在线重要度统计量。与传统全局费舍尔矩阵需要耗时的离线计算不同，LaCET 在前向流动中按块维护重要度矩阵 \(F_c\)，通过指数移动平均（EMA）进行动态平滑： $\(F_{c+1} = \alpha F_c + (1 - \alpha)\varphi(\mathbf{S}_c)\)$ 其中 \(\alpha\) 为衰减因子，\(\mathbf{S}_c\) 为当前块参数更新的特征统计。根据突触可塑性理论，论文设计了三种估计器： - 记忆感知突触（MAS）：\(\mathbf{S}_c = \boldsymbol{\theta}'_c - \boldsymbol{\theta}_c\)，取绝对值 \(\varphi(\mathbf{S}_c) = |\mathbf{S}_c|\)，直接追踪分块更新的绝对幅度； - 弹性权重整合（EWC）：\(\mathbf{S}_c = \boldsymbol{\theta}'_c - \boldsymbol{\theta}_c\)，取平方 \(\varphi(\mathbf{S}_c) = \mathbf{S}_c^2\)，突出那些持续获得大幅平方梯度的核心参数； - 突触智能（SI）：\(\mathbf{S}_c = (\boldsymbol{\theta}'_c - \boldsymbol{\theta}_c) \odot (\boldsymbol{\theta}'_c - \boldsymbol{\theta}_c^\star)\)，取绝对值 \(\varphi(\mathbf{S}_c) = |\mathbf{S}_c|\)，将分块位移与相对于长期锚点的漂移量联合加权。 实测中 SI 估计器在长程动态场景中表现出最优的训练稳定性，能够准确甄别承载全局静态背景与核心几何的神经元。
3. 流式弹性记忆巩固：自适应弹簧抑制推理漂移 在获得更新后的临时权重 \(\boldsymbol{\theta}'_c\) 与重要度 \(F_c\) 后，LaCET 执行关键的巩固（Consolidate）算子。该算子以二次惩罚项的闭式梯度形式，将快权重向参考锚点 \(\boldsymbol{\theta}_c^\star\) 施加软性约束拉回： $\(\boldsymbol{\theta}_{c+1} = \boldsymbol{\theta}'_c - \lambda F_c \odot (\boldsymbol{\theta}'_c - \boldsymbol{\theta}_c^\star)\)$ 其中 \(\lambda\) 控制弹性拉力的刚度。至关重要的是锚点策略的选择：固定不变的全局锚点（Global）会使模型退化为带权 \(L_2\) 正则化，丧失时间连贯性；逐块瞬时重置的流式锚点（Streaming）仅惩罚块内漂移，缺乏跨块记忆能力；而论文采用的流式滑动平均锚点（Streaming-EMA），按 \(\boldsymbol{\theta}^\star \leftarrow \beta \boldsymbol{\theta}^\star + (1 - \beta)\boldsymbol{\theta}\) 在快权重轨迹上构成动态低通滤波器。这种弹性弹簧机制允许承载局部动态的低重要度参数自由适应当前帧，同时牢牢拉住控制全局时空结构的骨干参数，彻底杜绝了无界发散。
4. 灵活解耦的双重渲染范式：兼顾极速生成与显式几何 FSM 为不同的应用场景提供了两套完全兼容的渲染解码范式： - LVSM 风格直接解码：对于纯粹追求高保真图像合成的任务，输入目标视点的射线几何与时间元数据作为占位 Token，通过轻量级线性层直接将深层 Token 投影还原为 \(3p^2\) 维度的 RGB 面元，配合 Sigmoid 约束直接得到像素，无需显式 3D 几何，推理速度极快； - LRM 风格显式 4D 高斯解码：对于需要物理资产或下游交互的任务，模型输出每个像素对齐的 4D 高斯图元。每个高斯由空间位置、时间坐标、RGB 颜色、3D 尺度、时间尺度、双四元数旋转以及不透明度共 20 维参数构成，通过延迟反向传播的分块光栅化（Tile-based Rasterization）渲染出任意视点与时刻，兼顾了显式几何编辑能力与显存效率。
损失函数 / 训练策略¶
模型采用纯光度重建监督在预训练数据集上端到端训练。对于渲染出的 \(U\) 个目标新视点，联合使用均方误差（\(\ell_2\)）损失与基于 VGGNet 的感知损失（LPIPS）： $\(\mathcal{L} = \frac{1}{U} \sum_{i'=1}^U \left( \|\widehat{\mathbf{I}}^*_{i'} - \mathbf{I}^*_{i'}\|_2^2 + \mu \cdot \mathrm{LPIPS}(\widehat{\mathbf{I}}^*_{i'}, \mathbf{I}^*_{i'}) \right)\)$ 其中感知损失权重经验性设为 \(\mu = 0.5\)。预训练采用长上下文课程学习策略（Curriculum Learning），输入图像分辨率从 128 逐步渐增至 256，时间跨度从 128 帧渐增至 256 帧，动态增加输入视点数量。消融实验在 8 张 H100 GPU 上采用批大小 16、分辨率 \(128 \times 128\) 训练 32K 步（约 32B Token）。
实验关键数据¶
主实验¶
在真实互联网立体动态视频基准 Stereo4D 以及经典动态场景基准 NVIDIA 上，FSM 与主流优化类方法（SoM、MoSca）和前馈渲染类方法（L4GM、4DGT、MoVieS）进行了全面评测（指标随分辨率敏感，均采用公平对比基线分辨率）：
| 数据集 | 模型 | 分辨率 | PSNR (dB) ↑ | LPIPS ↓ | SSIM ↑ | 推理耗时 / 特性 |
|---|---|---|---|---|---|---|
| Stereo4D | 4DGT | \(504 \times 504\) | 24.62 | 0.102 | 0.785 | 前馈渲染 |
| Stereo4D | MoVieS | \(504 \times 504\) | 27.19 | 0.114 | 0.888 | 前馈渲染 (~1s) |
| Stereo4D | FSM-LRM | \(256 \times 256\) | 27.29 | 0.147 | 0.876 | 显式 4DGS 前馈 |
| Stereo4D | FSM-LVSM | \(256 \times 256\) | 32.16 | 0.043 | 0.931 | 极速端到端前馈 |
| NVIDIA | SoM (优化类) | \(379 \times 672\) | 15.30 | 0.509 | 0.317 | ~10 min / 场景 |
| NVIDIA | MoSca (优化类) | \(379 \times 672\) | 21.45 | 0.265 | 0.712 | ~45 min / 场景 |
| NVIDIA | L4GM | \(256 \times 256\) | 10.07 | 0.587 | 0.235 | 依赖多视点扩散先验 |
| NVIDIA | 4DGT | \(504 \times 504\) | 14.13 | 0.640 | 0.131 | 前馈渲染 |
| NVIDIA | MoVieS | \(379 \times 672\) | 19.16 | 0.315 | 0.514 | 前馈渲染 |
| NVIDIA | FSM-LRM | \(256 \times 256\) | 20.17 | 0.337 | 0.567 | 显式 4DGS 前馈 |
| NVIDIA | FSM-LVSM | \(256 \times 256\) | 23.90 | 0.105 | 0.747 | 显著超越所有前馈SOTA |
此外，在静态全景基准 DL3DV（\(256 \times 256\) 分辨率）上，FSM-LVSM 达到 26.69 dB PSNR、0.091 LPIPS 和 0.846 SSIM，超越了 GS-LRM（23.02 dB）和 LVSM（23.10 dB），证明弹性记忆同样适用于静态大场景。
消融实验¶
在 Stereo4D 测试集（12 层骨干、训练步数 32K、输入 32 帧、目标 8 帧）上针对大块设置、EWC 巩固机制、重要度估计器及锚点更新策略的控制变量对比：
| EWC 巩固 | 训练块数 | 测试块数 | 锚点策略 | 估计器 | 训练 \(\ell_2\) 损失 (\(\times 10^3\)) ↓ | 测试 PSNR ↑ | 测试 LPIPS ↓ | 测试 SSIM ↑ | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| ✗ (LaCT) | 1 | 1 | - | - | 1.80 | 26.021 | 0.1179 | 0.792 | 传统单块 LaCT 全序列基线 |
| ✗ (LaCT) | 4 | 4 | - | - | 2.04 | 26.908 | 0.0988 | 0.814 | 无弹性多块 LaCT，过拟合显著 |
| ✓ (LaCET) | 4 | 4 | streaming-ema | SI | 2.36 | 29.989 | 0.0517 | 0.903 | 完整模型（最优配置） |
| ✓ (LaCET) | 4 | 4 | streaming-ema | EWC | 2.36 | 29.781 | 0.0537 | 0.897 | EWC 平方重要度估计 |
| ✓ (LaCET) | 4 | 4 | streaming-ema | MAS | 2.28 | 29.922 | 0.0519 | 0.899 | MAS 幅度重要度估计 |
| ✓ (LaCET) | 4 | 4 | streaming | MAS | 1.71 | 26.960 | 0.0966 | 0.817 | 瞬时重置锚点，缺乏跨块记忆 |
| ✓ (LaCET) | 4 | 4 | global | MAS | 3.00 | 28.347 | 0.0653 | 0.863 | 固定初始锚点，约束过刚 |
| ✓ (LaCET) | 1 | 1 | global* | MAS | 1.73 | 26.965 | 0.0960 | 0.817 | 单块单次前向退化情况 |
| ✓ (LaCET) | 1 | 4 | streaming-ema | MAS | 1.73 | 21.993 | 0.3429 | 0.650 | 训练与测试块结构不匹配导致崩溃 |
关键发现¶
- 弹性正则彻底斩断推理期快权重过拟合：对比无 EWC 的 4 块 LaCT（训练损失 2.04，测试 PSNR 26.908 dB）与加入 LaCET 后的模型（训练损失 2.36，测试 PSNR 飙升至 29.989 dB，提升超 3 dB），训练损失虽然因弹性约束上升，但测试集泛化指标全面爆发，证明无约束的可塑性主要在拟合局部噪声与快捷方式。
- Streaming-EMA 锚点是长序列稳定性的决定性要素：当使用 Streaming 锚点（每块清空）时，测试 PSNR 跌落至 26.960 dB；而使用 Global 固定锚点时，模型灵活性受限仅有 28.347 dB。唯有 Streaming-EMA 兼顾了高频适应与低频记忆，在参数空间建立平滑轨迹。
- 破除虚假相机插值捷径：在测试时扩展分析中，输入帧呈连续分布时，无弹性 LaCT 倾向于退化为简单的帧间插值，在稀疏视点输入下表现断崖式下跌；而 LaCET 在稀疏时空采样下性能高度稳定，真正习得了跨视点和时间泛化的内在 4D 表征。
亮点与洞察¶
- 将持续学习先验迁移至前向测试时计算：将 EWC 从多任务持续学习迁移为前向分块 TTT 的正则化机制，将“新数据块”视为“新任务”，用自适应弹簧成功化解了深度快权重在时间轴上的无界漂移。
- 大幅解放长视频 4D 重建的显存瓶颈：传统前馈 4D 模型必须在单次前向内保留全序列高分辨率激活值，而 LaCET 允许切分成包含 2048 Token 的极小 Chunk 独立演进，使显存占用与视频总长度解耦，为长时序流式世界模型铺平了道路。
- 纯光度监督下的优雅双解码兼容：无需多视角扩散先验或繁琐的逐场景测试时几何优化，即可在 LVSM 快速面元渲染与 4DGS 显式几何光栅化之间自由切换，兼具通用性与高指标。
局限与展望¶
- 依赖精准相机位姿输入：当前模型基于输入的精确相机内参和外参构建 Plücker 射线坐标，尚未支持野外完全未知位姿（Unposed）单目动态视频的端到端重建。
- 渲染监督下的几何保真度未获绝对保证：虽然 LaCET 显著削弱了相机轨迹插值捷径，但纯光度损失（\(\ell_2\) + LPIPS）依然可能在极端遮挡或剧烈运动区域产生纹理幻觉，未来可探索引入深度先验、光流对应关系或显式多视点对齐约束以提升三维几何严谨性。
- 训练数据与算力规模受限：受制于学术许可数据和算力配额，目前主要在 Stereo4D 和 DL3DV 上验证架构有效性，未来向互联网级超大规模 4D 视频预训练扩展潜力巨大。
相关工作与启发¶
- vs LaCT (Zhang et al., ICLR 2026): LaCT 提出了大块 TTT 解决了计算效率，但在长序列 4D 场景中其完全可塑机制会导致严重漂移与过拟合，通常只能被迫单大块运行；本文 LaCET 引入了 Fisher 重要度约束与 Streaming-EMA 弹性锚点，成功解锁了鲁棒的多块前向自适应。
- vs 4D-LRM (Ma et al., NeurIPS 2025) & MoVieS (Lin et al., CVPR 2026): 4D-LRM 和 MoVieS 依赖纯注意力机制或短时运动脚手架，长序列显存开销线性急增；FSM 通过将历史观测压缩至神经快权重记忆中，在小显存占用下显著提升了稀疏时空下的新视角渲染质量（Stereo4D 上 PSNR 提升近 5 dB）。
- vs tttLRM (Wang et al., CVPR 2026): tttLRM 将 TTT 引入静态 3D 自回归重建，而 FSM 进一步攻克了动态 4D 时空演变中快权重无序发散的痛点，形成了兼顾动态适应与长期记忆的弹性闭环。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙将持续学习 EWC 机制与分块测试时训练结合，解决了 4D 空间记忆中的快权重漂移核心痛点。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4D/3D 主流基准，消融实验设计严谨详实，对重要度估计、锚点更新及稀疏度缩放进行了深度剖析。
- 写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密，数学形式化优美，对 LaCT 失败机理与弹性正则的直觉阐述清晰透彻。
- 价值: ⭐⭐⭐⭐⭐ 为轻量化、长上下文的流式 4D 场景重建与具身空间记忆提供了极具拓展潜力的全新架构路径。