Tempo-SAM3D: Monocular Video to 4D via Temporal Memory-Guided Generation¶

会议: ECCV 2026
论文: ECCV 2026
代码: 待开源
领域: 3D 视觉
关键词: 单目视频4D生成, 时序记忆引导, 布局感知, 空间对齐, 免重训练

一句话总结¶

Tempo-SAM3D 提出首个无需微调即可将单目图像布局感知 3D 生成扩展至时序 4D 的框架，通过注意力层双路径记忆缓存、求解器层几何与渲染速度修正，以及后处理 HexPlane 低秩滤波，实现具有空间精准定位的高保真连贯 4D 生成。

研究背景与动机¶

近年来基于前向回归与流匹配的单图 3D 生成模型取得了突破性进展，尤其是以 SAM3D 为代表的布局感知生成方法，不仅能从单幅图像在数秒内合成高质量的物体三维几何与纹理外观，还能联合预测目标在场景空间中的尺度、旋转和位移等三维布局信息。这种场景级空间理解能力填补了独立物体建模与具身交互、自动驾驶等真实动态环境应用之间的关键断层。在实际视频输入场景下，连续的动态观测理应为构建时空 4D 资产提供极其丰富的时序线索与几何约束。

然而，将现有的单图生成模型直接独立应用于视频各帧时，会暴露出严重的跨帧时序不一致性。由于各帧之间缺乏时序关联，模型在每一时刻都会对背向相机或遮挡未观测到的不可见区域进行全新的独立随机脑补，导致隐空间结构跳跃、表面纹理剧烈闪烁以及估计位姿的抖动漂移。现有的 4D 生成方案大多依赖“静态典范空间加形变场（canonical-plus-deformation）”范式，预先假定拓扑结构固定且往往只能孤立生成去除了真实空间尺度的归一化目标，面对剧烈运动或大幅拓扑形变时极易崩溃，且完全丧失了单目视频原生的场景布局感知能力。

要打破单帧独立生成的时序孤岛，关键矛盾在于如何在完全保留预训练大模型空间布局感知与丰富先验的前提下，以非侵入式方式注入跨帧的时空连续性。本文认为时序一致性并非单一点位的孤立约束，而应在生成的表征层、动力学轨迹层与全局后处理层形成互补协同。核心 idea：构建一个无需重新训练权重的多层级时序一致性框架，在注意力层利用双路径记忆缓存分别传递外观视觉记忆与 3D 结构记忆，在流匹配求解器层施加时序平滑与观测对齐的梯度引导，并在生成后引入 HexPlane 低秩分解消除残余高频抖动，实现高保真度且精确定位于场景坐标系的 4D 生成。

方法详解¶

整体框架¶

Tempo-SAM3D 建立在基于 TRELLIS 架构的布局感知 3D 生成流水线 SAM3D 之上。输入包含单目视频序列、预处理估计的逐帧场景点云（如利用 MoGe 或 DUSt3R 估计）以及目标分割掩码。生成管线采用两阶段流匹配（Flow Matching）扩散变换器（DiT）：第一阶段利用多模态 DiT 生成粗粒度稀疏体素结构与包含尺度、旋转、平移的场景布局位姿；第二阶段利用以图像补丁特征为条件的 DiT 将稀疏结构细化为高分辨率结构隐表征与精细纹理。

在流匹配求解器步进 $s$ 过程中，模型通过前瞻预测估计干净数据 $\hat{x}_0 = x_s - s \cdot v_s$。Tempo-SAM3D 在该管线的三个互补层级注入时序一致性：在 DiT 内部通过双路径时序注意力共享跨帧键值缓存；在 ODE 求解阶段通过梯度引导对速度场施加时序平滑和单向几何/渲染对齐；最后在全序列生成完毕后采用基于 HexPlane 的低秩时空分解与位姿优化滤除残余噪声。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["输入单目序列<br/>RGB视频帧 + 深度点云 + 分割掩码"] --> Feat["两阶段流匹配生成主干<br/>Stage 1 稀疏体素结构 / Stage 2 结构化隐表征"]
    Feat --> DPA["双路径时序注意力<br/>跨帧KV缓存：交叉注意力视觉记忆 + 自注意力结构记忆"]
    DPA --> GGC["梯度引导速度修正<br/>ODE采样过程：隐空间时序平滑 + 几何与渲染对齐引导"]
    GGC --> Dec["逐帧初始4D生成<br/>解算粗几何体素网格与外观纹理"]
    Dec --> HPS["六平面时序平滑与全局姿态精炼<br/>HexPlane低秩时空分解 + 全局轨迹位姿优化"]
    HPS --> Out["空间定位的4D动态资产<br/>时序连贯、几何锐利且精准锚定于场景坐标系"]

关键设计¶

1. 双路径时序注意力：动静态视觉与结构特征的跨帧记忆传播 单帧独立生成中最直观的瑕疵在于：当物体旋转使曾经可见的部位转入背光或背面时，模型会遗忘历史观测并凭空乱造纹理；同时在不可见区域，由于缺少三维连续性约束，每帧重建出的三维几何轮廓跳变剧烈。针对这一痛点，该设计在 DiT 的交叉注意力（Cross-Attention）与自注意力（Self-Attention）中分别维持固定容量的历史键值（KV）缓存池：

在交叉注意力路径中维护容量为 $N_{\text{cross}}$ 的图像补丁特征缓存池 $\mathcal{P}_{\text{cross}}$，将历史观测补丁与当前帧补丁在键值维度进行拼接： $$K = [K_{\text{img}}; K_{\text{pool}}], \quad V = [V_{\text{img}}; V_{\text{pool}}]$$ 使 3D 查询向量能够跨越时序回溯曾经可见但当前被遮挡的视角细节。为防止静态特征长期驻留造成陈旧冗余，缓存池基于补丁之间的相异度（互补性）以及当前生成中 3D token 对其赋予的注意力权重（活跃度）动态淘汰，并优先准入与现有缓存差异最大的当前帧特征。

同时，利用交叉注意力的归一化熵量化每个 3D token 的观测置信度： $$H(l) = -\frac{1}{\log P}\sum_{p} a_l^{(p)} \log a_l^{(p)}$$ 其中 $a_l^{(p)}$ 为 3D token $l$ 对图像补丁 $p$ 的注意力权重。当 token 位于直接可见表面时，注意力集中于局部特定补丁，表现为低熵；位于遮挡区域时则必须漫散聚合全局上下文，呈现高熵。对应的置信度定义为 $C(l) = 1 - H(l)$。

在自注意力路径中维护容量为 $N_{\text{self}}$ 的 3D 隐空间 token 缓存池 $\mathcal{P}_{\text{self}}$，在当前帧自注意力中并入历史三维结构特征。每个候选 token 根据其观测置信度 $C(l)$、在三维拓扑中接收其他 token 注意力的中心度 $\text{Pop}(l)$（有效表征几何边界与活动关节），以及时间指数衰减因子共同评定重要性得分： $$S^{\text{self}}(l) = C(l) \cdot \text{Pop}(l) \cdot \exp(-\lambda_{\text{decay}}\cdot \Delta t)$$ 池中优先保留高置信度、高结构重要性的锚点特征，为后续帧提供稳定的三维几何骨架先验，彻底抑制了盲区结构的随机幻觉。

2. 梯度引导速度修正：求解器层时序平滑与多模态观测对齐 注意力缓存虽然为网络注入了时序表征偏置，但这仅属于隐式软引导，无法直接强制要求生成结果精准贴合瞬时物理观测。为此，Tempo-SAM3D 在流匹配常微分方程（ODE）求解器采样轨迹上引入测试时梯度修正。在每个求解步 $s$，基于前瞻估计 $\hat{x}_0 = x_s - s \cdot v_s$，以引导损失的梯度显式修正速度向量： $$v_{\text{guided}} = v_s - \alpha_s \cdot \nabla_{\hat{x}_0}\mathcal{L}_{\text{guide}}$$ 总引导损失 $\mathcal{L}_{\text{guide}} = \lambda_{\text{traj}}\mathcal{L}_{\text{traj}} + \lambda_{\text{geo}}\mathcal{L}_{\text{geo}} + \lambda_{\text{render}}\mathcal{L}_{\text{render}}$ 由三个互补目标组成：

首先是全步长施加的时序轨迹平滑损失 $\mathcal{L}_{\text{traj}} = \|\hat{x}_0^{(t)} - \hat{x}_0^{(t-1)}\|^2$，直接在隐表征空间惩罚相邻帧预测净值之间的非连续跃迁，构筑轨迹级稳定性锚点。

其次是分阶段注入的观测对齐损失：在第一阶段粗几何与位姿生成后期，将前瞻估计解码为空间体素 $\tilde{\mathcal{V}}$ 与刚体位姿 $T_t = (s_t, R_t, t_t)$，计算从当前观测场景点云 $\mathcal{P}_t$ 到生成结构变换后的单向倒角距离（Chamfer Distance）： $$\mathcal{L}_{\text{geo}} = \frac{1}{|\mathcal{P}_t|}\sum_{p \in \mathcal{P}_t} \min_{q \in T_t(\tilde{\mathcal{V}})} \|p - q\|^2$$ 之所以严格采用单向距离，是因为单目观测点云仅能覆盖物体的朝向面，双向倒角距离会错误惩罚未被观测但物理真实存在的背面几何。在第二阶段精细几何与纹理生成的后期，则通过可微渲染器计算当前渲染图与输入图像以及前一帧渲染图之间的感知损失（LPIPS），实现亚像素级的色彩保真与连续性。

3. 六平面时序平滑与全局姿态精炼：低秩时空分解与全序列姿态滤波 前述注意力与求解器层约束完全遵循因果（Causal）在线执行方式，难免在长视频序列中残留局部高频时序毛刺和累积位姿漂移。在全视频各帧初始隐表征与位姿求解完成后，引入非因果的全局后处理机制进行最终润色。

对于连续的 3D 隐空间特征体，采用 HexPlane 技术将其因式分解为 6 个紧凑的 2D 特征平面：包含 3 个纯空间平面（$XY, XZ, YZ$）与 3 个时空耦合平面（$XT, YT, ZT$）。由于非相干的帧间独立高频扰动无法在低秩时空基底中有效投影，HexPlane 重构过程天然充当了结构感知的时空带通滤波器，在保留运动主干的同时自然抹除残余闪烁。

对于估计的逐帧位姿轨迹 $\{T_t\}_{t=1}^T$，构建包含单向点云对齐项与时序相邻位姿加速度平滑惩罚项的全局联合优化问题。通过在全局时域范围内协调尺度、旋转与平移参数，有效纠正了单帧独立对齐引入的轨迹微小晃动，使 4D 模型在物理世界坐标系下的运动轨迹呈现高度的平滑性与物理真实感。

损失函数 / 训练策略¶

Tempo-SAM3D 属于完全免训练（Training-Free）的推理时即插即用框架，基座扩散模型权重在整个推理阶段完全冻结。所有实验均在单张配备 80GB 显存的 NVIDIA A100 GPU 上完成。生成参数遵循 SAM3D 默认设定：Stage 1 运行 50 步 ODE 求解，Stage 2 运行 25 步 ODE 求解。

核心超参数配置如下： - 自注意力 KV 缓存容量 $N_{\text{self}}$：Stage 1 设为 8000，Stage 2 设为 15000； - 交叉注意力 KV 缓存容量 $N_{\text{cross}}$ 设为 1024； - 重要性评分中的时间衰减系数 $\lambda_{\text{decay}} = 0.1$； - 求解器引导权重：时序平滑权重 $\lambda_{\text{traj}} = 0.3$ 并采用线性递减退火策略；几何对齐权重 $\lambda_{\text{geo}} = 0.05$（在 Stage 1 后 50% 步长激活）；渲染引导权重 $\lambda_{\text{render}} = 0.1$（在 Stage 2 后 50% 步长激活）； - HexPlane 平滑时序分辨率设为 48，平面特征通道维度设为 32。

实验关键数据¶

主实验¶

评估遵循主流 4D 基准 V2M4 的评测协议，在包含简单运动（Consistent4D，20 个序列）与复杂大幅度形变动作（Mixamo 与 Sketchfab，20 个序列）的数据集上进行全面对比。评估指标包括生成质量与真实度（CLIP 相似度、LPIPS、DreamSim）以及时序一致性（FVD）。

数据集分组	方法	CLIP ↑	LPIPS ↓	FVD ↓	DreamSim ↓
Simple (Consistent4D)	TRELLIS	0.8905	0.1597	1342.66	0.1282
	DreamMesh4D	0.8692	0.1019	914.28	0.0937
	V2M4	0.9259	0.1017	825.59	0.0688
	Tempo-SAM3D (本文)	0.9312	0.0992	841.27	0.0702
Complex (Mixamo / Sketchfab)	TRELLIS	0.8887	0.1265	1216.19	0.1492
	DreamMesh4D	0.8256	0.0804	1079.02	0.1850
	V2M4	0.9008	0.0747	666.04	0.1220
	Tempo-SAM3D (本文)	0.9085	0.0728	642.38	0.1165

为了检验真实自然背景下的空间布局感知 4D 生成能力，论文构建了 Tempo-SAM3D 新数据集（包含 20 个具备真实动态背景与高保真 3D/4D 重建参考的视频序列）。该基准不仅评测外观质量（LPIPS, PSNR, FVD），还严格评测 3D 边界框空间定位精度（3D IoU, 深度均方根误差 D-RMSE, 5cm 误差阈值内的绝对位姿准确率 ACC5cm）。

方法	LPIPS ↓	PSNR ↑	FVD ↓	IoU (%) ↑	D-RMSE ↓	ACC5cm (%) ↑
TRELLIS	0.165	17.82	1456.28	—	—	—
V2M4	0.138	18.76	781.56	—	—	—
SAM3D (单帧基线)	0.128	19.45	1218.63	73.5	0.028	90.3
Tempo-SAM3D (本文)	0.119	20.12	732.45	83.8	0.018	95.8

消融实验¶

在 Tempo-SAM3D 数据集上对所提出的各层级组件进行逐模块累加消融，验证其对时序连续性与空间定位精度的具体增益贡献。

配置	FVD ↓	LPIPS ↓	PSNR ↑	IoU (%) ↑	D-RMSE ↓	ACC5cm (%) ↑	说明
(a) Baseline (SAM3D)	1218.63	0.128	19.45	73.5	0.028	90.3	独立单帧前向基线
(b) + 自注意力结构记忆	1076.52	0.131	19.32	73.1	0.029	89.8	显著压低 FVD (-142.1)，抑制盲区几何形变
(c) + 时序隐空间引导	935.18	0.130	19.38	73.3	0.028	90.1	轨迹平滑进一步削减时序跳跃 (-141.3 FVD)
(d) + 观测对齐引导	871.25	0.121	20.18	82.6	0.019	95.2	空间定位关键组件：IoU跃升9.3%，误差骤降
(e) + HexPlane全局平滑 (完整模型)	732.45	0.119	20.12	83.8	0.018	95.8	滤除高频残差，FVD达最低，空间指标全面最优

关键发现¶

复杂大运动场景优势显著：在 Mixamo/Sketchfab 这类包含剧烈非刚性肢体运动的复杂序列中，传统基于典范形变场的对比方法（如 DreamMesh4D）容易因拓扑假设失效而崩溃；Tempo-SAM3D 凭借逐帧隐式生成加时序记忆锚定的范式，取得了大幅领先的 FVD（642.38 vs 666.04）与最优的渲染保真度。
空间对齐引导是布局落地的中枢：消融实验清晰展示，仅加入注意力记忆与隐空间平滑（阶段 b 与 c）主要优化了时序 FVD，但对空间 3D IoU 与深度误差几乎无影响；一旦加入基于单向点云倒角距离的对齐引导（阶段 d），IoU 立即从 73.3% 跃升至 82.6%，位姿精确度 ACC5cm 从 90.1% 攀升至 95.2%，证明显式几何拉力对单目 4D 定位至关重要。
交叉注意力视觉记忆的定性威力：由于盲区与背向视角的纹理一致性无法反映在正视观测帧的定量指标中，论文通过工人转身等特定案例表明：缺乏交叉注意力缓存时，工人背对相机后前胸纹理完全遗忘而乱码；引入视觉记忆池后，早期观测到的前襟花纹在后续侧视与背视推理中得到完美召回与保全。

亮点与洞察¶

多层级、全栈式时序一致性设计：避开了针对视频重新昂贵预训练 4D 扩散模型的重度路径，将时序先验精妙解耦至注意力隐层记忆、ODE 动力学采样梯度修正以及后处理低秩平滑三个层次，兼顾了生成灵活性与物理刚性约束。
单向倒角几何引导的审慎权衡：敏锐指出单目点云的不完整性缺陷，设计单向点云倒角损失仅惩罚观测点向三维实体的偏离，避免传统双向匹配对真实背面未见几何的过度压缩和形变惩罚。
基于注意力熵与中心度的自适应动态缓存机制：自注意力与交叉注意力池的管理没有简单套用 FIFO 先入先出策略，而是以注意力信息熵判定观测可信度、以自注意力中心度筛选结构骨架关键点，这种以网络自省为核心的度量方法对大模型测试时微调和时序记忆池设计极具借鉴价值。

局限与展望¶

对单目前置几何与分割精度的强依赖：几何对齐引导依赖高质量的点云输入与相机轨迹，若前置单目深度或点云重建（如 DUSt3R/MoGe）在大反光或严重动态遮挡下产生严重形变漂移，该误差将通过 $\mathcal{L}_{\text{geo}}$ 负向传导给 4D 生成。
推理耗时随着序列与分辨率线性累加：尽管免除了模型训练，但在 Stage 1 与 Stage 2 后期求解步长中反复计算可微渲染与倒角距离反向传播，相比纯前向推理增加了可观的计算开销，尚无法满足高帧率实时在线交互需求。
未来方向：探索与单目流几何大模型（如 MonST3R/Flow3R）的紧耦合端到端优化，并将 HexPlane 平滑机制转化为轻量化的流式滑动窗口低秩滤波，以支持长视频实时流式 4D 场景重建。

评分¶

新颖性: ⭐⭐⭐⭐ [首次以免训练多层级协同方式将布局感知单图 3D 模型扩展为场景级 4D 生成框架]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖 V2M4 标准基准与自建真实背景 4D 定位基准，定性定量与逐级消融详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严谨，从表征、求解器到后处理的层次递进推导自然且数学严密]
价值: ⭐⭐⭐⭐⭐ [对单目视频动态场景理解、具身智能空间定位以及低成本 4D 数字资产合成具备重大实用价值]