Can 4D Foundation Models Remember?¶

会议: NeurIPS 2026
arXiv: 2609.20819
代码: https://guangzhaohe.com/persistbench
领域: 自监督学习
关键词: 4D基础模型, 视觉记忆, 客体恒常性, 360度全景视频, PersistBench

一句话总结¶

本文提出首个基于全景视频全知真值的4D基础模型视觉记忆基准PersistBench，解耦评测客体恒常性、运动连续性与外观保持度，揭示现有模型离开视野后记忆断崖式下跌的“能看见不等于能记住”本质缺陷。

研究背景与动机¶

动态3D世界的感知与记忆是具身交互和空间智能的基石。人类认知系统能够轻松维持对物理世界的动态表征——即使一个滑板少年短暂滑出视野，人类也能在脑海中推演其未来的运动轨迹和外观演变。近年来，4D重建模型（如CUT3R、4DGT、CogNVS）与相机可控的4D生成世界模型（如GEN3C、ReCamMaster、TrajectoryCrafter）取得了长足进展，在单目视频的新视角合成与时空插化任务上展现出高超的逼真度。

然而，现有评测体系存在两大根本缺陷。首先，缺乏动态场景盲区外的真实世界真值：常规视角视频一旦目标移出视场（FOV），后续物理状态便不可观测，无参考评测无法量化模型是在真实记忆外推还是凭借生成先验凭空捏造；其次，主流基准（如VBench、WorldScore）严重依赖PSNR、SSIM等像素级统计量或全局一致性，无法以物体为中心（object-centric）评估其跨时间与视角的语义留存。这导致一个核心问题悬而未决：当前的4D基础模型是否真正具备类似人类的动态视觉记忆？

本文切入的角度是：利用未充分开发的360°全景视频作为“全知观察者”（omniscient ground truth），构建输入视角中目标移出视野、但全知视角中持续可见的严格受约束测试对。核心 idea：将4D视觉记忆解耦为客体恒常性（Object Permanence）、运动连续性（Motion Continuity）与外观保持度（Appearance Preservation）三维正交指标，利用360°全景轨迹优化采样构建首个含真实出画真值的基准PersistBench，量化证明“看见不等于记住”。

方法详解¶

整体框架¶

PersistBench的评测流程从全景视频数据构建出发，经过时空约束轨迹生成，最终通过物体中心的解耦评价体系探针式探测4D模型的内部记忆状态。首先，利用全景视频全方位捕获物理场景的特性，将输入视角限制为“目标在前半段可见、后半段移出画面”的轨迹，迫使模型利用内部表征向目标移出后的虚拟探针相机渲染场景；与此同时，保持全知参考相机视角全程锁定该物体作为真实世界真值（GT）。最后，利用由检测定位、跟踪与VLM语义判别器构成的复合探针流水线，解耦计算三个维度的记忆指标。

整体流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["360°全景视频 + 初始位姿估算"] --> B["全景无缝物体检测与跟踪<br/>双画布SAM3消除环状缝隙"]
    B --> C["B样条约束相机轨迹优化<br/>最小化跳动并强制出画时间表"]
    C --> D["透视视角裁剪与探针生成<br/>输入序列(出画) + 参考序列(全程可见)"]
    D --> E["4D基础模型渲染推理<br/>虚拟探针相机视角生成RGB帧"]
    E --> F["双重验证客体恒常性<br/>SAM2实例跟踪 ∧ VLM语义判决"]
    E --> G["尺度归一化运动连续性<br/>质心L2漂移指数衰减 Cont"]
    E --> H["掩码全局特征外观保持度<br/>DINOv2 patch平均池化余弦相似度 App"]

关键设计¶

1. 全景无缝物体跟踪与B样条约束相机轨迹优化：构建严密出画对比真值

常规透视视频在物体出画后失去真值，而直接在等距柱状投影（Equirectangular）全景格式上跟踪会导致物体穿过左右边缘时身份丢失与轨迹跳变。为解决该痛点，PersistBench首先对全景视频水平复制拼接为双倍画布，运行SAM3跨边界连续跟踪，并根据接缝去重规则将掩码映射回原始坐标系，彻底消除了全景边界处的轨迹断裂。

在此基础上，为生成符合动力学平滑度且满足严苛出画时间表（输入视角中物体经历“不可见-可见-不可见”，参考视角全程可见）的相机对，系统将相机偏航角与俯仰角 \((\theta_t, \phi_t)\) 参数化为三次B样条曲线，并利用L-BFGS-B求解受约束优化目标：

\[\mathcal{L} = \lambda_{\mathrm{vis}}(\mathcal{L}_{\mathrm{inc}} + \mathcal{L}_{\mathrm{exc}}) + \lambda_{\mathrm{smooth}}(\mathcal{L}_{\mathrm{vel}} + \mathcal{L}_{\mathrm{acc}} + \mathcal{L}_{\mathrm{jerk}}) + \lambda_{\mathrm{cont}}\mathcal{L}_{\mathrm{continuity}} + \lambda_{\mathrm{center}}\mathcal{L}_{\mathrm{center}}\]

其中 \(\mathcal{L}_{\mathrm{inc}}\) 惩罚可见关键帧中视线脱离目标包围框范围，\(\mathcal{L}_{\mathrm{exc}}\) 严格惩罚不可见窗口内进入目标局部视野，平滑项惩罚速度、加速度与加加速度（jerk）。轨迹经频域低通滤波后裁剪出无抖动的高质量视锥视频对。

2. 跟踪与VLM双重验证的客体恒常性评估：剔除跟踪器漂移与退化斑块

客体恒常性评估的核心矛盾在于：单一的视频跟踪器（如SAM2）在目标严重退化为模糊光斑甚至背景漂移时仍能强行输出连续掩码，而单纯的VLM判别器又易混淆同类别不同实例（例如将背景中的其他树误认为目标树）。

PersistBench提出实例连续性与语义认同并行的双重验证机制。在生成的序列首帧通过DINO匹配初始化目标后，运行SAM2获取连续掩码；同时引入开源大视觉语言模型（Qwen3.8-27B）作为自适应递归判决器，对比参考帧裁剪与生成目标裁剪，忽略位置和光照变化，仅判定语义实体是否依然留存。只有当追踪器输出有效掩码且VLM判定目标存在时，该帧才计为恒常性保留：

\[\texttt{Perm} = \frac{1}{T} \sum_{t=1}^{T} \mathds{1}[\text{SAM}_t \land \text{VLM}_t]\]

消融实验证明，这种逻辑与运算有效排除了90%以上的虚假连续性误差。

3. 尺度自适应运动连续性与全局语义特征外观保持度：解耦动态与几何保真度

传统重建指标（如PSNR/LPIPS）将空间位移与纹理误差混杂，无法回答“模型是否记住了运动趋势”与“模型是否记住了长相”。PersistBench将二者彻底解耦，并且仅在目标成功追踪的有效帧集合上统计，避免因目标消失而间接污染运动与外观评分。

针对运动连续性，计算生成目标质心 \(\mathbf{c}_t^{\mathrm{pred}}\) 与真实质心 \(\mathbf{c}_t^{\mathrm{ref}}\) 的欧氏距离，并用参考目标的平均面积 \(\overline{A}^{\mathrm{ref}}\) 进行尺度归一化，通过指数衰减函数映射到 \([0, 1]\)：

\[\texttt{Cont} = \frac{1}{T} \sum_{t=1}^{T} \exp\left(-\frac{\alpha \|\mathbf{c}_t^{\mathrm{pred}} - \mathbf{c}_t^{\mathrm{ref}}\|_2}{\sqrt{\overline{A}^{\mathrm{ref}}}}\right)\]

针对外观保持度，避免受边缘形变和裁剪伪影干扰，将全幅生成图像与全幅参考图像分别输入自监督视觉骨干网络DINOv2提取特征图 \(\mathbf{F}_t^{\mathrm{pred}}\) 与 \(\mathbf{F}_t^{\mathrm{ref}}\)，利用下采样的目标掩码进行掩码空间平均池化 \(\phi(\cdot)\)，计算全局语义特征向量的平均余弦相似度：

\[\texttt{App} = \frac{1}{T} \sum_{t=1}^{T} \cos\left(\phi(\mathbf{F}_t^{\mathrm{pred}}), \phi(\mathbf{F}_t^{\mathrm{ref}})\right)\]

Earth Mover’s Distance (EMD) 分析验证表明，全局掩码池化DINO特征相比于局部Crop CLIP或DreamSim能提供区分优质与劣质生成的最佳动态范围。

实验关键数据¶

主实验¶

PersistBench在2,000个评测序列（涵盖人体、车辆、动物、建筑、家具等10个类别，静态与动态各1,000组）上对3大流派共12个代表性4D基础模型进行了全方位评测。括号内为目标在输入中可见段（Visible）的性能，括号外为目标移出视野不可见段（Invisible）的真实记忆得分。

模型类型	模型名称	静态客体恒常性 (Perm)	静态运动连续性 (Cont)	静态外观保持度 (App)	动态客体恒常性 (Perm)	动态运动连续性 (Cont)	动态外观保持度 (App)
4D重建	CUT3R	3.14% (66.43%)	70.66% (86.76%)	20.97% (56.71%)	0.99% (43.99%)	58.27% (76.94%)	18.04% (49.49%)
4D重建	4DGT	16.03% (97.00%)	70.34% (93.03%)	37.36% (83.69%)	3.89% (96.21%)	61.12% (91.25%)	23.96% (79.98%)
4D重建	CogNVS	41.98% (99.29%)	67.91% (96.10%)	64.08% (92.65%)	61.99% (99.84%)	61.53% (96.15%)	57.14% (92.75%)
4D重建	NeoVerse	78.92% (97.23%)	63.66% (85.84%)	80.42% (91.77%)	54.31% (88.04%)	48.01% (71.33%)	65.54% (83.08%)
相机控制视频	ReCamMaster	70.06% (95.48%)	51.73% (64.31%)	73.48% (89.36%)	45.03% (91.52%)	35.52% (54.65%)	50.07% (82.08%)
相机控制视频	TrajectoryCrafter	81.56% (99.55%)	70.14% (96.96%)	77.52% (96.30%)	77.80% (99.74%)	56.45% (97.01%)	66.74% (94.24%)
相机控制视频	GEN3C	83.97% (95.96%)	76.79% (86.98%)	82.61% (93.26%)	87.06% (96.13%)	64.62% (88.54%)	72.28% (90.94%)
全景视频生成	Argus	84.06% (99.25%)	80.60% (95.86%)	68.49% (87.69%)	62.42% (98.97%)	59.86% (95.22%)	49.31% (85.20%)
全景视频生成	CubeComposer	73.56% (98.94%)	75.51% (96.33%)	68.42% (93.18%)	45.29% (99.27%)	52.95% (95.33%)	37.86% (87.55%)
基线参考	Omniscient Ref.	99.99% (99.99%)	98.68% (98.88%)	99.79% (99.82%)	99.62% (99.96%)	97.84% (98.76%)	99.69% (99.86%)

消融实验¶

评测组件鲁棒性及度量解耦有效性实验如下表所示（括号外为不可见段，括号内为可见段与默认配置的Spearman秩相关系数 \(\rho\)）：

评测组件类别	消融变量 / 替换模型	Perm 相关度 (\(\rho\))	Cont 相关度 (\(\rho\))	App 相关度 (\(\rho\))	说明
聚合策略	All-frame (未追踪记0) vs. Tracked-frame	0.972 (App)	0.685 (Cont)	—	证明Tracked-frame避免将Cont/App与Perm机械绑定
外观特征抽取	DINOv2-B/14 (降级骨干)	—	—	0.993 (0.965)	跨尺寸骨干模型排名高度一致
外观特征抽取	CLIP-L/14 (图文对比特征)	—	—	0.930 (0.944)	跨特征体系依然保持排位稳定
追踪器替换	SAM2.1 Tiny (轻量化追踪器)	0.993 (0.944)	0.972 (1.000)	0.993 (0.993)	验证追踪器规模不影响模型性能梯队判断
VLM裁判替换	Claude Sonnet 5 (商业顶级前沿模型)	0.993 (0.916)	—	—	与开源Qwen3.8判决高度对齐
运动距离定义	Mask IoU (替代质心L2)	—	0.944 (1.000)	—	运动形态不同定义下模型相对优劣保持一致
常规无参基准	WorldScore-3D Consistency	0.490 (0.175)	-0.231 (-0.161)	0.524 (0.559)	弱相关甚至负相关，表明常规画质指标无法衡量记忆
常规无参基准	WorldScore-Motion Smoothness	-0.245 (-0.517)	-0.063 (-0.559)	-0.049 (-0.119)	像素级运动平滑度与真实世界轨迹留存显著背离

关键发现¶

看见绝非记住（Seeing is not remembering）：所有测试模型在不可见段的指标均遭遇灾难性滑坡。例如CUT3R在动态物体出画后，客体恒常性从43.99%暴跌至0.99%，4DGT从96.21%降至3.89%。这证明现有4D基础模型高度依赖对输入可见像素的直接插值与局部几何warp，未能在隐空间建立持续演化的世界状态。
显式几何投影引导至关重要：GEN3C（87.06%）、TrajectoryCrafter（77.80%）与NeoVerse（54.31%）在不可见段表现显著优于隐式纯扩散生成模型（如ReCamMaster）。显式地将历史观测点云/高斯几何投影到目标相机平面作为前置条件，能将完全生成任务转化为条件修复任务，大幅抑制虚空遗忘。
静态记忆是动态记忆的基础支撑：静态物体与动态物体子集在不可见段的评测得分呈现极高的皮尔逊相关性（\(r > 0.85\)），说明静态场景持久化与动态物体轨迹推演共享底层时空表征机制。
数据偏差是首要瓶颈：全景生成模型（Argus、CubeComposer）在静态场景具有极强记忆（Perm > 73%），但在动态场景显著恶化，根本原因在于现有训练数据集几乎全为目标全程可见的顺畅镜头，缺乏大量真实遮挡、出画后重新进入的监督信号。

亮点与洞察¶

全知真值的绝妙构造：利用360°视频自由裁剪透视相机的物理自由度，巧妙解决了“出画后无GT”的业界难题，使动态世界模型的长程记忆评测首次迈入全参考定量时代。
解耦三维评测范式：将记忆细分为客体恒常性（在不在）、运动连续性（在哪里）和外观保持度（长啥样），并在有效追踪帧上条件化聚合，避免了指标间的交叉污染，为世界模型架构分析提供了极佳的诊断探针。
指出4D世界模型的数据盲区：不仅给模型排名，更从数据分布角度深刻揭示了现有模型“记忆缺失”的根源在于训练视频的“全程可见偏差”，指明了未来4D训练数据合成与采样的核心突破口。

局限与展望¶

作者承认的局限：数据源自YouTube 360°公开视频，场景分布受限于手持或运动相机视角，缺乏更复杂的极端动态与室内交互；评测依赖SLAM位姿估计与预训练VLM/SAM模型，位姿误差可能轻微传导至绝对得分上。
未考虑的运动多模态性：对于动态物体，随着出画时间增加，其物理未来具有发散的多模态可能（例如汽车可以左转也可以直行），当前参考真值对比对合理的替代合理轨迹缺乏多假设容忍度。
未来改进方向：引入概率性流形评测或多视角全景多相机机阵真值，并在模型侧探索显式可持久化可微分记忆体（Differentiable Memory Bank）与主动遮挡自监督预训练策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出利用全景视频全知真值量化4D基础模型视觉记忆，立意新颖且切中物理世界模型痛点]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖12个代表性4D模型、2,000个真实测试对，具备详尽的模型替换消融与人类主观评测校准]
写作质量: ⭐⭐⭐⭐⭐ [概念阐述极具认知科学深度，问题提炼精准有力，逻辑链条严密流畅]
价值: ⭐⭐⭐⭐⭐ [明确指出现有4D/世界模型“看见不等于记住”的本质短板，为下一代空间智能模型与数据构建指明方向]