Persistent Planar Memory for Video World Models¶

会议: NeurIPS 2026
arXiv: 2610.23795
OpenReview: https://openreview.net/forum?id=gLnVSxwQF6
论文: https://arxiv.org/abs/2610.23795
领域: 视频生成
关键词: 视频世界模型、平面图元、持久化3D记忆、视频扩散Transformer、深度词元融合

一句话总结¶

PPMem 将紧凑的参数化平面图元作为视频世界模型的持久化 3D 空间记忆，通过自回归分块联合预测视频与平面几何、几何合并更新记忆池并前瞻渲染深度回传条件，在仅占用约 5 MB 显式几何内存的极致紧凑性下，实现了数百帧大幅度视点漫游中的长时程视觉与度量几何一致性。

研究背景与动机¶

视频世界模型作为生成、模拟与探索物理环境的核心范式，其目标不仅是在固定轨迹下生成数十帧的高画质短视频切片，更在于跨越数百帧的长时程序列中维持全局一致的三维物理世界状态。现有的世界模型大致分为两条技术路线：纯视频扩散模型（如 Genie 3、LingBot-world）完全依赖隐式注意力与海量数据拟合长程依赖，但无法提供任何可供下游交互、碰撞检测或编辑导出的显式 3D 几何表征；基于 3D 几何约束的世界模型（如维护 2 帧点云缓存的 Gen3C、依赖外部 surfel 检索库的 VMem，或构建密集 TSDF 体素网格的 SPMem）尝试引入空间状态，却受制于点云与体素表征的固有缺陷——显存与计算开销随探索范围急剧膨胀、依赖脆弱的外部单目深度估计器、缺乏全局跨视点多视图几何约束，且无法对累积的几何误差进行自适应修复与剪枝。

这一瓶颈的核心矛盾在于：长程视频漫游要求空间记忆既具备足够的度量几何表达力与光栅化回传能力，又必须具备极致的紧凑性以支撑跨百帧自回归滚动，同时在几何预测上必须与视频生成主干深度协同而非割裂缝合。以逐像素点云为例，探索数百帧所累积的密集点云可膨胀至数亿个点（数据量达数吉字节），且充满噪声漂移；而简单的帧级检索又缺乏显式几何曲面约束。人类构建物理世界心智表征的过程高度依赖结构抽象，建筑与室内外场景中的墙壁、地面、天花板、立面与台面均可以由稀疏的平面所刻画，单个平面图元仅需 7 个参数即可提供清晰的度量深度与法向量支持。

本文的切入点正是将几何重构中优雅的平面图元升格为生成式视频世界模型的底层空间记忆结构。核心 idea：将紧凑参数化平面图元（每个图元仅7个参数）引入视频扩散 Transformer，在自回归分块生成中联合回归 RGB 与局部平面几何，通过多视角遮挡投票、视距感知与前瞻剪枝机制合并为全局持久化平面池，再经可微矩形高斯光栅化渲染为度量深度并通过深度词元融合（DTF）回传主干，以不足 10 MB 的极低空间开销支撑起跨越数百帧的度量级长程自洽世界模拟。

方法详解¶

整体框架¶

PPMem 构建于 Wan 2.2 5B 视频扩散 Transformer（DiT）之上，将自回归视频生成拆解为逐块推进的循环过程（每个分块生成 25 帧视频，以末帧作为下一块的起始帧）。在每个生成分块中，模型接收由历史视角投影的 RGB 特征、软能见度掩码以及自全局平面池光栅化渲染得到的部分深度图作为几何条件，通过通道拼接与词元级融合双通道注入 DiT 主干。DiT 内部解耦为两条计算流：冻结的视频主干完成 50 步流匹配去噪以保证画面视觉质量，随后在去噪特征后接入 Stage-2 几何 LoRA 与特征上采样解码器，由轻量级平面预测头回归出局部空间中的 7 参数平面图元集合。新预测的平面随后通过基于观测质量评分的几何合并管线融入全局持久化平面池（Persistent Plane Pool），最终光栅化前瞻渲染出下一块相机轨迹对应的度量深度图，形成“生成 $\rightarrow$ 几何提取 $\rightarrow$ 记忆合并 $\rightarrow$ 渲染反馈 $\rightarrow$ 下一阶段生成”的闭环系统。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入帧与相机轨迹<br/>Input Frame & Camera Trajectory"] --> Cnd["条件装配与前瞻光栅化<br/>Conditioning Assembly & Look-Ahead Rendering"]
    Cnd --> DTF["深度词元融合模块 (DTF)<br/>Depth Token Fusion & Patch Masking"]
    DTF --> Dec["双阶段解耦生成架构<br/>Frozen Stage-1 DiT + Geometry LoRA Pass"]
    Dec --> Pred["平面预测头与参数回归<br/>Planar Prediction Head (7 DoF Primitives)"]
    Pred --> Pool["持久化平面池维护与几何合并<br/>Persistent Plane Pool Maintenance & Merging"]
    Pool -->|跨块几何反馈与深度光栅化| Cnd
    Dec --> OutVid["一致性长程视频输出<br/>Generated Video Sequence"]
    Pool --> OutGeo["显式可导出度量3D几何<br/>Metric Depth, Normals & Exportable Planes"]

关键设计¶

1. 持久化平面记忆池与几何合并机制：解决长时程稠密几何状态膨胀与跨视点漂移 传统 3D 约束世界模型将整场探索过程中的逐像素点云或体素完整保留，在几百帧序列中会迅速膨胀到上亿个图元，且旧视角下的预测噪声会在后续渲染中产生严重的“漂浮物”（floaters）。PPMem 将场景显式表达为全局参数化平面集合 $\mathcal{P} = \{\mathbf{p}_1, \mathbf{p}_2, \ldots\}$，每个平面图元由 7 个参数唯一定义：沿相机光线的中心深度 $z$（结合相机内参导出 3D 坐标 $\mathbf{x}$）、双向矩形长宽半轴 $(s_x, s_y)$ 以及表示法向姿态的旋转四元数 $\mathbf{q} \in \mathbb{R}^4$。为了在免于全局梯度优化的前提下实现流式几何自适应维护，每块预测的新平面 $\mathcal{P}_{\text{new}}$ 会经过多级严格的几何合并：首先，为每个平面分配观测可靠性评分： $$ s = \frac{r}{|\cos\theta|} $$ 其中 $r$ 为生成该平面的相机与平面中心的欧氏距离，$\theta$ 为视线与平面法向的夹角。评分越小，表示相机观测距离越近、视线越垂直正面，平面的度量置信度越高。合并机制执行三大核心过滤操作： - 遮挡删除（Floater Removal）：若全局池中的历史平面位于新生成几何表面的前方且超出裕度 $\delta_{\text{occ}} = 0.1$，经当前块多相机视锥投票（$\ge 20\%$ 相机达成一致）后直接剔除，有效清除早期粗视点下留下的悬浮伪影； - 双向质量去重与替换（Dedup & Replacement）：在空间距离 $\epsilon_{\text{same}} = 0.5\,\text{m}$ 邻域内，块内平面去重直接消除约 80% 的冗余图元，跨块匹配则遵循“优胜劣汰”准则，仅保留 $s$ 分数更优者； - 前瞻性主动剪枝（Forward-Looking Pruning）：利用已知给定的下一块目标相机轨迹，计算池中平面在下一视角的距离 $r_{\text{next}}$；若 $r_{\text{next}} / r_{\text{created}} < \tau = 0.3$，说明相机即将极大逼近该物体表面，现有粗粒度平面会被下一块的高清近景预测所替代，系统便主动提前清除该平面，避免新旧几何交错。经此维护，数百帧复杂漫游后的整场场景几何仅稳定收敛于约 10 万个平面图元（内存占用仅约 5 MB），比稠密点云节省三个数量级。

2. 深度词元融合模块（DTF）：解决渲染稀疏深度条件下的尺度失真与孔洞敏感性 在自回归生成循环中，光栅化局部平面池所得的深度图必然存在因未探索视角、几何断裂与边缘引起的未覆盖孔洞（holes）。若仅仅通过 VAE 将带有大片无效区域的深度图编码为隐空间通道拼接，VAE 的下采样下限会抹除稀疏尺度的度量信息，且在极端几何缩放时产生压缩失真。为此，PPMem 引入了受掩码深度建模启发的深度词元融合模块（DTF）。DTF 采用一个轻量级 ViT-Base 编码器（约 87M 参数，初始化自 DINOv2-Base，仅占 5B 主干的 1.7%），将像素级深度图以 $16 \times 16$ 卷积分块切片并编码为与 DiT 特征同维度的深度词元。针对渲染深度的非均匀完备性，设计了三级掩码融合策略： - 全无效 Patch（覆盖率为 0）被 100% 丢弃； - 混合 Patch（部分覆盖边界）以概率 $\rho_{\text{mix}} = 0.75$ 随机丢弃； - 全有效 Patch 随机丢弃以保证总掩码率稳定在 $[0.6, 0.9]$ 区间。这种强制稀疏化强迫模型学会在不依赖完整深度底图的前提下，精准提取可靠区域的度量线索。在尺度保真度测试中，拼接方案在几何缩放时产生显著尺度漂移，而 Concat + DTF 的预测/真实深度比率精确维持在 $1.00 \pm 0.01$，尺度对数 RMSE 降低至 0.131。

3. 双阶段解耦架构与几何预测头：兼顾高质量视频扩散与显式度量几何回归 将连续视频扩散去噪与离散几何回归直接端到端联合训练极易引发任务冲突，导致视频生成出现色彩失真与运动崩塌。PPMem 采用精巧的双阶段训练与推理时间解耦机制： - Stage 1（视频主干预训练）：在 Wan 2.2 5B 主干上使用流匹配损失微调相机控制视频生成，输入拼接源视角投影 RGB/Mask 以及对齐的深度图； - Stage 2（几何头与 LoRA 适配）：完全冻结 Stage-1 视频主干权重，在全部 30 个 DiT Block 的自注意力层注入 Rank=256 的 LoRA 适配器，同时挂接从 Wan VAE 解码器上采样模块初始化的特征解码器（空间分辨率上采样 $2\times$）与三路轻量级 MLP。MLP 分别预测对数空间中心深度 $z \in [0.2, 277]\,\text{m}$、度量尺度长宽半轴 $(s_x, s_y)$ 与法向四元数 $\mathbf{q}$。在推理阶段，视频扩散去噪以标准流程运行完整的 50 步，全程禁用 LoRA，百分之百保留原生视频主干的纹理生成质量与动态稳定性；仅在最后一步去噪结束时，使用带 LoRA 的单次前向传播从 DiT 隐层特征中抽取出几何词元并由平面头输出参数，实现了计算开销与生成质量的完美解耦。

损失函数 / 训练策略¶

PPMem 的 Stage 2 训练聚焦于几何精度的回归，冻结视频生成主干，仅对几何 LoRA、DTF 模块、特征解码器及平面头参数进行梯度回传。总几何损失定义为： $$ \mathcal{L} = \underbrace{\lambda_d \mathcal{L}{\text{depth}} + \lambda_n \mathcal{L}}}{\text{逐词元监督}} + \underbrace{\lambda_d^r \mathcal{L}}}^{\text{rend}} + \lambda_n^r \mathcal{L{\text{normal}}^{\text{rend}}} $$ 其中，}} + \lambda_s \mathcal{L}_{\text{smooth}$\mathcal{L}_{\text{depth}}$ 是对数空间下的 L1 深度损失，$\mathcal{L}_{\text{normal}}$ 结合了法向量余弦相似度与 L1 误差；$\mathcal{L}_{\text{depth}}^{\text{rend}}$ 与 $\mathcal{L}_{\text{normal}}^{\text{rend}}$ 为矩形高斯光栅化渲染图与真实几何之间的误差，在前 1000 步 warmup 期间被关闭，确保平面尺寸与朝向初始化平稳后再激活；$\mathcal{L}_{\text{smooth}}$ 是施加在渲染深度上的全变差（Total Variation）平滑正则。超参数设置为 $\lambda_d = 0.2$、$\lambda_n = 0.05$、$\lambda_d^r = 0.02$、$\lambda_n^r = 0.01$、$\lambda_s = 0.02$。模型使用 AdamW 优化器，学习率设为 $1 \times 10^{-5}$，Stage 1 训练约 7,000 步，Stage 2 训练约 5,000 步。

实验关键数据¶

主实验¶

在标准数据集 DL3DV 与 RealEstate10K（RE10K）上，分别在短程（$N=49$ 帧）与中程（$N=121$ 帧）设定下对 PPMem 与代表性 3D 增强视频生成系统（Gen3C、Voyager、VMem、SPMem）进行了量化对比。所有指标均使用各模型原生分辨率中心裁剪评测。

数据集	方法	PSNR ↑	LPIPS ↓	CLIPsim ↑	DINOv2sim ↑	帧数预算
DL3DV	Gen3C	15.74 / 13.59	0.474 / 0.565	0.847 / 0.798	0.710 / 0.585	49 / 121
DL3DV	Voyager	12.84 / 11.35	0.568 / 0.649	0.796 / 0.760	0.615 / 0.516	49 / 121
DL3DV	VMem	11.88 / 10.87	0.636 / 0.722	0.781 / 0.696	0.477 / 0.274	49 / 121
DL3DV	SPMem	14.70 / 13.03	0.492 / 0.607	0.853 / 0.788	0.703 / 0.536	49 / 121
DL3DV	PPMem (本文)	16.99 / 13.98	0.335 / 0.464	0.909 / 0.863	0.861 / 0.769	49 / 121
RE10K	Gen3C	21.93 / 19.22	0.238 / 0.303	0.925 / 0.912	0.949 / 0.906	49 / 121
RE10K	Voyager	17.43 / 15.88	0.315 / 0.389	0.900 / 0.881	0.877 / 0.827	49 / 121
RE10K	VMem	11.69 / 11.07	0.626 / 0.678	0.812 / 0.754	0.547 / 0.402	49 / 121
RE10K	SPMem	18.42 / 16.43	0.279 / 0.375	0.920 / 0.892	0.902 / 0.819	49 / 121
RE10K	PPMem (本文)	22.46 / 19.34	0.168 / 0.254	0.965 / 0.952	0.949 / 0.910	49 / 121

消融实验¶

在 DL3DV 室内子集（56 场景，测试 3 个自回归分块）上，保持相同 Stage-1 骨干与推理检查点，剥离或替换核心组件以验证 3D 记忆机制与条件注入的有效性。

配置变体	PSNR ↑	LPIPS ↓	CLIPsim ↑	DINOv2sim ↑	AbsRel ↓	$\delta < 1.25$ ↑ (%)	Normal 误差 ↓ ($^\circ$)	说明
无持久化记忆 (No Memory)	14.58	0.407	0.835	0.733	0.272	64.0	25.2	仅用当期预测深度自循环
MoGe-2 点云记忆 (Gen3C式)	14.37	0.423	0.832	0.716	0.339	55.0	25.8	外部单目深度反投影点云
事后 Plana3R 重建合并	14.22	0.432	0.829	0.713	0.311	57.0	26.3	独立重建模型事后预测平面
联合平面记忆池 (PPMem 完整)	14.91	0.387	0.835	0.741	0.210	70.3	24.1	内生联合预测+几何维护
无深度条件输入	14.19	0.430	0.826	0.709	0.436	30.7	25.8	深度回归严重塌陷
仅通道拼接 (Channel Concat)	14.88	0.388	0.838	0.743	0.212	72.3	23.8	尺度扰动下失真增加
替换为原 Plana3R 上采样头	14.68	0.395	0.832	0.737	0.256	59.2	26.2	缺少 VAE 空间先验引导
移除光栅化渲染损失	14.82	0.391	0.834	0.736	0.217	66.4	25.4	图元延展尺寸失准

关键发现¶

长程跨视角稳定性差异显著：在超过 300 帧的 DL3DV 长程漫游测试中，随视角偏离初始位置，VMem 迅速崩溃，Gen3C 与 SPMem 的结构误差持续累积，而 PPMem 在第 300 帧时 DINOv2 相似度领先次优基线达 0.27，展现出极强的场景全局持久性与抗遗忘能力。
内生平面表征显著优于外部点云：相较于依赖外部单目几何估计器（MoGe-2）并反投影的方案，模型联合内生预测的平面图元在度量深度准确度 $\delta < 1.25$ 上实现了 70.3% vs 55.0% 的大幅领先，消除了外部工具导致的视点不一致问题。
场景平坦度对生成质量有温和正相关：在 DL3DV 100 个场景按平面覆盖率划分为低、中、高三分位数的评测中，高平坦度场景的 PSNR（15.27）与 $\delta < 1.25$（79.0%）显著更高，但即使在平坦度较低的自然曲面场景中，平面图元依然能作为优良的分段切平面近似提供强结构支撑。

亮点与洞察¶

将显式平面图元升格为世界模型核心记忆：突破了传统点云臃肿与隐式特征不可解释的瓶颈，以单图元 7 参数的高度抽象，用不到 10 万个图元（~5 MB）完整封存数百帧的场景空间骨架，实现了表征紧凑度与几何显式性的统一。
前瞻性主动剪枝与流式维护流水线：利用相机控制输入的已知轨迹特性，在相机逼近目标区域前主动剔除将被更优质观测替代的历史粗平面，无需后验梯度反传优化即可在线保持记忆池的高信噪比。
生成去噪与几何提取的解耦设计：推理期间去噪全程使用纯净视频主干，保证了视觉生成画面的 SOTA 纹理品质；仅在最后时刻借助单次 LoRA 前向回归几何，化解了多任务学习的相互拉扯。

局限与展望¶

复杂有机自然场景适应性受限：平面先验极度契合人造建筑、室内布局与街道立面，但在浓密树冠、起伏植被或水面等非平面高频几何中，表达能力逊于自由点云或高斯泼溅。
两阶段冻结缺乏端到端双向协同：当前为规避视频画质受损而冻结了生成主干，未能实现几何反馈反向促进视频底座表征演化的深度双向联合优化。
动态物体与时间变形扩展：现有平面池假定场景绝对静态，未来亟需引入带时间戳、运动速度或局部流动的时空动态平面图元。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将参数化平面图元与矩形高斯光栅化深度融合于视频世界模型，构建紧凑持久化空间记忆。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖短程、长程（350+帧）、多基线横向对比、消融剖析、尺度保真度测试与平坦度相关性验证。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻连贯，架构与流式维护管线设计清晰严谨。
价值: ⭐⭐⭐⭐⭐ 为长时程具身模拟、交互式 3D 世界生成以及紧凑可编辑几何导出确立了极具前景的全新表征范式。