PanoWorld: Geometry-Consistent Panoramic Video World Modeling¶

会议: NeurIPS 2026
arXiv: 2605.15391
OpenReview: https://openreview.net/forum?id=vq6RcMt70J
代码: https://github.com/ostadabbas/PanoWorld
领域: 视频生成
关键词: 全景视频生成, 视频世界模型, 几何一致性, 扩散Transformer, 3D轨迹监督

一句话总结¶

PanoWorld 将全景视频生成重构为几何与动力学自洽的潜在状态建模问题，基于透视视频先验引入纬度感知编码、球面积加权与循环位移自适应，并通过离线伪标签监督的深度与 3D 点轨迹一致性损失，实现了从单幅透视图与文本驱动的高保真、几何时空一致的 360° 全景视频世界建模。

研究背景与动机¶

视频世界模型近年来成为物理具身环境结构化表征学习的核心范式，其目标不再局限于表观像素序列的联合去噪或自回归生成，而是建立具备可预测、可仿真与可规划能力的内部潜在状态演化系统。然而，现有的视频世界模型大多建立在标准透视相机的有限视场（FOV）中，所学习到的潜在状态仅对应物理世界在视锥范围内的局部投影。这种部分可观测性使得关键场景元素极易移出视野，导致多视角融合在长程大位移相机运动下难以维持一致的物体身份、全局几何与运动连续性，严重制约了全景沉浸式遥操作、自主导航与机器人具身操作等需要全局空间环境态势感知的任务。

等距柱状投影（Equirectangular Projection, ERP）全景视频天然覆盖了球面的完整观测空间（$\Omega_t = \mathbb{S}^2$），能够将整个 360° 环绕场景置于单一全局坐标系下进行空间关系与连续运动建模。尽管全景表示极具吸引力，现存的全景视频生成方法（如 360DVD、ARGUS、Imagine360 等）本质上仍是以视觉逼真度为导向的表观合成模型：训练目标完全依赖生成视频与真实样本在像素或隐空间的表观重建损失，并未对潜在状态所蕴含的底层 3D 几何与多帧物理动力学施加显式约束。这导致生成的全景视频虽然单帧纹理视觉上自然逼真，但在时序展开中频繁暴露出深度剧烈抖动、球面相邻视域特征错位以及物体在球面表面产生反物理漂移等本质缺陷。

要使全景视频真正充当具身 AI 的世界模型，必须跳脱出单纯的“帧画面填补”，将其视为潜在动力学系统的状态补全与几何演化过程。核心 idea：将全景视频生成重构为几何与动力学一致的潜在状态建模问题，在预训练透视视频世界模型骨干上引入球面几何自适应，并联合构建深度一致性正则项与基于 3D 空间反投影的点轨迹一致性正则项，在零训练期外部推理开销下强力约束全景潜在演化的时空物理自洽。

方法详解¶

整体框架¶

PanoWorld 以预训练透视视频世界模型 Cosmos Predict 2.5 为骨干网络，包含 WAN 2.1 3D 时空 VAE（空间下采样 8 倍、时间下采样 4 倍）与 Qwen2.5-VL-7B 文本编码器。整个系统输入为单一透视图像观测与场景文本描述，输出为时空几何严格自洽的 93 帧 360° ERP 全景视频。在训练阶段，给定来自 PanoGeo 的真实全景视频，系统随机采样透视视锥（FOV 30°~120°，随机偏航与俯仰角）模拟局部观测，将全景视频建模转化为基于部分证据补全完整球面状态的潜空间整流流（Rectified Flow）学习任务。

整个计算管线包含三条核心支路：首先对骨干网络进行针对 ERP 投影特性的球面几何自适应；其次通过语义与参考空间双通道将局部透视条件有效注入 DiT 潜空间；最后在整流流速度预测恢复出的干净潜码 $\hat{\mathbf{z}}_0$ 上，同时接入轻量级全景深度预测头与 3D 反投影点轨迹动力学监督，使模型学到具备空间几何与时间连续性的世界状态演化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：单张透视图像 + 场景文本描述"] --> M1["球面几何感知自适应<br/>纬度感知RoPE与经向循环位移"]
    In --> M2["多通道透视到全景状态条件注入<br/>SigLIP2语义特征与ERP参考潜码拼接"]
    M1 --> DiT["Pano Diffusion Transformer (DiT)<br/>整流流速度预测与清洁潜码估计"]
    M2 --> DiT
    DiT --> M3["联合深度与3D轨迹几何正则化<br/>轻量深度头与3D世界坐标轨迹监督"]
    M3 --> Out["全景世界视频输出<br/>几何一致的360°视频与4D点云"]

关键设计¶

1. 球面几何感知自适应：消除等距柱状投影的极点畸变与接缝伪影 等距柱状投影将球面经度 $\lambda \in [-\pi, \pi]$ 和纬度 $\phi \in [-\pi/2, \pi/2]$ 映射为平面矩形图像，其横向像素拉伸程度与 $1/\cos\phi$ 成正比，导致极点区域像素代表的球面立体角远小于赤道区域。标准 DiT 的线性旋转位置编码（RoPE）与均等像素损失会使得极点区域被错误地分配过高的注意力权重与梯度贡献，破坏球面空间的几何均匀性。为此，PanoWorld 将垂直方向的线性 RoPE 坐标重构为与真实纬度角位移匹配的非线性映射： $$\text{pos}_h = \frac{H-1}{2} \left( \sin\left( \frac{\pi h}{H-1} - \frac{\pi}{2} \right) + 1 \right), \quad \text{pos}_w = w$$ 该变换使得极点附近的行索引自然压缩，与球面物理纬度网格严格保角。同时，在计算像素级几何损失时，引入球面面积权重因子 $w_h = \cos\phi(h)$ 对所有损失项加权，精准对应球面微元微分项 $\mathrm{d}\Omega = \cos\phi\,\mathrm{d}\phi\,\mathrm{d}\lambda$。此外，针对全景图像左边界（$\lambda = -\pi$）与右边界（$\lambda = \pi$）在物理 3D 空间中重合但在平面展开中距离最远的问题，在训练中引入沿经度方向的随机水平循环位移（Circular Shift Augmentation），使模型在推理时能够生成无缝环绕、完全消除左右接缝畸变的 360° 视频。

2. 多通道透视到全景状态条件注入：协同融合高维语义与时序参考几何 不同于以往全景生成模型仅依赖单一静态锚点图像或简单全景外推，PanoWorld 设计了时空解耦的多通道条件机制，分别处理透视观测的语义内涵与几何投影。在语义层面，采用冻结的 SigLIP2 图像级编码器提取透视帧的密集空间 Token，经过可学习投影矩阵映射后通过交叉注意力层注入 DiT 各模块，相比传统 CLIP 特征显著提升了对场景物体和微小结构的视觉定位能力。在几何层面，将每一帧局部透视观测依据其相机参数（FOV、偏航角、俯仰角）投影到全景等距柱状画布上，未观测区域以高斯噪声填充，再通过 WAN 2.1 编码器映射为参考潜码 $\mathbf{z}_{\text{ref}}$，并与空间二值掩码 $\mathbf{m}_{\text{spatial}}$ 及加噪潜码 $\mathbf{z}_{\text{noise}}$ 在通道维度直接拼接输入 DiT。在去噪过程中，通过混合扩散（Blended Diffusion）在每个时间步强制保留观测区域真实潜码，促使模型将计算容量聚焦于未观测未知视域的自洽推断。

3. 联合深度与 3D 轨迹几何一致性正则化：约束全景潜在演化的时空物理自洽 由于全景画面中约 75% 的区域位于初始透视视锥之外，纯表观扩散目标容易在未观测区域产生几何漂移与物体抖动。PanoWorld 在 DiT 预测出的干净潜码 $\hat{\mathbf{z}}_0$ 上引入了两项即时几何正则化项。首先构建一个参数量仅 138K 的轻量 3D 卷积深度预测头，将 $\hat{\mathbf{z}}_0$ 映射为归一化全景深度图 $\hat{D} \in [0, 1]^{1 \times T' \times H' \times W'}$，并利用 DAP（Depth Any Panoramas）预先计算的全景伪标签计算加权 L1 深度损失与边缘梯度平滑损失，滤除天空饱和区与前 2% 离群残差。更关键的是，单帧深度约束仍无法阻止动态物体时序穿帮，模型进一步利用 CoTracker3 提取的 2D 轨迹点 $\mathbf{u}_{p,t}$，结合预测深度 $\hat{D}$ 与球面反投影算子 $\pi_{\mathbb{S}^2}$，将其反投影至 3D 世界坐标系： $$\mathbf{X}_{p,t}^{\text{pred}} = \mathbf{R}_t^\top \bigl( \pi_{\mathbb{S}^2}(\mathbf{u}_{p,t}, \hat{D}(\mathbf{u}_{p,t})) - \mathbf{t}_t \bigr)$$ 为了同时约束空间轨迹、速度与加速度平滑性，将 3D 点坐标拼接一阶差分与二阶差分构建增广运动状态 $\boldsymbol{\xi}_{p,t} = [\mathbf{X}_{p,t}; \alpha \Delta\mathbf{X}_{p,t}; \beta \Delta^2\mathbf{X}_{p,t}] \in \mathbb{R}^9$（其中 $\alpha=0.5, \beta=0.25$），直接与离线计算的真值运动轨迹对齐。反投影机制将深度误差与运动连续性紧密绑定，迫使 DiT 骨干与轻量深度头协同输出物理刚性保持且动力学合理的连续场景。

损失函数 / 训练策略¶

PanoWorld 的整体优化目标为整流流表观损失与两项几何正则项的加权联合： $$\mathcal{L} = \mathcal{L}_{\text{visual}} + \lambda_d \mathcal{L}_{\text{depth}} + \lambda_\tau \mathcal{L}_{\text{track}}$$ 其中 $\lambda_d = 0.3$、$\lambda_\tau = 0.06$。在加噪时间步较大（$\sigma$ 接近 1）时，潜码高度退化，盲目施加几何监督会损害训练稳定性。为此引入噪声自适应置信因子 $c(\sigma) = \mathbf{1}[\sigma < \sigma_{\max}] \cdot (1 - \sigma / \sigma_{\max})_+^2$（设置 $\sigma_{\max} = 3.0$），随着去噪过程深入平滑放大几何损失梯度。

训练采用两阶段渐进式优化策略：Stage 1 在 $256 \times 512$ 分辨率下训练 93 帧视频（潜在时序长度 24 帧）共 6,000 步，聚焦于学习全景几何拓扑、环绕连续性与跨视域语义映射；Stage 2 在 $512 \times 1024$ 高分辨率下微调 2,000 步，精细优化纹理细节。优化器采用 AdamW，学习率为 $2 \times 10^{-5}$，辅以 1,000 步的几何损失权重线性预热。推理时采用两轮级联推理协议（Round 1 从透视图像生成初版全景视频，Round 2 将初版首帧作为全景锚点重生成最终高清稳定的视频），可进一步通过点云提升接入 3D Gaussian Splatting 实现任意自由视角的漫游渲染。

实验关键数据¶

主实验¶

评估在综合测试集 PanoGeo（共 150 组全景视频片段，均衡覆盖 PanoGeo 留出集 50 组、Argus 真实 YouTube 测试集 50 组、Habitat-Sim 仿真集 50 组）上进行。所有方法统一在输入等价协议下测试，对比指标涵盖表观逼真度（FVD、FAED、FID）、文本相关性（CLIP-T）以及基于输出视频直接测算的免对齐几何自洽度（3D 轨迹平滑度 3D-Smooth、深度时序标准差 Depth-$\sigma$、轨迹存活率 Tr-Life）。

方法	FVD ↓	FAED ↓	FID ↓	CLIP-T ↑	3D-Smooth (m) ↓	Depth-$\sigma$ ↓	Tr-Life ↑
Stage 1: 单幅透视图像 + 文本
360DVD (Wang et al., 2024)	100.7	94.6	191.8	0.262	0.204	0.038	0.922
Imagine360 (Tan et al., 2025)	67.7	96.6	142.9	0.253	0.115	0.045	0.915
ARGUS (Luo et al., 2025)	65.0	82.7	152.5	0.212	0.032	0.021	0.993
Follow-Your-Canvas (Chen et al., 2025a)	82.2	108.8	182.3	0.279	0.113	0.048	0.935
OmniRoam (Liu et al., 2026)	98.8	131.2	178.4	0.132	4.079	0.299	0.231
PanoWorld (Ours)	56.1	83.4	136.4	0.264	0.025	0.013	0.994
Stage 2: 单幅全景首帧 + 文本
OmniRoam (Liu et al., 2026)	39.7	53.6	69.7	0.233	0.774	0.147	0.628
PanoWorld (Ours)	28.5	41.5	55.4	0.253	0.981	0.032	0.896

消融实验¶

消融实验固定完全相同的网络架构（纬度感知 RoPE、SigLIP2 交叉注意力与多通道条件注入）及两阶段训练配置，仅对训练总目标中的辅助几何损失权重 $\lambda_d$ 与 $\lambda_\tau$ 进行消融验证。

配置	$\mathcal{L}_{\text{depth}}$	$\mathcal{L}_{\text{track}}$	FVD ↓	CLIP-T ↑	3D-Smooth (m) ↓	Depth-$\sigma$ ↓	Tr-Life ↑	说明
无几何损失基线	✗	✗	56.72	0.263	0.051	0.028	0.958	仅依赖透视先验与全景输入结构
仅加入深度损失	✓	✗	57.47	0.267	0.041	0.016	0.981	深度方差显著降低 43%，表观略微波动
仅加入轨迹损失	✗	✓	57.05	0.263	0.031	0.014	0.992	显著改善轨迹连续性，反向梯度拉动深度
完整模型 (Full)	✓	✓	56.12	0.264	0.025	0.013	0.994	3D平滑与深度方差减半，几何表观均最优

关键发现¶

几何正则项与表观质量互不冲突甚至正向协同：消融数据显示，在加入深度和轨迹损失后，FVD 不降反升（从 56.72 改善至 56.12），同时 Depth-$\sigma$ 降低超过 53%（0.028 $\to$ 0.013），3D-Smooth 改善超 50%（0.051 $\to$ 0.025），证明物理世界状态的合理收敛能够反哺生成画面的时空稳定性。
3D 轨迹损失对时序连续性的决定性贡献：单纯引入深度监督仅能抑制空间畸变，而 3D 轨迹损失由于融合了速度与加速度梯度，直接将轨迹存活率提升至 0.992 以上，并反向促进了深度特征学习。
纯表观模型的几何崩溃：对比基线 OmniRoam，其未加几何约束生成的视频在单帧表观上看似合理，但 3D-Smooth 达到 4.079，轨迹存活率仅为 0.231，暴露出传统视频生成在 3D 物理一致性上的严重缺陷。

亮点与洞察¶

离线伪标签的零训练开销监督机制：利用 DAP 与 CoTracker3 离线抽取高质量单目全景深度与多帧轨迹真值，配合仅 138K 参数量的轻量深度头进行端到端反向传播，无需在训练回路中内嵌复杂的大型几何重建器，大幅降低算力负担。
噪声自适应调节因子与纬度加权设计：针对整流流去噪各阶段潜码信噪比差异，设计二次置信衰减门控 $c(\sigma)$，成功解决了扩散早期伪标签监督导致网络振荡的问题，兼顾了理论严谨性与工程有效性。
单图驱动端到端 4D 世界场景重建：不仅生成 360° 视频，更打通了从单幅透视图到时序全景视频、稠密 4D 点云以及 3D Gaussian Splatting 新视角漫游的完整下游具身仿真链条。

局限与展望¶

生成时间窗口受限：目前模型固定生成 93 帧（约 5.8 秒）全景视频，长程自回归滚动生成仍存在累积误差与场景漂移，有待结合记忆检索或状态空间机制拓展。
伪标签内在固有偏差：离线监督依赖的 DAP 深度估计与透视视频基础模型自身在极端纹理缺失或反射场景下存在几何估计偏差，可能向生成网络传导系统性误差。
动态交互控制能力有待扩展：当前生成主要由静态单图与文本条件驱动，尚未支持具身智能体基于连续动作指令（如离散或连续控制量）的主动全景环境交互交互渲染。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将全景视频生成形式化为几何一致的潜在世界状态建模，创新设计了 3D 轨迹与全景深度的联合隐空间正则机制。
实验充分度: ⭐⭐⭐⭐⭐ 构建统一标注的 PanoGeo 数据集，横跨实景与仿真三套基准，指标涵盖表观分布与免对应 3D 几何自洽多重视角。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式推导严谨，动机与方法阐述兼具理论深度与工程可读性。
价值: ⭐⭐⭐⭐⭐ 为具身智能、沉浸式遥操作与空间计算提供了从单张照片驱动可探索 3D 场景与动态世界模型的重要技术路径。