AEON: Unifying Video and 3D World Models¶

会议: NeurIPS 2026
arXiv: 2610.28631
论文: https://arxiv.org/abs/2610.28631
代码: https://weiqi-zhang.github.io/AEON
领域: 3D生成与编辑
关键词: 4D高斯泼溅、视频生成模型、世界模型、域适配器、知识蒸馏

一句话总结¶

AEON 提出统一视频与 3D 世界模型的通用生成框架，通过双路域适配器将预训练视频扩散潜空间蒸馏映射至 4D 高斯隐空间，构建兼具高逼真度外观与 3D 一致动力学演化的持久可交互 4DGS 世界。

研究背景与动机¶

具身智能与交互式世界模拟的核心基石在于构建能够真实反映物理规律与环境演变的世界模型。然而，当前学术界与工业界在此领域分裂为两大各具优势却互存致命短板的范式：以 Sora、Wan 等为代表的视频生成世界模型能够合成质感极其逼真的外观与动态演变，却严重缺乏多视角下的 3D 几何一致性与场景持久性，且逐帧自回归生成开销极高；以 Marble 等为代表的 3D 生成世界模型虽能保证三维几何一致与持久探索，但多依赖静态 3DGS 或网格表征，难以建模物体的运动与水流、火光等动态演变，逼真度远逊于互联网大规模视频生成模型。

这两大技术路线的核心矛盾在于：视频生成模型擅长表征动态与丰富纹理，但其隐空间缺乏显式 3D 物理与几何先验；而 3D 重建模型虽具备显式空间几何约束，却缺乏开放世界下的自由生成能力与动态演化生成能力。若强行将视频生成模型逐帧解码再送入 4D 重建网络（级联方案），不仅解码开销巨大，视频 VAE 的模糊伪影与跨帧不一致更会与重建误差双重复合，引发严重的退化。

本文的切入角度是直接打通生成与重建的隐空间，以具备显式时空演变参数的 4D 高斯泼溅（4DGS）作为统一世界表征。核心 idea：利用单目视频 4D 重建模型作为几何先验基底，设计双路域适配器（线性分支 + Perceiver 跨注意力网桥）通过三阶段端到端蒸馏将视频扩散模型的生成隐空间无缝投影至 4DGS 重建隐空间，在无需相机位姿输入的前提下从文本或图像直接生成持久且可实时漫游的 4D 世界。

方法详解¶

整体框架¶

AEON 的整体架构包含两层核心体系：首先构建一个全前馈单目视频 4D 高斯重建模型（4DRM），联合预测相机位姿、度量深度、高斯外观与动态演化属性，作为可靠的几何与重建教师基底；随后引入双路域适配器（Domain Adapter），以预训练视频扩散模型（如 Wan 2.1 / Wan 2.2）生成的视频隐变量 \(z_{\mathrm{video}}\) 为输入，蒸馏对齐到 4DRM 的重建隐空间，由学生 4DRM 解码出包含速度与时序生命周期的全局 4D 高斯基元集合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["条件输入<br/>文本提示 / 单张图像"] --> B["预训练视频扩散模型<br/>Wan DiT 生成隐变量"]
    B --> C["渐进残差双路域适配器<br/>线性分支 + Perceiver Bridge"]
    C --> D["浅层 Token 注入<br/>注入 DINOv2 第 4 层"]
    D --> E["4DRM 几何重建教师引导<br/>联合预测相机/深度/外观/演化"]
    E --> F["显式 4DGS 世界表征<br/>空间位置/各向异性尺度/线角速度/生命周期"]
    F --> G["下游世界模型交互<br/>任意轨迹实时渲染 / 物理状态估计 / 具身闭环仿真"]

在训练层面，AEON 采用渐进式三阶段流水线：Stage 1 在具有度量深度和真值位姿的多源视频数据集上预训练 4DRM 教师模型；Stage 2 冻结教师模型，使用域适配器和学生 4DRM 对视频潜变量进行基元属性、几何与特征级多尺度蒸馏；Stage 3 接入冻结视频 VAE 解码出的伪真值帧，通过可微光栅化器实现端到端渲染微调。

关键设计¶

1. 显式时序演化 4DGS 世界表征：解耦持久静态结构与瞬态物理动力学

为了让生成的 3D 世界摆脱静态限制并支持任意连续时间点查询，AEON 将世界表示为一组显式 4D 高斯基元 \(g_i = \{\mathbf{x}_i, \mathbf{s}_i, \mathbf{r}_i, o_i, \mathbf{c}_i, t_i, l_i, \mathbf{v}_i, \boldsymbol{\omega}_i\}\)。除传统 3DGS 的空间中心 \(\mathbf{x}_i \in \mathbb{R}^3\)、尺度 \(\mathbf{s}_i \in \mathbb{R}^2\)、四元数旋转 \(\mathbf{r}_i \in \mathbb{R}^4\)、基础不透明度 \(o_i\) 和颜色 \(\mathbf{c}_i\) 外，显式引入了参考时间戳 \(t_i\)、持续激活时长 \(l_i\)、线速度 \(\mathbf{v}_i \in \mathbb{R}^3\) 与角速度 \(\boldsymbol{\omega}_i \in \mathbb{R}^3\)。

在任意查询时间戳 \(t\)，基元的位置和姿态依照等速运动模型确定：\(\mathbf{x}_i(t) = \mathbf{x}_i + \mathbf{v}_i \cdot (t - t_i)\)，\(\mathbf{r}_i(t) = \mathbf{r}_i \otimes \mathrm{AxisAngle2Quat}(\boldsymbol{\omega}_i \cdot (t - t_i))\)；同时引入基于高斯核的时序不透明度门控机制：

\[ \sigma_i = \sqrt{\frac{(l_i / 2)^2}{-2\log(\epsilon)}}, \qquad o_i(t) = o_i \cdot \exp\left(-\frac{(t - t_i)^2}{2\sigma_i^2}\right) \]

其中 \(\epsilon = 0.05\) 为边界激活阈值。该设计允许基元具有独立的出现、运动与消亡过程，无需逐帧追踪即可平滑呈现火光、飞溅水滴和快速进出视野的瞬态物体，同时极大减少静态背景的基元冗余。

2. 4DRM 几何重建教师：无需外部位姿的单目视频统一反解

现有前馈 4D 重建方法大多强依赖外部结构光或 SfM/SLAM 算法提供的相机位姿，这在开放域单目视频生成中完全不可用。AEON 基于 MapAnything 初始化 4DRM 骨干，以 DINOv2 提取帧级稠密特征并添加正弦时间位置编码，经过交替的帧内与跨帧自注意力 Transformer 层处理后，通过四个任务解耦的解码头完成预测：

Depth Head：预测稠密度量深度图 \(\mathbf{D}_t \in \mathbb{R}^{H \times W}\)；
Camera Head：联合回归相机内参 \(\mathbf{K}_t\)、旋转四元数 \(\mathbf{R}_t\) 与平移向量 \(\mathbf{t}_t\)，将预测深度反投影为真实度量尺度的三维高斯中心 \(\mathbf{x}_i\)；
Gaussian Head：以空间中心为条件预测外观参数（尺度、旋转、基础不透明度、颜色）；
Evolution Head：解耦预测动态属性（参考时间、寿命时长、线速度与角速度）。

通过位姿联合估计，4DRM 摆脱了对外部几何先验的依赖，并作为高精度的度量几何空间教师，为生成流提供监督基准。

3. 渐进残差双路域适配器：闭式岭回归与 Perceiver Bridge 融合

视频扩散模型的潜在表征面向去噪生成优化，而 4DRM 依赖 DINOv2 的判别式几何与语义激活空间，二者存在显著的分布鸿沟。随机初始化的映射层会彻底破坏预训练骨干的几何先验，导致训练崩溃。AEON 提出双路域适配器结构：

\[ Z = \mathbb{L}(z_{\mathrm{video}}) + \gamma \cdot \mathbb{N}(z_{\mathrm{video}}) \]

其中线性分支 \(\mathbb{L}\) 是一个由闭式岭回归（Closed-form Ridge Regression）直接初始化的步长 3D 卷积，在训练初始时刻即可快速建立低频粗糙特征对齐；非线性残差分支 \(\mathbb{N}\) 为 Perceiver Bridge，首先经 3D 卷积升维并利用非对称时序上采样器将时间维度恢复至原视频长度，再送入一组可学习空间查询的 Perceiver 交叉注意力块，捕捉长程高频几何对应；门控标量 \(\gamma\) 初始置为 0，确保优化从稳定线性先验平滑过渡到高表达能力的非线性空间。

4. 浅层 Token 注入策略：最大化保留预训练 DINOv2 几何先验

适配器输出的特征 \(Z\) 绕过 DINOv2 的 Patch 嵌入及浅层网络，直接注入到 Transformer 的第 \(\ell\) 层（实验确定最佳层为 \(\ell=4\)）。这种浅层注入设计既避免了在过深层注入导致中间高层几何表征丢失，又规避了在底层注入给适配器带来的巨大拟合压力，使 4DRM 能完整继承 DINOv2 剩余 20 层的稠密几何感知能力。

损失函数 / 训练策略¶

AEON 的完整训练流程划分为三个阶段：

Stage 1：4DRM 重建预训练
在 6 个带真值位姿与深度的数据集上训练 20 轮。损失函数涵盖渲染外观保真度损失 \(\mathcal{L}_{\text{app}}\)（结合 L2、LPIPS、SSIM）、基于真值深度与法向的几何对齐损失 \(\mathcal{L}_{\text{geo}}\)，以及针对动态属性的解耦正则项：

\[ \mathcal{L}_{\text{dyn}} = \frac{1}{M}\sum_{i=1}^M \left( \eta_1 \|\mathbf{v}_i\|_1 + \eta_2 \|\boldsymbol{\omega}_i\|_1 + \eta_3 l_i^{-1} \right) \]

该动态正则惩罚不必要的剧烈运动并鼓励基元具有更长的生命周期，防止模型退化为逐帧独立点云。

Stage 2：生成式知识蒸馏
冻结 Stage 1 的 4DRM 教师网络，引入大规模无真值标注视频（如 Panda-70M 子集）训练域适配器与学生 4DRM 30 轮。总蒸馏目标为：

\[ \mathcal{L}_{\text{distill}} = \mathcal{L}_{\text{4DGS}} + \mathcal{L}_{\text{geom}} + \lambda(t) \mathcal{L}_{\text{feat}} \]

\(\mathcal{L}_{\text{4DGS}}\) 对逐个基元的全部时空属性计算加权 L1 损失；
\(\mathcal{L}_{\text{geom}}\) 约束学生解码头预测的密集对数深度、多尺度深度梯度和相机参数（经全局尺度归一化消除模糊性）；
\(\mathcal{L}_{\text{feat}}\) 约束适配器输出特征与教师激活的一致性，权重 \(\lambda(t)\) 随余弦衰减退火，初期强约束防漂移，后期让位给任务目标。

Stage 3：端到端渲染精调
使用冻结视频 VAE 解码出的连续帧作为伪真值，通过可微光栅化器反向传播整个管线 10 轮。以衰减的蒸馏正则化 \(\lambda_{\text{reg}} \mathcal{L}_{\text{distill}}\) 维持几何结构，直接针对渲染质量打磨高频纹理。

实验关键数据¶

主实验¶

论文在 4D 生成、单目视频到 4D 重建、以及新轨迹渲染任务上进行了全面定量对比。

1. 4D 生成对比（30 个复杂图文 prompt 场景，VBench 评测）：

方法	I2V_Subject ↑	Subject_Consistency ↑	Motion_Smoothness ↑	Aesthetic_Quality ↑
4DNex	0.796	0.790	0.968	0.342
Lyra	0.865	0.864	0.974	0.459
AEON (Wan 2.1)	0.912	0.864	0.976	0.519
AEON (Wan 2.2)	0.913	0.875	0.980	0.531

2. 视频到 4D 重建对比（Dycheck 动态视角合成与 DaVis 复杂动态数据集）：

方法	Dycheck PSNR ↑	Dycheck SSIM ↑	Dycheck LPIPS ↓	DaVis PSNR ↑	DaVis SSIM ↑	DaVis LPIPS ↓
L4GM	8.673	0.354	0.652	20.589	0.667	0.311
4DGT	12.267	0.413	0.542	20.362	0.667	0.313
MoVieS	11.840	0.341	0.545	20.736	0.688	0.307
NeoVerse	14.269	0.363	0.501	23.929	0.735	0.283
StreamSplat	11.876	0.375	0.532	23.748	0.712	0.273
AEON (完整生成流)	14.487	0.421	0.469	24.661	0.771	0.243
Teacher 4DRM (真值RGB输入)	14.413	0.418	0.462	24.886	0.775	0.241

注：基线方法中 4DGT 与 MoVieS 均需外部位姿输入，StreamSplat 需额外深度先验，而 AEON 仅以单目 RGB 隐变量输入即可超越上述强基线，甚至逼近真值 RGB 驱动的 Teacher 模型性能。

消融实验¶

论文在 Dycheck 和 DaVis 数据集上对核心架构与训练组件进行了详细消融（主表与附录补充）：

配置	Dycheck PSNR ↑	Dycheck SSIM ↑	Dycheck LPIPS ↓	DaVis PSNR ↑	DaVis SSIM ↑	DaVis LPIPS ↓	说明
AEON (Full)	14.487	0.421	0.469	24.661	0.771	0.243	完整模型
Conv3D 投影替换适配器	12.086	0.314	0.606	12.813	0.276	0.701	仅单层 Conv3D，DaVis 暴跌 11.8 dB
仅卷积分支 (Conv branch only)	12.332	0.333	0.533	15.409	0.465	0.533	缺乏 Perceiver 全局跨注意力，性能大降
仅 Perceiver 分支	13.086	0.389	0.596	14.262	0.442	0.552	缺乏线性初始化提供稳定优化基底
无蒸馏阶段 (W/o Distill)	12.390	0.349	0.537	16.718	0.503	0.489	直接由 VAE 渲染监督，缺少教师几何约束
无时长演化 (W/o Duration)	12.500	0.372	0.535	22.057	0.718	0.328	强制所有基元全程可见，动态模糊加剧
无 Stage 3 渲染精调	13.670	0.361	0.517	22.953	0.705	0.299	缺少端到端光栅化纹理打磨，DaVis 跌 1.7 dB
4DRM 无 MapAnything 初始化	12.341	0.358	0.543	22.268	0.695	0.349	缺乏强度量 3D 先验，底层重建能力受损
4DRM 无 \(\mathcal{L}_{\text{geo}}\) 监督	12.260	0.331	0.578	20.347	0.655	0.323	移除真值深度与法向约束导致几何退化

关键发现¶

Perceiver Bridge 与线性分支缺一不可：仅使用 Conv3D 投影在 DaVis 上的 PSNR 从 24.66 dB 暴跌至 12.81 dB。线性分支提供了可微优化的初始锚点，而 Perceiver Bridge 的全局跨注意力才能还原复杂的几何对应关系。
蒸馏显著克服视频 VAE 瓶颈：学生网络直接在潜空间中向具有度量几何感知的 4DRM 教师学习，性能几乎追平了以原始无压缩 RGB 为输入的教师网络（DaVis PSNR 24.66 vs 24.89），避开了视频 VAE 压缩失真的级联复合。
显式时长建模是瞬态动态的核心：禁用高斯基元时长演化机制（W/o Duration）使模型退化，无法自然处理飞溅物和进出视野的物体，证明了时序不透明度门控的有效性。

亮点与洞察¶

生成与重建潜空间的优雅桥接：将视频扩散模型的生动动态生成潜能力与 4D 前馈重建模型的严格几何空间结合，用闭式岭回归热启动 + 门控 Perceiver 的域适配方案，为连接不同预训练表征提供了极具通用性的范式。
免除相机姿态依赖的闭环单目建模：内置 Camera Head 与 Depth Head 实现单目无标定输入下的几何反投影，彻底解绑了传统动态 3DGS 重建对 SfM 或外部先验模型的强依赖。
天然支持具身闭环仿真与编辑：生成的 4DGS 基元自带时序时长属性，通过过滤高斯寿命可无监督分离静态背景网格与动态物体，不仅支持自由组装编辑，更可直接提供度量级的占用栅格（Occupancy）与连续自主视点交互。

局限与展望¶

时序窗口受限于基础视频扩散模型：当前单次生成的 4D 场景时长受制于视频 DiT（如 Wan 模型）的序列长度。未来可通过将当前 4DGS 渲染为条件帧，以自回归方式递增生成并根据显式三维几何重叠进行基元融合，突破长视频生成的漂移难题。
未观测区域存在几何空洞：单目生成的视场有限，当漫游视角跨度过大时，原始视频中未出现的新视点背侧会显露几何空洞，未来可引入生成式几何修复模块完成全景补全。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次通过域适配与蒸馏将视频 DiT 潜空间与 4DGS 重建潜空间深度打通，构建真正意义上的统一 4D 世界模型]
实验充分度: ⭐⭐⭐⭐⭐ [跨 4D 生成、动态重建、新轨迹渲染三项基准对比，消融实验详实且涵盖 6 种以上变体与数据集重采样策略]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严谨，从动机推演、表征定义到训练三阶段层层递进，设计考量阐述透彻]
价值: ⭐⭐⭐⭐⭐ [兼具生成质量与 3D 物理一致性，对具身智能仿真环境构建与下一代交互式世界模型演进具有重大的启发意义]