LongScape: Advancing Long-Horizon Embodied World Models with Context-Aware MoE¶

会议: NeurIPS 2026
arXiv: 2509.21790
代码: https://github.com/tsinghua-fib-lab/Longscape
领域: 视频生成
关键词: 具身世界模型 / 长时序视频生成 / 混合自回归扩散 / 动作引导分块 / 上下文感知混合专家 (CMoE)

一句话总结¶

LongScape 提出了一种结合块内扩散去噪与块间因果自回归生成的具身世界模型，通过机器人动作先验驱动的变长分块机制与上下文感知混合专家架构（CMoE），有效消除了传统固定块切分的时序伪影与累积漂移，实现了长达 15 次自回归展开的稳定长时序物理交互视频生成。

研究背景与动机¶

基于视频的具身世界模型正成为机器人智能体的核心研究方向。通过从多模态具身数据中学习物理环境动力学与交互转移规律，世界模型能够作为可交互的合成数据生成引擎，为下游视觉-语言-动作（VLA）策略模型提供海量的仿真推演与行为探索数据，从而缓解真实机器人采集成本高昂的数据稀缺困境。然而，现有的视频世界模型大多局限于生成 1-2 秒内的超短视频片段；一旦扩展到真实世界中包含抓取、导航、抽屉开合、折叠等复合步骤的长时程任务，模型在多轮自回归推演中往往会出现严重的结构畸变、物体凭空消失或鬼影伪影。

现有视频生成架构在长时序具身建模上均存在显著的结构性短板。纯扩散模型（如 CogVideoX）依靠全局均匀加噪与去噪，缺乏训练阶段的显式因果依赖机制，在多轮推演中极易发生误差累积，导致违反物理规律的运动漂移；纯自回归模型（如 Genie）将视频离散化为视觉 Token 序列进行自回归预测，虽然因果链条完备且上下文推理能力强，但量化离散化过程不可逆地抹杀了连续微小位移与接触面的精细视觉细节；混合型自回归-扩散模型（如 NOVA、MAGI-1）虽然在块内利用连续扩散去噪、块间实施因果自回归，但无一例外沿用固定的硬性分块长度（如固定每块 8 帧或 16 帧）。这种僵硬的划分方式割裂了语义连续的动作片段（例如在夹爪即将闭合抓握的临界瞬间被强行断开），或者将大范围底盘导航与亚毫米级机械臂微操混杂在同一块内，导致块内部产生极强的动态语义歧义，使自回归下一步预测陷入分布崩塌。

本文的切入视角是借鉴大语言模型处理变长自然语义单元（Token）的哲学：视频世界的因果单元不应由人为机械的时钟周期决定，而应由动作本身的动力学语义边界自适应定义。核心 idea：利用机器人末端位移幅度与夹爪离散状态变化作为先验，构建动作感知的变长分块机制，并结合包含多粒度 DiT 专家的上下文感知混合专家系统（CMoE）与动态跨模态路由器，实现时空粒度自适应切换与高保真长时序因果展开。

方法详解¶

整体框架¶

LongScape 将视频世界建模表述为多块（chunk）自回归因果概率建模问题。在整体流程中，视频序列被划分为包含语义完整动作的变长块序列 \(\mathbf{V} = (\mathbf{S}_1, \mathbf{S}_2, \dots, \mathbf{S}_N)\)，全局分布由条件概率的自回归乘积展开：\(p(\mathbf{V}) = p(\mathbf{S}_1) \prod_{t=1}^{N-1} p(\mathbf{S}_{t+1} | \mathbf{S}_1, \dots, \mathbf{S}_t)\)。模型在每个推演时步基于前序视觉上下文 \(\mathbf{S}_t\) 与全局语言指令 \(\mathbf{c}\)，由轻量级跨模态动态路由器预测下一时步所需的动态粒度并激活专用的 DiT 生成专家，各专家在连续潜空间中通过扩散条件去噪恢复出下一块的高保真图像潜变量，解码后继续参与下一轮时序展开。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流<br/>具身视频帧与机械臂动作序列"] --> B["动作先验引导的变长分块机制<br/>基于位移阈值与夹爪状态分割8/16/24/32帧块"]
    B --> C["上下文感知动态路由器<br/>基于语言指令与当前帧自适应判别粒度"]
    C -->|激活最优专家索引| D["差异化动态专门化的DiT专家集<br/>4个专用DiT专家执行条件扩散去噪"]
    D --> E["长时序因果自回归展开<br/>块内扩散保高保真+块间因果推演循环"]
    E --> F["输出长时序具身交互视频<br/>支持多达15轮一致推演"]

关键设计¶

1. 动作先验引导的变长分块机制：以动力学语义完整性重构时序因果单元

固定分块的本质缺陷在于破坏了动作语义的完备性与闭合性。在机器人操作中，底盘平移或等待阶段的动态极其平缓，而机械臂接触物体、抓取以及抽屉卡扣咬合阶段则包含剧烈的形变与状态跃变。LongScape 首先将原始视频划分为以 8 帧为基础步长（Base Chunk）的不重叠单元，并允许最终块由 1 到 4 个基础块连续组合而成，从而提供 8、16、24、32 帧四种动态粒度。

分块算法在离线预处理阶段遍历动作序列。设末端执行器 6 自由度位姿为 \(d \in \{x, y, z, \text{pitch}, \text{yaw}, \text{roll}\}\)，算法统计各维度全局运动极差，并设定运动阈值 \(\theta_d = \alpha \cdot \text{Range}(A_d)\)（其中 \(\alpha \in (0, 1)\) 为缩放因子）。算法从候选块长度 \(n=1\) 开始逐步向后探测扩展： - 若候选块在任一自由度上的运动幅度超过阈值 \(\theta_d\)，表明发生了剧烈动作，立即将其截断为独立块以实施短序列密集去噪； - 若连续扩展至最大长度 \(n=4\)（即 32 帧），强制截断成块以避免单次去噪的时序感受野超载； - 若探测到候选块的最后一个基础块中机械臂夹爪开关状态发生了离散翻转（由开到闭或由闭到开），则立即触发语义关键帧保护：前 \(n-1\) 个基础块归为一个块，而包含夹爪状态改变的基础块被单独切分为一个精细的 8 帧块； - 若上述条件均未触发，则持续向后合并。这一策略保证了微小精细操作（如夹爪握持物体）由 8 帧精细块捕捉，而平稳运动（如机械臂回程或底盘移动）由 24 或 32 帧长块进行大范围并行生成。

2. 差异化动态专门化的DiT专家集：解耦多粒度时空动态表征

若使用单一统合模型去强行拟合从 8 帧短程微操到 32 帧大范围位移的所有尺度分布，模型往往会出现模式塌陷和灾难性遗忘。LongScape 引入包含 \(K=4\) 个专用 Diffusion Transformer（DiT）的专家网络集合 \(\mathcal{E} = \{\mathcal{E}_1, \mathcal{E}_2, \mathcal{E}_3, \mathcal{E}_4\}\)，分别对应 8 帧、16 帧、24 帧与 32 帧的特定分块类型。

每个专家网络均基于预训练 CogVideoX 的 5B（5.57G 参数）架构进行权重初始化，骨干网络由堆叠的 3D 全自注意力模块与前馈网络构成，并通过自适应层归一化（AdaLN）注入去噪时间步与条件表征。各专家针对其对应时序长度的数据子集进行微调，优化标准块级扩散去噪目标：

\[\mathcal{L}_{i}=\mathbb{E}_{\mathbf{z}_{0},\epsilon\sim\mathcal{N}(0,\mathbf{I}),\tau\sim[1,T]}\left[\left\|\epsilon-\mathcal{E}_{i}(\mathbf{z}_{\tau},\tau,\mathbf{c},\mathbf{S}_{t})\right\|^{2}\right]\]

其中 \(\mathbf{z}_0\) 为下一时步目标块 \(\mathbf{S}_{t+1}\) 在 3D VAE 潜空间的干净表征，\(\tau\) 为扩散时间步，\(\mathbf{c}\) 为全局任务语言条件，\(\mathbf{S}_t\) 为前一视频块提供的条件引导帧。由于在任意自回归生成时刻仅激活单一匹配专家，该 MoE 设计在将模型总体参数容量扩大 4 倍的同时，推演阶段的计算量与显存占用与单个密集 DiT 完全一致。

3. 基于跨模态上下文的动态路由器：自适应推断下一时步时空粒度与专家选择

在在线生成阶段，智能体不再拥有未来的真实动作标签，无法直接利用动作阈值进行分块。LongScape 构建了一个参数量仅为 71M-108M 的轻量级跨模态动态上下文路由器 \(\mathcal{R}\)，其核心为基于交叉注意力的 Transformer。路由器接收当前上下文信息——包括全局语言任务指令 \(\mathbf{c}\) 与当前生成块末尾帧的视觉特征，通过判别分类概率预测下一个块最可能出现的动态分布类别：

\[i^* = \underset{i \in \{1, \dots, K\}}{\arg\max} \left( \mathcal{R}(\mathbf{c}, \mathbf{S}_t)_i \right)\]

选中的专家 \(\mathcal{E}_{i^*}\) 随后启动，以自回归方式生成长度恰好为对应尺度的下一视频块 \(\mathbf{S}_{t+1} = \mathcal{E}_{i^*}(\mathbf{S}_t, \mathbf{c})\)。路由器的判别机制使得模型在预测到“机械臂正在逼近抽屉把手”时主动切入高频 8 帧专家，而在“抽屉推合完毕、底盘后撤”时自适应切换至 32 帧专家，兼顾了生成计算效率与动作微操保真度。

一个完整示例¶

以 LIBERO 数据集中典型的长时程多阶段操作任务“将巧克力布丁放入橱柜顶层抽屉并关上抽屉”为例，长视频推演流程展现了动态时空粒度自适应切换： 1. 初始逼近阶段（0-32 帧）：机械臂从初始位姿向桌面平移，末端姿态变化平缓且夹爪保持静止，路由器 \(\mathcal{R}\) 识别全局意图并输出索引 4，激活 32 帧专家 \(\mathcal{E}_4\) 进行一次性高效长程生成； 2. 接触与抓取阶段（33-40 帧）：当机械臂末端接触到布丁且夹爪闭合时，视觉特征中出现遮挡与局部形变，路由器准确切换为 8 帧精细专家 \(\mathcal{E}_1\)，进行细腻的接触去噪，避免物体穿模或融化； 3. 搬运与入柜阶段（41-72 帧）：机械臂抬起布丁并水平平移入抽屉，路由器交替调用 16 帧专家 \(\mathcal{E}_2\) 完成平稳运动过渡； 4. 推关抽屉阶段（73-104 帧）：机械臂推抵抽屉面板至完全闭合，路由器识别动作完成态，再次调用大步长专家保持场景背景稳定性。

全过程历经 10 轮自回归滚动生成，累计产出超过 200 帧（持续 20 秒），无鬼影现象，抽屉滑轨结构与布丁几何形态全程保持物理自洽。

损失函数 / 训练策略¶

系统的训练分为专家模型预训练解耦微调与路由器判别训练两个阶段： - DiT 专家训练：4 个专家独立训练，优化扩散均方误差损失 \(\mathcal{L}_i\)。在 4 块 NVIDIA H20 GPU 上，每个专家仅需训练 2 个 epoch（约耗时 24 小时），即可充分适应各自分块尺度的动态特征； - 路由器训练：路由器将专家选择建模为标准 4 分类任务，使用离线动作分块得到的真实标签 \(i\)，在交叉熵损失下进行监督微调：

\[\mathcal{L}_{\text{router}} = \mathbb{E}_{(\mathbf{c}, \mathbf{S}_t, i)} \left[ -\log p(i \mid \mathbf{c}, \mathbf{S}_t) \right]\]

在 4 块 NVIDIA H20 上同样耗时约 24 小时完成收敛。在 LIBERO 测试集的 12,700 个测试样本中，路由器实现了高达 91.4% 的预测准确率（11,606 个样本分类正确），展现了优异的跨模态时序意图理解能力。

实验关键数据¶

主实验¶

在代表性具身基准 LIBERO（包含 130 个复合长时程操作任务，如 Spatial/Object/Goal/100）与高真实度轮式双臂机器人基准 AGIBOT-World 上，LongScape 与当前代表性的纯扩散（CogVideoX）、纯自回归（Genie）以及混合自回归-扩散模型（NOVA）展开了全方位定量评测。生成视频采样率为 10 Hz，任务时长约 20 秒。

数据集	模型类别	方法	PSNR ↑	LPIPS ↓	SSIM ↑	FVD ↓
LIBERO	纯扩散模型	CogVideoX	19.315	0.1402	0.7729	184.69
	混合自回归扩散	NOVA	13.007	0.4488	0.4262	346.91
	纯自回归模型	Genie	19.300	0.2192	0.7267	383.82
	混合 CMoE (本文)	LongScape	19.977	0.1231	0.7883	153.72
AGIBOT-World	纯扩散模型	CogVideoX	15.800	0.4028	0.6733	267.39
	混合自回归扩散	NOVA	16.043	0.4201	0.6998	273.60
	纯自回归模型	Genie	16.166	0.3620	0.6058	495.93
	混合 CMoE (本文)	LongScape	16.493	0.3613	0.7015	256.16

消融实验¶

为验证自适应 CMoE 机制相比单一固定长度块的优越性，作者设计了固定 8 帧、16 帧、24 帧与 32 帧单一专家变体的系统消融实验。所有变体均采用相同的主干容量并在相同的预处理数据上进行训练。

模型配置	LIBERO: PSNR ↑	LIBERO: LPIPS ↓	LIBERO: SSIM ↑	LIBERO: FVD ↓	AGIBOT: PSNR ↑	AGIBOT: LPIPS ↓	AGIBOT: SSIM ↑	AGIBOT: FVD ↓
LongScape (完整 CMoE)	19.977	0.1231	0.7883	153.72	16.493	0.3613	0.7015	256.16
固定 32 帧块单模型	19.755	0.1285	0.7845	180.31	15.641	0.4286	0.6702	282.38
固定 24 帧块单模型	19.620	0.1314	0.7798	191.02	15.903	0.4034	0.6814	303.75
固定 16 帧块单模型	19.640	0.1388	0.7783	176.55	15.894	0.3852	0.6917	373.50
固定 8 帧块单模型	18.893	0.1629	0.7518	229.71	15.578	0.4052	0.6669	387.49

关键发现¶

CMoE 全面超越固定分块架构：对比单一固定块配置，自适应 CMoE 在 LIBERO 上的 FVD 指标相比最优固定变体（16 帧的 176.55）进一步大幅下降至 153.72，在 AGIBOT-World 上 FVD 亦从 282.38 压降至 256.16。
超短固定块（8 帧）性能严重劣化：仅使用 8 帧固定块的变体在两个数据集上的 FVD 均发生剧烈恶化（LIBERO 达到 229.71，AGIBOT-World 达到 387.49）。原因在于单一 8 帧块割裂了动作的完整语义，频繁的自回归边界使得时序因果预测严重丧失全局视野。
长时序稳定性显著突破：在长达 15 轮自回归滚动推演测试中，CogVideoX 在后期帧迅速出现严重的鬼影与结构融化，NOVA 则频繁产生抓错物体或物体闪烁消失的现象；LongScape 凭借动作边界与专属专家的精准适配，在整个 15 轮推演过程中均维持了清晰的几何拓扑和正确的任务因果动作。

亮点与洞察¶

将 LLM 的 Token 化思想迁移至物理动力学划分：论文跳出了计算机视觉以固定帧数为基本单元的思维定势，认识到机器人动作的天然语义完整性，将“语义 Token”理念通过动作位移与夹爪状态映射为变长视频块，极大地增强了自回归学习的信息整洁度。
推演期等同于单个模型的轻量高效 MoE 推理：虽然拥有 4 个 5.5B 规模的 DiT 专家（总参数约 22.3B），但得益于条件路由的 Top-1 激活机制，在线推演时每次仅运行单一专家，显存占用与计算开销完全维持在单个 5B 模型水准。
通用的具身自回归因果扩展范式：该设计不仅适用于机械臂操作视频生成，还可直接拓展到移动操作、人机交互与四足/双足仿生机器人的多步长环境模拟中。

局限与展望¶

动作先验依赖启发式阈值规则：当前变长分块依赖预先设定的全局运动极差阈值 \(\theta_d\) 与夹爪状态硬性判定，针对未知新型机器人或无明确离散夹爪状态的场景可能缺乏自适应泛化能力，未来需探索端到端可微学习的视频因果分块器。
单视角局限与生成时长瓶颈：当前实验集中于单视角视频生成与数十秒（约 15 次展开）时程，尚未支持多相机视角（如腕部相机与头顶第三人称视角）联合空间一致性建模，向数分钟级别的真实开放环境推演仍有待探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将 NLP 动态 Token 理念通过动作动力学映射为变长视频块与 CMoE，构思非常优雅]
实验充分度: ⭐⭐⭐⭐☆ [覆盖仿真 LIBERO 与真机 AGIBOT-World，对比了纯扩散、纯自回归与固定块混合模型及系统消融]
写作质量: ⭐⭐⭐⭐⭐ [论文逻辑链条清晰，图表完备，算法与工程细节详实]
价值: ⭐⭐⭐⭐⭐ [为长时程具身世界模型与交互式仿真引擎指明了突破方向，具备极高的学术与落地参考价值]