Sparse Video Generation Propels Real-World Beyond-the-View Vision-Language Navigation¶

会议: NeurIPS 2026
arXiv: 2602.05827
OpenReview: https://openreview.net/forum?id=6xFifx1LaW
代码: https://github.com/OpenDriveLab/SparseVideoNav
领域: 视频生成
关键词: 稀疏视频生成, 视觉语言导航, 视界外导航, 扩散蒸馏, 具身智能

一句话总结¶

针对视觉语言导航中 LLM 短视距监督导致的死胡同受困与原地打转问题，提出首个基于稀疏视频生成的世界模型导航系统 SparseVideoNav，通过四阶段渐进训练与蒸馏实现长达 20 秒稀疏未来视界与亚秒级连续动作推理。

研究背景与动机¶

视觉语言导航（VLN）旨在让具身智能体依据自然语言指令与视觉输入在复杂环境中连续决策。随着大语言模型与多模态大模型的兴起，端到端导航策略取得了显著进展。然而，现实人机交互通常仅提供粗粒度、高层意图的模糊目标指令，而现有主流方案严重依赖分步详尽的指路指令（Instruction-Following Navigation, IFN）。当面对视界外导航（Beyond-the-View Navigation, BVN）任务时——即目标处于当前视线之外、无稠密引导且跨越长距离——现存基于 LLM 的方法暴露出严重的短视缺陷。

导致该瓶颈的根本原因在于，基于 LLM 的导航模型通常仅依赖短视距动作序列（4 至 8 步）进行动作克隆监督。直接在序列建模中延长监督视距会导致训练过程急剧不稳定甚至发散；因此智能体在长程不确定性下极易发生突兀转向或原地打转，并在误入死胡同（dead ends）时盲目判断路径终结而受困。与此同时，视频生成模型天然具备在语言指令引导下外推长程未来动态的能力，能够有效想象出脱离死胡同的回溯轨迹；但常规视频生成模型强求连续稠密帧生成，不仅带来极高的计算与去噪延迟，且视频连续性信息对于高层导航路径规划存在大量冗余。

针对上述矛盾，本文提出跳出连续视频生成与自回归文本预测的传统框架，改由以稀疏视频帧作为监督与规划接口。核心 idea：将长时程稀疏视频生成引入视界外真实导航，通过固定间隔的关键帧未来外推替代稠密连续生成，结合历史两级压缩与阶段稠密蒸馏，构建首个能在 20 秒长视界内实现亚秒级动作推理的具身世界模型导航系统 SparseVideoNav。

方法详解¶

整体框架¶

SparseVideoNav 采用“视频生成世界模型外推长程稀疏未来 + 逆动力学策略头预测连续动作”的分层架构。系统的输入包括当前观测图像、多步历史观测序列以及高层语言指令；输出为机器狗底盘的连续轨迹控制量 $(\Delta x, \Delta y, \Delta \theta)$。

整个系统由四个渐进式阶段协同构建：首先在预训练视频扩散模型上完成 T2V 到 I2V 的视觉条件对齐；随后引入 Q-Former 与 Video-Former 双层压缩历史观测并通过零初始化交叉注意力注入主干；接着基于相干性轨迹对扩散去噪过程进行相位一致性蒸馏（PCM）；最后冻结视频主干，利用 DiT 逆动力学动作头根据生成的稀疏未来潜变量回归物理控制轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["当前观测图像 + 历史图像序列 + 语言指令"] --> S1["T2V 到 I2V 稀疏未来适配<br/>Flow Matching 拟合稀疏块速度场"]
    S1 --> S2["双层历史时空压缩与注入<br/>Q-Former时序压缩 + Video-Former空间下采样"]
    S2 --> S3["扩散模型相位一致性蒸馏<br/>Flow Matching 轨迹由50步压缩至4步"]
    S3 --> S4["基于重新标注稀疏未来的动作学习<br/>DA3位姿重标注 + 逆动力学DiT动作扩散头"]
    S4 --> Out["连续动作轨迹输出 (Δx, Δy, Δθ)"]

关键设计¶

1. T2V 到 I2V 稀疏未来适配：以跳帧潜块突破长时程计算与连续性冗余瓶颈 针对常规视频生成在数十秒时程下计算复杂度爆炸、且高频连续帧对宏观导航决策冗余的问题，模型基于 Wan2.1-1.3B 开源骨干进行稀疏化重构。Wan 采用 3D 因果 VAE 将空间下采样 8 倍、时间每 4 帧压缩为 1 个时空块（chunk）。为兼顾即时控制的精确度与远端视界探索，本文设计了非均匀稀疏生成策略：前 2 个 chunk 保持连续以保留即刻 8 帧细节，后续 chunk 以间隔为 3 进行采样，在 4 FPS 下覆盖 $T$ 之后 $[T+1, T+2, T+5, T+8, T+11, T+14, T+17, T+20]$ 共 20 秒的长程未来。训练保留 Flow Matching 目标，对于当前时刻潜块 $c_T$、稀疏目标潜块序列 $x_1$ 与高斯先验噪声 $x_0$，在插值状态 $x_t = t x_1 + (1-t)x_0$ 下学习真实速度场 $v_t = x_1 - x_0$： $$\mathcal{L}_{\text{stage1}} = \mathbb{E}_{x_0, x_1, l, c_T, t} \left\| u(x_t, l, c_T, t; \theta) - v_t \right\|^2$$ 此举使模型摆脱了连续视频的高频负担，在大幅降低显存开销的同时将预测范围拓展至 20 秒后的远端目标。

2. 双层历史时空压缩与注入：解耦长程观测序列与生成网络推理延迟 LLM 能够自回归拼接大量历史图像 token，但扩散生成主干直接堆叠完整历史观测会导致自注意力计算不可承受。为此，系统借鉴 CDiT 范式，在骨干网络各 Transformer Block 中插入新增的交叉注意力层，并使用零初始化线性输出投影以保护预训练生成先验。针对长程历史的高维挑战，设计了两级级联压缩：首先通过 4 层 Q-Former 将长程时序特征聚合，再由 6 层 Video-Former 执行 $4\times$ 空间下采样，将历史 token 总量直接压缩至 2,560，成功解耦了推理延迟与历史时程长度的关系。

3. 扩散模型相位一致性蒸馏：在动态导航场景下将去噪步数极限压缩至 4 步 机器人导航处于高度动态且快速变换的非结构化环境中，标准扩散或流匹配模型通常需要 50 步迭代求解 ODE，导致数秒至数十秒的时延，根本无法满足底盘闭环控制。不同于机械臂操作背景相对静态的场景，导航动态画面的少步去噪极易发生模式崩溃。本文将相位一致性模型（Phased Consistency Model, PCM）迁移至 Flow Matching 框架中：将整体连续时间区间划分为 4 个离散子区间（Phase），以注入历史的多模态 I2V 模型作为 Teacher，初始化相同权重的 Student 模型去预测 Teacher 模型在概率流 ODE 轨迹上各子相位的解点，通过施加相邻时间步一致性损失，成功在仅经过 4 步推理下达到与 50 步去噪相当的视觉保真度，带来约 10 倍单模块推理加速。

4. 基于重新标注稀疏未来的动作学习：消除生成幻觉与真实物理位姿的漂移 直接将逆动力学动作头衔接在冻结的生成世界模型之后时，由于生成的稀疏未来帧不可避免地存在轻微几何畸变与生成伪影，这会导致预测的视频动态与数据集中原始真实动作标签产生语义错配。为解决这一数据漂移难题，本文在阶段四微调前，专门调用 SOTA 相对位姿估计模型 Depth Anything 3（DA3）对模型实际生成的稀疏未来画面进行相机外参二次提取与连续动作重新标注。随后，将生成的 640 个未来潜变量经过 8 层 Action Video-Former 编码，作为交叉注意力条件注入 12 层 Diffusion Transformer (DiT) 动作头中，采用 DDIM 在 100 步扩散逆过程中根据重标注动作目标 $\bar{a}_0$ 精确恢复连续动作 $(\Delta x, \Delta y, \Delta \theta)$。

损失函数 / 训练策略¶

训练采用四阶段渐进式优化策略，全部在 32 块 NVIDIA H200 GPU 集群上使用 AdamW 优化器进行训练： 1. 阶段 1（T2V $\rightarrow$ I2V 稀疏适配）：学习率 $1\times 10^{-5}$（恒定），批大小 32，可训练参数量 1.3B，优化 Flow Matching 速度场预测损失 $\mathcal{L}_{\text{stage1}}$；相较于直接从零端到端训练阶段 2，该渐进初始化带来了 $2\times$ 的收敛加速（32 小时 vs 64 小时）。 2. 阶段 2（历史观测注入）：引入 Q-Former 与 Video-Former 以及零初始化交叉注意力，学习率 $1\times 10^{-5}$，批大小 32，可训练参数量 1.8B，优化带历史条件的 Flow Matching 目标 $\mathcal{L}_{\text{stage2}}$。 3. 阶段 3（扩散蒸馏）：冻结优化超参，学习率降至 $5\times 10^{-6}$，训练可动参数 1.7B，优化 PCM 阶段一致性损失，将推理步数从 50 步蒸馏为 4 步。 4. 阶段 4（逆动力学动作回归）：冻结蒸馏后的视频主干，单独训练 23.4M 参数的 Action Video-Former 和 DiT 动作头，采用 Cosine 学习率退火策略（初始 $5\times 10^{-5}$），批大小 256，利用 DDIM 损失函数优化高斯去噪目标： $$\mathcal{L}_{\text{action}}(\psi; A) = \mathbb{E}_{\bar{a}_0, \epsilon, k} \left\| D_\psi(\bar{a}_k, l, \bar{V}) - \bar{a}_0 \right\|^2$$

实验关键数据¶

主实验¶

评估基于真实宇树 Go2 四足机器人平台，在 6 个完全未见过的真实场景（室内：房间、实验楼；室外：院落、公园；夜间：广场、山地）开展 240 轮零样本评测，分为常规指令跟随（IFN）与极具挑战的视界外导航（BVN）。评测指标为成功率（Success Rate, %，到达目标 1.5 米内判定成功）。

场景类型	具体场景	Uni-NaVid (RSS'25) IFN / BVN	StreamVLN (ArXiv'25) IFN / BVN	InternVLA-N1 (2025) IFN / BVN	SparseVideoNav (本文) IFN / BVN
室内	房间 (Room)	20.0 / 5.0	45.0 / 10.0	25.0 / 5.0	55.0 / 25.0
	实验楼 (Lab Bldg)	10.0 / 0.0	40.0 / 15.0	15.0 / 0.0	55.0 / 30.0
室外	院落 (Yard)	10.0 / 0.0	30.0 / 5.0	35.0 / 5.0	50.0 / 20.0
	公园 (Park)	20.0 / 10.0	50.0 / 30.0	30.0 / 40.0	65.0 / 40.0
夜间	广场 (Square)	0.0 / 0.0	20.0 / 0.0	0.0 / 0.0	50.0 / 20.0
	山地 (Mountain)	0.0 / 0.0	25.0 / 0.0	0.0 / 0.0	25.0 / 15.0
全场景平均	平均成功率	10.0 / 2.5	35.0 / 10.0	17.5 / 8.3	50.0 / 25.0

消融实验¶

表征稀疏生成设计、去噪蒸馏与历史压缩在相同环境配置下的性能与效率权衡。

配置变体	IFN 平均成功率 (%)	BVN 平均成功率 (%)	推理时延 / 速度对比	说明
SparseVideoNav (完整模型)	50.0	25.0	0.74s / 帧 (基准)	4 步 PCM 蒸馏 + 间隔为 3 的 20 秒稀疏未来外推
(a) 4 步蒸馏 + 2 连续 chunk	15.8	2.5	快于基准	模拟传统 LLM 的短视距监督，视界严重不足导致死胡同脱困失败
(b) 4 步蒸馏 + 10 连续 chunk	36.7	11.7	延迟显著升高	中等视距外推，计算开销大且 BVN 表现显著落后于稀疏设计
(c) 50 步未蒸馏 + 20 连续 chunk (Oracle)	62.5	35.8	慢 27× (超 20 秒)	算力上限基准，虽性能更高但推理极慢无法满足实车部署
(d) 完整模型 w/o Former 历史压缩	45.0	22.5	延迟随历史剧增 (+54.9%)	去除 Q-Former 与 Video-Former，长程历史导致注意力显存与耗时激增

关键发现¶

视界外导航性能断层式领先：在最具难度的 BVN 任务上，SparseVideoNav 取得了 25.0% 的平均成功率，达到最强基线 StreamVLN（10.0%）的 2.5 倍，更是传统端到端策略 Uni-NaVid（2.5%）的 10 倍。
极端夜间环境下零的突破：由于低照度与高噪声加剧了近程视觉不确定性，所有既有基线在广场和山地的 BVN 评测中成功率全部为 0%；而 SparseVideoNav 凭借生成式世界模型的长程先验想象，在夜间场景取得了 17.5% 的 BVN 成功率。
稀疏生成与蒸馏的高效帕累托权衡：相较于生成 20 块连续视频且进行 50 步采样的 Oracle 方案（变体 c），SparseVideoNav 仅牺牲有限成功率（IFN 50.0% vs 62.5%），实现了推理速度 27 倍的大幅跃升与 1.4 倍的训练收敛加速，达成亚秒级闭环响应。

亮点与洞察¶

范式颠覆：从自回归动作序列到稀疏视频物理世界模型：传统方法试图通过延长 LLM 的动作输出 token 解决长程导航，却频发训练崩塌；本文巧妙利用视频生成模型本身就是长程时空预测器的特性，首次确立了稀疏未来帧引导物理底盘动作的全新架构。
DA3 逆向闭环重标注化解生成与动作的 Sim-to-Real 漂移：视频生成模型生成画面存在细微结构形变，直接用原始真值轨迹监督动作头会导致策略漂移；利用几何视觉基础模型实时提取生成画面的相机位姿进行动态重标注，构建了无缝自洽的“视觉生成-动作提取”数据闭环。
非凡的零样本泛化与鲁棒性：在训练阶段严格滤除前向行人轨迹的情况下，模型在实车部署中涌现出主动避让迎面动态行人的能力；同时面对 50cm 低机位扰动时展现出出色的几何视点鲁棒性，显著优于易受视点变化干扰的 LLM 策略。

局限与展望¶

数据规模与分布覆盖依然受限：当前模型基于作者采集的 140 小时第一人称手持稳定器视频训练，相较于互联网万小时级开放域视频仍属小规模，在极端长尾障碍和罕见地貌下偶发视频模式崩溃（Mode Collapse）。
亚秒级推理与顶尖端到端控制仍存延迟差距：虽然经过蒸馏实现了 0.74s 的单帧推理，大幅超越未优化生成方案，但对比轻量级流式自回归模型仍存在控制延迟，未来可结合模型量化与自适应跳步蒸馏进一步压降推理开销。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打破连续视频生成范式，将稀疏生成作为世界模型引入视界外具身导航，构想精妙。
实验充分度: ⭐⭐⭐⭐⭐ 包含 140 小时真机真实数据采集、6 个未见场景实机 240 轮严格评测及完整的四阶段消融分析。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰明确，系统架构与训练演进层次分明，图表详实且极具洞察力。
价值: ⭐⭐⭐⭐⭐ 为具身世界模型从离线仿真走向现实非结构化场景低时延部署提供了极具参考价值的工程与算法范式。