Grounding World Simulation Models in a Real-World Metropolis¶

会议: ECCV2026
论文: ECCV 原文 · 论文 PDF
领域: 视频生成
关键词: 世界模型、街景检索、跨时间配对、几何条件、长视频生成

一句话总结¶

Seoul World Model（SWM）用跨时间街景数据训练检索增强的视频扩散模型，并以几何与语义双路条件、不断更新的虚拟前瞻锚点约束自回归生成，在未参与训练的釜山和安娜堡更准确地生成真实街道，而不是只生成外观合理的虚构城市。

研究背景与动机¶

现有视频世界模型可以根据初始画面、相机动作与文字描述生成后续场景，但“看起来像一条街”和“确实是地图上这条街”是不同目标。模型沿轨迹前进后，原始画面没有覆盖的建筑、路口和立面往往由生成先验补出；即使局部视频连贯，也可能越来越偏离真实地点。城市级 NeRF 或 Gaussian Splatting 能重建真实场景，却主要承担静态渲染，不能直接替代可以改变天气、交通或事件的视频生成模型。

街景照片看似能补足地点信息，实际却带来三种错配。首先，同一地点在不同时间的车辆和行人并不相同，直接要求参考图和生成画面一致会把过时动态物体也复制进去。其次，车载街景通常相隔 5–20 米采样，既不是连续视频，也缺少行人和自由相机的运动分布。最后，自回归模型会把生成误差传给下一段；始终保留出发点画面作为 attention sink，到了远处街区便无法继续提供有用的地点约束。

SWM 因而不是给普通世界模型多塞几张参考图，而是同时改变训练配对、视频构造和参考信息的注入方式，让模型学会“继承稳定结构，但允许动态内容变化”。核心 idea：用跨时间街景监督学会辨别城市的持久结构，再通过互补的空间与外观参考，以及随路线更新的未来锚点，让每个生成片段重新对齐真实地点。

方法详解¶

整体框架¶

输入包括地图起点、当前片段的相机轨迹、文本提示和上一段生成历史；输出是沿指定路线展开的动态视频。SWM 在 Cosmos-Predict2.5-2B 上微调，利用 3D VAE 将视频压缩到潜空间，由 Diffusion Transformer（DiT）逐片段生成。

训练侧先构建跨时间的参考图与目标视频配对，再用插值与合成轨迹弥补街景的时间和运动覆盖缺口。生成侧从地理索引数据库检索附近街景，分别提供几何对齐的布局、未扭曲的外观细节，以及位于当前片段之后的虚拟前瞻锚点。图中的虚线表示训练数据支持，不是推理时重新执行数据制作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["跨时间配对"] --> B["连续化与轨迹扩展"]
    B -.->|训练配对与监督| G["自回归 DiT"]
    U["位置、轨迹、文本"] --> R["附近街景检索"]
    R --> C["几何与语义双路参考"]
    R --> D["虚拟前瞻锚点"]
    C --> G
    D --> G
    H["上一段生成历史"] --> G
    U --> G
    G --> O["当前片段与更新历史"]

关键设计¶

1. 跨时间配对：让地点结构与临时物体不再绑定

作者从获得研究使用许可的地图服务采集 1.2M 张首尔全景图，附带 GPS 与采集时间，处理后用 440K 张图参与训练；车牌和行人已作模糊化处理。一条训练序列取沿路连续街景作为目标，再选空间邻近但采集时间不同的全景图作为参考。目标视图朝前，并允许最高 90 度的随机水平转向；参考全景则渲染成与对应目标视图朝向匹配的针孔图像。Qwen2.5-VL-72B 为视频生成描述，另加入直行、停止、左右转等相机动作信息。

关键约束不是简单的数据增强，而是破除“看见参考车就应该生成同一辆车”的捷径。如果参考与目标同时采集，建筑和车辆都同样匹配，模型没有理由区分两者；跨时间后，建筑布局仍可预测目标，临时车辆却不可靠，训练便鼓励模型依赖前者。这里没有额外的动态物体分离网络或显式分解损失，图 6 的注意力可视化只是支持该解释的定性证据，不代表完成了严格的因果解耦。

2. 连续化与轨迹扩展：把稀疏车载街景变成可学习的视频监督

街景间隔过大时，直接按时间排列会产生视点跳变，与预训练视频模型的连续运动先验冲突。普通关键帧条件通过通道拼接注入单张图像，但底层 3D VAE 每 4 帧压缩成一个潜变量，孤立关键帧不对应完整的时间组。间歇定格策略（Intermittent Freeze-Frame）在训练插值模型时，把每个关键帧连续重复 4 次，让它刚好组成一个潜变量，其余区段保留连续运动。生成插值视频时也将输入关键帧重复编码，用所得潜变量替换噪声序列的相应位置；解码后删除每个关键帧多出的 3 帧，得到供世界模型训练使用的平滑视频。因此，定格不是要求最终仿真周期性停顿，而是适配 VAE 时间压缩的中间表示。

连续化只能补时间，不能凭空增加车载采集缺少的运动类型。作者另外用 CARLA 的 5 个城市地图渲染 10K 段视频，覆盖约 431,500 平方米，包含行人路径、车辆路径和避开场景碰撞的自由相机路径；参考街景沿道路每 10 米采样一个位置、每处渲染 8 个方向。合成参考与目标也采用不同模拟时间，保持同一种跨时间学习约束，并加入 Waymo 驾驶视频增加情景多样性。Depth Anything V3 估计真实街景的深度与相机位姿，再用 GPS 对齐真实尺度，避免把近似坐标直接当成精确相机外参。

3. 几何与语义双路参考：分别回答“放在哪里”和“长什么样”

每个生成片段先沿目标轨迹做近邻位置检索，再用深度重投影检查候选在最近目标视图中的覆盖率，筛出最多 K 张参考，防止位置很近却几乎看不到同一区域的图像进入条件。几何分支对每个目标帧只选空间最近的一张参考，利用深度反投影到 3D，再按相对位姿前向泼溅到目标视角。只用单张参考是为了避免不同深度估计相互冲突；得到的扭曲视频经 VAE 编码后，与噪声目标潜变量沿通道拼接，提供道路与建筑应出现的位置。该分支不是完整的城市 3D 重建，也不能靠投影恢复遮挡后从未观测的内容。

但重投影会因深度误差和遮挡丢失细节，所以语义分支保留原始参考图：每张图独立编码、划分 token，沿时间轴加入 DiT 的潜序列，目标 token 可以关注全部 K 张参考。参考的 RoPE 时间位置放在生成窗口之后，并通过较大的间隔 G 与当前视频分开，避免将这些外观证据混作连续视频帧。目标、参考和锚点的相机位姿统一表示为 Plücker 射线嵌入，经卷积编码后拼入潜变量通道，使注意力同时得到外观与视角关系。几何分支负责对齐，语义分支补细节；两者都可能带有过时车辆，因此仍需前面的跨时间配对来学会选择可靠信息。

4. 虚拟前瞻锚点：让长程约束随着路线向前移动

每生成一段，SWM 都取靠近该段轨迹终点的街景作为 Virtual Lookahead（VL）Sink，将它编码为单个干净潜变量，放到当前目标片段之后的 RoPE 时间位置。这样模型同时看到前一段的历史和来自真实数据库的前方参照，不再只依赖已经积累误差的生成历史。与固定保留第一帧相比，锚点的空间位置会不断更新，因此穿过多个街区后仍与当前环境有关；与把检索图放在序列开头相比，其“未来参照”的时间角色也不同。

这个锚点不是待重建的末帧，不要求恰好位于用户未来轨迹上，也不意味着视频必须照抄它的车辆和光照。训练时选取随机时间偏移的真实未来帧，让模型接触不同前瞻距离；推理时换成检索街景，并固定前瞻偏移为 5。模型学习的是朝相关地点继续生成的约束，而不是精确的终点像素匹配。缓存中式 (1) 的序列公式与式 (2) 的投影公式均有提取损坏，这里依据相邻正文解释机制，不将猜补的表达式当作作者原式。

一个完整示例¶

设用户从某个路口出发，指定向前行驶并将环境改为黄昏；这是解释流程的示例，不是新增实验。TF 配置为当前 77 帧片段检索最多 5 张街景，逐帧投影最近的一张以约束建筑和路面位置，同时允许注意力读取全部参考中的立面细节。另取片段终点附近的街景作为前瞻锚点，把前一段末尾的 5 个历史潜变量一起送入模型。

生成时，黄昏光照由文本控制，上一段已经出现的动态内容由历史提供连续性，参考图则主要约束持久结构。进入下一段后，历史换成新生成的尾部，参考图和前瞻锚点也按新位置更新。于是模型不需要记住整座城市的全部细节，却需要数据库在用户所走区域提供足够相关的观测；“新城市泛化”也因此不是脱离新城市街景的纯参数记忆能力。

损失函数 / 训练策略¶

主配置使用 AdamW，学习率 4.8e-5，在 24 张 NVIDIA H100 上以总 batch size 48 训练 10K 次迭代。Teacher Forcing（TF）每段 77 帧，训练条件包括 5 个真实历史潜变量、5 张参考和大小为 50 的参考时间间隔；推理时将真实历史换成生成历史，因此仍存在训练与推理的历史分布差异。

Self-Forcing（SF）版本从 TF 检查点出发，以 1K 对样本进行 6K 步 ODE 初始化，再微调 10K 次迭代；它使用 KV cache 中的自生成历史，历史长度为 3 个潜变量，每段 12 帧、1 张参考。作者报告单张 H100 达到 15.2 fps，但该数字不能理解为 TF 配置的速度，正文也不足以确定完整检索系统的端到端延迟。两个版本都使用偏移为 5 的 VL Sink；主文未给出可独立复现的完整损失公式，不额外杜撰训练目标。

实验关键数据¶

主实验¶

训练城市是首尔；Busan-City-Bench 与来自 MARS 的 Ann-Arbor-City-Bench 均不参与训练，各含 30 条测试序列，每条 365 帧、约 100 米。测试允许使用当地邻近街景，但排除属于测试序列本身的街景，因此衡量的是有外部参考的跨城市泛化。

表 1 摘录原论文表 1；每格均为“釜山 / 安娜堡”。FID 与 FVD 分别衡量图像和视频特征分布差异，越低越好；mPSNR 越高越好、mLPIPS 越低越好，两者使用 SAM3 分割动态物体后，仅在静态区域计算，避免惩罚合理但不同于实拍的车辆或行人。

方法	FID ↓	FVD ↓	mPSNR ↑	mLPIPS ↓
Aether	141.24 / 132.77	1096.50 / 1214.84	11.10 / 13.03	0.671 / 0.635
DeepVerse	130.32 / 182.95	892.63 / 1524.97	12.20 / 13.43	0.679 / 0.727
Yume1.5	54.82 / 85.62	425.24 / 993.62	12.09 / 14.15	0.667 / 0.623
HY-World1.5	49.63 / 67.02	544.04 / 864.76	11.87 / 14.26	0.588 / 0.575
FantasyWorld	83.51 / 67.72	783.11 / 917.57	10.01 / 11.97	0.654 / 0.592
Lingbot	62.14 / 57.99	717.44 / 1039.50	10.48 / 12.51	0.645 / 0.641
SWM (TF)	28.43 / 56.61	301.76 / 640.17	14.56 / 15.18	0.392 / 0.481
SWM (SF)	32.50 / 43.97	325.87 / 779.94	13.52 / 14.20	0.478 / 0.573

基线只接收各自支持的输入，不能都利用 SWM 的同等参考接口；因此这不是相同输入、相同资源预算下的单模块比较。TF 在釜山的 FID 为 28.43，优于该项最强外部基线 HY-World1.5 的 49.63；安娜堡则由 SF 取得最低 FID 43.97，但 SF 的静态结构指标与 FVD 不如 TF，不能写成两个版本都全面领先。

消融实验¶

表 2 摘录原论文表 2，统一使用 Busan-City-Bench 和与 SWM (TF) 对应的完整配置。TransErr 衡量生成相机运动与目标轨迹的平移误差，越低越好；主文未充分说明其归一化和单位，不能直接标成米。

配置	FID ↓	FVD ↓	TransErr ↓	mPSNR ↑	mLPIPS ↓
完整模型	28.43	301.76	0.015	14.56	0.392
去掉跨时间配对	44.74	487.87	0.123	12.54	0.519
去掉合成数据	27.74	365.24	0.020	13.52	0.427
去掉真实街景数据	29.82	467.58	0.050	13.99	0.411
去掉几何参考	33.01	398.74	0.051	12.33	0.525
去掉语义参考	30.27	326.18	0.022	14.08	0.442
不使用 attention sink	33.06	342.81	0.016	14.16	0.406
第一帧作为 sink	32.71	378.92	0.018	14.25	0.388
检索图置于首位置作为 sink	32.41	354.61	0.027	14.35	0.379

关键发现¶

跨时间配对对 FID、FVD 和 TransErr 尤其重要：移除后 TransErr 从 0.015 增至 0.123。但几何参考移除后的 mPSNR 更低、mLPIPS 更高，不能把某个组件称为所有指标上都最关键。
合成数据的价值主要体现在运动与结构：移除后 FID 反而降至 27.74，FVD 却升至 365.24，说明图像分布指标不足以代替世界模型评估。
VL Sink 的 FID 和 FVD 优于两种传统 sink，但 mLPIPS 并非最佳。图 10 另以 200 帧滑窗展示长序列 FID，支持其延缓退化；图 7 的 2.48 km 属于定性展示，不应等同于两套约 100 米的量化测试。

亮点与洞察¶

真正有辨识度的是数据配对规则。跨时间参考让“保持建筑、改变动态物体”成为监督本身要求的行为，而不是仅靠提示词要求模型忽略车辆。
未来锚点把城市数据库变成持续纠偏来源。它补充的是生成历史无法自行提供的真实观测，而非单纯增加上下文长度。
VAE 时间步长会决定条件注入是否有效。间歇定格把关键帧适配为模型可正确编码的时间单元，这一思路可迁移到其他稀疏观测的视频条件任务。

局限与展望¶

作者明确讨论了街景时间错配、轨迹覆盖不足和长程误差，但主文没有独立的完整局限章节；不能将以下分析都归作作者承认的失败。
本笔记判断：方法依赖当地街景覆盖、使用许可、深度和位姿估计质量。两座新城市的结果不能证明在没有参考、长期施工或显著街区变化时同样可靠。
本笔记判断：静态区域指标主要验证布局与外观，不足以证明交通行为、物体交互或物理规律正确；文本情景控制也主要给出定性结果。
缓存未含所引用的附录，因此无法核实插值消融、各基线适配细节和完整运行参数。后续应补充相同参考输入的对照、公里级量化评估与检索失败条件下的退化分析。

评分¶

新颖性: 4/5，真实城市检索条件、跨时间监督与动态未来锚点的组合有明确任务针对性。
实验充分度: 4/5，两座未训练城市和多组消融较扎实，但输入公平性、长距离量化与附录核验仍有限。
写作质量: 4/5，问题与设计的对应关系清楚，部分复现细节依赖附录。
价值: 4/5，为地点可控的视频世界模型提供了具体路径，实际应用仍受数据覆盖和动态真实性约束。