City-RAG: Stepping into a City via Spatially-Grounded Video Generation¶

会议: NeurIPS 2026
arXiv: 2604.19741
代码: https://city-rag.github.io/
领域: 视频生成
关键词: 空间可定位视频生成, 检索增强生成, 街景仿真, 扩散Transformer, 3D世界模型

一句话总结¶

CityRAG 将街景数据库的地理配准全景序列作为外部记忆进行检索增强，通过时空不对齐训练在 Wan 2.1 DiT 中解耦静态几何与瞬态环境属性，实现了遵循用户轨迹且保留真实物理城市地貌的分钟级 3D 一致漫游视频生成。

研究背景与动机¶

现有视频生成模型在文本到视频（T2V）或图像到视频（I2V）生成上取得了极高保真度，能合成符合提示词引导的高动态画面。然而，在自动驾驶模拟、机器人具身仿真和虚拟文旅等真实世界核心应用中，生成模型仅具备“生成视觉合理画面”的泛化先验远远不够，系统必须严格受限于物理现实世界的空间拓扑与真实地貌——即在指定城市坐标下的任意天气、光照及动态交通流下，模型生成的道路、红绿灯、建筑群及特定地标必须精准对应真实世界的物理布局，而非天马行空的 AI 幻觉。

传统 3D 场景表征如 NeRF 或 3D 高斯泼溅（3DGS）虽然具备几何保真度，但严重依赖特定时刻的密集多视角采集，难以生成真实动态运动（如车流、行人的自主位移），且在复杂天气迁移与长距离尺度上面临极高的重建开销与泛化瓶颈；而常规视频生成模型又纯粹依托隐空间先验，推理阶段缺乏接入外部世界先验的接地机制。两者的核心矛盾在于：视频生成模型拥有强大的动态物理运动先验与瞬态风格渲染能力，却缺乏对特定物理坐标静态几何与建筑语义的真实空间记忆；而静态 3D 数据库拥有精准真实的空间拓扑，却无法灵活外推动态行为与环境变化。

针对上述矛盾，本文提出了一种检索增强型视频生成框架 CityRAG，其切入角度在于：不强求生成模型将整座地球的每一栋建筑硬编码在神经网络权重中，而是将海量地理配准的街景数据作为外部空间上下文检索库。本文的核心 idea 是：利用不同时间采集但地理轨迹一致的非时序对齐街景全景视频对，训练视频扩散 Transformer 分离静态场景几何与瞬态动态属性，在推理时通过空间 RAG 机制检索轨迹沿线真实物理影像作为交叉注意力参考，实现受第一帧天气与动态物体约束、同时严格锚定现实城市地貌的长程可导航视频生成。

方法详解¶

整体框架¶

CityRAG 的输入由三部分构成：用于初始化场景外观与瞬态属性的起始图像（First Image Condition）、由一系列 4×4 相机外参矩阵构成的相机轨迹（Trajectory Condition），以及沿该轨迹从全景街景数据库中空间检索出的地理配准视频帧（Geospatial Conditioning）。模型基于开源高性能视频生成底座 Wan 2.1（14B）构建，包含时空 3D-VAE 与扩散 Transformer（DiT）。

系统整体流程可分为离线检索准备、多模态条件编码注入以及长程自回归导航三个阶段。在推理过程中，用户选定起点影像与目标轨迹后，系统通过 \(k\)-d tree 空间索引毫秒级检索最近邻街景序列；当遇到转弯等复杂路径时，系统在十字路口自动拼接垂直方向的多段真实轨迹视频；各条件与噪声潜变量分别通过通道拼接、残差偏置投影与专用交叉注意力层融合，经扩散去噪生成当前 73 帧视频片段；最后将片段尾帧作为下一段的起始帧实现任意长时程漫游。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户输入：起始图像 + 目标相机轨迹"] --> B["空间轨迹拼接检索<br/>k-d tree检索多段地理配准街景序列"]
    B --> C["时空不对齐解耦训练机制<br/>非对称帧数与跨天气视角构建训练对"]
    C --> D["相机外参残差投影模块<br/>相对位姿Conv1D降采样+MLP零初始化注入"]
    C --> E["地理配准交叉注意力分支<br/>独立复制自注意力块，提取全局静态几何记忆"]
    D --> F["Wan 2.1 (14B) 视频 DiT 去噪主干<br/>Muon优化器 + v-prediction 噪声调度"]
    E --> F
    F --> G["生成真实空间对齐的高动态视频<br/>尾帧自回归迭代驱动长距离闭环导航"]

关键设计¶

1. 空间轨迹拼接检索：在离线全景库中构建任意导航路径的外部记忆

真实城市漫游需要支持任意复杂的运动轨迹，包括转弯、变道和回环，而实际街景采集车通常只能沿着特定车道直线行驶。为了让模型支持任意轨迹的空间检索增强，CityRAG 首先将覆盖全球 10 个代表性城市的 550 万张全景影像及其对应的地心固定坐标系（ECEF，以米为物理单位）绝对位姿构建空间索引。预处理阶段利用 cKDTree 在 \(O(\log N)\) 时间内秒级完成任意 GPS 点的最近邻定位，随后沿用户指定外参以 \(O(1)\) 常数时间拉取连续路径序列。当用户指定的路径在路口转向（例如 90 度右转）而单段街景数据直行时，检索算法在交叉路口自动检索横向穿行的第二段正交街景视频，并将两者在时序上硬拼接成一条包含转角信息的代理上下文序列。即便条件序列在拼接处存在视角突变与时空不连续，模型凭借解耦后的全局语义理解能力，依然能够生成平滑连贯的转弯视频，消除了对预存完整单条轨迹的严苛依赖。

2. 时空不对齐解耦训练机制：通过跨时间重访数据实现动静态属性彻底分离

传统视频到视频（V2V）重渲染或风格迁移方法要求输入视频与目标视频具有强烈的像素级逐帧对应，导致模型极易机械复制参考视频中的车流、行人与天气阴影。为了让模型在无人工标注与启发式掩码的前提下自主理解“何为永恒静态的城市结构，何为随时间变化的瞬态属性”，CityRAG 构建了大规模跨时间重访数据集：在同一城市中筛选平均空间几何距离小于 5 米（\(\epsilon < 5\text{ m}\)）、但采集时间迥异（例如清晨与黄昏、晴天与阴天、甚至是不同年份）的成对全景序列，获得 130 万张配对训练全景图。在训练时，一组视频作为重建真值（Target Video），另一组视频作为地理配准条件（Geospatial Condition），两者的水平视场角（FOV）均固定裁剪为 65 度。更关键的是，为了彻底打破模型对逐帧像素对齐（One-to-One Alignment）的投机捷径，作者将目标视频长度固定为 73 帧，而条件视频的帧数则在 \([61, 81]\) 之间随机扰动采样。由于车速差异与红绿灯等待，条件视频可能在路口停滞，而目标视频正在全速前进；这种强迫模型从时间不同步、速度不匹配的参考序列中提取建筑、道路、路灯与标志物拓扑的训练策略，使网络天然学会了将第一帧给定的天气与动态车辆无缝迁移到从记忆中提取出的静态真实地貌上。

3. 地理配准交叉注意力分支：保持时空潜在空间分布一致的全局记忆注入

将参考图像或点云特征直接引入预训练扩散模型极易破坏生成先验，导致模型退化或收敛极其缓慢。消融实验表明，直接输入 VGGT 等现成 3D 几何特征或引入 ControlNet 结构在 Wan 2.1 上均表现欠佳，因为外部特征与 Wan 固有的 VAE 潜空间存在严重域漂移（Domain Shift）。为此，CityRAG 采用与主干 VAE 潜空间完全同源的设计：将地理配准条件视频直接送入共享的 Wan 3D-VAE 编码器，提取下采样 \(4\times\) 时间维与 \(8\times\) 空间维的时空潜变量，保留原生的视频隐式表征分布。在 DiT 主干结构中，模型复制每一层原始预训练的自注意力模块参数，初始化为独立的地理交叉注意力分支（Attention Block）。在去噪计算中，以目标带噪潜变量生成 Query，以条件视频的 VAE 潜变量投影生成 Key 和 Value，使得目标序列的每一帧均可全局检索条件视频中整条路径的所有时空上下文。相比单帧独立 VAE 编码（收敛速度慢 3 倍），该结构使得空间全局特征能够在保持底座原生生成能力的同时被高效吸收。

4. 相机外参残差投影模块：以物理米制尺度实现精确位姿导引与视线扰动增强

为了保证相机轨迹的绝对物理精度并赋予用户精确的速度与转向控制，模型舍弃了容易产生尺度模糊的非归一化相机参数或 Plücker 射线输入。系统将世界 ECEF 绝对坐标系下的 \(4\times 4\) 刚体变换矩阵实时转化为以起始帧为原点的相对外参矩阵，由于源数据直接基于物理米制单位，确保了跨城市间几何运动尺度的高度一致。扁平化后的外参序列在时域经由 1D 卷积下采样 \(4\times\)（严格匹配 3D-VAE 的时间压缩率），再通过双层 MLP 映射为隐特征，最终经过全零初始化的线性投影层逐层以残差形式加在 DiT 模块输出上：

\[h_k^{(l)} = \text{DiTBlock}_k(h_{k-1}^{(l)}) + \text{ZeroLinear}_k(\text{MLP}(\text{Conv1D}(P)))\]

零初始化保证了微调初期完全不破坏基础视频先验，随着训练进行，网络自动学习在特定 DiT 层分配位姿控制权重。此外，针对车载街景大多为单向直行的严重分布偏差，作者在训练中引入全景随机偏航角（Yaw）扰动：初始偏航角在 \([0^\circ, 360^\circ]\) 内随机旋转，且帧间施加 \([0^\circ, 2^\circ]\) 的连续视线旋转扰动，从而使模型具备外推至单序列 \(360^\circ\) 极限大角度环视生成的强大泛化能力。

损失函数 / 训练策略¶

模型采用基于流匹配/扩散的 \(v\)-prediction 训练目标，配合向大时间步偏移的噪声调度策略（Shift Factor 为 3.0，使损失计算更侧重于决定全局布局的高噪声阶段）。针对微调过程中 AdamW 优化器容易导致必须过度偏移噪声步数（\(t > 900\)）进而破坏高频画面细节的缺陷，本方法引入 Muon 矩阵优化器，采用 \(1\times 10^{-5}\) 的恒定微调学习率并辅以预热。训练在 32 张 A100 GPU 上基于 FSDP 和梯度检查点技术迭代 20,000 步（约一周耗时）。

在无分类器引导（Classifier-Free Guidance, CFG）设计上，轨迹条件与地理配准条件分别以 10% 的概率独立进行 Dropout。这种解耦独立丢弃机制带来了极佳的先验稳健性：当推理时遇到外部地理视频完全因堵车或遮挡而失效的极端情况，模型能够优雅降级为纯轨迹引导的 I2V 生成器，依然能够沿轨迹生成合理的新视角街道，而不会产生画面崩溃或冻结。

实验关键数据¶

主实验¶

评估在 10 个城市的保留区域（其中 8 个城市保留未见街区，伦敦与圣保罗 2 个城市完全未参与训练）上进行，专门筛选转弯幅度大于 \(45^\circ\) 的高难度测试轨迹。评测指标包括衡量全局图像质量与真实场景保真度的 PSNR、SSIM、LPIPS、FID，以及利用 Mask2Former 掩膜掉车辆与行人后仅针对建筑物与道路等静态结构的静态版本指标（标记为 -S）。

方法	PSNR ↑	SSIM ↑	LPIPS ↓	PSNR-S ↑	SSIM-S ↑	LPIPS-S ↓	FID ↓
TrajectoryCrafter	11.90	0.403	0.705	11.92	0.536	0.548	55.45
AnyV2V	11.82	0.385	0.698	11.83	0.521	0.551	47.56
Gen3C (V2V)	12.34	0.432	0.677	12.36	0.538	0.558	57.13
Gen3C (I2V)	13.28	0.453	0.654	12.86	0.545	0.543	61.07
CityRAG (本文)	15.03	0.466	0.504	15.86	0.560	0.432	16.55

注：测试集平均转弯角度 \(\ge 45^\circ\)。在未参与训练的两座未知城市（伦敦与圣保罗）上，CityRAG 分别取得 PSNR 15.11、SSIM 0.461、LPIPS 0.517 和 FID 16.90，证明该模型在未知地域同样具备卓越的跨城市空间泛化能力。

消融实验¶

在檀香山（Honolulu）数据集上针对相机轨迹条件注入方式（左侧）与地理配准上下文融入机制（右侧）进行的消融对比验证：

轨迹条件消融配置	PSNR ↑	SSIM ↑	LPIPS ↓	FID ↓	地理条件消融配置	PSNR ↑	SSIM ↑	LPIPS ↓	FID ↓
Plücker 光线拼接	13.39	0.432	0.503	15.51	无地理条件 (No Geospatial)	14.13	0.479	0.505	14.04
MLP 输出空间通道拼接	13.31	0.422	0.516	14.82	VGGT 特征 + 交叉注意力	14.11	0.479	0.502	14.07
残差偏置投影 (本文)	16.40	0.486	0.485	14.50	RGB 图像 + ControlNet 分支	16.01	0.484	0.499	15.28
-	-	-	-	-	RGB 潜码 + 交叉注意力 (本文)	16.40	0.486	0.485	14.50

关键发现¶

基线方法在大角度转向时全面失效：Gen3C（I2V）在直线行驶的前几秒维持了较高质量，但遇到转弯即迅速崩溃；AnyV2V 无法调和参考视频与首帧的外观冲突，生成的虚拟相机几乎处于静止状态；Gen3C（V2V）仅能处理极微小的相机抖动重渲染。CityRAG 在大角度转向场景中静态结构保真度显著超越基线（PSNR-S 相比 Gen3C I2V 提升 3.00 dB，LPIPS-S 由 0.543 骤降至 0.432）。
感知指标呈现压倒性优势：衡量生成真实分布距离的 FID 指标从所有基线的 47-61 剧烈降低至 16.55，降幅超过 65%，证明生成的视频不仅在静态几何上高度忠实于真实世界，且完全规避了传统重渲染方法的伪影失真。
自注意力特征迁移优于外部 3D 几何特征：消融显示直接注入 VGGT 几何特征的模型与不使用地理条件的模型指标几乎无异（PSNR 14.11 vs 14.13），说明跨模态表征极难融入基础视频 DiT；而基于原生 3D-VAE 的潜变量交叉注意力不仅保留了基础模型的动态物理能力，更能以最低的泛化代价实现地理锚定。

亮点与洞察¶

时空不对齐的逆向数据驱动解耦：不依赖任何人工标注或分割模型去划分“建筑”与“天气/车流”，而是巧妙利用城市中自然存在的“不同时间相同地点”的双视角视频对，通过非对称随机帧长强迫网络自发学会从外部记忆中提炼不变的物理几何，这种完全数据驱动的隐式解耦设计极具通用性与扩展价值。
打破闭环漂移的空间 RAG 锚点：传统的自回归长视频生成模型在进行逐段迭代时极易发生“自回归误差累积”，几百帧后场景往往面目全非。CityRAG 首次将 RAG 概念落地到三维实体世界，借助静态空间数据库作为时序去噪的外置绝对锚点，使得长达数千帧的漫游序列在完成大闭环（Loop Closure）后仍能精准还原起点处的建筑与招牌。
支持拓扑跳变与多段视频拼接：模型对检索条件的鲁棒性极强，推理阶段支持在十字路口将相互正交的直行街景视频直接硬拼接以构建转弯条件。DiT 能够自动平滑过渡非连续的视觉上下文，展现出极强的宏观空间拓扑内插先验。

局限与展望¶

推理延迟与实时交互瓶颈：当前基于 Wan 2.1（14B）与 UniPC 40 步采样的架构在 8 张 A100 GPU 节点上生成 73 帧需要 90 秒（0.8 FPS），在 8 张 B200 上为 30.5 秒（2.4 FPS），距离自动驾驶端到端闭环模拟和交互式元宇宙漫游所需的实时帧率仍有显著差距，亟待结合少步蒸馏与显存缓存加速技术优化。
文本指令控制能力受限：由于街景数据集缺乏详尽的文本提示词对齐，微调时冻结了文本交叉注意力层并固定通用提示词，导致模型在生成过程中失去了细粒度文本控制与瞬态天气指令编辑能力（如无法通过自然语言随时改变突降暴雨或积雪厚度）。
极端光照与复杂气象数据偏置：街景采集车因成像传感器限制主要在白天晴好天气行驶，训练集中匮乏极端暴风雪、浓雾或深度夜间环境数据，限制了模拟器在极端长尾自动驾驶边缘工况下的泛化表现。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向真实城市尺度空间定位视频生成的时空 RAG 框架，构建了基于跨时段街景数据驱动解耦动静态属性的优雅范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 座全球城市、百万级全景数据，主实验兼顾全局指标与掩模静态指标，消融实验针对轨迹与空间注入方式进行了细致对照，并辅以严格的人工评估与跨未见城市泛化测试。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，方法与架构设计高度自洽，图文对比极具说服力，附录详细公开了工程优化、计算代价与伦理考量。
价值: ⭐⭐⭐⭐⭐ 为自动驾驶具身仿真平台、逼真数字孪生世界模型构建及真实物理世界驱动的 AIGC 提供了极具突破性的全新技术路径。