WildCity: A Real-World Dataset for City-Scale Rendering and Beyond¶

会议: ECCV 2026
论文: ECCV 官方页面
项目: WildCity
领域: 3D视觉 / 城市级重建与神经渲染
关键词: 连续街景数据、3D Gaussian Splatting、刚性相机组、道路正则、轨迹外视角

资料说明：本文采用任务提供的官方标题；当前 PDF 正文标题为 WildCity: A Real-World City-Scale Testbed for Rendering, Simulation, and Spatial Intelligence。缓存包含完整方法、实验与讨论；文中提及的六城补充实验未包含在当前正文中。项目页链接不等同于已核实的代码仓库。

一句话总结¶

WildCity 将六座美国城市、18 条连续行车日志整理为 1,507.1 公里的环视 RGB–LiDAR 数据，并提出结合刚性相机组位姿优化、天空分离和道路正则的 3DGS 基线，展示城市重建不仅需要能容纳更多高斯，还需要控制位姿漂移、几何歧义与轨迹外渲染错误。

研究背景与动机¶

城市级重建面对的不是把一个房间的数据量乘大：行车路线细长，视角主要贴着道路，远处建筑和路面常缺少充分交叉观测；车辆、行人、光照和定位误差又随行驶过程变化。一个模型可能在记录路径上渲染出好看的街景，却把几何放到错误深度。一旦模拟器中的智能体驶离原路径，这些投影上不易察觉的错误就会变成漂浮物、道路破碎或不稳定背景。

现有数据各有缺口。MatrixCity 等合成数据容易控制却存在域差异，nuScenes、Waymo 等真实行车数据主要按短片段组织，KITTI-360、Oxford RobotCar 提供较长路线但在多城覆盖、传感器环视或重建协议上仍有局限。Block-NeRF 和城市高斯方法通过分块、层级与并行化提高规模，但扩大容量并不能自动校准位姿或恢复窄基线下的真实三维结构。

WildCity 的切入点是保留真实车队长日志的连续性和不确定性，再给出可重复的多尺度切分与城市场景基线。核心 idea：把城市数字孪生评测从“路线内图像像不像”推进到“跨尺度几何是否可信、离开原路线是否还能使用”，用连续多模态数据和结构约束揭示仅靠分块扩容解决不了的问题。

方法详解¶

整体框架¶

本文包含数据集、重建基线和闭环演示三层贡献。数据由六个环视相机、车顶 LiDAR、IMU 与 GPS 采集；先校准和同步，再以 SLAM/GPS 提供位姿，生成天空、地面和移动物体掩码。重建以 3D Gaussian Splatting 表示静态环境，联合优化几何与相机组位姿，针对天空和道路加入不同的建模约束；可选用扩散修复后的新视角图像回流训练。

这里重建的是可查询视角的城市环境，不是完整交通动力学世界模型。移动目标被过滤，静止的车辆等实例尽量保留；最终 Alpamayo 1 根据任务和当前渲染观测提出下一个目标位姿，模拟器渲染该位姿并返回观察。这个闭环展示了接口可用性，但正文没有给出导航成功率、碰撞率或交通参与者响应的完整评测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环视RGB、LiDAR、IMU、GPS"] --> B["连续多模态整理<br/>位姿、掩码与尺度切分"]
    B --> C["刚性相机组位姿优化<br/>联合更新场景与位姿"]
    C --> D["天空与道路分区约束<br/>静态城市高斯模型"]
    D --> E["轨迹外修复回流<br/>渲染、修复、再优化"]
    E -.->|可选伪监督回流| D
    D --> R["位姿查询与渲染"]
    E --> R
    R -->|当前观测| V["VLA目标位姿预测"]
    V -->|下一目标位姿| R

关键设计¶

1. 连续多模态整理：保留真实噪声，同时提供可复用的几何参照

传感器由三台前向窄角相机和三台侧后向广角相机组成环视系统，结合 LiDAR、IMU 和 GPS；相机内参及畸变通过 AprilCal 标定，外参统一到自车坐标系。原始自车位姿来自车载 SLAM，再利用 GPS 改善全局一致性与回访闭环。由于传感器频率不同，处理按原始时间戳对齐，不统一重采样到固定频率；LiDAR 扫描另做运动补偿，减少车体运动引起的点云畸变。已做这些处理不等于位姿成为无误差真值，后续仍需要联合优化。

SAM3 根据文本提示生成地面、天空及潜在可移动类别的掩码，再借助车载 3D 跟踪框区分真正运动的实例与静止实例。这里“车辆”不自动等于“应删除”：停放车辆与站立行人可被保留，而运动目标被过滤，避免把运动痕迹烘焙进静态高斯。100 张人工标注图像、四城的整体 mIoU 为 91.58%，说明这套粗区域监督有用，但不能据此保证每张图的遮挡边界或稀有类别都正确。

数据按 0.5 m 空间间隔提取关键帧，并组织成连续 5 km 块；另提供 50 m、250 m、500 m、1 km、2.5 km、5 km 子轨迹，评测局部重建到长距离漂移的变化。原始频率与空间抽帧是不同层次：相机、LiDAR、GPS 各为 10 Hz，IMU 为 100 Hz，最终训练关键帧间隔由行驶距离决定。所有位姿共享城市级坐标系，使块可以直接拼接；但“坐标可拼接”并不意味着拼接后的外观和几何完全无缝。

2. 刚性相机组位姿优化：用共享自车运动约束六个相机

独立优化每台相机的位姿，可以降低局部渲染误差，却可能破坏同一时刻多个相机之间的刚性关系。本文把相机位姿拆成每个关键帧的自车位姿与跨关键帧共享的相机外参，正文明确的组合关系为：

\[ T_{t,c}=T^{\mathrm{ego}}_t T^{\mathrm{rig}}_c. \]

其中 \(t\) 表示关键帧，\(c\) 表示相机。渲染器使用组合后的相机位姿生成图像，通过图像重建误差同时更新高斯参数、自车位姿和相机组外参；另将位姿偏离初始定位与标定结果的程度作为正则。这样不同视角不再各自寻找一个“看起来最好”的解，而必须共享能解释同一刚性传感器平台的运动，减少跨相机不一致。

这并不是重新运行一套完整 SLAM，而是在已有定位初始化上利用渲染监督精修。它依赖初始定位足够接近正确解，也受光照变化和几何歧义影响；消融中移除位姿优化会使 Atlanta 深度 L1 从 13.26 m 增至 14.29 m，但有些二维指标反而略好，因此它的价值不能只用单个 PSNR 数字解释。

3. 天空与道路分区约束：不同不可观测区域用不同先验

天空没有近景表面那样可稳定三角化的深度，硬用高斯表示容易制造远处漂浮物。本文用轻量、视角相关的 MLP 预测天空颜色，将它作为无限远背景，根据前景高斯剩余透射率合成图像：高斯图像加上“一减高斯不透明度”乘天空颜色。该设计把天空外观从有限深度几何中分离，使高斯容量用于实际场景结构，而不是在远处堆积虚假表面。

道路的困难则是纹理弱和观察角度受限。本文针对被识别为地面的高斯，沿相机深度轴取局部切片，惩罚同一片中相机竖直坐标的高度标准差；同时约束高斯最短轴与竖直方向对齐，并鼓励足够高的不透明度。这些先验希望道路成为稳定、连续的局部表面，而不是一层透明或起伏的补偿性几何。由于约束依赖语义地面判定与相机坐标，坡道、路缘及掩码误差下是否过度平滑仍需单独评估。

天空与道路两种设计不能混成“所有区域都平面化”。天空被放到无限背景，地面仍是可渲染的三维高斯，仅增加局部结构先验。表 5 中去掉天空后 Atlanta 深度误差达到 148.54 m，明显支持分离天空的重要性；地面正则则没有在该表平均深度误差上获益，作者主要用定性道路形态说明它的用途，笔记保留这个区别。

4. 轨迹外修复回流：生成伪监督改善外推，而不是新增真实观测

模拟器需要查询训练路线之外的视角，然而窄长车载观测对道路侧向和被遮挡区域约束不足。本文在外推位姿先渲染当前高斯模型，再把渲染结果、参考图像和提示交给 Difix3D+ 修复，将修复图像与该位姿作为新训练对加入数据，重新优化高斯并重复。这是渐进式“渲染—修复—增强”过程，不只是给最终截图加滤镜，因为修复结果会反过来改变场景表示。

回流提供的是生成模型猜测的监督，并未产生新的几何真值。它可以减少视觉破碎和漂浮物，也可能在原始重建很弱时生成不存在的结构，作者明确承认其代价高且有幻觉。正文主要给出定性外推图，没有提供独立、完整的修复模块数值消融，因此不能断言它已使所有轨迹外位置适合安全导航。

大规模训练的工程支撑来自高斯参数多 GPU 分片，并同步所需统计量和梯度，沿用 GrendelGS 与 GSplat 的思路。分片降低单卡存储压力，解决“放得下”，上述位姿和几何约束才尝试解决“重建得对”；二者是互补条件，不应把支持十亿级图元的扩展能力说成已经完成同规模的精度验收。

损失函数 / 训练策略¶

可确认的训练组成包括图像渲染损失、对初始化的位姿距离正则，以及地面高度变化、最短轴对齐和不透明度三项约束。缓存中的若干损失公式符号破损，正文也没有完整给出权重、优化器、学习率与统一训练步数，因此只保留上述机制及可清楚确认的位姿组合式，不猜补精确总损失。

比较使用相同且资源充足的 H200 硬件，在可行时训练到验证表现稳定。VGGT-Long 输出先通过全局相似变换与米制点云对齐；VGGT-Long+CityGS 则替换 CityGS 默认的 SLAM 位姿与稀疏点云初始化。评测颜色指标只覆盖语义掩码确定的静态区域，深度 L1 进一步限制到该区域内具有有效 LiDAR 深度的像素，不是全场景或动态目标指标。

实验关键数据¶

主实验¶

数据总量为 3.01M 关键帧、六城 18 条日志、累计 1,507.1 km，平均每条约 83.7 km、2.5 小时。这是累计行驶距离，含回访可能性，不能称为 1,507.1 km 互不重叠道路。表 3 的资源参考随轨迹长度增长：0.5/1/2.5/5 km 分别约 6M/12M/30M/60M 高斯，最低显存配置为 1×24G、1×40G、1×80G、2×80G。

原文表 4 如下。0.5k 与 5k 是时间戳数量级，分别对应 0.25 km 和 2.5 km，不是 0.5 km 与 5 km。各单元格为 PSNR / SSIM / LPIPS / 深度 L1（m）；前两项越高越好，后两项越低越好。

方法	Ann Arbor，0.25 km	Atlanta，2.5 km
3DGS	20.00 / 0.829 / 0.581 / 32.704	19.39 / 0.715 / 0.492 / 15.447
H-3DGS	27.59 / 0.849 / 0.318 / 18.450	21.40 / 0.747 / 0.380 / 14.368
CityGS	24.41 / 0.856 / 0.409 / 17.053	21.27 / 0.762 / 0.536 / 8.349
VGGT-Long	— / — / — / 29.632	— / — / — / 19.720
VGGT-Long+CityGS	20.98 / 0.663 / 0.535 / 22.695	13.40 / 0.666 / 0.745 / 20.934
WildCity 基线	29.99 / 0.917 / 0.240 / 15.158	23.14 / 0.799 / 0.477 / 6.622

短路线中本文四个指标均优于列出的对照；长路线中 PSNR、SSIM、深度 L1 最优，但 LPIPS 为 0.477，仍差于 H-3DGS 的 0.380。相对 CityGS，长路线 PSNR 提升 1.87 dB，深度 L1 降低 1.727 m；而用 VGGT-Long 替换 CityGS 初始化后 PSNR 降到 13.40 dB，说明当前前馈几何先验在这组长序列上不能直接取代传感器定位初始化。

数值冲突须保留：正文 §5.2 将短路线深度误差写成 11.75 m，但表 4 的本文行是 15.158 m。这里按表列结果进行比较，不把 11.75 替换进表，也不自行推测它来自另一实验版本。

消融实验¶

原文表 5 比较道路、天空与位姿优化。Arlington 长度为 0.1 km；Atlanta 为 0.25 km，与主表长路线不同，不应直接比较其误差大小。

配置	Arlington PSNR ↑	SSIM ↑	LPIPS ↓	Atlanta PSNR ↑	SSIM ↑	LPIPS ↓	深度 L1（m）↓
去掉道路正则	30.14	0.924	0.186	26.35	0.864	0.288	13.11
去掉天空模型	28.69	0.903	0.230	24.72	0.829	0.362	148.54
去掉位姿优化	29.33	0.913	0.199	25.51	0.843	0.320	14.29
完整模型	29.60	0.910	0.217	25.42	0.815	0.342	13.26

天空模型对该深度指标的贡献最明显：从去掉天空的 148.54 m 到完整模型 13.26 m，差 135.28 m。但道路正则的收益不是平均指标：去掉它后两个场景的全部二维指标更好，Atlanta 深度 L1 也从 13.26 略降至 13.11 m。作者提供道路几何更稳定的定性证据，而表格没有量化证明其平均深度更准；这应被视为尚需局部道路几何指标补充的设计，而不是强行写成所有指标提升。

关键发现¶

规模化不只是显存问题。 在匹配高斯预算的尺度分析中，真实数据比合成 Carla 更明显退化，说明观测变化、定位误差和有限重叠也会累积；主文没有完整列出每个尺度的数表，不从图像文本抽取猜测数值。
几何与二维质量可能分离。 天空消融中部分二维指标变化不大，却有极大的深度恶化；道路正则则体现相反方向的平均指标与定性结构取舍。
轨迹内成绩不能覆盖外推。 所有方法离开记录路径后都退化，扩散修复有所帮助但可能幻觉，离线图像质量不构成模拟安全性的证明。
数据城市级，不代表主表验收城市全量。 主表仅两个城市的 0.25 km 与 2.5 km 子序列；正文指向补充材料的六城结果未在当前缓存中核实。

亮点与洞察¶

相机组结构是一种廉价的一致性约束。 让同一时刻的相机共享自车位姿，并跨时间共享相机外参，比逐图自由优化更尊重真实采集平台。
语义区域决定几何假设。 天空与道路都可能缺少深度约束，但应分别使用无限背景与局部表面先验，而不是统一增大模型容量。
把有利和不利结果放在同一张表里。 道路正则的平均分数并不占优，使读者能够看到“为模拟服务”的论点还缺哪些任务相关指标，而不只接受更好看截图的结论。

局限与展望¶

标注和位姿仍有误差。 91.58% 掩码 mIoU 来自四城 100 张图，难以覆盖所有边界与少见类别；作者报告 GPS 约束后仍有竖直方向残差，并在闭环分析中给出每公里水平亚厘米、竖直厘米级漂移，具体测量细节未充分展开。
深度精度尚不等于可用数字孪生。 主表最好的长路线深度 L1 仍为 6.622 m；静态有效 LiDAR 像素上的均值不能直接转化为道路可通行性、碰撞几何或全域安全保证。
动态世界未被完整建模。 基线过滤移动物体，闭环演示没有报告交通交互、奖励、碰撞约束或任务成功率，不能称为已经验证的完整自动驾驶模拟器。
扩散修复有伪监督风险。 视觉更连贯不等于几何真实，多次回流可能把生成先验固化为场景内容，仍需独立几何观测或不确定性估计验证。
复现与版本边界。 当前缓存公式损坏、训练超参数与完整划分不足，短路线 11.75/15.158 m 存在原文冲突；不补造这些细节。未来可增加道路专属几何指标、离轨任务量化和跨城统一协议。

评分¶

新颖性：4/5。连续多城真实环视数据与面向模拟的分析有价值，基线主要整合已有模块并加入城市结构约束。
实验充分度：3/5。包含主比较、组件消融、掩码验证和尺度分析，但正文主表场景有限，闭环与外推量化不足，且有深度数值冲突。
写作质量：3/5。问题定位和数据流程清楚，但“整体最优”、几何收益与表中具体指标需区分，公式缓存与标题版本也影响核对。
价值：4/5。为真实城市重建提供比短片段更严格的测试环境，并提醒研究者同时检验图像、几何及离轨可用性。