Learning to Drive in New Cities Without Human Demonstrations¶
会议: NeurIPS 2026
arXiv: 2602.15891
OpenReview: https://openreview.net/forum?id=VoQnv8zzSL
代码: https://zerlinwang.github.io/NOMAD/
领域: 自动驾驶
关键词: 自动驾驶、跨城市迁移、多智能体强化学习、自对弈、行为先验
一句话总结¶
提出无需目标城市人类示范的地图自对弈多智能体强化学习迁移框架 NOMAD，利用目标城市车道级高精地图与粗粒度元信息生成交通场景，结合源城市行为克隆先验与 KL 正则化，大幅提升目标城市任务成功率与轨迹真实感并逼近专家表现。
研究背景与动机¶
自动驾驶系统在特定受限运行设计域（ODD）内已展现出超越人类驾驶员的安全水平，但在跨区域甚至跨国界扩张部署时，依然面临极其缓慢且昂贵的逐城适配瓶颈。不同国家与大洲之间的城市在道路拓扑几何、交叉口设计、交通规则（如左行与右行通行权差异）以及交互密度上存在巨大的领域偏移。现有基于模仿学习或端到端轨迹规划的模型直接进行零样本跨城迁移时，极易因道路结构和路权冲突产生剧烈漂移、频繁越界离道甚至发生正面碰撞。
工业界当前的通用应对方案是派遣测试车队在每个新目标城市采集数十万公里的真实人类驾驶轨迹，并在此基础上进行行为克隆微调。这种数据密集型管线不仅资本开销巨大、时间周期以季度计，而且新城市的采集车队本身面临巨大的安全隐患与冷启动困难。尽管真实轨迹采集极为昂贵，但现代化城市中车道级矢量高精地图与宏观交通元信息（如道路限速标定、路网平均交通流密度）却相对极易低成本获取。这引发了一个核心问题：跨城市驾驶策略的差异究竟有多大比例是由地图层面的空间拓扑与路网规则决定的？我们能否仅依靠目标城市地图，彻底摆脱对目标城市人类轨迹示范的依赖？
本文的切入视角在于将跨城市适配转化为在目标城市空间拓扑约束下的多智能体自对弈强化学习。核心 idea：利用目标城市车道级地图与粗粒度交通元数据自动构建轻量仿真环境，以源城市训练的行为克隆模型为行为先验与 KL 散度锚点，通过极简奖励函数驱动的多智能体同构自对弈自主探索可行交互轨迹，在零人类轨迹示范条件下构建帕累托主导零样本基线的成功率-真实感前沿。
方法详解¶
整体框架¶
NOMAD 的完整适配管线分为目标城市场景构建、同构多智能体自对弈适配以及帕累托前沿策略部署三个阶段。首先，系统仅输入目标城市的车道中心线几何与粗粒度交通元数据（各路段最高设计时速、路网 Gamma 分布交通密度），由启发式场景发生器在路网中拒绝采样出无碰撞的初始位姿与前向拓扑目标点，加载至 GPU 高性能闭环仿真引擎 GPUDrive 中。随后，策略网络以源城市行为克隆（BC）权重初始化，并在目标城市环境中展开参数共享的去中心化多智能体强化学习；训练通过独立 PPO（IPPO）优化极简的任务奖励，并引入前向 KL 散度锚定源城市行为先验，防止强化学习在缺乏精细奖励工程时退化为非人类驾驶的对抗策略。最终，训练过程中生成的不同检查点在任务成功率与 WOSAC 轨迹真实感指标上形成一条凸帕累托前沿，供实际部署根据业务偏好选取。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：源城市BC策略 π⁰<br/>目标城市车道地图 + 粗粒度元数据"] --> B["阶段1：地图约束场景生成<br/>车道连通图提取 + 密度与位姿采样"]
B --> C["阶段2：参数共享自对弈交互<br/>GPUDrive闭环并行多智能体环境"]
C --> D["阶段3：KL正则化协同策略优化<br/>IPPO极简奖励 + 前向KL散度锚定"]
D --> E["输出：成功率-真实感帕累托前沿<br/>按需选定目标城市部署策略 π_deploy"]关键设计¶
1. 地图约束与粗粒度元信息驱动的场景发生机制：解决仿真环境冷启动与真实性约束 针对在新城市缺乏轨迹导致无法构建数据驱动场景的难题，NOMAD 提出基于矢量地图几何与宏观统计特征的轻量场景发生器 \(\Xi_{\varphi}(\xi|m, \mathcal{I}_C)\)。算法首先从目标城市地图切片 \(m\) 中提取车道中心线集合 \(\mathcal{L}\) 并构建有向车道拓扑连通图 \(G\)。随后，从城域统计拟合的 Gamma 分布 \(\rho \sim \text{Gamma}(\alpha, \theta) + \rho_0\) 中抽取车辆密度 \(\rho\)（辆/千米），计算动态车辆总数 \(N_{\text{dyn}} = \max(1, \lfloor \rho \cdot \sum_{\ell \in \mathcal{L}} \text{len}(\ell) / 1000 \rceil)\) 并附带路侧静态停放车辆 \(N_{\text{static}}\)。在车辆放置阶段，按车道长度比例采样中心线位姿，并施加基于车速的安全时距斥力约束 \(d_{\text{safe}} = \max(v \cdot \Delta t_{\text{gap}}, d_{\min})\) 进行拒绝采样，动态车辆初速度按路段设计限速 \(v_{\max}\) 的对数正态分布采样。最后在连通图 \(G\) 上沿后继车道依据目标距离分布 \(d_{\text{goal}} \sim \mathcal{N}(\kappa_\mu v^i, \kappa_\sigma v^i)\) 前向搜索终点，生成拓扑合法且初始无碰撞的完全闭环交通场景。
2. 极简任务奖励下的参数共享多智能体同构自对弈：避免跨域奖励过拟合与对抗崩塌 强化学习在自动驾驶中常因繁琐且脆弱的多目标奖励工程而在领域迁移时发生奖励作弊。为证明适配能力源于自对弈框架本身，NOMAD 采用由稀疏布尔信号构成的极简奖励设计： $\(r^i(s_t, a_t, s_{t+1}) = w_g \mathbbm{1}_{\mathcal{G}^i}(s_{t+1}) + w_c \mathbbm{1}_{\mathcal{C}^i}(s_{t+1}) + w_o \mathbbm{1}_{\mathcal{O}^i}(s_{t+1})\)$ 其中到达目标奖励权重 \(w_g = 1.0\)，碰撞惩罚 \(w_c = -0.75\)，驶出可行驶道路惩罚 \(w_o = -0.75\)，完全不引入任何人工塑造的动力学平滑度、加速度或车道居中度奖励。所有场景内受控车辆共享同一组策略参数 \(\pi_\theta(a_t^i|o_t^i)\)，通过独立 PPO（IPPO）将其他自对弈车辆视为非平稳环境组成部分。参数共享使得全局样本复用效率随并发车辆数成线性倍增，使智能体能够在密集的车辆博弈中自主涌现出汇入、避让、交叉口让行等交互行为，以低成本替代真实交互示范。
3. 前向 KL 散度锚定源城市行为先验：抑制对抗探索漂移并维系轨迹真实感 在极简奖励下进行完全从头训练的强化学习极易为了最大化任务达成率而收敛至非人类驾驶的急动、悬崖式加减速或怪异自对弈协议。NOMAD 将源城市人类轨迹训练的行为克隆模型 \(\pi^0\) 作为行为先验，在策略优化目标中显式引入前向 KL 正则化项： $\(\max_\theta J(\theta) = J_{\text{PPO}}(\theta) - \lambda_{\text{KL}} \cdot \mathbb{E}_{\pi_\theta} \left[ \frac{1}{H} \sum_{t=0}^{H-1} D_{\text{KL}}(\pi^0(\cdot|o_t) \,\|\, \pi_\theta(\cdot|o_t)) \right]\)$ 前向 KL 散度严重惩罚策略在先验认为高概率的人类正常行驶动作上丢弃概率质量的行为，从而在动作空间中构筑了坚固的人类动力学流形先验。当且仅当目标城市的道路几何曲率、路网通行侧或交互避让迫使智能体偏离原有点位以避免离道或碰撞时，策略梯度才克服正则化阻力发生选择性偏移。该机制在未引入动力学细粒度奖励的条件下，使生成轨迹在目标城市闭环测评中保持接近人类驾驶水平的高真实度。
4. 离散化多步相对位姿增量动作表征：消除动力学裁剪截断并统一 Imitation 与 RL 优化流 为规避连续控制在带硬物理约束环境中使用 tanh 挤压或截断导致的梯度失真与探索瓶颈，NOMAD 将策略动作空间建模为自车坐标系下的多离散位姿增量 \(a_t^i = (\delta_x^i, \delta_y^i, \delta_h^i)\)。每个动作维度均匀划分为 256 个离散区间，形成大小为 \(256^3\) 的组合动作空间。离散化动作空间在源城市监督学习阶段天然支持交叉熵损失对多峰人类轨迹意图的精准拟合，在强化学习阶段大幅平滑策略梯度估计；同时相较于易受数值累积误差影响的反向自行车模型，位姿增量积分能以更高保真度重现专家运动，兼顾模仿保真度与探索鲁棒性。
损失函数 / 训练策略¶
源城市预训练阶段使用交叉熵分类损失优化 \(\pi^0\)。目标城市强化学习阶段，采用 IPPO 截断代理目标（clip 阈值 \(\epsilon=0.2\)）结合广义优势估计（GAE \(\lambda=0.95, \gamma=0.99\)），损失权重设为价值损失权重 \(0.3\)、熵正则权重 \(1\times 10^{-4}\) 以及关键的前向 KL 权重 \(\lambda_{\text{KL}} = 0.08\)。训练全过程在 GPUDrive 仿真器中部署 1,000 个并行环境、缓冲区大小 131,072，交互预算为 10 亿步（约 72 个 NVIDIA A100 GPU 小时），确保成功率与真实感双重收敛。
实验关键数据¶
主实验¶
实验在包含大规模真实道路与跨洲差异的 nuPlan 基准上展开，主要评估波士顿（右行）到新加坡（左行）的高难度跨洲跨侧迁移，同时覆盖新加坡至波士顿、新加坡至匹兹堡等对比。测评使用闭环仿真完成度（Success Rate）与 Waymo Open Sim Agents Challenge (WOSAC) 综合轨迹真实感评分（Realism Meta Score，综合动力学平滑度、交互碰撞距离分布及道路边界遵从度），对比零样本迁移、目标城市小样本模仿学习以及动作离散化人类专家回放上限：
| 评估设置 / 策略方案 | 真实感评分 (WOSAC Realism) | 任务成功率 (Success Rate) | 备注说明 |
|---|---|---|---|
| 离散专家动作回放 (\(\pi_d^{\text{expert}}\)) | 0.8056 | 88.26% | 离散动作空间下的理论性能上限 |
| 随机策略 (Random) | 0.4074 | 4.30% | 随机动作下界 |
| 恒定速度基线 (Constant Velocity) | 0.6147 | 19.45% | 无避让无变道启发式基线 |
| 零样本迁移 (\(\pi^0\), Boston \(\to\) Singapore) | 0.6795 | 42.25% | 源城市 BC 直接部署，受路权拓扑困扰 |
| 目标城市行为克隆 (BC Singapore, 3,200场景) | 0.7011 | 55.49% | 有限示范下复合误差导致泛化受限 |
| NOMAD 帕累托前沿 (Ours, 无目标城市示范) | 0.7570 \(\sim\) 0.7697 | 87.28% \(\sim\) 94.27% | 全线帕累托主导零样本与小样本 BC |
消融实验¶
为验证核心设计组件（目标城市地图交互、源城市行为先验约束）以及深入剖析失误根源，论文在波士顿至新加坡的闭环评估中对失败原因分类（越界离道、车辆碰撞、复合失败、超时未到达）进行了系统拆解：
| 实验配置 / 策略 | 总失败率 | 纯离道越界 | 纯车辆碰撞 | 复合型破坏 | 纯超时未达 | 机制归因说明 |
|---|---|---|---|---|---|---|
| 零样本基准 \(\pi^0\) (Boston \(\to\) Singapore) | 57.7% | 33.3% | 1.2% | 2.7% | 20.5% | 左右行冲突与车道窄化致严重离道 |
| 源域自对弈强化学习 (BC + RL in Boston) | ~44.5% | ~22.0% | ~1.1% | ~2.1% | ~19.3% | 缺目标城市地图，无法学得目标路网规则 |
| 无先验从头自对弈 (RL from Scratch in Target) | ~1.0% | ~0.2% | ~0.4% | ~0.1% | ~0.3% | 成功率虽达99%，但真实感崩塌至0.65 |
| NOMAD (完整模型, Boston \(\to\) Singapore) | 7.7% \(\pm\) 1.8% | 0.6% \(\pm\) 0.2% | 0.4% \(\pm\) 0.2% | 0.3% \(\pm\) 0.3% | 6.5% \(\pm\) 1.7% | 离道违规暴降98%，大幅优化真实交互 |
| 零样本基准 \(\pi^0\) (Singapore \(\to\) Boston) | 63.3% | 18.8% | 3.1% | 8.1% | 33.3% | 反向左行至右行跨城直接部署表现 |
| NOMAD (完整模型, Singapore \(\to\) Boston) | 13.6% \(\pm\) 5.6% | 1.3% \(\pm\) 0.3% | 1.5% \(\pm\) 0.5% | 1.1% \(\pm\) 0.3% | 9.7% \(\pm\) 4.3% | 反向迁移同样全方位消除绝大多数故障 |
关键发现¶
- 地图遵从性是跨城市成功率飞跃的首要驱动力：失败归因分析显示，零样本策略在新加坡的失败中有 36.0% 涉及离道越界，而 NOMAD 将其压缩至 0.9% 以下。这强力证明自动驾驶跨城市性能衰减的决定性瓶颈在于地图几何与车道拓扑的失配，自对弈能高效让策略内化目标城市几何边界。
- 几何镜像映射无法替代闭环自对弈学习：针对左右行差异，单纯将新加坡地图进行坐标轴几何镜像翻转（Map Mirroring），零样本成功率仅由 42.25% 微弱提升至 43.96%（表 14）。这表明路宽微变、交叉口转向曲率分布、减速缓冲习惯等深度拓扑与多车交互特征，绝非简单的空间镜像变换所能解决。
- 行为先验是维持动力学真实感不可或缺的防火墙：完全从头开始的目标城市多智能体强化学习（RL from Scratch）虽能凭借碰撞惩罚将任务完成率推高至近 99%，但其 WOSAC 真实感评分停滞在 0.65 附近且加速度抖动剧烈；NOMAD 凭借 KL 正则化将先验约束注入动作分布，不仅真实感达到 0.76+，而且在跨随机种子的 Cross-Play（交叉对战）中几乎无性能衰减，证明自对弈没有收敛至特定的虚假协同协议。
亮点与洞察¶
- 颠覆“跨城部署必采人驾数据”的强假设：论证了自动驾驶策略向新城市泛化并不严格依赖目标城市昂贵的人类轨迹示范，只需矢量高精地图和宏观速度/密度统计量即可完成高水准适配。
- 用极简奖励规避对抗性奖励作弊（Reward Hacking）：放弃了复杂的动力学舒适性、车道居中连续奖励工程，通过将人类先验置于 KL 散度约束端，实现了奖励函数极简化与运动模式拟人化的统一。
- 揭示了平缓的帕累托前沿权衡特性：NOMAD 产出的检查点沿训练进程构成清晰的凸前沿面，成功率从 87% 跃升至 94% 时，真实感仅出现 0.012 的微小代偿，工程师可直接选取最高成功率检查点作为落地策略而无需频繁评估真实感。
局限与展望¶
- 地图未注记区域感知受阻与盲区保守性：作者指出当目标城市矢量地图缺乏路侧合法临时停车区域标注时，场景发生器无法生成合理路侧静止车，导致智能体在实际面临密集路侧违停时表现出过度保守与通行超时；当智能体意外被初始化在未建图的停车场/辅道外延时会出现航向迷失。
- 非显式文化交互与社交礼让建模的局限：自对弈虽然内化了路权规则与物理避让，但对特定国家地区的鸣笛、灯光示意、默契手势等非形式化交通潜规则与社会学规范无法直接从地图几何中涌现。
- 低层控制动力学抽象假设：由于当前在大规模 GPU 仿真中采用了多离散位姿增量控制抽象（Delta-Pose），略过了悬挂、轮胎附着力极限等连续底层执行器动力学，未来需在更高保真度动力学仿真及实车硬件在环（HIL）环境中做进一步安全边界压测。
相关工作与启发¶
- vs AdaptiveDriver (Vasudevan et al., ICRA 2025)：AdaptiveDriver 依赖基于 IDM 的单智能体跟车世界模型并在目标城市校准，需要目标城市已有的日志轨迹，且难以捕捉复杂多智能体博弈；NOMAD 彻底抛弃目标城市日志轨迹，依托同构自对弈直接学习群体交互。
- vs LLaDA (Li et al., CVPR 2024)：LLaDA 采用大语言模型依据文本交通法典修正轨迹，能处理显式逻辑规则却无法感知与适应连续几何拓扑；NOMAD 直接将车道几何图与自对弈动态耦合，解决了窄车道漂移与交叉口连续曲率适配难题。
- vs SPACeR / Data-Regularized Self-Play (Cornelisse et al., 2024–2025)：以往数据正则化自对弈主要用于在单一数据域内构建鲁棒拟真的仿真交通流背景车；NOMAD 首次将其迁移至“跨城市零示范迁移”这一工业核心落地命题中，开拓了多智能体自对弈在自动驾驶迁移学习中的新应用范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 彻底打破了新城市必须采集人类轨迹微调的传统范式，创新性地将地图场景发生、自对弈 MARL 与行为先验正则化有机融合。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖跨洲（波士顿↔新加坡）、同向（波士顿↔匹兹堡）、对弈鲁棒性（Log-Replay、Cross-Play）、失败模式切片与几何镜像消融，实验设计极其严密。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次分明，数学表述严谨克制，图表与附录细节详实透彻。
- 价值: ⭐⭐⭐⭐⭐ 为自动驾驶车队在全球多城市规模化商业落地提供了大幅降本增效的全新技术路径，对具身智能跨域迁移具有重要启发。