ScenarioControl: Vision-language Controllable Vectorized Latent Scenario Generation¶

会议: ECCV 2026
论文: ECCV 原文
项目主页: https://light.princeton.edu/ScenarioControl
领域: 自动驾驶
关键词: 自动驾驶仿真, 矢量化场景生成, 视觉语言控制, 潜空间扩散模型, 传感器视频生成

一句话总结¶

ScenarioControl 提出了首个面向矢量化 3D 自动驾驶场景生成的视觉-语言可控潜空间扩散模型，通过跨全局控制机制将密集文本与单视角图像特征注入稀疏矢量道路与交通要素，并支持闭环行为仿真与多视角真实感视频生成。

研究背景与动机¶

自动驾驶系统的高可靠部署高度依赖海量且长尾的极端安全场景（如逆行车辆、违规横穿的行人或突发抛洒物）。然而，在现实道路采集日志中，这类安全关键事件的发生概率极低，仅依靠实车路测数据收集极其低效。现有的规则型仿真器（如 CARLA、MetaDrive）虽然支持参数调节，但手工搭建的世界模型在真实感和行为多样性上存在明显瓶颈；而基于日志回放的数据驱动方法受限于已采集分布，难以合成反事实与新型极端交互。

近年来涌现的扩散场景生成模型（如 SLEDGE、Scenario Dreamer）逐步实现了基于栅格或矢量化表示的道路拓扑与智能体布局联合生成。但这些方法普遍存在关键缺陷：场景生成要么完全无约束（从隐空间纯随机采样），要么只能依赖已有日志提取的结构化布局作为控制条件，缺乏直观、可解释、高层级的控制旋钮，更无法直接根据自然语言描述或单张行车记录仪视角图像定向合成场景。同时，纯像素级的视频扩散模型虽具视觉多样性，却缺乏显式 3D 拓扑结构与下游闭环仿真接口。

针对稀疏矢量化场景元素与密集多模态视觉语言特征之间缺乏有效对齐机制的瓶颈，本文探索将语义指令与前视相机图像直接投影到 3D 矢量化隐空间的控制路径。核心 idea：构建一种结合细粒度交叉注意力与轻量全局上下文分支的跨全局控制机制（Cross-Global Control），以自适应门控将自然语言 Prompt 或单视角相机特征注入矢量化扩散隐变量，同时引入碰撞惩罚与基数预测，实现拓扑一致、物理合理且可定向扩展的高保真 3D 自动驾驶场景与传感器视频生成。

方法详解¶

整体框架¶

ScenarioControl 面向 $64\text{m} \times 64\text{m}$ 鸟瞰图（BEV）范围，将场景定义为包含动态障碍物与车道中心线拓扑的图结构 $\mathcal{I} = \{\mathcal{O}, \mathcal{M}\}$。为了消除下游传感器重投影对平地假设的依赖，模型在目标参数化中显式引入了高程 $z$ 与高度 $h$。整体生成管线首先利用预训练变压器矢量自编码器将车道与障碍物压缩至隐空间，接着在扩散去噪过程中通过跨全局控制机制（Cross-Global Control）注入来自文本提示或前视行车记录仪图像的多模态特征。完成初始场景合成后，结合扩散外绘扩展大范围拓扑，由行为仿真模型生成动态轨迹，并最终投影为线框序列驱动视频生成模型渲染高保真传感器视角。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态控制输入<br/>文本提示词 或 单帧前视图像+深度"] --> B["跨全局控制机制<br/>细粒度局部交叉注意力 + 潜全局上下文分支"]
    B --> C["矢量化潜扩散去噪<br/>车道与智能体联合去噪 + 碰撞正则惩罚"]
    C --> D["元素基数预测器<br/>注意力回归智能体与车道数量"]
    D --> E["矢量化场景解码与外绘<br/>带高程三维边界框与车道拓扑图"]
    E --> F["下游行为仿真与视频渲染<br/>多智能体轨迹推演 + BEV2Cam线框投影视频生成"]

关键设计¶

1. 跨全局控制机制：兼顾稀疏矢量要素与密集多模态条件的双路融合 在将密集前视图像或文本提示映射到稀疏矢量化道路与交通参与者 token 时，标准交叉注意力往往缺乏针对性的归纳偏置，学习全局宏观布局的样本效率较低。为此，模型设计了双支路共享键值投影的控制架构：第一支路采用高效的 FlashAttention 直接计算场景查询 $Q \in \mathbb{R}^{N_q \times d}$ 对密集控制 token $F \in \mathbb{R}^{N_k \times d}$ 的局部交叉注意力 $Y_1 = \mathrm{Attn}(Q, K(F), V(F))$；第二支路引入一组可学习的紧凑全局潜在 token $T \in \mathbb{R}^{L \times d}$，先通过注意力聚合密集特征的宏观语义 $\tilde{T} = \mathrm{Attn}(T, K(F), V(F))$，再由场景查询与全局总结进行交互 $Y_2 = \mathrm{Attn}(Q, K(\tilde{T}), V(\tilde{T}))$。两路输出通过自适应门控参数 $g$ 进行融合： $$Y = Y_1 + \tanh(g) Y_2$$ 其中门控初值设为 $g = 0$（使 $\tanh(g) \approx 0$），保证训练初期平滑退化为标准交叉注意力，随后渐进学习全局拓扑约束，以极低的参数开销大幅提升了对密集提示的响应敏锐度。

2. 物理一致性碰撞惩罚：抑制欠定条件下的空间重叠伪影 当输入的文本提示存在描述不足（如仅说明“多车十字路口”），或单视角前视图像中存在大面积遮挡与视场盲区时，扩散模型容易在同一合理几何区域内生成重叠甚至相撞的多个车辆候选框。为了在保持条件丰富性的同时增强物理空间约束，算法在训练反向扩散过程中引入了可微碰撞惩罚项。通过在选定扩散时间步 $\tau$ 解码得到预测智能体边界框，计算两两之间的空间交叠面积 $\text{overlap}(i, j)$，并施加平滑惩罚： $$\mathcal{L}_{\text{col}} = \frac{1}{N} \sum_{i \neq j} \tanh\left(\frac{\text{overlap}(i, j)}{\zeta}\right)$$ 为了避免在低信噪比的前期扩散步引入错误的几何梯度，损失项采用时间步自适应加权 $w_\tau = 1 - \sqrt{1 - \bar{\alpha}_\tau}$，重点在几何结构明确的扩散后期施加约束，显著减少了重叠幻觉。

3. 元素基数预测器与非对称场景外绘：实现大尺度时空连续性扩展 针对图结构中车道线与障碍物数量可变的特性，模型构建了轻量级注意力回归器 $f_{\text{count}}$，能够从多模态输入特征中直接推断场景的合理智能体数目 $N_o$ 与车道数 $N_l$。在推理空间上，考虑到文本提示具备全向描述能力而单相机仅约束前视视野，系统设立了两种标准空间布局：以自身为中心的正方形视场 $F_P$ 与向前平移以最大化前方覆盖的视场 $F_I$。结合掩码去噪（Masked Denoising），系统固定已知可见节点隐变量，仅对未知边界节点执行前向外绘采样，从而将局部生成的场景平滑扩展至数百米范围，为长时程多智能体轨迹模拟和跨视角相机视频生成提供结构支撑。

损失函数 / 训练策略¶

模型采用分阶段训练方案：第一阶段训练变压器自编码器的编码器 $f_e$ 与解码器 $f_d$，构建高保真矢量化隐空间；第二阶段冻结自编码器权重，联合训练扩散骨干网络与跨全局控制模块。扩散目标采用经典噪声预测损失： $$\mathcal{L}_{\text{LDM}} = \mathbb{E}_{\tau, \epsilon \sim \mathcal{N}(0, \mathbf{I}), \mathcal{C}} \left[ \|\epsilon - \epsilon_\theta(\mathbf{Z}_\tau, \tau; \mathcal{C})\|^2 \right]$$ 总优化目标结合了加权碰撞惩罚 $\mathcal{L} = \mathcal{L}_{\text{LDM}} + \lambda_{\text{col}} w_\tau \mathcal{L}_{\text{col}}$。在条件输入方面，文本采用预训练编码器提取特征并通过 MLP 投影，图像则联合预训练视觉骨干网络与单目深度估计器提取特征，辅以正余弦 2D 位置编码对齐坐标系；训练中以概率 $p_{\text{CFG}}$ 随机丢弃条件信号以支持分类器自由引导（Classifier-Free Guidance, CFG）。

实验关键数据¶

主实验¶

在 nuPlan 数据集上，将 ScenarioControl 与无条件/已有条件矢量生成基线（Scenario Dreamer）进行控制一致性与真实感对比。控制一致性通过余弦控制相似度（CCS）、混洗扰动间隙（SPG）与控制敏感性相关度（CSC）分别评估全局、车道与智能体级别；拓扑真实感评估 Fréchet Distance（FD）、连通性（Conn.）、可达性（Reach）与便利性（Conve.）。

设定	方法	全局 CSC ↑	车道 CSC ↑	智能体 CSC ↑	真实感 FD ↓	车道连通性 Conn. ↓	车道可达性 Reach ↓
文本控制 ($C_P$)	Scenario Dreamer	0.3510	0.2885	0.0625	2.44	0.22	0.12
文本控制 ($C_P$)	ScenarioControl (本文)	0.3809	0.4006	0.1626	0.51	0.32	0.11
图像控制 ($C_I$)	Scenario Dreamer	0.4320	0.3166	0.0623	9.94	4.19	1.01
图像控制 ($C_I$)	ScenarioControl (本文)	0.6274	0.6100	0.2255	2.26	3.79	0.95

消融实验¶

在不同条件融合注意力机制（表 3）以及碰撞损失和基数预测模块（表 4）上进行消融验证。

表 1：图像条件 ($C_I$) 下不同注意力融合机制性能对比

注意力配置	全局 CSC ↑	车道 CSC ↑	智能体 CSC ↑	智能体 AP ↑	碰撞率 Collision Rate (%) ↓
特征拼接 (Concatenation)	0.4105	0.4094	0.1314	23.37	30.18
全交叉注意力 (Full Cross-Attn)	0.6137	0.6075	0.2195	32.00	16.07
门控注意力 (Gated Attention)	0.4637	0.4953	0.1514	25.13	14.92
线性注意力 (Linear Attention)	0.5299	0.5861	0.2012	27.20	16.92
跨全局控制机制 (Ours)	0.6274	0.6100	0.2255	33.46	17.07

表 2：碰撞损失 $\mathcal{L}_{\text{col}}$ 与基数预测 $f_{\text{count}}$ 模块消融

碰撞损失 $\mathcal{L}_{\text{col}}$	基数预测 $f_{\text{count}}$	碰撞率 Collision Rate (%) ↓	智能体精度 Agent AP (%) ↑
✗	✗	19.81	39.55
✓	✗	14.07	38.99
✗	✓	18.78	38.70
✓	✓	13.36	38.03

关键发现¶

跨全局控制机制在图像输入下相比简单特征拼接将全局 CSC 提升了 52.8%，碰撞率从 30.18% 降低到 17.07%，相比标准全交叉注意力在智能体 AP 上进一步提升了 1.46 个百分点（相对提升 4.6%），验证了全局潜在 token 总结场景意图的有效性。
引入碰撞正则损失 $\mathcal{L}_{\text{col}}$ 无论是否使用基数预测，均能将碰撞率显著压降约 5.5%~6.4%，有效消除了因局部多义性引发的重叠假阳性物体。
零样本泛化至 Waymo Motion 数据集（表 2）时，ScenarioControl 的文本受控指标全面大幅领先级联基线（VLM + TrafficGen 推理耗时高达 13.05 秒/样本且质量严重劣化），车道 CSC 达到 0.5179（对比基准 0.0585），证实了端到端跨模态潜扩散机制在跨分布迁移中的稳健性。

亮点与洞察¶

矢量拓扑与多模态线索的端到端对齐：摒弃了以往使用大语言模型分步生成中间地图再调用下游模拟器的串联错误累积方案，直接在扩散隐空间将文本与图像注入稀疏矢量图，兼顾了生成响应速度与结构严谨性。
带高程参数化打通下游多模态闭环：传统矢量仿真通常局限于 2D 平面，本文通过联合生成带有真实高程 $z$ 和高度 $h$ 的 3D 边界框与车道，使矢量结果无需额外升维即可直接重投影为精确线框，无缝衔接 Wan 2.2 等视频扩散模型实现全景视频生成。
构建首个大规模矢量化场景图-文本配对基准：基于 nuPlan 数据集，借助 VLM 为 50 万条驾驶场景生成了与矢量地图拓扑精确对应的描述，填补了自动驾驶仿真领域多模态矢量数据集的空白。

局限与展望¶

单目输入的盲区外绘具有不确定性：单张前视行车记录仪画面对自车侧方与后方视场的信息量极其有限，尽管外绘可生成几何合理的场景，但在强遮挡或非对称复杂交叉口下容易产生脱离实际环境的幻觉。
长时程轨迹一致性仍依赖外部仿真器：当前工作主要聚焦在高质量初始场景生成与空间外绘，长时段闭环推演仍需对接外部行为模型（如 CT-Sim 或 rule-based traffic），未来可探索在隐空间内统一步态生成、行为意图与空间演进的端到端世界模型。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首个将视觉与语言多模态控制引入 3D 矢量化场景生成的工作，跨全局控制机制设计简洁高效]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 nuPlan 主实验、多维消融、Waymo 跨域泛化、下游客观控制指标及传感器视频渲染展示]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文对照清晰，公式与实验分析详实]
价值: ⭐⭐⭐⭐⭐ [打通了从自然语言/行车图片到矢量 3D 场景再到闭环仿真与视频合成的全链路，对极端工况生成极具实用价值]

设定	方法	全局 CSC ↑	车道 CSC ↑	智能体 CSC ↑	真实感 FD ↓	车道连通性 Conn. ↓	车道可达性 Reach ↓
文本控制 (\(C_P\))	Scenario Dreamer	0.3510	0.2885	0.0625	2.44	0.22	0.12
文本控制 (\(C_P\))	ScenarioControl (本文)	0.3809	0.4006	0.1626	0.51	0.32	0.11
图像控制 (\(C_I\))	Scenario Dreamer	0.4320	0.3166	0.0623	9.94	4.19	1.01
图像控制 (\(C_I\))	ScenarioControl (本文)	0.6274	0.6100	0.2255	2.26	3.79	0.95