SIMSplat: Language-Aligned 4D Gaussian Splatting for Driving Scenario Generation¶

会议: ECCV2026
论文: ECCV 原文
领域: 自动驾驶
关键词: 4D 高斯泼溅、场景图表示、语言对齐、驾驶场景编辑、多智能体仿真

一句话总结¶

SIMSplat 把外观、运动、位置三种语言特征直接嵌进场景图 4D 高斯节点，使重建出的驾驶场景可以用自由文本查询，再在同一表征上串起物体级编辑、多智能体路径精修与 VLM 自动场景挖掘；在 Waymo 上把开放词汇物体定位准确率从 0.35 提到 0.73，任务完成率做到人工 87.2%、VLM 全自动 71.1%，并把多智能体失败率压到 20.0%。

研究背景与动机¶

靠真实传感器数据做驾驶场景操控，已经被视为传统游戏引擎仿真器（CARLA、AirSim）之外的一条更有性价比的路线。扩散模型、NeRF、高斯泼溅这几条神经重建路线都能从多视角行车数据里还原出照片级真实的场景，再加一层语言模型，就能用自然语言去指挥场景里改什么。但把这条链路摊开看，会发现问题不在单点能力，而在拼接方式：语言引导的编辑器（ChatSim、SceneCrafter）要么在推理时挂着在线 3D 检测器，要么得让人先给出实例 ID 或属性，把一句自然语言硬翻译成结构化属性；真要动手改物体时，它们只能贴一个预存的虚拟资产，或者干脆把物体删掉，对已有物体的修改空间很窄。非语言的编辑器（MARS、OmniRe）倒是支持更丰富的物体级编辑，可它们定位目标靠的是预先定义好的实例属性，既没有语言可控性，也谈不上自动化。这两条线还有一个共同的盲区：绝大多数框架只盯着车辆这类刚体，把行人排除在外——而行人在安全攸关场景里恰恰是最关键的参与者。更麻烦的是场景可行性的验证：现有工作通常只对自车或单个目标物体做检查，完全不考虑一个智能体行为改变之后，周围参与者会怎么连锁反应。最后，想把手写场景扩到规模化，每一步都得人盯着。

这些限制指向同一个根因：缺一个既足够表达复杂道路动力学、又能被自然语言直接访问的共享场景表示。如果道路元素能被表示成一种结构化的、语言可寻址的形式，并且同时带上它们的视觉外观、动态行为和空间上下文，那么"查询—编辑—仿真"三件事就可以在同一个框架里完成，整条流水线也才有可能自动化。本文正是沿着这个思路，把场景图形式的 4D 高斯泼溅与语言对齐特征结合起来：外观、运动、位置三类语言特征被直接写进高斯的场景图节点，重建出的场景因此天然可被自由文本查询；语言查询负责定位目标，编辑作用在同一张图上，多智能体精修再在整场景层面做一致性校验。由于语言对齐已经把自然语言和底层场景结构接上了，整条流水线可以直接挂到 VLM 上做闭环——VLM 不只生成编辑提示，还会看渲染结果判断是否合理，迭代调整资产和运动参数，最终在没有人工介入的情况下批量产出长尾驾驶场景。核心 idea：不要在下游外挂检测器和属性匹配来做语言定位，而是把外观、运动、位置三种语义作为特征直接训练进 4D 高斯场景图的节点里，让"用自然语言找到某个正在左转的车"变成表征本身的内禀能力，并以此为入口统一承载编辑、多智能体仿真与 VLM 闭环挖掘。

方法详解¶

整体框架¶

SIMSplat 要解决的是"用语言操控一段真实驾驶场景，并让改动在物理与交互上自洽"这件事，它的做法是把整条链路都钉在同一个数据结构上。输入是多视角行车序列，先重建出一张场景图形式的 4D 高斯表示——车辆、行人、静态背景各自成节点，每个节点在规范空间里定义一套高斯，再随时间变换/形变到世界系；接着训练语言对齐模块，把外观（CLIP 语义）、运动（轨迹）、位置（相对自车方位）三种特征写进这些节点。此后一切操作都发生在这张语言可寻址的图上：给一句自由文本，先做开放词汇定位找到目标与锚点物体；然后在图上施加物体级编辑（改运动、插新物体、替换、删除）；改完的轨迹交给多智能体路径精修，让周围所有参与者按预测模型一起做出反应；最后渲染并校验。校验环节由 VLM 承担，不合格就回去调整资产或运动参数，形成闭环，也可以完全人工指定参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角驾驶序列"] --> B["场景图 4D 高斯重建"]
    B --> C["运动感知语言对齐"]
    C --> D["开放词汇物体定位"]
    D --> E["语言控制的物体级编辑"]
    E --> F["多智能体路径精修"]
    F --> G["VLM 自动场景挖掘"]
    G -->|校验不通过：迭代参数| D
    G -->|校验通过| H["编辑后的驾驶场景"]

需要说明的是，SIMSplat 生成的是已有真实场景的编辑结果，不是从零合成新场景。它的"生成"能力体现在：在同一段重建场景上插入新资产（资产来自真实传感器数据抽取的资产库）、改写已有物体的行为轨迹、并用预测模型把改动扩散到整个交通流里，从而造出原始数据里不存在的长尾与对抗场景。

关键设计¶

1. 运动感知的语言—高斯对齐：把外观、运动、位置三种语义写进场景图高斯节点

这一步针对的痛点是：驾驶场景物体密集、外观高度重复，"黑色的车"这种属性匹配几乎一定歧义，而让 VLM 直接吐包围盒坐标又常常不准。SIMSplat 的做法是不匹配属性、也不要坐标，而是把语言语义训练进高斯本身。外观对齐上，它不给每个节点额外挂分割模型——直接把场景图里属于某节点的高斯投影到图像平面得到该物体的掩码，再在掩码里抽 CLIP 特征，这就免掉了外部分割器这一步。由于 CLIP 特征维度高，作者训了一个轻量自编码器 \((E, \Psi)\) 把它压到低维隐空间，压缩后的隐码 \(h_t(o) = E(f_t^{\text{CLIP}}(o)) \in \mathbb{R}^d\ (d \ll D)\) 作为监督信号，让每个高斯额外带一个外观特征 \(c_i^{\text{app}}\)，以自监督方式优化；推理时把光栅化出来的 \(c_i^{\text{app}}\) 解码回 CLIP 空间与文本查询比对，就能在像素级和高斯级同时做开放词汇选择。

真正的难点在运动。作者发现，此前把语言特征嵌入高斯的方法（LangSplat、4DLangSplat）根本读不懂道路物体的行为——它们会说的话是"开着的杯子"这类室内简单动态，而驾驶场景的查询是"自车左前方正在横穿的行人""从右往左穿过路口的车"，里面同时含运动线索（速度、方向、是否转弯）和相对方位。为此，SIMSplat 用轨迹编码器把物体的轨迹序列 \(\mathbf{X}=\{(x_t,y_t)\}_{t=1}^{T}\) 编成一个隐向量 \(z\)，并配两套码本：运动码本与位置码本，每个原型向量对应一种典型的道路运动或方位（左转、右向左行驶、位于自车前方、位于自车左侧等）。考虑到刚体和非刚体运动模式差异大，车辆和行人各用一套运动码本，位置码本则跨类型共享。给定轨迹隐向量，与各原型算相似度后做凸组合，得到运动特征 \(f^{\text{mot}}\) 与位置特征 \(f^{\text{loc}}\)：

\[f^{\text{mot}} = \sum_{k} \alpha_k \, p_k^{\text{mot}}, \qquad f^{\text{loc}} = \sum_{k} \beta_k \, p_k^{\text{loc}}\]

这一步之所以有效，是因为它把"行为"从像素外观里剥离出来单独建模，并借码本的形式把连续轨迹离散成少数可命名的运动原型，从而能直接和文本原型对齐。训练时运动与位置的对齐损失再加一个承诺项（commitment）联合优化：

\[\mathcal{L}_{\text{temp}} = \lambda_{\text{align}}\big(\mathcal{L}_{\text{mot}} + \mathcal{L}_{\text{loc}}\big) + \lambda_{\text{commit}} \mathcal{L}_{\text{commit}}\]

其中前两项度量与文本原型的余弦距离，承诺项则约束轨迹隐向量 \(z\) 不要离它选中的码本组合太远（保证码本真正被用起来）。⚠️ 相似度归一化方式、\(\lambda\) 取值与码本规模原文放在补充材料，此处以原文为准。

定位时的流程是分层的：先用 E5 Sentence Transformer 编码文本提示，外观特征解码后与提示比对生成像素级相似度图，后处理成二值掩码选出候选实例；再用对应类型（车辆/行人）的轨迹编码器与文本投影器，把候选轨迹的时间特征与提示嵌入做余弦相似度，最终取最高者。外观负责把候选范围收窄，运动与位置负责在长得很像的候选里挑出行为对得上的那一个——这正是"黑色轿车""穿红外套的行人"这类外观提示在密集车流中失效时，模型还能选对的根本原因。最终每个物体节点被扩展为 \(G_o(t) = \big(\{g_i(t)\}_{i=1}^{N_o},\, c_o^{\text{temp}}\big)\)，即节点层级绑定一个行为上下文向量 \(c_o^{\text{temp}} = (f^{\text{mot}}, f^{\text{loc}})\)，使"对物体动态做开放词汇推理"成为节点的属性。

2. 语言控制的物体级编辑器：用自由文本直接指定改谁、怎么改

定位打通之后，编辑就顺理成章地落回同一张场景图。SIMSplat 支持的编辑覆盖运动修改（加速、倒车、变道、转弯）、插入新的动态或静态物体（加一辆跟驰车、放一个路侧障碍）、替换与删除，并且同时覆盖车辆和行人——后一点是它与 ChatSim、OmniRe 等已有编辑器的关键差别，行人编辑（比如调节步速、插入真实行人资产）在此前框架里基本是空白。编辑器支持很灵活的动作参数化，速度、方向、起始时刻、相对距离、起止位置都可以显式给定，因此同一个指令可以写得很粗（"让路口那辆黑车直行"）也可以很细（"从 \((x_1,y_1,z_1)\) 走到 \((x_2,y_2,z_2)\)"），甚至可以给组级命令（"删掉所有正在过马路的行人"）。插入新物体时的资产库覆盖车辆、行人、交通标志和路障、锥桶、施工设备等道路物体；与依赖合成或静态行人模型的传统仿真器不同，它的行人资产是从真实传感器数据里抽出来的动态资产，每个还带一句描述性 caption（如"一个从右往左走、背红色背包的行人"），因此插入的行人能保留自然的关节运动和姿态，而不是滑行的贴图。

3. 多智能体路径精修：让周围车辆和行人一起对改动做出反应

预定义函数集生成的轨迹对目标物体本身可能是合理的，但它本质上不是多智能体规划器，不会去考虑这一改动会怎样影响周围交通。此前方法的共同做法是只保证目标物体轨迹无碰撞，改完之后周围车照旧按原轨迹行驶，场景在交互层面是假的——一辆车突然急刹，后车却毫无反应。SIMSplat 要的是反应式场景：不只被编辑的目标会变，周围智能体也要自然响应。作者在 Waymo Open Dataset 上训练了 SMART-1B 作为运动预测模型，给定目标物体由运动控制器预生成的轨迹 \(\tau^{\text{edit}}\) 和所有智能体的观测历史 \(\mathbf{X}_{1:t}\)，预测器 \(\mathcal{P}\) 一次性给出未来的联合 rollout：

\[\hat{\mathbf{X}}_{t+1:T} = \mathcal{P}\big(\mathbf{X}_{1:t}, \tau^{\text{edit}}\big)\]

\(\hat{\mathbf{X}}_{t+1:T}\) 同时包含目标物体和周围物体的精修轨迹，因此被修改的场景是"整个交通流重算过一遍"的结果，而不是只改了一条线。论文给出的行为例子包括：前车急刹时后车绕行或停车、行道突然出现横穿行人时邻车避让、新插入的障碍物挡住人行横道时行人停在路边等待。由于这一模块依赖预测模型、对不确定性敏感，作者也保留了"确定性编辑"时绕过该模块的选项。

4. VLM 自动场景挖掘：把开环编辑闭合成可迭代的长尾场景生成器

人工逐条写提示词不可扩展，多样性也受限，这是整条流水线规模化的最后一处瓶颈。SIMSplat 把 VLM 接进来做闭环：VLM 以多视角场景图像为输入，生成描述潜在场景修改的自然语言提示；每条提示先与预定义的受支持编辑函数集做可行性校验，再进语言对齐高斯做视觉定位（比如提示是"让路口正在转弯的黑车直行"，VLM 抽出 caption"路口正在转弯的黑车"，由前面的定位机制取回对应物体——定位至此完全是表征的内禀属性，不需要在线检测器，也不需要人工标注空间位置）。编辑执行后场景被渲染回 2D 平面做两级校验：碰撞、驶出道路这类硬性无效结果先被过滤；然后 VLM 拿着编辑后的 RGB 图像、BEV 地图以及目标与周围智能体的轨迹，判断这次改动是否忠实执行了原提示。若发现不一致或合理性不满足，就回头迭代资产选择或运动参数，直到约束全部满足才定稿。框架支持全自动，也保留了人工提示与参数微调的入口。

一个完整示例¶

以论文图 1 的第一条指令为例走一遍："Add a bulldozer 5m behind the black car crossing the street（在正在横穿马路的黑车后方 5 米加一辆推土机）"。VLM 从多视角图像生成该提示后，可行性校验确认它属于受支持的插入操作；接着定位分两步——外观相似度先把候选收窄到场景中若干辆深色车，运动特征（正在横穿）与位置特征（相对自车方位）再把候选收敛到唯一那辆横穿的黑车；随后系统在这辆车后方沿其航向 5 米处从资产库取一台推土机放入，插入物体的起点、朝向和相对距离由提示显式给出。改动完成后进入多智能体精修：预测模型看到前方多了一台静止的推土机，输出所有相关智能体的联合未来轨迹，图中的红色车辆逐渐减速停车以避免碰撞。最后渲染出 RGB 与 BEV 结果交给 VLM 判定是否忠实于提示，若不满足（例如插入物过近导致不合理），则回去调整距离或资产，迭代到通过为止。同一条流水线也支持"Add a wheelchair user crossing the street from beside the pedestrian standing on the left"这类需要插入真实行人并保持自然关节运动的指令。

损失函数 / 训练策略¶

训练分几块。外观特征 \(c_i^{\text{app}}\) 以自监督方式优化，监督信号来自压缩后的 CLIP 隐码，即让自编码器的重建满足 \(\Psi(h_t(o)) \approx f_t^{\text{CLIP}}(o)\)；时序对齐用上面的 \(\mathcal{L}_{\text{temp}}\)，运动与位置对齐项度量与文本原型的余弦距离，承诺项保证轨迹隐向量与选中的码本组合靠拢。场景重建在 Waymo Open Dataset 上进行，使用前视、前左、前右三路相机，每条序列采样 100 帧（10 Hz），每第 10 帧划为测试集，单张 NVIDIA A100 训练。多智能体预测用的是在 Waymo 上训练的 SMART-1B，运动生成以每条轨迹前 11 个时间步为输入、预测未来 80 步。VLM 自动化环节使用 Qwen3-VL-32B，更多训练与评测细节在补充材料中。

实验关键数据¶

主实验¶

数据集为 Waymo Open Dataset。需要诚实说明的是：论文正文的评测并不围绕 PSNR / SSIM / LPIPS 这类重建保真度指标展开，而是把重点放在"语言能不能找对物体、指令能不能被执行、执行完的场景会不会出事"这三个更贴近应用的维度上，指标为开放词汇定位的准确率（Acc.）与视频级 IoU（vIoU）、任务完成率、以及各类失败率。重建质量指标未在正文报告。

表 1（场景编辑器能力对比，✓/✗ 为原文汇总）：

方法	行人编辑	已有物体编辑	车辆路径精修	行人路径精修	语言控制	自动化	物体定位方式
MARS	✗	✓	✗	✗	✗	✗	Instance ID
HUGSIM	✗	✓	✓	✗	✗	✓	Tracking ID
ChatSim	✗	✗	✗	✗	✓	✗	Attributes
SceneCrafter	✗	✗	✗	✗	✓	✓	Bounding box
OmniRe	✓	✓	✗	✗	✗	✗	Instance ID
SIMSplat	✓	✓	✓	✓	✓	✓	Description

表 2（开放词汇物体定位，Acc. / vIoU）：

方法	Vehicle Acc.	Vehicle vIoU	Pedestrian Acc.	Pedestrian vIoU	Total Acc.	Total vIoU
LangSplat	0.27	0.47	0.30	0.32	0.28	0.40
4DLangSplat	0.33	0.53	0.37	0.44	0.35	0.49
Ours	0.83	0.81	0.63	0.78	0.73	0.80

表 3（编辑任务完成率，%）：ChatSim 总完成率 26.7，OmniRe†（作者扩展了编辑功能）27.8，SIMSplat（VLM 驱动）71.1，SIMSplat（人工引导）87.2。分项上，SIMSplat 人工版在"插入行人"（93.3）与"修改行人"（90.0）两项上最高，而 ChatSim 与 OmniRe 在这两列分别只有 0.0 / 16.7 和 0.0 / 23.3。

消融实验¶

表 4（语言特征组件消融，Acc. / vIoU，总数）：

外观 App.	运动 Mot.	位置 Loc.	Vehicle Acc.	Vehicle vIoU	Pedestrian Acc.	Pedestrian vIoU	Total Acc.	Total vIoU
✓			0.53	0.56	0.27	0.38	0.40	0.47
✓	✓		0.73	0.70	0.27	0.38	0.50	0.54
✓		✓	0.57	0.64	0.33	0.42	0.45	0.53
✓	✓	✓	0.83	0.81	0.63	0.78	0.73	0.80

表 5（运动生成失败率，%，越低越好）：

方法	撞车（车辆）	撞人（行人）	驶出道路	总失败率
ChatSim	53.3	36.7	33.3	53.3
OmniRe†	63.3	30.0	26.7	70.0
GPT2Motion（GPT-5 直接当运动生成器）	60.0	73.3	36.7	80.0
Ours（去掉路径精修）	43.3	26.7	10.0	53.3
Ours	13.3	16.7	6.7	20.0

表 6（不同 VLM 驱动自动化流水线的对比）：

模型	平均迭代次数	任务完成率	合理性得分
Qwen3-VL-32B	4.5	71.1	2.80
Qwen3-VL-8B	7.4	48.3	2.10
GPT-5	3.6	78.9	3.25
GPT-5-mini	4.1	73.3	2.95
Claude-Opus-4.1	3.9	80.0	3.10

关键发现¶

运动与位置是定位精度翻倍的主要来源，且分工明确。去掉两者、只用外观时总准确率 0.40；只加运动升到 0.50，只加位置升到 0.45，三者齐全才到 0.73。更细的规律是：运动特征单独加上去主要提升车辆（Acc. 0.53 → 0.73），位置特征单独加上去主要提升行人（Acc. 0.27 → 0.33）——这符合直觉，车辆的行为差异主要体现为怎么开，而行人小、外观线索弱，靠"在自车左侧站着"这类方位描述反而更好定位。两者结合对所有类型都有明显增益。
多智能体精修是整体失败率下降的最大单一贡献。去掉精修后总失败率 53.3%，加上后降到 20.0%；撞人一项从 26.7% 降到 16.7%，驶出道路从 10.0% 降到 6.7%。论文特别指出，基线方法在"孤立放置一个静态物体、周围没有其他智能体"时表现还行，一旦编辑物体需要与邻近智能体协调，碰撞和驶出道路就频繁出现——说明单目标的无碰撞轨迹规划在真实城市交通里不够用。
语言控制的形式与 VLM 的能力是配套的。ChatSim 靠属性匹配找物体，OmniRe 靠场景图重建但没有语言可控性，而 VLM 擅长的是生成丰富的语义描述，不是吐精确的包围盒或像素坐标。SIMSplat 让定位只依赖自由文本描述，恰好与 VLM 的长处对上，这也是它 VLM 全自动版本（71.1%）能超过所有基线的直接原因。
更大的 VLM 更值得用。GPT-5 平均 3.6 轮收敛、完成率 78.9%、合理性 3.25；Claude-Opus-4.1 完成率最高（80.0%）。小模型（Qwen3-VL-8B）迭代次数最多（7.4）且完成率不足一半，但在推理速度与成本上有优势。SIMSplat 默认用开源 Qwen3-VL-32B，作者据此建议按算力预算取舍。

亮点与洞察¶

把"定位"从下游模块变成表征的内禀属性，是这篇论文最省事也最有效的一步。以往编辑器要么挂在线检测器、要么让人给实例 ID，语言理解与场景表示之间永远隔着一层转换；SIMSplat 直接把语义特征训进高斯节点，于是"找到那辆车"退化成一次特征比对，既不需要额外模型，也不需要人工标注。
用码本把"行为"离散成可命名的原型，解决了语言与连续轨迹之间的模态鸿沟。轨迹是连续信号，文本描述的是离散概念（左转、右转、横穿），中间靠一组可学习的原型向量做桥，还顺带获得了"不同物体类型用不同运动码本、方位码本共享"这种结构化的先验，比直接把轨迹回归到文本空间稳得多。
外观先行收窄、运动位置后置判别的两级定位是一个可以直接迁移的检索范式。凡是"目标类别相同但行为/关系不同"的检索任务（视频里的动作定位、机器人操作指令跟随），都可以照搬这套"静态属性召回 + 动态属性精排"的结构。
多智能体精修把场景编辑从"改一个物体"升级成"改一段交通流"，并顺手给出一个诚实的工程答案：预测模型有不确定性，所以框架保留绕过它的开关。这种"知道自己的模块什么时候不该用"的设计，比强行宣称端到端更可信。

局限与展望¶

正文没有报告重建质量指标（PSNR / SSIM / LPIPS）或新视角、新时间合成的保真度，评测完全集中在定位、完成率与失败率上。要用它做感知训练的增广数据，渲染保真度其实是硬指标，这一点论文没有给出直接证据。
多智能体精修的全部能力上限由 SMART-1B 决定，作者也承认该模块对预测不确定性和失败案例敏感。若预测模型在长尾场景（恰好是要生成的那类场景）上本身就弱，精修反而可能引入新的不合理行为。
实验只在 Waymo Open Dataset 上做，且用前视、前左、前右三路相机；环视全覆盖、夜间/雨雾等真正长尾的数据分布是否成立，论文没有验证。VLM 自动化环节的合理性得分最高也只有 3.25（满分 4），说明自动闭环仍会在相当比例的样例上需要重试或人工兜底。
可改进方向：把渲染保真度纳入评测并与下游感知增广的效果挂钩；给精修模块加上不确定性度量，在不确定度高时退化为保守的策略而不是直接绕过；码本规模与运动 / 位置对齐权重的敏感性分析（正文同样未给，放在补充材料）。

评分¶

新颖性: ⭐⭐⭐⭐ 把运动与位置语义以码本形式对齐进 4D 高斯节点，并以此为统一入口串起编辑与多智能体仿真，视角完整且此前无人做过。
实验充分度: ⭐⭐⭐ 任务完成率、失败率、VLM 对比都做了，消融也清晰，但缺重建保真度指标、只在 Waymo 单一数据集上验证，多智能体精修的敏感性与码本超参分析被放进了补充材料。
写作质量: ⭐⭐⭐⭐ 动机层层递进、能力对比表一目了然，方法叙述清楚；不足是公式排版在缓存版里有多处损坏，部分实现细节（码本规模、Loss 权重）只能查到补充材料。
价值: ⭐⭐⭐⭐ 为"语言可控的驾驶场景生成"提供了一条可落地的统一路线，行人编辑与全场景级一致性校验尤其切中安全攸关场景的需求；若渲染保真度能得到验证，对下游感知数据增广的价值会更大。