OmniTraffic: A Controllable Generation Pipeline and Benchmark for Spatio-Temporal Traffic Reasoning¶
会议: NeurIPS 2026
arXiv: 2606.15749
OpenReview: https://openreview.net/forum?id=5fv0JAYAwL
代码: https://github.com/AIR-THU/OmniTraffic
领域: 自动驾驶
关键词: 路侧交通理解, 时空推理, 视点与鸟瞰图对齐, 信号灯相位决策, 仿真到真实迁移
一句话总结¶
OmniTraffic 将 12 个真实路口重建成可控 3D 仿真环境并结合真实路侧监控视频，构建了涵盖场景感知、多视点时空推理与决策支持三层认知体系的 800 万结构化 VQA 样本及 3K 专家检验基准，实验揭示了前沿多模态大模型在车道拓扑对齐与时序演化上的显著瓶颈。
研究背景与动机¶
路侧监控摄像头记录了海量复杂的路口交通动态，包括车道级通行状态、车流排队演化、特种车辆通行、偶发交通事故以及信号灯配时变化。多模态大语言模型（MLLM）在通用视觉理解中展现出强大的语义解析潜力，并逐步被引入到交通异常检测、拥堵分析与辅助决策等场景中。然而，现有路侧与交通视觉基准评测大多局限于被动式的单一目标识别、粗粒度属性分类或单镜头短视频问答，缺乏对道路拓扑约束、多视点几何对应以及时间连续演化的深度评测。真实世界监控数据虽然具备高度视觉多样性，但视角固定、真实结构化状态与信号相位难以精确同步标注，更无法按需重现极危罕见事件或灵活调整相机几何布局。
这种局限导致评测无法有效探究模型在真实交通控制所需的系统级结构化认知能力：模型究竟是仅仅记住了显著的视觉外观线索，还是真正理解了车道通行功能、视角到全局鸟瞰图（BEV）的空间映射、车流队列随时间的物理演变，以及基于交通流守恒的相位优化规则？纯粹依赖人工标注真实视频成本高昂且难以规模化，而传统微观交通仿真虽能输出精确车流数据，却长期与视觉多模态问答脱节。
为打破交通场景中视觉真实性与结构可控性不可兼得的困境，本文提出 OmniTraffic。核心 idea：将真实路口重建成参数化、可编辑的 3D 交通仿真世界，联合结构化交通元数据与真实监控视频，建立覆盖「拓扑感知-时空推理-相位决策」三层认知体系的问答生成流水线与评测基准，并验证由仿真合成监督向真实世界交通理解的泛化有效性。
方法详解¶
整体框架¶
OmniTraffic 包含从真实环境数字化重构、多模态时空仿真渲染、元数据驱动的问答生成，到标准化选择题转换与质量控制的全流程。系统以真实世界 12 个代表性交叉路口的真实拓扑为基础建立可编辑 3D 虚拟环境，并辅以来自韩国与中国天津的 33.86 小时真实路侧监控视频。在仿真环境中，系统同步渲染多视点摄像机视角并记录包含车道划分、车辆纵向坐标、行驶速度、信号相位与突发事故的精确 JSON 结构化元数据；随后基于模板规则引擎将元数据自动转化为三层认知架构的问答对，并经由负样本采样与人工质检构建出标准评测集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实路口拓扑采集<br/>12个真实交叉路口 + 真实监控视频"] --> B["真实对齐的3D环境重构与可控仿真<br/>多视点同步渲染 + 交通需求分布 + 罕见事件注入"]
B --> C["元数据驱动的层次化VQA生成<br/>结构化JSON提取 + 规则模板生成 + 信号控制逻辑"]
C --> D["自适应上下文干扰项生成与质检<br/>同场景同时刻负样本采样 + 自动化校验 + 人工审核"]
D --> E["三层认知基准测试<br/>L1 感知 → L2 时空推理 → L3 决策支持"]关键设计¶
1. 真实对齐的3D环境重构与可控仿真：打破视角固定与罕见样本匮乏 针对传统路侧数据视角单一且无法重现突发事故的痛点，该模块将北京、成都、天津、法国马西、香港油麻地以及韩国松岛等地的 12 个真实交叉路口（涵盖三岔路口与异型四岔路口）数字化为 3D 交通场景。在保持真实车道几何、路面标线与相位规则的前提下，系统引入微观交通仿真引擎，定义了低流量（Low）、高流量（High）、随机（Random）、递增（Increase）与波动（Fluctuation）五种交通需求曲线，模拟不同时段的排队变化。同时，仿真管线支持主动注入救护车、警车等特种车辆以及倒伏树木、道路施工、交通事故等阻断性突发事件。渲染引擎能在同一时间戳同步输出各进口道路侧视角、鸟瞰视角（BEV）及自动驾驶车载视角，为跨视角几何关联与时序推断提供绝对对齐的真实真值支撑。
2. 元数据驱动的层次化VQA生成：实现全流程可追溯的结构化交通语义建模 针对人工标注复杂交通状态成本高且难以覆盖多级认知的问题，OmniTraffic 建立了与仿真引擎紧密耦合的自动化生成机制。每帧画面均伴随结构化 JSON 元数据，精确记录进口/出口道车道属性、车辆在车道内的归属与纵向距离、当前亮灯相位组合及障碍物位置。基于这些参数，系统构建了自底向上的三层任务体系： - Level 1（拓扑感知）：聚焦单图内的细粒度车道级计数（区分各进口道各分车道）、特种车辆定位、车道功能识别（如左转/直行车道）及事件检测。 - Level 2（时空推理）：引入多图联合输入，涵盖多视角排队对比（View Comparison）、跨视点特种目标定位（View Localization）、透视视角与鸟瞰图关联（View–BEV Mapping，检验坐标系投影理解），以及单视角下跨帧序列的排队长度趋势演变与时间重排序（Temporal Reasoning）。 - Level 3（决策支持）：结合多视角画面与当前相位定义表，要求模型识别受阻相位（Phase Analysis），并运用最大压力控制（MaxPressure）算法规则推荐下一最优绿灯相位（Phase Decision）。若存在阻断事件，则自动屏蔽受阻冲突相位并在可行相集中决策，形成高阶控制闭环。
3. 自适应上下文干扰项生成与质检：消除统计偏差与格式捷径 针对开卷式问答评分困难及常见选择题容易被单模态先验破解的缺陷，OmniTraffic 实现了上下文相关的干扰项生成算法。系统拒绝使用全局随机扰动，而是从同一场景、相近时间戳或相邻相位的物理空间中抽取合理干扰值：例如车道计数题的错误选项提取自同一路口其他时间步或邻近车道的真实数值；时序推理题的干扰项来自相邻时间窗口的动态排列；相位推荐的选项则严格限定于当前交叉口的候选有效相位。此外，评测集经过两级清洗过滤：首先通过自动化脚本校验选项去重、数值物理上下限匹配及元数据溯源一致性；随后由人工对抽样的 3,204 道题目进行逐一核验，剔除视觉歧义与表达重合项，确保基准的高信度。
损失函数 / 训练策略¶
在仿真到真实迁移（Sim-to-Real Transfer）验证中，研究选用轻量级视觉语言模型 Qwen3-VL-2B-Instruct 作为基干网络，采用低秩自适应（LoRA）策略进行微调。微调过程中仅在视觉模块的注意力投影层（\(qkv\) 与 \(proj\)）以及语言模块的注意力投影层（\(q\_proj, k\_proj, v\_proj\)）插入 LoRA 旁路，冻结 MLP/FFN 层以防止小样本过拟合： - LoRA 超参数配置为秩 \(r=16\)，缩放系数 \(\alpha=32\)，dropout 为 \(0.05\)。 - 优化器使用 AdamW，初始学习率设为 \(2 \times 10^{-4}\)，权重衰减为 \(0.01\)，预热比例为 \(0.03\)，配合余弦退火学习率调度策略。 - 微调过程严格且仅在 OmniTraffic 仿真生成的结构化 VQA 样本上进行，完全不接触任何真实监控图像或人工测试标注；最大序列长度设为 4,096 tokens，以充分容纳包含 4 视角图或多帧序列的多图推理输入。
实验关键数据¶
主实验¶
论文对 11 款前沿多模态大模型（包含 GPT-5.2、Gemini-3-Pro、Claude-Sonnet-4.5、Qwen3-VL-235B 等闭源与开源前沿架构）以及非专家人类基准进行了严格的零样本贪婪解码评测（\(\tau=0\)）。下表展示了全任务基准（3,204 题）的核心表现对比：
| 模型 / 评估组 | L1 车辆计数 | L1 道路基础设施 | L2 跨视点定位 | L2 视点-BEV映射 | L2 时序推理 | L3 相位分析 | L3 相位决策 | 全任务平均 |
|---|---|---|---|---|---|---|---|---|
| 非专家人类水平 | 93.3% | 86.9% | 93.3% | 100.0% | 94.1% | 88.8% | 55.0% | 92.9% |
| Gemini-3-Pro | 77.2% | 70.2% | 98.9% | 34.0% | 48.9% | 81.6% | 65.2% | 72.4% |
| Grok-4 | 47.6% | 43.1% | 93.2% | 39.2% | 56.4% | 74.5% | 56.5% | 59.8% |
| Claude-Sonnet-4.5 | 59.0% | 58.1% | 86.4% | 29.6% | 54.9% | 82.0% | 58.7% | 59.7% |
| Qwen3-VL-235B | 55.5% | 48.8% | 90.9% | 28.4% | 50.5% | 77.4% | 58.7% | 59.1% |
| Qwen-VL-Max | 57.5% | 55.8% | 95.4% | 28.0% | 45.7% | 77.8% | 65.2% | 59.1% |
| GPT-5.2 | 55.6% | 41.0% | 89.8% | 25.6% | 43.0% | 67.8% | 58.7% | 57.1% |
| GPT-4o | 41.4% | 36.0% | 92.0% | 32.8% | 48.7% | 74.1% | 56.5% | 55.0% |
| InternVL 3.5 | 56.0% | 54.4% | 86.4% | 18.0% | 28.7% | 70.3% | 56.5% | 51.4% |
消融与 Sim-to-Real 迁移分析¶
为验证纯仿真生成数据作为微调监督信号的可行性，论文利用仅在仿真数据上微调的 Qwen3-VL-2B 模型评估真实世界路侧监控场景（韩国与天津监控数据）：
| 模型配置 | 韩国真实数据集 | 天津真实数据集 | 真实总评平均 | 表现说明 |
|---|---|---|---|---|
| Qwen3-VL-2B (Base) | 39.3% | 51.9% | 47.6% | 零样本基础模型基线 |
| Qwen3-VL-8B (Zero-shot) | 49.2% | 50.2% | 49.9% | 零样本更大尺寸开源模型 |
| Qwen3-VL-235B (Zero-shot) | 53.3% | 52.8% | 53.0% | 零样本超大尺寸开源旗舰 |
| Qwen3-VL-2B + OmniTraffic FT | 52.5% | 54.5% | 53.8% | 仅使用仿真数据微调，超越 235B 模型 |
细分领域能力迁移增益分析显示： - 时序推理（Temporal Reasoning）：微调后准确率从 34.0% 提升至 50.0%（净增 +16.0%）。 - 特种车辆识别（Special Vehicle）：微调后准确率从 63.6% 跃升至 90.9%（净增 +27.3%）。 - 道路基础设施（Road Infrastructure）：从 43.0% 提升至 47.7%（净增 +4.7%）。 - 局限与负迁移：在受真实天气、光照与剧烈遮挡影响更显著的单图车辆计数（Vehicle Counting 从 62.7% 下降至 51.0%）与场景天气属性识别（75.0% 下降至 65.0%）上出现了一定程度的负迁移，凸显了低级外观纹理与高级几何结构之间的迁移差异。
关键发现¶
- 显著的人机能力剪刀差集中于几何与时空拓扑：虽然前沿模型在视点定位等具有强显式视觉锚点的任务上逼近甚至超越人类（98.9% vs. 93.3%），但在需要空间三维几何投射的 View–BEV Mapping（最强仅 39.2% vs. 人类 100%）和时序动态演变（最高 56.4% vs. 人类 94.1%）上遭遇断崖式下跌。
- 决策支持呈现规则先验主导特性：在 L3 信号相位决策上，Gemini-3-Pro 等顶级模型反超非专业人类（65.2% vs. 55.0%），这表明 MLLM 预训练阶段注入的符号化交通常识能够辅助决策，但如果前置的感知与时空几何估计不可靠，纯粹的逻辑推理仍存在空中楼阁的风险。
- 跨时间维度的多图推理显著难于普通多图匹配：实验对比发现，静态多视角输入的模型平均准确率可达 77.6%，而一旦涉及跨帧时序推断，准确率剧烈暴跌至 38.7%（性能下降 38.9%），证明长程排队与动态演化是当前视觉语言模型的核心死穴。
亮点与洞察¶
- 数字孪生驱动的端到端可验证基准构建：将真实世界高精拓扑搬入 3D 可微环境，彻底解决了真实路侧监控中多路相机视点绝对同步、微观队列坐标精确回溯以及罕见极危事故样本匮乏的难题。
- 仿真知识向真实世界的结构化泛化验证：证明了通过合成环境对 MLLM 注入车道级拓扑先验与时空演变规则，能够以轻量级 2B 模型超越未经微调的 235B 超大模型，展示了高质量合成监督在具身与交通智能中的巨大杠杆效应。
- 向社区开放高保真 3D 资产与参数化生成工具链：研究不仅开源了固定问答基准，更开放了完整的渲染管线，允许研究者自由配置相机内参外参、调节微观交通流、注入自定义极端事件，成为交通路侧大模型不可或缺的评测基础设施。
局限与展望¶
- 作者承认的局限：目前的真实世界监控视频受限于路侧硬件部署，无法获得完全同步的多路全向视角，导致 L3 决策任务在真实场景下的端到端评估暂时空缺；此外纯仿真合成数据与真实监控之间依然存在视觉纹理、镜头畸变与恶劣天气渲染上的域差距（Domain Gap）。
- 实测与设计思考：评测协议对格式遵从度提出了较高要求，尽管引入了重试机制，个别模型（如 Gemini-2.5-Pro 与 InternVL）在真实场景下仍有较高格式解析失败率；未来应探索将车载感知与路侧协同（V2X）纳入统一时空图谱进行全要素评测。
相关工作与启发¶
- vs TUMTraf VideoQA / SUTD-TrafficQA: 传统基准依赖真实单镜头录像与后验粗粒度问答，无法提供全向同步视角与车道级几何拓扑标注；OmniTraffic 具备精确元数据支撑与全视角-鸟瞰图一致性推理。
- vs DriveLM / nuScenes-QA: 现有具身/自动驾驶基准以自车（Ego-vehicle）轨迹规划为主，缺乏对固定路网中全局车流协同、多路相位分配与系统级拥堵治理的全局时空认知视角。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立基于真实路口重构的可控路侧多模态时空推理三层评测基准。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 款前沿顶级闭源与开源大模型，提供细分任务解耦与详尽 Sim-to-Real 迁移验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义精准，图表与任务层次展现完整。
- 价值: ⭐⭐⭐⭐⭐ 为智能交通系统（ITS）与车路协同多模态大模型的基础研究提供了极具扩展性的评测套件与合成监督思路。