跳转至

🚗 自动驾驶

🎞️ ECCV2024 · 60 篇论文解读

📌 同领域跨会议浏览: 📷 CVPR2026 (105) · 🔬 ICLR2026 (18) · 🤖 AAAI2026 (58) · 🧠 NeurIPS2025 (50) · 📹 ICCV2025 (98) · 🧪 ICML2025 (11)

🔥 高频主题: 自动驾驶 ×12 · 语义分割 ×7 · 3D 目标检测 ×6 · 对抗鲁棒 ×6 · 扩散模型 ×5

4D Contrastive Superflows are Dense 3D Representation Learners

提出SuperFlow框架,通过视图一致性对齐、稠密-稀疏一致性正则化、和基于流的时空对比学习三个模块,利用连续LiDAR-相机对建立4D预训练目标,在11个异构LiDAR数据集上全面超越了之前的Image-to-LiDAR预训练方法。

Accelerating Online Mapping and Behavior Prediction via Direct BEV Feature Attention

提出直接将在线地图估计模型内部的BEV特征暴露给下游轨迹预测模型(而非仅传递解码后的矢量化地图),通过三种BEV特征注入策略实现推理加速最高73%、预测精度提升最高29%。

Adaptive Bounding Box Uncertainties via Two-Step Conformal Prediction

提出两步共形预测框架为多类目标检测的边界框生成带理论覆盖率保证的自适应不确定性区间——第一步用共形分类集处理类别误判风险,第二步用集成/分位数回归等方法构建自适应于目标尺寸的边界框预测区间,在COCO/Cityscapes/BDD100k上达到约90%目标覆盖率且区间实际可用。

Adaptive Human Trajectory Prediction via Latent Corridors

将prompt tuning思想引入行人轨迹预测,通过在预训练轨迹预测器的输入端添加可学习的低秩图像prompt(称为latent corridors),以不到0.1%的额外参数实现对部署场景特定行为模式的高效自适应,在合成和真实数据上分别取得最高23.9%和26.8%的ADE提升。

CarFormer: Self-Driving with Learned Object-Centric Representations

提出 CarFormer,首次将自监督 slot attention 学到的 object-centric 表征用于自动驾驶,在 CARLA Longest6 基准上超越了使用精确物体属性的 PlanT,同时具备世界模型预测未来状态的能力。

CSOT: Cross-Scan Object Transfer for Semi-Supervised LiDAR Object Detection

提出 CSOT(Cross-Scan Object Transfer)范式,通过 Transformer 网络预测语义一致的物体放置位置和适配度,首次在 LiDAR 半监督目标检测中成功实现了 object copy-paste 增强,配合空间感知分类损失,仅用 1% 标注数据即可达到全监督基线的检测性能。

Detecting As Labeling: Rethinking LiDAR-camera Fusion in 3D Object Detection

本文从数据标注过程中总结出"回归任务不应使用图像特征"的基本原则,提出 DAL 范式——将检测过程类比为标注过程,用点云特征独立完成回归预测、用融合特征完成分类预测,结合简洁的训练流程,在 nuScenes 上以 74.0 NDS(val)和 74.8 NDS(test)大幅刷新 SOTA。

DVLO: Deep Visual-LiDAR Odometry with Local-to-Global Feature Fusion and Bi-directional Structure Alignment

提出基于聚类的 Local-to-Global 融合网络 DVLO,通过双向结构对齐(图像→伪点云 + 点云→伪图像)解决视觉与 LiDAR 的数据结构不一致问题,在 KITTI 里程计和 FlyingThings3D 场景流任务上均取得 SOTA。

DVLO: Deep Visual-LiDAR Odometry with Local-to-Global Feature Fusion

提出 DVLO,一种基于局部到全局融合与双向结构对齐的视觉-LiDAR 里程计网络,通过将图像视为伪点云(局部融合)和将点云投影为伪图像(全局融合)来解决两种模态的固有数据结构不一致问题。

DySeT: A Dynamic Masked Self-distillation Approach for Robust Trajectory Prediction

DySeT 提出了一种动态掩码自蒸馏方法,通过强化学习驱动的信息性 token 优先采样和从完整到掩码表示的知识蒸馏,显著提升了自动驾驶场景下轨迹预测模型的泛化能力和鲁棒性。

Enhancing Vectorized Map Perception with Historical Rasterized Maps

提出 HRMapNet,通过维护一张低成本的全局历史栅格化地图(historical rasterized map),为在线矢量化地图感知提供互补先验信息,在 BEV 特征聚合和 query 初始化两个层面增强现有方法,在 nuScenes 和 Argoverse 2 上取得显著提升。

Equivariant Spatio-Temporal Self-Supervision for LiDAR Object Detection

E-SSL3D 提出一种时空联合等变自监督预训练框架,通过空间等变(对旋转用分类目标、对平移/缩放/翻转用对比目标)和时间等变(用 3D 场景流约束相邻帧特征变换一致性)联合训练 3D 特征编码器,在低数据场景下仅用 20% 标注数据就能达到接近 100% 数据从头训练的检测性能。

FSD-BEV: Foreground Self-Distillation for Multi-View 3D Object Detection

提出前景自蒸馏(FSD)框架,在同一模型内构建教师-学生分支共享图像特征,避免跨模态蒸馏中的分布差异问题,配合点云增强和多尺度前景增强模块,在 nuScenes 上取得 SOTA 性能。

Fully Sparse 3D Occupancy Prediction

提出 SparseOcc,首个完全稀疏的 3D 占用预测网络,通过稀疏体素解码器和掩码引导的 Mask Transformer 实现高效占用预测,并设计了 RayIoU 评价指标解决传统 mIoU 的深度方向不一致惩罚问题。

GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction

提出以物体为中心的 3D 语义高斯表示替代传统密集体素,用一组稀疏的 3D 语义高斯描述场景并通过高斯到体素的 splatting 生成占用预测,在性能可比的情况下将内存消耗降低 75%-82%。

GraphBEV: Towards Robust BEV Feature Alignment for Multi-Modal 3D Object Detection

针对多模态BEV融合中LiDAR与相机标定误差导致的特征错位问题,提出GraphBEV框架,通过LocalAlign(基于KD-Tree的邻域深度图匹配)和GlobalAlign(可学习偏移量全局对齐)两个模块,在nuScenes上达到70.1% mAP(超BEVFusion 1.6%),在噪声错位场景下超BEVFusion 8.3%。

H-V2X: A Large Scale Highway Dataset for BEV Perception

提出首个大规模真实世界高速公路 BEV 感知数据集 H-V2X,覆盖100+公里高速路段,含190万+细粒度标注样本,并设计了BEV检测、跟踪和轨迹预测三个基准任务及融合矢量地图的创新方法。

Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion

针对相机语义场景补全(SSC)中时序信息利用粗糙的问题,提出层级式时序上下文学习(HTCL)范式:先通过跨帧模式亲和度(CPA)度量当前帧与历史帧的细粒度对应关系,再通过基于亲和度的动态精炼(ADR)自适应采样补偿不完整观测,在SemanticKITTI上排名第1,甚至在OpenOccupancy上mIoU超过LiDAR方法。

Improving Agent Behaviors with RL Fine-tuning for Autonomous Driving

通过闭环强化学习微调改善监督学习训练的交通智能体行为模型,解决开环训练的分布偏移问题,在Waymo仿真基准上取得SOTA。

ItTakesTwo: Leveraging Peer Representations for Semi-supervised LiDAR Semantic Segmentation

提出IT2框架,通过利用LiDAR数据的对等表示(range image + voxel grid)之间的一致性学习作为新型扰动形式,并引入基于高斯混合模型的跨分布对比学习,大幅提升半监督LiDAR语义分割性能。

LiDAR-Event Stereo Fusion with Hallucinations

提出将LiDAR稀疏深度点与事件立体相机融合的首个框架,通过在事件堆叠表示(VSH)或原始事件流(BTH)中"幻觉"(插入虚构事件)来弥补事件相机在无运动/无纹理区域的信息缺失,大幅提升事件立体匹配精度。

LiDAR-Event Stereo Fusion with Hallucinations

首次探索 LiDAR 与事件立体相机的融合,提出虚拟堆叠幻觉(VSH)和回溯时间幻觉(BTH)两种策略,通过在事件流/堆叠中注入虚拟事件来增强匹配可辨别性,大幅提升事件立体匹配精度。

LiveHPS++: Robust and Coherent Motion Capture in Dynamic Free Environment

提出 LiveHPS++,一种基于单 LiDAR 的鲁棒人体动作捕捉方法,通过轨迹引导身体追踪器、噪声不敏感速度预测器和运动学感知姿态优化器三个模块,隐式和显式建模人体运动的动力学和运动学特征,在复杂噪声环境下实现精确且连贯的全局人体运动捕捉。

MapDistill: Boosting Efficient Camera-based HD Map Construction via Camera-LiDAR Fusion Model Distillation

首次将知识蒸馏引入 HD 地图构建任务,提出 MapDistill 框架,通过双 BEV 变换模块、跨模态关系蒸馏、双层特征蒸馏和 Map Head 蒸馏,将相机-LiDAR 融合教师模型的知识迁移至轻量纯相机学生模型,在 nuScenes 上实现 +7.7 mAP4.5倍加速

MapTracker: Tracking with Strided Memory Fusion for Consistent Vector HD Mapping

将在线向量高精地图构建重新定义为追踪任务,通过双表示(BEV栅格+道路元素向量)的步进式记忆缓冲区融合机制实现时间一致的高精地图重建,在nuScenes和Argoverse2上分别以76.1和76.9 mAP大幅超越现有方法。

Monocular Occupancy Prediction for Scalable Indoor Scenes

提出 ISO(Indoor Scene Occupancy)方法,通过预训练深度模型和 D-FLoSP(双特征视线投影)模块实现室内场景的单目 3D 占用预测,并构建了规模比 NYUv2 大 40 倍的 Occ-ScanNet 基准数据集。

MonoWAD: Weather-Adaptive Diffusion Model for Robust Monocular 3D Object Detection

提出 MonoWAD,通过天气码本学习晴天知识作为参考,结合天气自适应扩散模型将雾效建模为噪声进行特征增强,实现在各种天气条件下鲁棒的单目3D目标检测。

Navigation Instruction Generation with BEV Perception and Large Language Models

提出 BEVInstructor,将鸟瞰图 (BEV) 特征融入多模态大语言模型 (MLLM) 用于导航指令生成,通过 Perspective-BEV 视觉编码、参数高效 prompt tuning 和实例引导的迭代精化,在室内外多个数据集上全面超越 SOTA。

Navigation Instruction Generation with BEV Perception and Large Language Models

提出 BEVInstructor,将鸟瞰图 (BEV) 特征融合到多模态大语言模型中,通过 Perspective-BEV 融合编码器、参数高效的 Prompt Tuning 以及实例引导的迭代优化策略,在室内外导航指令生成任务上取得 SOTA。

Neural Volumetric World Models for Autonomous Driving

本文提出 NeMo(Neural Volumetric World Model),一种基于体积表示的端到端自动驾驶框架,通过 3D 体素表征场景、运动流模块建模动态、时间注意力整合未来预测信息,以自监督方式训练并在 nuScenes 和 CARLA 上实现了超越前人方法 18%+ 的驾驶性能。

NeuroNCAP: Photorealistic Closed-Loop Safety Testing for Autonomous Driving

提出 NeuroNCAP,一个基于 NeRF 渲染的真实感闭环自动驾驶安全测试框架,受 Euro NCAP 碰撞避免协议启发设计三类安全关键场景(静止/正面/侧面碰撞),揭示当前 SOTA 端到端规划器(UniAD、VAD)在闭环安全场景中严重失败——碰撞率高达 88-92%——尽管其感知模块准确运行。

OccGen: Generative Multi-modal 3D Occupancy Prediction for Autonomous Driving

OccGen 将 3D 语义占用预测重新定义为"noise-to-occupancy"的生成式范式,通过条件编码器提取多模态特征、渐进式精炼解码器执行扩散去噪,以由粗到精的方式逐步生成占用图,在 nuScenes-Occupancy 上多模态/纯LiDAR/纯相机设置下分别相对提升 9.5%/6.3%/13.3% 的 mIoU。

OccGen: Generative Multi-modal 3D Occupancy Prediction for Autonomous Driving

提出OccGen,首次将扩散模型的"噪声到占据"生成范式引入3D语义占据预测任务,通过条件编码器+渐进式精炼解码器实现由粗到精的占据图生成,在nuScenes-Occupancy上多模态/纯LiDAR/纯相机设置下分别提升mIoU 9.5%/6.3%/13.3%。

OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving

OccWorld 提出在 3D 占用空间中学习世界模型,用 VQ-VAE 对 3D occupancy 进行 token 化,再通过 GPT 风格的时空生成 Transformer 自回归预测未来场景演化和自车轨迹,在 nuScenes 上无需实例和地图标注即可实现有竞争力的规划性能。

OPEN: Object-wise Position Embedding for Multi-view 3D Object Detection

提出 OPEN,通过目标级深度编码器(ODE)从像素级深度先验中预测物体中心深度,并设计目标级位置编码(OPE)将该信息注入 Transformer 解码器,生成 3D 目标感知特征,在 nuScenes 上达到 64.4% NDS 的 SOTA 性能。

Optimizing Diffusion Models for Joint Trajectory Prediction and Controllable Generation

本文提出 Optimal Gaussian Diffusion (OGD) 和 Estimated Clean Manifold (ECM) Guidance 两项技术,分别通过优化扩散先验分布和在干净流形上直接注入引导梯度,将联合轨迹预测的扩散步数减少到原来的 1/12,引导采样步数减少到 1/5,同时在 Argoverse 2 上取得更优性能。

PanoVOS: Bridging Non-panoramic and Panoramic Views with Transformer for Video Segmentation

提出首个全景视频目标分割数据集 PanoVOS(150个视频、19K实例标注),揭示现有 VOS 模型无法处理全景视频的像素不连续和严重畸变问题,并设计 PSCFormer 利用全景空间一致性注意力解决左右边界连续性问题。

Progressive Pretext Task Learning for Human Trajectory Prediction

提出渐进式前置任务学习框架 PPT,通过三阶段训练(逐步下一位置预测 → 目的地预测 → 完整轨迹预测)逐步增强模型对短期动态和长期依赖的捕获能力,配合高效的两步非自回归 Transformer 预测器,在多个行人轨迹预测基准上取得 SOTA。

Random Walk on Pixel Manifolds for Anomaly Segmentation of Complex Driving Scenes

提出 Random Walk on Pixel Manifolds (RWPM),利用随机游走捕获像素嵌入的流形结构来修正因驾驶场景多样性导致的流形畸变,从而提升异常分割评分函数的准确性,无需额外训练即可即插即用地集成到现有异常分割框架中。

RAPiD-Seg: Range-Aware Pointwise Distance Distribution Networks for 3D LiDAR Segmentation

本文提出 RAPiD 特征(Range-Aware Pointwise Distance Distribution),一种对刚体变换不变且适应点密度变化的 LiDAR 点云局部几何特征,配合双层嵌套自编码器和通道注意力融合,在 SemanticKITTI(76.1 mIoU)和 nuScenes(83.6 mIoU)上达到 SOTA 分割性能。

Reason2Drive: Towards Interpretable and Chain-based Reasoning for Autonomous Driving

Reason2Drive 构建了一个包含 60 万+视频-文本对的大规模自动驾驶推理数据集,将驾驶决策拆解为感知→预测→推理的链式过程,并提出 ADRScore 评估指标和带 prior tokenizer + instructed vision decoder 的 VLM 框架,显著提升了驾驶场景的链式推理准确性。

Reason2Drive: Towards Interpretable and Chain-Based Reasoning for Autonomous Driving

构建 Reason2Drive 基准数据集(600K+ 视频-文本对,覆盖感知-预测-推理链式任务),提出 ADRScore 评估链式推理正确性的新指标,并设计 Prior Tokenizer + Instructed Vision Decoder 框架增强 VLM 的目标级感知和推理能力,在自动驾驶推理任务上显著超越所有基线。

Reliability in Semantic Segmentation: Can We Use Synthetic Data?

首次系统地利用 Stable Diffusion 生成合成 OOD 数据来全面评估语义分割模型的可靠性,包括协变量偏移下的鲁棒性评估、OOD 物体检测评估和模型校准,并证明合成数据与真实 OOD 数据的评估结果高度相关。

Rethinking Data Augmentation for Robust LiDAR Semantic Segmentation in Adverse Weather

通过数据中心分析识别出恶劣天气对 LiDAR 的两大核心干扰模式(几何扰动和点丢失),提出 Selective Jittering 和 Learnable Point Drop 两种针对性数据增强方法,在 SemanticKITTI→SemanticSTF 基准上将 baseline 提升 8.1 mIoU 达到 SOTA。

Rethinking LiDAR Domain Generalization: Single Source as Multiple Density Domains

提出密度判别特征嵌入(DDFE)模块,利用单一 LiDAR 源域点云中固有的密度多样性(近处密/远处疏),学习密度感知的特征表示,实现对不同传感器配置下未见域的泛化,无需目标域数据。

Risk-Aware Self-Consistent Imitation Learning for Trajectory Planning in Autonomous Driving

RaSc 提出风险感知自一致模仿学习框架,通过 TTC(碰撞时间)预测分支学习人类驾驶行为背后的风险规避动机,并通过自一致性约束使规划器理解自身动作的物理后果,在 nuPlan 数据集的开环和闭环评估中均超越了先前的学习型方法。

RoofDiffusion: Constructing Roofs from Severely Corrupted Point Data via Diffusion

RoofDiffusion 提出了一种基于条件扩散概率模型的端到端自监督方法,用于从严重稀疏(最高99%缺失)、不完整(80%区域遮挡)且含噪的屋顶高程图中恢复完整干净的高程信息,在自建的 PoznanRD 数据集和 BuildingNet 上显著超越传统插值方法和现有深度补全方法。

Safe-Sim: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries

Safe-Sim 提出了一个基于扩散模型的闭环安全关键仿真框架,通过在扩散去噪过程中引入对抗项和部分扩散(Partial Diffusion)机制,实现了对抗车辆行为类型(碰撞角度、相对速度、碰撞类型)的细粒度控制,在 nuScenes 和 nuPlan 上验证了对多种 planner 的有效评估能力。

Safe-Sim: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries

Safe-Sim 提出了一种基于扩散模型的闭环安全关键仿真框架,通过在去噪过程中注入对抗性引导目标和部分扩散(Partial Diffusion)机制,生成真实且可控的对抗场景来评估自动驾驶规划算法,支持控制碰撞类型、相对速度和 TTC 等关键参数。

SeFlow: A Self-Supervised Scene Flow Method in Autonomous Driving

SeFlow 提出将传统的基于 ray-casting 的动态点分类融入自监督场景流学习管线,通过专门的动态/静态损失函数和基于聚类的物体级运动一致性约束,在 Argoverse 2 和 Waymo 上以实时速度(48ms/帧)取得自监督场景流 SOTA 性能,甚至超越部分有监督方法。

SFPNet: Sparse Focal Point Network for Semantic Segmentation on General LiDAR Point Clouds

SFPNet 提出稀疏焦点调制(SFPM)替代 window-attention,通过多层级上下文提取和门控自适应聚合来避免针对特定 LiDAR 类型的归纳偏置设计,在机械旋转式、固态和混合固态三种 LiDAR 数据集上均取得领先或竞争性性能,并发布了首个混合固态 LiDAR 语义分割数据集 S.MID。

SimPB: A Single Model for 2D and 3D Object Detection from Multiple Cameras

提出 SimPB 统一模型,通过混合解码器(multi-view 2D decoder + 3D decoder)以循环 3D→2D→3D 的方式同时完成多相机 2D 检测和 BEV 空间 3D 检测,在 nuScenes 上两项任务均取得优秀结果。

SLEDGE: Synthesizing Driving Environments with Generative Models and Rule-Based Traffic

SLEDGE 提出了首个基于生成模型的驾驶仿真器,通过 Raster-to-Vector 自编码器将驾驶场景编码为栅格化潜在图(RLM),再利用 Diffusion Transformer 生成高质量的车道图和交通参与者,实现了比 nuPlan 少 500 倍存储(<4GB)的仿真环境,同时支持 500m 长路线测试,暴露了 SOTA 规划器 PDM-Closed 超过 40% 的失败率。

T-MAE: Temporal Masked Autoencoders for Point Cloud Representation Learning

T-MAE 提出了一种时序掩码自编码器预训练策略,以时序相邻两帧为输入,通过掩码当前帧并借助历史帧信息重建来学习时序依赖关系,配合设计的 SiamWCA(孪生编码器+窗口交叉注意力)架构,在 Waymo 和 ONCE 数据集上以更少标注数据和更少训练迭代次数超越 SOTA 自监督方法。

TOD³Cap: Towards 3D Dense Captioning in Outdoor Scenes

首次提出户外 3D 密集描述任务,构建百万级 TOD3Cap 数据集(850 场景 2.3M 描述),设计基于 BEV 特征 + Relation Q-Former + LLaMA-Adapter 的端到端网络,超越适配后的室内方法 +9.6 CIDEr@0.5IoU。

Train Till You Drop: Towards Stable and Robust Source-free Unsupervised 3D Domain Adaptation

针对无源数据的3D语义分割域自适应(SFUDA)中训练后期性能退化问题,提出正则化策略和基于参考模型一致性的验证准则,实现稳定且鲁棒的自适应。

UniM2AE: Multi-modal Masked Autoencoders with Unified 3D Representation for 3D Perception in Autonomous Driving

本文提出 UniM2AE,一个多模态自监督预训练框架,通过将图像和 LiDAR 点云特征统一投影到 3D 体素空间(比 BEV 多保留高度维度),并设计 Multi-modal 3D Interactive Module(MMIM)进行高效跨模态交互,实现了比独立预训练和简单拼接的前序方法更强的 3D 检测(+1.2% NDS)和 BEV 分割(+6.5% mIoU)提升。

UniTraj: A Unified Framework for Scalable Vehicle Trajectory Prediction

UniTraj 构建了一个统一多数据集(nuScenes、Argoverse 2、WOMD)、多模型(AutoBot、MTR、Wayformer)和多评估策略的车辆轨迹预测框架,揭示模型跨数据集泛化能力显著下降,但通过扩大数据规模和多样性可大幅提升性能,合并训练在 nuScenes 排行榜达到第 1 名。

VisionTrap: Vision-Augmented Trajectory Prediction Guided by Textual Descriptions

提出 VisionTrap,将环视相机图像和文本描述引入轨迹预测任务,通过 BEV 视觉语义编码器和文本驱动的去偏对比学习引导模型学习视觉语义线索(如行人姿态、转向灯等),在保持 53ms 实时推理的同时显著提升预测精度并发布 nuScenes-Text 数据集。

VisionTrap: Vision-Augmented Trajectory Prediction Guided by Textual Descriptions

提出 VisionTrap,利用环视相机视觉输入和 VLM/LLM 生成的文本描述作为训练监督,增强自动驾驶场景下的多智能体轨迹预测,同时保持 53ms 实时推理速度。