RESBev: Making BEV Perception More Robust¶

会议: NeurIPS 2026
arXiv: 2603.09529
论文: https://arxiv.org/abs/2603.09529
领域: 自动驾驶
关键词: 鸟瞰图感知、鲁棒感知、潜在语义先验、异常重构、时序动态预测

一句话总结¶

RESBev 针对自动驾驶鸟瞰图（BEV）感知易受恶劣天气、传感器故障及对抗攻击干扰的脆弱性，提出了一种即插即用的语义先验预测与引导重构框架，通过潜在动态预测器结合自车运动预测干净 BEV 先验，并以交叉注意力选择性提取受扰观测中的有效信息，在不依赖额外传感器或昂贵扩散采样的前提下显著提升了现有 BEV 模型的全方位鲁棒性。

研究背景与动机¶

鸟瞰图（BEV）表征已成为现代自动驾驶感知系统的基石。通过将环视多相机图像投影到统一的自车自顶向下坐标系中，BEV 感知有效消除了透视视角的投影歧义性，并为下游规划控制提供了物理几何一致的空间环境理解。从经典的 Lift-Splat-Shoot（LSS）到引入时序自注意力的 BEVFormer，现存感知方案在 nuScenes 等基准数据集上取得了亮眼的检测与分割精度。然而，自动驾驶的真实部署环境充满了不可控的不确定性：极端恶劣天气（大雾、暴雪、过曝、昏暗暗光）、硬件传感器失效（相机掉线、随机丢帧、高斯噪声），以及潜在的数字或物理对抗攻击（FGSM、PGD、C&W 等），都会诱发输入特征的剧烈失真，导致 BEV 感知产生致命的漏检与误报，直接危及行车安全。

面对感知鲁棒性退化的痛点，现存防御方案均存在明显的机制或计算瓶颈。多模态融合方案依赖激光雷达或毫米波雷达等额外硬件，不仅推高了量产成本，还在雷达受损或恶劣天气时同样面临跨模态失效风险；基于时序聚合的方法虽然利用了历史帧信息，但在面临持续性干扰时往往直接将当帧受损特征混入聚合流程，反而加速了异常噪声的跨时序扩散；而最新涌现的基于扩散模型的 BEV 降噪方案（如 DiffBEV、BEVDiffuser）通常需要多步迭代采样或依赖繁重的生成网络，带来了难以承受的推理延迟与显存开销。更为关键的是，通过系统的诊断实验可以发现，透视视图特征对传感器噪声极其敏感，而任务预测头输出高度压缩已失去修复空间，唯有处于 Splat 阶段的高维、结构化 BEV 语义特征才是鲁棒恢复的最佳空间。

这一发现揭示了防御机制的核心切入点：要实现高效且通用的抗扰能力，绝不能盲目进行单帧去噪或直接粗暴地时序特征累加，而应利用历史干净状态与自车运动前向推演当前时刻的先验基准，以此先验为主导去从受污染的当前输入中“沙里淘金”。核心 idea：将 BEV 鲁棒感知重构为“潜在时序语义先验预测 + 先验引导的选择性异常重构”两阶段范式，先在低维潜在空间建模自车运动引导的时空状态演化以生成纯净 BEV 先验，再以此先验作为查询（Query）通过交叉注意力自适应滤除当帧畸变并吸纳有效增量，实现单步高效的即插即用鲁棒恢复。

方法详解¶

整体框架¶

RESBev 整体架构作为即插即用的语义级中间模块，嵌入在既有 BEV 骨干网络（如 LSS、SimpleBEV、GaussianLSS、BEVFormer）的视角转换之后与下游任务头之前。整个处理流水线包含两个核心协同模块：语义先验预测器（Semantic Prior Predictor）与异常重构器（Anomaly Reconstructor）。

在时序推进过程中，系统首先接收上一时刻已完成重构的干净 BEV 特征 $f^{rec}_{t-1}$ 以及当前时刻的自车相对运动矢量 $a_{t-1}$。语义先验预测器通过轻量视觉与动作编码器将其映射到紧凑潜在空间，利用潜在动态预测器（LDP）推演时空转移，再由解码器还原出当帧的高维干净 BEV 先验 $f^{pred}_t$。随后，异常重构器将 $f^{pred}_t$ 作为查询锚点，与经过当帧受扰图像提取得到的受损 BEV 特征 $f^{corrupt}_t$ 进行空间交叉注意力交互，抑制噪声响应并检索真实场景线索，最后通过可学习的动态门控残差分支融合生成当帧重构特征 $f^{rec}_t$，无缝输入至检测或分割任务头中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph Input["多视角输入与历史状态"]
        direction TB
        A1["历史重构特征<br/>f_rec_t-1 (200×200×C)"]
        A2["自车运动矢量<br/>a_t-1 (15维位移与旋转)"]
        A3["当帧受扰环视图像<br/>I_t_corrupt (6相机视角)"]
    end
    A3 --> B0["主干与视角转换<br/>提取受损特征 f_corrupt_t"]
    A1 & A2 --> B1["潜在语义先验预测<br/>视觉/动作编码 + LDP + 解码"]
    B1 -->|预测纯净先验 f_pred_t| C1["查询引导的异常重构<br/>先验作为Q / 受损特征作为K,V"]
    B0 -->|提供受扰K/V上下文| C1
    C1 --> C2["动态门控残差融合<br/>通道级自适应权重 α"]
    B1 -->|残差直连主路| C2
    C2 --> D["最终重构特征 f_rec_t<br/>送入下游检测/分割任务头"]

关键设计¶

1. 潜在语义先验预测：压缩潜在空间中的自车运动感知时空推演 传统时序方法直接在高维密集的 BEV 特征空间（如 $C \times 200 \times 200$）进行递归或卷积推演，计算复杂度极高且容易因局部扰动导致时序误差迅速累积。针对该痛点，语义先验预测器构建了“编码-低维推演-解码”的轻量预测通路。视觉编码器 $E_{vis}$ 采用 3 层步长为 2 的 $3 \times 3$ 卷积块，将上一帧重构特征 $f^{rec}_{t-1} \in \mathbb{R}^{C \times 200 \times 200}$ 空间下采样为 $25 \times 25$ 的网格，展平得到 $N=625$ 个视觉潜在 token $z^{vis}_{t-1} \in \mathbb{R}^{625 \times 256}$；同时，动作编码器 $E_{act}$ 由 2 层 MLP（$15 \to 128 \to 256$，带 GELU 激活）将包含相对平移与旋转的自车运动矢量 $a_{t-1} \in \mathbb{R}^{15}$ 投影为单动作 token $z^{act}_{t-1} \in \mathbb{R}^{1 \times 256}$。二者拼接形成动作感知潜在状态 $z_{t-1} = \text{Concat}(z^{vis}_{t-1}, z^{act}_{t-1}) \in \mathbb{R}^{626 \times 256}$。随后，由 4 层 Transformer 编码块（8 头注意力，MLP 扩展比 4.0）构成的潜在动态预测器（LDP）捕捉动态交互，输出预测的当帧潜在状态 $z^{pred}_t$。最后，BEV 解码器 $D$ 通过两阶段反卷积上采样与卷积平滑将潜在表征映射回原始密集空间，得到当前时刻的干净 BEV 语义先验： $$f^{pred}_{t} = D\Big(\text{LDP}\big(\text{Concat}(E_{vis}(f^{rec}_{t-1}), E_{act}(a_{t-1}))\big)\Big)$$ 该设计不仅将推演计算压缩在极低维度，更借助自车运动显式补偿了视角位移，使先验能够准确对齐当前几何坐标系。

2. 查询引导的异常重构：以纯净先验为锚点的选择性跨注意力检索 尽管纯时序先验提供了可靠的宏观结构，但由于物理世界存在不可预知的突发动态事件（例如邻道车辆突然变道切入），仅靠历史推演无法感知当前帧的新生真实目标。然而，若直接融合当帧观测，输入中的对抗扰动或雨雪遮挡又会污染特征。为此，异常重构器采用“先验为锚、按需寻优”的跨注意力过滤机制。它将未受当帧噪声污染的预测先验 $f^{pred}_t$ 作为查询源（Query），而将当帧受损特征 $f^{corrupt}_t$ 同时映射为键（Key）和值（Value）： $$Q = f^{pred}_t, \quad K = f^{corrupt}_t, \quad V = f^{corrupt}_t$$ 由于注意力权重由 $Q$ 与 $K$ 的内积相关性决定，只有当受扰观测中的特征模式与合理的宏观先验在几何与语义上具有连贯相关性时，其权重才会被激活；而与先验严重偏离的对抗高频噪点或无结构的遮挡异常，其响应在注意力分布中会被自然衰减与抑制。这一非对称检索范式实现了在保留当前帧有效增量细节的同时，最大限度拦截输入端伪影。

3. 动态门控残差融合：自适应调和历史先验与实时环境突变 在跨注意力提取出潜在有效特征后，如何将其与纯净先验 $f^{pred}_t$ 稳定合成直接决定了系统在极端失效工况下的安全性下限。若当前传感器遭遇极度恶劣的扰动（如多路相机彻底黑屏掉线、高强度 C&W 攻击），检索出的特征可能仍残留不可信信号。为此，模块在残差分支上引入了通道级自适应门控因子 $\alpha \in [0, 1]$： $$f^{rec}_t = f^{pred}_t + \alpha \cdot \text{CrossAttn}(f^{pred}_t, f^{corrupt}_t)$$ 门控模块由轻量 2 层 MLP 结合 Sigmoid 激活函数构成，输入融合特征后自适应生成通道权重。当检测到当帧输入严重劣化、跨注意力响应不可信时，网络自动将 $\alpha \to 0$，退化为完全依赖可靠的运动外推先验 $f^{pred}_t$，确保系统拥有稳健的安全兜底；而在良态或轻微扰动场景下，$\alpha$ 自适应增大，充分吸收当帧新进入视野的前景细节，实现先验稳定性与感知实时性的最优动态平衡。

损失函数 / 训练策略¶

为了使 RESBev 同时具备鲁棒重建能力与冷热启动适应性，模型采用成对连续双帧多视角图像 $(\mathbf{I}_{t-1}, \mathbf{I}_t)$ 进行端到端训练。在数据输入策略上，当前帧 $\mathbf{I}_t$ 始终施加随机扰动采样 $\mathcal{C}_t(\mathbf{I}_t)$；而历史输入帧 $\mathbf{I}_{t-1}^{hist}$ 则遵循伯努利分布以概率 $p_{hist}$ 保持干净、以 $1 - p_{hist}$ 施加扰动。这种非对称设计促使模型在历史干净（常态巡航）与历史受扰（持续恶劣工况）两种启动条件下均能稳健收敛。

训练监督信号由未受污染的当帧特征经截断梯度后提供 $f^{target}_t = \text{sg}(f^{clean}_t)$，总体优化目标由三部分多任务损失线性加权构成： $$\mathcal{L} = \mathcal{L}_{task} + \lambda_p \mathcal{L}_p + \lambda_r \mathcal{L}_r$$ 其中先验预测损失 $\mathcal{L}_p = \text{MSE}(f^{pred}_t, f^{target}_t)$ 强制 LDP 学习无噪状态演化；特征重构损失 $\mathcal{L}_r = \text{MSE}(f^{rec}_t, f^{target}_t)$ 约束重构器恢复高保真特征；$\mathcal{L}_{task} = \ell_{task}(H(f^{rec}_t), y_t)$ 则监督最终下游任务头（分割 Focal/Dice 损失或检测分类与边界框回归损失）。在单次前向推理阶段无需任何反向迭代，以恒定单步速度完成高鲁棒性感知。

实验关键数据¶

主实验¶

评估在标准自动驾驶基准 nuScenes 上开展，涵盖 BEV 语义分割（车辆类 IoU）与 3D 目标检测（NDS 指标）。测试基准遵循 RoboBEV 协议，对可见扰动（FGSM、PGD、大雾 Fog、强光 Bright、相机丢帧 Frame Lost）以及完全不可见的全新扰动（C&W 攻击、暴雪 Snow、相机故障掉线 Camera Crash、高斯噪声 Noise、昏暗夜间 Dark）在三个严苛严重度等级下测定平均性能。

下表给出了在四种主流密集 BEV 骨干网络上集成 RESBev 后的平均车辆语义分割 IoU（%）对比（涵盖可见与不可见扰动总平均）：

骨干模型	干净输入 (Clean)	可见扰动平均 (Seen Avg.)	可见扰动增益 ($\Delta$)	不见扰动平均 (Unseen Avg.)	不见扰动增益 ($\Delta$)
LSS (Vanilla)	33.03	9.96	-	9.17	-
LSS + RESBev	33.31	29.02	+19.06	28.82	+19.65
SimpleBEV (Vanilla)	55.70	15.53	-	16.01	-
SimpleBEV + RESBev	55.91	32.80	+17.27	33.11	+17.10
GaussianLSS (Vanilla)	42.80	16.12	-	13.96	-
GaussianLSS + RESBev	43.14	31.59	+15.47	31.66	+17.70
BEVFormer (Vanilla)	46.70	23.42	-	24.55	-
BEVFormer + RESBev	47.01	38.82	+15.40	39.48	+14.93
DiffBEV (基线对比)	38.90	28.10	-	29.87	-

在 3D 目标检测任务上，RESBev 在 BEVFormer-base 与多模态 BEVFusion 上的 NDS（%）表现同样全面超越扩散去噪 SOTA 方法 BEVDiffuser： - BEVFormer-base 骨干：在可见扰动下，Vanilla 仅 33.84，BEVDiffuser 为 44.08，而 +RESBev 达到 51.11（比 Vanilla 提升 +17.27，比 BEVDiffuser 高出 7.03）；在未见扰动下，Vanilla 暴跌至 27.90，BEVDiffuser 为 43.36，而 +RESBev 高达 50.83（提升 +22.93）。 - BEVFusion 骨干：在可见扰动下，Vanilla 为 52.23，BEVDiffuser 为 66.86，+RESBev 达到 70.85（接近干净输入下的 71.7）；在未见扰动下，Vanilla 为 51.08，+RESBev 达 70.92，显著领先 BEVDiffuser 的 63.85。

消融实验¶

为了严格检验核心组件的有效性以及在多步递归调用下的长程稳定性，进行了两组关键分析实验。

首先是核心模块在四种骨干网络上的消融分析（指标为 5 类可见扰动下的平均 IoU）：

配置选项	LSS IoU (%)	SimpleBEV IoU (%)	GaussianLSS IoU (%)	BEVFormer IoU (%)
仅先验预测器 (Predictor-only)	26.67	30.11	29.16	35.48
预测器 + 异常重构器 (Full RESBev)	29.02	32.80	31.59	38.82
相对提升幅度 (Gain)	+8.8%	+8.9%	+8.3%	+9.4%

其次是在 50 步连续极端受扰时序下的递归长程稳定性测试（基于 LSS 骨干，输入各帧均持续遭受对应攻击或干扰）：

持续干扰类型	1 步重构 IoU	10 步递归 IoU	30 步递归 IoU	50 步递归 IoU	50步相对衰减
FGSM 对抗攻击	28.42	28.58	28.12	28.11	-1.09%
PGD 对抗攻击	31.47	30.93	30.97	30.84	-2.00%
大雾环境 (Fog)	28.39	28.03	28.00	27.89	-1.76%
强光干扰 (Bright)	28.38	27.91	27.88	27.89	-1.72%
相机丢帧 (Frame Lost)	28.33	28.48	28.31	28.43	+0.35%

关键发现¶

双模块缺一不可：消融实验表明，仅依靠潜在预测器即可提供 26~35% 的基础鲁棒性，但加入查询引导的异常重构器后带来了额外 8.3%~9.4% 的显著增益。这证实了从受损输入中动态提取当帧真实环境线索对消除单纯外推误差至关重要。
卓越的长程递归稳定性：面对连续 50 帧的严苛持续扰动，RESBev 的性能衰减幅度极小（仅 1%~2%），完全没有发生由于自回归时序累积导致的误差发散崩溃，证明预测先验与动态门控具有极强的自愈纠偏能力。
极低的部署与推理代价：在 BEVFormer-base 上的测试表明，加入 RESBev 参数量仅从 69.1M 微增至 83.8M（+14.7M），计算量从 1311G 增加至 1552G，FPS 仅由 2.7 Hz 轻微下降至 2.4 Hz（推理时延仅增加约 46 ms，相比扩散去噪模型节省数倍开销），显存仅增加 1.4 GB，展现出绝佳的工业部署实用性。

亮点与洞察¶

从特征去噪到时序演化预测的认知转变：以往防御策略多将输入畸变视为静态加性噪声并试图在单帧内部完成滤波消除，而 RESBev 深刻洞察到自动驾驶场景中车辆自车运动与空间布局具有高度的时空连续性，通过把鲁棒性转化为低维潜在状态的确定性时序外推，从根本上避开了在受污染观测中苦苦去噪的被动困境。
查询与键值分离的跨注意力信息过滤器：创造性地以“干净预测先验作为 Query、受损观测作为 Key/Value”，利用注意力相似度天然构筑了自适应语义防火墙，既保障了新突发目标的动态拾取，又对空间不相关的对抗高频抖动和极端天气伪影形成了硬隔离。
普适即插即用性与双向防御泛化能力：模块完全无需修改原有的视角转换主干或检测头，仅在密集 BEV 语义特征层介入；不仅在常见天气与丢帧上效果突出，而且未参与训练的未知攻击（如 C&W）和未知天气（暴雪、相机损坏）上同样展现出零样本泛化提升，证明其学到的是本质的时空物理演化规律而非特定攻击模式的浅层拟合。

局限与展望¶

作者承认的局限：目前验证主要集中在 BEV 车辆语义分割与 3D 目标检测任务上，尚未拓展至三维占据栅格预测（Occupancy Prediction）与高精在线矢量建图（Online Mapping）等细粒度下游任务；此外，当前动态推演基于确定性模型，面对极度随机突发的多目标交互场景建模能力仍有提升空间。
自身观察与评估：在长程极端拐弯或高速大曲率变道等自车剧烈机动工况下，相对运动编码 $a_{t-1}$ 若受到自车里程计漂移误差影响，可能导致预测先验发生空间几何错位，进而降低跨注意力检索的几何对齐精度。
改进与拓展思路：未来可探索在潜在空间引入多假设状态分布预测或轻量扩散潜变量表征，以显式建模场景不确定性；同时结合图神经网络对多动态交互交通参与者进行结构化动力学追踪，进一步提升极复杂城市场景下的全天候鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首次将 BEV 鲁棒感知重构为低维潜在时序语义先验预测与非对称先验检索范式，设计极为巧妙且具备即插即用特性)
实验充分度: ⭐⭐⭐⭐⭐ (全面覆盖 10 类自然与对抗扰动、3 个严重度等级、4 大经典骨干、分割与检测双任务及 50 步长程稳定性测试，数据极其详实)
写作质量: ⭐⭐⭐⭐⭐ (问题剖析深入骨髓，诊断实验层层递进，动机阐述逻辑严密，图表清晰完整)
价值: ⭐⭐⭐⭐⭐ (不仅为学术界提供了单目/环视视觉鲁棒感知的统一研究范式，而且极低的时延与显存占用赋予了其巨大的量产工程落地价值)