Towards Effective and Transferable Physical Camouflage against Multi-View BEV-based 3D Perception in Autonomous Driving¶

会议: NeurIPS 2026
arXiv: 2610.32230
OpenReview: https://openreview.net/forum?id=1Hlde2jF93
代码: https://github.com/WAVE-AT-IDEA/BEVCA
领域: 自动驾驶
关键词: 自动驾驶、鸟瞰图感知、对抗伪装、物理世界攻击、多视角神经渲染

一句话总结¶

针对基于鸟瞰图（BEV）的多视角 3D 感知系统，提出对抗伪装框架 BEVCA，通过跨坐标系多视角神经渲染与目标位置掩膜引导的 BEV 特征抑制损失，生成可在物理世界和多种黑盒模型间高迁移的车辆对抗伪装纹理。

研究背景与动机¶

现代自动驾驶视觉感知系统广泛采用环视多相机鸟瞰图（Bird's-Eye-View, BEV）架构（如 BEVFormer、BEVDet 及 LSS），将周围多个视角的二维图像特征统一变换并聚合为全局空间表征，进而联合支撑 3D 目标检测、地图语义分割乃至端到端规划等核心安全任务。然而，深层神经网络对对抗样本的脆弱性给高度依赖视觉感知的自动驾驶构成了严峻的安全威胁。在此背景下，评估并暴露车辆检测模型在物理对抗伪装下的鲁棒性边界，成为自动驾驶安全审计的重要课题。

现有针对车辆检测的物理对抗伪装攻击存在两个根本瓶颈。一方面，经典物理伪装方法（如 FCA、DTA、ACTIVE、RAUCA 与 CNCA）主要针对单视角 2D 目标检测器设计，其优化管线依赖中心化单视角渲染，无法建模自车环视相机阵列与目标车辆之间的多视角空间拓扑关系；而少数针对 3D 感知的局部补丁方法（如 AdvPatch）则因视角覆盖率不足，在多视角融合下极易失效。另一方面，真实世界的对抗攻击通常处于严格的黑盒设定，攻击者无法获取受害者模型的具体网络权重；已有方法普遍依赖特定任务的检测置信度得分构造对抗损失，这种输出层损失严重过拟合于白盒检测头，难以跨越模型结构、backbone 差异甚至下游任务实现迁移。

要实现跨模型、跨任务且视角鲁棒的物理伪装，核心矛盾在于：BEV 特征虽是跨下游任务的统一空间枢纽，但其全局维度高且目标车辆在 BEV 网格中通常仅占据约 3% 的极小局部区域，朴素的全图特征攻击会被大面积无关背景噪声主导导致梯度失效。核心 idea：通过几何配准的多视角可微神经渲染生成环视逼真车辆投影，并借助无车参考场景差分构建极坐标局部敏感掩膜，将对抗攻击聚焦于受害模型 BEV 特征层中的目标车辆敏感区域，实现跨模型与跨任务的高迁移物理对抗伪装。

方法详解¶

整体框架¶

BEVCA 框架由「多视角可微神经渲染」与「掩膜引导的 BEV 特征对抗攻击」两大核心协同模块组成。整体流程以目标车辆的 3D 网格、待优化的对抗纹理 UV 贴图以及自车环视相机参数为输入；多视角神经渲染模块将自车坐标系下的环视相机姿态转换至目标车辆局部坐标系，可微渲染出多视角目标车辆图像，并经由环境特征渲染器融合光照阴影等环境特征，生成逼真的对抗环视输入。随后，BEV 感知编码器分别提取带车对抗场景与成对无车参考场景的 BEV 特征图，利用目标车辆空间真值构建极坐标敏感掩膜滤除无关背景噪声，计算掩膜化 BEV 差分特征的均值损失，结合平滑纹理的总变差（TV）正则化进行端到端梯度反向传播优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 车辆3D网格 + 对抗纹理 UV 贴图 + 相机参数"] --> B["多视角可微姿态映射与环境神经渲染"]
    B --> C["合成多视角环视对抗图像与成对无车参考图像"]
    C --> D["BEV 空间特征提取与差分热力图计算"]
    D --> E["极坐标位置敏感掩膜过滤与背景去噪"]
    E --> F["掩膜化 BEV 特征对抗损失与 TV 正则化优化"]
    F -->|反向传播迭代更新| A

关键设计¶

1. 跨坐标系多视角可微姿态映射与环境渲染：解决多相机空间相对视角解算与虚实光照拟合

传统单视角对抗伪装假定目标车辆位于视野中心，仅需单一相机对准物体的相对位姿；但在自动驾驶多视角 BEV 感知中，自车搭载 6 个不同朝向与安装位置的相机，必须精确计算每个相机相对于目标车辆坐标系的相对姿态，否则渲染图像将出现投影畸变与多视角几何不一致。BEVCA 从 CARLA 仿真环境获取自车全局位姿 $(t_{ego}^{glob}, R_{ego}^{glob})$、目标车辆全局位姿 $(t_{tar}^{glob}, R_{tar}^{glob})$ 以及各相机在自车坐标系下的安装位姿 $(t_{cam}^{ego}, R_{cam}^{ego})$。由于 CARLA 采用左手坐标系而 PyTorch3D 采用右手坐标系，先经手性矩阵 $M = \text{diag}(1, -1, 1)$ 进行镜像校正，并应用轴对齐变换矩阵 $R_D$ 将 CARLA 相机坐标系转换至 PyTorch3D 规范坐标系，构建全局变换矩阵 $T_{tar \leftarrow glob}$ 与 $T_{glob \leftarrow ego}$，进而推导出各相机在目标车辆局部坐标系下的准确姿态矩阵： $$\Phi_r = (T_{tar \leftarrow glob} \cdot T_{glob \leftarrow ego}) \cdot \Phi_{cam}$$ 在此基础上，通过可微渲染器得到车辆多视角纯净渲染图 $X_{nr}$，再结合预训练环境特征渲染器（EFR）从背景图提取光照、雾气和阴影特征，合成最终逼真的多视角环视对抗图像 $X_{adv} = EFR(X_{in}, X_{nr})$，保证了梯度能够从多视角图像无损反传至统一的 2D 纹理贴图。

2. 成对差分与极坐标 BEV 局部敏感掩膜：消除背景高维噪声并精确定位车辆敏感表征

将攻击锚定在 BEV 空间虽然天然具备跨下游任务（3D 检测、栅格分割等）的迁移潜力，但 BEV 特征图尺寸巨大（如 $H \times W \times C$），而目标车辆在鸟瞰网格中仅占约 3% 的局部面积。如果直接对整个 BEV 特征图做未加约束的激活抑制，损失函数的梯度会被 97% 的道路、建筑及天空等无关背景特征的波动所淹没，导致对抗优化停滞。BEVCA 设计了成对参考与极坐标几何掩膜机制：首先构建一组完全相同视角和环境配置但移除目标车辆的无车图像 $X_{no}$，分别输入受害者模型的 BEV 编码器提取特征 $B_{adv} = BEV(X_{adv})$ 与 $B_{no} = BEV(X_{no})$，得到无偏反映车辆扰动影响的绝对差分特征图 $B_{diff} = |B_{adv} - B_{no}|$。接着利用目标车辆在自车相对极坐标系下的真值位置 $(r_{tar}, \theta_{tar})$，定义距离阈值 $\Delta r$ 与方位角阈值 $\Delta \theta$ 的几何截断掩膜： $$\mathcal{M}_{bev} = \left\{(r, \theta) \,\middle|\, |r - r_{tar}| \le \Delta r, \; |\theta - \theta_{tar}| \le \Delta \theta\right\}$$ 通过将 $B_{diff}$ 与 $\mathcal{M}_{bev}$ 逐元素相乘得到纯净的目标敏感区域 $B_{masked} = B_{diff} \cdot \mathcal{M}_{bev}$，彻底过滤了背景区域的梯度干扰，使优化方向高度聚焦于破坏车辆本身的 BEV 空间表征。

3. 掩膜特征对抗抑制损失与视觉平滑约束：平衡黑盒迁移能力与实体物理可制造性

为使生成的伪装具备跨模型黑盒迁移力，对抗损失不能绑定于特定的分类器输出或回归预测头，而必须直接驱使 BEV 空间中由目标车辆引发的特征畸变最小化，使受害者模型在特征层面“看不见”车辆的存在。BEVCA 将对抗损失 $L_{adv}$ 定义为敏感掩膜内非零响应元素的均值： $$L_{adv} = \frac{\sum_i B_{masked, i}}{\sum_i \mathbb{1}(B_{masked, i} \neq 0)}$$ 与此同时，物理世界中通过打印粘贴到车辆表面的迷彩图案受限于印刷分辨率、材料反光以及人眼隐蔽性，若对抗纹理包含过多高频高斯噪声，不仅物理打印失真严重，还会损失长距离视角下的对抗有效性。BEVCA 引入总变差（Total Variation, TV）损失 $L_{tv}$ 惩罚相邻像素间的剧烈色彩跳变，总优化目标为： $$L_{total} = \alpha L_{adv} + \beta L_{tv}$$ 在实验设定中选取 $\alpha = 1, \beta = 1000$，在强制生成平滑连贯宏观斑块纹理的同时，确保了对抗信号在远距离相机采样与物理重拍摄下的抗损耗能力。

损失函数 / 训练策略¶

优化过程以随机初始化的纹理贴图 $T_{adv}$ 为起点，在由 CARLA 生成的 2,500 个多视角驾驶场景样本集上执行 10 个 epoch 的离线优化。采用 Adam 优化器，学习率设为 0.01。掩膜参数选定 $\Delta r = 15\,\text{m}, \Delta \theta = 15^\circ$，权重系数为 $\alpha=1, \beta=1000$。单张 NVIDIA RTX A800 80GB GPU 上离线优化总耗时约 20 小时。优化完成后，将 2D 纹理贴图解算为展开 UV 贴图，即可直接进行物理实体打印与车身贴附部署。

实验关键数据¶

主实验¶

主实验在 CARLA 仿真环境的 500 个独立测试样本上评估各方法攻击多种 BEV 感知模型的效果。白盒代理模型为 BEVFormer-base，测试模型包含 5 种 3D 检测模型及 3 种 BEV 地图分割模型（其余均为黑盒测试）。3D 目标检测评价指标为地平面 2D 中心距离平均精度（AP），BEV 分割指标为车辆类别交并比（IoU），指标数值越低代表攻击逃逸能力越强。

方法类型	伪装方法	BEVFormer-Base (AP↓)	BEVFormer-Small (AP↓)	BEVFormer-Tiny (AP↓)	Base-Seg-Det (AP↓)	Small-Seg-Det (AP↓)	LSS (IoU↓)	CVT (IoU↓)	SinBEVT (IoU↓)
无攻击	正常车漆 (Normal)	0.618	0.721	0.514	0.750	0.634	0.509	0.609	0.570
3D局部补丁	AdvPatch	0.601	0.702	0.516	0.703	0.608	0.479	0.579	0.533
2D整车伪装	FCA	0.593	0.696	0.512	0.721	0.595	0.442	0.505	0.489
2D整车伪装	DTA	0.578	0.663	0.469	0.684	0.591	0.372	0.480	0.449
2D整车伪装	ACTIVE	0.559	0.664	0.433	0.682	0.588	0.367	0.481	0.436
2D整车伪装	RAUCA	0.562	0.682	0.479	0.689	0.576	0.380	0.459	0.427
2D整车伪装	CNCA	0.567	0.626	0.404	0.634	0.523	0.306	0.401	0.360
本文方法	BEVCA (Ours)	0.191	0.285	0.381	0.329	0.331	0.253	0.307	0.273

在实体物理世界测试中，将 UV 贴图打印张贴于 1:1 奥迪真实车辆上，搭建严格匹配 nuScenes 几何布局的 6 相机采集平台（包含不同方位角与距离各 150 组样本）。以攻击成功率 ASR（在干净车漆下被正确检测而在伪装下无法检出的比例，IoU 阈值 0.5）评估：

评估方法	BEVFormer-Base (ASR↑)	BEVFormer-Small (ASR↑)	BEVDet-R50 (ASR↑)	BEVDet-R50-CBGS (ASR↑)	平均 ASR↑
CNCA (最强基线)	30.00%	29.49%	42.80%	34.99%	34.32%
BEVCA (Ours)	49.60%	46.99%	64.41%	42.13%	51.18%

消融实验¶

消融实验对比了不同层级对抗损失函数在固定受害者白盒模型（BEVFormer-base）下生成纹理后的跨模型攻击效果：包含基于 3D 检测置信度的损失 $L_{det}$、基于 BEV 编码器内图像特征的损失 $L_{enc}$、基于检测头隐层特征的损失 $L_{head}$、无掩膜的全图 BEV 特征损失 $L_{bev}$，以及本文的掩膜化 BEV 损失 $L_{bev} + \mathcal{M}_{bev}$。

对抗损失配置	BEVFormer-Base (AP↓)	BEVFormer-Small (AP↓)	BEVFormer-Tiny (AP↓)	Base-Seg-Det (AP↓)	Small-Seg-Det (AP↓)	LSS (IoU↓)	CVT (IoU↓)	SinBEVT (IoU↓)
检测输出层 $L_{det}$	0.564	0.683	0.498	0.728	0.597	0.450	0.505	0.467
图像编码层 $L_{enc}$	0.392	0.564	0.428	0.528	0.529	0.380	0.371	0.333
检测头隐层 $L_{head}$	0.471	0.603	0.485	0.601	0.529	0.367	0.426	0.347
朴素全图 $L_{bev}$ (无掩膜)	0.612	0.704	0.508	0.735	0.585	0.498	0.588	0.574
完整模型 $L_{bev} + \mathcal{M}_{bev}$	0.191	0.285	0.381	0.329	0.329	0.253	0.307	0.258

关键发现¶

无掩膜的朴素 BEV 攻击几乎完全失效：消融实验表明，如果不使用掩膜（$L_{bev}$），BEVFormer-base 的 AP 仅轻微变动至 0.612（几乎与干净车漆 0.618 持平）。这直接证实了前述理论洞察：车辆在 BEV 网格中面积占比极低（约 3%），无掩膜时巨量的环境背景梯度噪声压制了真正的目标攻击信号；而一旦引入几何极坐标掩膜 $\mathcal{M}_{bev}$，AP 骤降至 0.191，攻击效果呈量级提升。
特征层攻击展现出压倒性的跨任务/跨模型黑盒迁移性：相比于直接针对特定任务检测头置信度的 $L_{det}$，BEVCA 在所有黑盒检测器上平均提升约 36.2% 的攻击效果，并在跨任务的 BEV 分割模型（LSS、CVT、SinBEVT）上平均提升 21.6%。甚至在不同视角变换范式下（向后采样的 BEVFormer 与前向投影的 BEVDet），实体物理 ASR 达到 42.13%～64.41%，证明 BEV 空间表征是自动驾驶多视角感知的通用脆弱点。
物理世界的真实防御抵御力：针对高斯滤波、输入图像平滑以及 JPEG 压缩等防御手段，BEVCA 依然保持显著的性能退化优势（例如 JPEG QF=25 压缩下，BEVFormer-base 的 AP 仍低至 0.113），显示出几何平滑伪装在低频结构层面的内在对抗韧性。

亮点与洞察¶

将多视角环视几何严格嵌入可微神经渲染：打破了过去单视角对抗攻击假定目标居中的简化假设，打通了 CARLA 左手系与 PyTorch3D 右手系及不同相机光学坐标系的多步闭式位姿变换，为多视角 3D 感知的物理对抗仿真建立了通用管线。
以表征差分掩膜破解稀疏目标的梯度噪声淹没难题：巧妙利用相同环境无车成对场景与极坐标真值位置构建动态掩膜，用极简的几何滤波剔除了 97% 以上的非关键网格噪声，是深度特征对抗攻击中处理极端空间稀疏性的可复用技巧。
反哺自动驾驶安全：对抗训练显著恢复感知韧性：论文进一步揭示出利用 BEVCA 生成的 500 个对抗样本对感知模型进行对抗微调后，BEVFormer-base 的 AP 从 0.191 大幅回升至 0.615，CVT 从 0.307 回升至 0.567，证明该攻击框架可直接作为自动驾驶主动安全防御与鲁棒性训练的高价值数据生成器。

局限与展望¶

车辆 3D 几何与纹理强耦合：当前的对抗伪装 UV 贴图与特定车型（如奥迪 E-Tron）的几何 Mesh 紧密绑定，若攻击不同外形或轮廓的车型（如卡车、SUV 或异形工程车），需要重新执行离线优化，缺乏几何通用的跨车型伪装生成机制。
真实物理部署中的 Sim-to-Real 域差异：虽然物理实验验证了较高的 ASR，但印刷贴膜产生的局部褶皱、车身曲面形变、不同天气下的环境镜面高光等物理扰动尚未在可微渲染过程中实现显式闭环建模。
前沿端到端与世界模型扩展：随着自动驾驶架构向端到端（VLA）模型与世界模型演进，尽管 BEV 依然是核心中间表征，但在时序长窗口与轨迹规划联合优化下对抗伪装的时间连贯性仍待深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对多视角 BEV 3D 感知表征的物理对抗伪装框架，跨坐标系多视角渲染与 BEV 差分掩膜设计新颖且针对性强。
实验充分度: ⭐⭐⭐⭐⭐ 兼具 CARLA 仿真环境下跨 8 种感知模型/任务的详实数字实验，以及 1:1 真实车辆张贴和 6 相机实测评估，消融与防御实验完备。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，几何坐标系推导严密，问题提出与消融验证逻辑高度自洽。
价值: ⭐⭐⭐⭐⭐ 切中高阶自动驾驶核心视觉感知的安全软肋，并提供了对抗训练防御恢复方案，对工业界主动安全审计具有重大参考价值。

对抗损失配置	BEVFormer-Base (AP↓)	BEVFormer-Small (AP↓)	BEVFormer-Tiny (AP↓)	Base-Seg-Det (AP↓)	Small-Seg-Det (AP↓)	LSS (IoU↓)	CVT (IoU↓)	SinBEVT (IoU↓)
检测输出层 \(L_{det}\)	0.564	0.683	0.498	0.728	0.597	0.450	0.505	0.467
图像编码层 \(L_{enc}\)	0.392	0.564	0.428	0.528	0.529	0.380	0.371	0.333
检测头隐层 \(L_{head}\)	0.471	0.603	0.485	0.601	0.529	0.367	0.426	0.347
朴素全图 \(L_{bev}\) (无掩膜)	0.612	0.704	0.508	0.735	0.585	0.498	0.588	0.574
完整模型 \(L_{bev} + \mathcal{M}_{bev}\)	0.191	0.285	0.381	0.329	0.329	0.253	0.307	0.258