SWAN: World-Aware Adaptive Multimodal Networks for Runtime Variations¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/nesl/SWAN
领域: 自动驾驶
关键词: 动态多模态网络, 运行时自适应, 3D目标检测, 神经网络排序, 动态Token剪枝

一句话总结¶

针对自动驾驶中多模态传感器信息质量波动、平台计算资源动态受限与样本复杂度不一三重运行时变化，SWAN 提出了由可微 NeuralSort 驱动的 QoI 资源分配控制器、层内条件跳过模块 SkipGate 与检测头 Token 剪枝组成的端到端自适应网络，在 nuScenes 上降低至多 49% 计算量且保持优异检测精度。

研究背景与动机¶

深度多模态感知网络（如结合相机图像与激光雷达点云的 BEVFusion 或 CMT）已成为自动驾驶（AV）系统应对复杂环境的主流方案，通过跨模态信息冗余有效缓解了单传感器受损带来的感知失效。然而，现实自动驾驶场景并非静态闭环，车辆在行驶过程中会遭遇持续而剧烈的运行时变化（Runtime Variations）。这些变化主要体现在三个正交维度：一是传感器输入信息质量（Quality of Information, QoI）的动态恶化，例如暴雨大雾、夜间低光、镜头虚焦或激光雷达发射线束由于硬件降级而骤减；二是边缘计算平台算力资源的动态波动，例如车辆高速行驶要求更紧迫的控制时延、电池低电量节能模式或车载计算芯片因散热不良触发的热降频（Thermal Throttling）；三是环境输入样本固有的复杂度差异，空旷道路上的简易场景与拥堵十字路口的密集目标对特征深度的需求截然不同。

现有多模态与自适应架构往往只能孤立应对其中一种动态：Once-For-All、LayerDrop 等重构网络虽然支持推理时指定网络深度，但无法兼顾各模态实时质量分布的非对称倾斜；ADMN 这类控制器驱动的方案虽然尝试按质量分配模态层数，但其依赖 Straight-Through 梯度估计导致层重要度排序极为不稳定，且无法在指定预算内针对样本复杂度做细粒度算力节省；而以 AdaViT 为代表的输入自适应 Early-Exit 网络仅优化平均计算量，完全无法保证在算力严苛受限时的确定性最坏情况延迟。当这三重变化在真实部署中同时发生时，现有系统要么算力耗尽引发灾难性超时，要么将宝贵的算力错误分配给被严重遮挡失效的传感器通道。

针对上述多重动态复合的挑战，本文的切入角度是解耦“宏观模态间算力配比”与“微观样本级层/特征剪枝”，并将两者的决策过程与物理质量和硬性预算显式绑定。核心 idea：构建样本与环境感知的多模态自适应网络 SWAN，通过连续松弛可微排序算法 NeuralSort 训练轻量 QoI 控制器在任意用户给定算力预算下精准分配各模态骨干层数，并在层内串联输入特征驱动的 SkipGate 条件执行模块与检测头无意义背景 Token 剪枝，实现对信息质量、平台算力上限与输入复杂度的三重联合自适应。

方法详解¶

整体框架¶

SWAN 以主流端到端 3D 目标检测框架 CMT 为底层主干，相机构造采用 12 层 Swin-Tiny Transformer，激光雷达构造采用 8 层 FlatFormer 稀疏窗注意力网络，总计提供 20 个可选骨干层。整个系统的处理流水线划分为宏观预算编排、微观特征门控与空间语义压缩三个连续阶段。首先，输入相机的多视角图像与激光雷达点云分别经过轻量卷积网络提取出环境扰动特征向量，连同用户当前指定的计算层数预算正弦编码一并送入 QoI 感知控制器（QoI-Aware Controller）；该控制器输出各层激活得分，在推理时直接选取前 $b$ 个最大响应对应的网络层进行激活。随后，在每个被选中的骨干网络层入口处，模态共享的 SkipGate 条件跳过模块结合上一层特征均值、当前层索引、本模态剩余分配层数及对侧模态层数等全局上下文，动态判断是否执行当前层计算，从而在样本本身较为简单时将算力进一步压低至最大预算下方。最后，在骨干网络特征输出至 DETR 式 Transformer 检测头之前，轻量级 Token 剪枝模块依据空间语义分布剔除大量不包含有效物体的背景 Token（如天空、远景地表），极大减轻密集交叉注意力的计算开销。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入 (相机多视角图像 + 激光雷达点云)<br/>与用户动态层数预算 b"] --> B["QoI-Aware Controller: 模态层数联合分配<br/>轻量卷积提取 QoI 特征向量 + 预算编码输入"]
    B --> C["NeuralSort 可微离散排序机制<br/>连续松弛置换矩阵计算各模态前 b 层软掩码分配"]
    C --> D["SkipGate: 样本级层内条件跳过模块<br/>输入历史特征与跨模态上下文，动态短路冗余层"]
    D --> E["DETR Head Token Pruning: 目标语义引导的 Token 剪枝<br/>空间显著性预测过滤天空/地表背景 Token"]
    E --> F["CMT Transformer 融合与 3D 检测头<br/>输出最终 3D Bounding Boxes 与分类得分"]

关键设计¶

1. 基于 NeuralSort 的 QoI 感知动态算力分配控制器：攻克非连续排序的可微优化瓶颈
在固定总层数预算 $b \in B$ 的限制下，多模态系统必须将有限的层数向有效信息量更高、受噪声污染更轻的模态倾斜。现有基于 Straight-Through Estimator (STE) 的硬门控策略在面对 nuScenes 这类高维感知场景时，梯度反传波动极大，经常出现高噪声模态反向抢占计算资源的病态收敛。SWAN 首先通过轻量卷积网络 $f_{\omega_m}$ 提取各模态输入 $x_m$ 的信息质量特征 $z = \text{Concat}_{m \in M}(f_{\omega_m}(x_m))$，并施加环境扰动分类交叉熵损失 $\mathcal{L}_{env}$ 强制 $z$ 表征环境扰动类型（如大雾、夜间、运动模糊等）。接着将 $z$ 与用户指定预算的正弦位置编码 $e_b$ 拼接得到 $\tilde{z}$，经由 MLP 预测出全体 $L = \sum_m L_m$ 层的分配对数得分 $\omega = [\omega_1 \Vert \omega_2 \Vert \dots \Vert \omega_M] \in \mathbb{R}^L$。为了在训练阶段反向传播梯度并保证选出的前 $b$ 层具有严格的全局重要性顺序，SWAN 引入 NeuralSort 连续松弛置换机制。对加入标准 Gumbel 扰动的得分向量 $\tilde{\omega}$，NeuralSort 构造松弛置换矩阵 $\hat{P}_{\text{sort}}(\tilde{\omega})$，其第 $i$ 行代表元素成为第 $i$ 大值的连续概率分布： $$ \hat{P}{\text{sort}}(\tilde{\omega})[i, :] = \text{softmax}\left( \frac{(L + 1 - 2i)\tilde{\omega} - A \right) $$ 其中 }}\mathbf{1}}{\tau$A_{\tilde{\omega}}$ 为元素间绝对差值矩阵 $| \tilde{\omega}_j - \tilde{\omega}_k |$，$\tau$ 为退火温度参数。累加前 $b$ 行即得到前 $b$ 个最大元素的软选择掩码 $g = \sum_{i=1}^b \hat{P}_{\text{sort}}(\tilde{\omega})[i, :]$，进而以软加权形式直连骨干网络前向传播：$h_{m,l} = g_{m,l} f_{m,l}(h_{m,l-1}) + (1 - g_{m,l}) h_{m,l-1}$。随训练推进将 $\tau$ 退火至 0.1，逼近硬离散选择，使控制器彻底掌握了不同模态层间边际效益的排序规律。

2. 嵌入跨模态与质量上下文的 SkipGate 层跳过模块：挖掘预算下界的样本级弹性
控制器分配的 $b$ 层本质上是防范系统超时的“最大允许上限”，但在许多简单路况（如少目标直道）下，耗尽全部 $b$ 层计算依然属于算力浪费。为此，SWAN 在每个模态骨干网内部部署轻量共享的 SkipGate 模块，决定控制器挑出的层是否在推理时真正执行。SkipGate 不能仅凭当前单层特征做局部判断，因为其跳过决策高度依赖对侧模态已分配的算力厚度及当前所处的噪声状态。因此，SkipGate 聚合了极其丰富的全局上下文：上一层输出特征的空间均值 $\bar{h}_{l-1,m}$、当前层索引的正弦编码 $e_{m,l}$、控制器感知到的环境扰动向量 $z$、当前模态剩余分配层数 $e_{m,l_r}$ 以及对侧模态当前层数分配 $e_{m,l_o}$。通过级联后送入轻量 MLP 预测跳过逻辑值 $d_{m,l}$： $$ q = \left[ \bar{h}{l-1,m} \,\Vert\, e} \,\Vert\, \text{MLPz(z) \,\Vert\, e(q) $$ 在训练期采用双 Gumbel 噪声构成的 Gumbel-Sigmoid 激活实现可微门控，并设计带截断阈值 } \,\Vert\, e_{m,l_o} \right], \quad d_{m,l} = \text{MLP}_{skip$\vartheta$ 的 Hinge 正则惩罚损失 $\mathcal{L}_{skip} = \sum_m \sum_l \text{ReLU}(d_{m,l} + \vartheta) \cdot \vartheta_m$。该损失不仅强迫网络惩罚过大的正激活倾向、促使模型只激活不可替代的层，同时在逻辑值低于 $-\vartheta$ 时截断梯度，杜绝了网络通过将无效层得分无节制推向负无穷大来“作弊”降低损失的数值病态问题。

3. 检测头前置空间语义 Token 剪枝机制：粉碎冗余视场特征的二次方时延膨胀
自动驾驶感知任务中，传感器采集的大量空间信息对应与目标检测无关的背景区域（例如天空、远山、空旷地表）。CMT 这类 DETR 式跨模态检测头的交叉注意力计算量与输入的 Token 数量成正比，三万多个密集 Token 构成了后半段网络的时延瓶颈。SWAN 在骨干网络末端与 Transformer 检测头之间插入双层轻量卷积 $f_{\sigma_m}$，基于模态特征图 $h_m \in \mathbb{R}^{H \times W \times D}$ 预测每个空间位置的保留概率 $w_m = \sigma(f_{\sigma_m}(h_m))$。通过阈值四舍五入离散化为二值掩码 $\tilde{w}_m$，并采用 Straight-Through Estimator 进行梯度回传。搭配 Token 保留惩罚损失 $\mathcal{L}_{tp} = \sum_{m} \sum_{i,j} \tilde{w}_{m,i,j}$ 进行联合训练，迫使网络在保留关键前景目标结构的同时，剪掉超过 74% 的图像背景 Token 与超过 51% 的无回波激光雷达 Token，直接从输入源头削减 DETR 解码器的开销。

一个完整示例¶

以车辆在夜间大雾路况下行驶，同时遭遇车载计算芯片发热导致最大可用层数预算被压制为 $b=4$ 为例： 1. 质量提取与预算注入：输入相机多视角图像和激光雷达点云，轻量卷积编码出环境向量 $z$（准确识别出相机端的高噪声 Camera Fog 和 LiDAR 端的低衰减状态）。用户传入可用预算 $b=4$。 2. 控制器全局排序调度：控制器 MLP 计算出全部 20 个骨干层的对数得分 $\omega$。由于相机模态在大雾中信噪比极低，而激光雷达具有抗穿透优势，NeuralSort 赋予激光雷达前几层极高的权重。前 4 个最大得分全部被分配给 LiDAR（例如 FlatFormer 分得 4 层，Swin 分得 0 层）。 3. 样本级 SkipGate 校验：若当前场景恰好为无车空旷路段，LiDAR 骨干网络执行至第 2 层时，SkipGate 监测到特征残差已足够分辨空旷路面，其输出的 $d_{m,3}, d_{m,4}$ 变为负值，直接提前截断跳过后续 2 层，实际仅消耗 2 层运算即完成特征提取。 4. Token 剪枝与 3D 检测：两层特征送入 Token 剪枝模块，空旷地面无反射的区域 Token 被一并过滤，仅保留少量道路边缘与护栏 Token 送入 CMT 解码头，以极低延迟（~72 ms）稳定输出当前 3D 无障碍检测结果，避免了全模型在极端条件下的崩溃与超时。

损失函数 / 训练策略¶

SWAN 采取分阶段解耦的稳定训练管线： 1. 第一阶段（自适应骨干网预训练）：在完整 CMT 模型骨干层中注入 LayerDrop（dropout 比例设为 0.2），结合标注 3D 检测损失 $\mathcal{L}_{detection}$（分类与回归损失）进行基础检测预训练，使 Swin 与 FlatFormer 具备在随机子集深度下正常输出特征的能力。 2. 第二阶段（QoI 控制器训练）：冻结预训练主干参数，在合成的多模态退化数据集（MultiCorrupt）上训练 QoI 控制器，损失函数为 $\mathcal{L} = \mathcal{L}_{detection} + \varpi_1 \mathcal{L}_{env}$，并对 NeuralSort 温度参数 $\tau$ 进行退火。 3. 第三阶段（SkipGate 模块训练）：冻结主干与控制器，训练各模态共享的 SkipGate 模块，总目标为 $\mathcal{L} = \mathcal{L}_{detection} + \varpi_2 \mathcal{L}_{skip}$，逐步压低层执行率。 4. 第四阶段（Token 剪枝训练）：冻结前序所有模块，针对 Token 剪枝卷积层优化 $\mathcal{L} = \mathcal{L}_{detection} + \varpi_3 \mathcal{L}_{tp}$，通过调节超参数 $\varpi_2$ 与 $\varpi_3$ 实现精度-效率边界的平滑权衡。

实验关键数据¶

主实验¶

评估基于 nuScenes 自动驾驶数据集，采用 MultiCorrupt 工具链模拟了 5 种典型的传感器退化场景：激光雷达线束降采样（LiDAR Beamsreduce）、相机大雾（Camera Fog）、夜间暗光（Darkness）、相机运动模糊（Camera Motionblur）与激光雷达运动模糊（LiDAR Motionblur）。在单张 Nvidia RTX 4090 上对比不同最大计算层数预算下各方案的感知指标（NDS / mAP）与计算开销（GFLOPs / Median Latency）：

模型配置	预算层数	算力 (GFLOPs)	时延 (ms)	LiDAR Beamsreduce (NDS/mAP)	Camera Fog (NDS/mAP)	Dark (NDS/mAP)	Camera Motionblur (NDS/mAP)	LiDAR Motionblur (NDS/mAP)
Base Network (CMT Full 20L)	20 层全量	651.00	124.84	41.80 / 28.97	67.57 / 61.30	67.65 / 61.31	66.85 / 59.45	63.93 / 58.32
BEVFusion	固定基线	630.73	118.76	32.08 / 10.77	68.38 / 62.89	69.49 / 64.88	68.28 / 62.56	58.18 / 53.60
PETR (纯视觉)	固定单模态	1100.15	44.31	35.21 / 32.63	22.17 / 14.72	20.32 / 12.84	23.24 / 14.92	35.21 / 32.63
SST (纯激光雷达)	固定单模态	372.85	92.79	22.06 / 1.38	66.42 / 58.65	66.43 / 58.65	66.43 / 58.65	54.82 / 42.73
Naive Allocation 16	16 层平均	556.41	120.93	39.48 / 25.40	67.48 / 61.17	67.21 / 60.85	66.70 / 59.37	63.02 / 56.79
ADMN 16	16 层控制器	584.01	123.21	40.12 / 26.78	67.54 / 61.16	67.28 / 61.15	66.89 / 60.15	62.84 / 56.65
SWAN-PSC 16 (本文全量)	16 层上限	428.37	83.42	36.42 / 25.43	65.08 / 57.43	64.95 / 57.20	64.72 / 57.34	61.40 / 55.18
Naive Allocation 8	8 层平均	426.56	106.09	32.92 / 16.16	64.88 / 56.74	64.39 / 56.34	64.74 / 56.47	59.33 / 50.97
ADMN 8	8 层控制器	438.09	110.21	36.35 / 21.04	65.86 / 57.90	65.69 / 57.79	65.68 / 57.74	55.74 / 46.52
SWAN-PSC 8 (本文全量)	8 层上限	373.42	77.15	34.42 / 23.23	63.99 / 55.95	64.20 / 56.24	64.94 / 57.14	56.82 / 47.60
Naive Allocation 4	4 层平均	362.00	98.81	24.71 / 3.88	57.83 / 44.70	57.71 / 45.02	56.73 / 43.62	45.82 / 29.45
ADMN 4	4 层控制器	369.65	102.02	26.33 / 7.48	55.69 / 42.04	60.55 / 49.66	58.08 / 46.47	47.82 / 32.20
SWAN-C 4 (仅控制器)	4 层上限	358.90	103.73	29.17 / 16.12	64.47 / 55.80	64.77 / 56.49	64.46 / 56.13	54.38 / 41.97
SWAN-PSC 4 (本文全量)	4 层上限	331.41	72.21	27.92 / 14.18	63.95 / 55.90	64.95 / 55.91	63.74 / 55.69	54.86 / 43.99

消融实验¶

为定量拆解 SWAN 各子模块（QoI 控制器 C、SkipGate 层跳过 S、Token 剪枝 P）在跨模态动作识别泛化任务（MM-Fi 双模态 15 帧人脸手势识别）上的贡献与开销，下表展示了在 RTX 4090 上的分类准确率与时延（毫秒及相对于 Naive Allocation 的开销百分比）：

算法变体	6 Layers 准确率 / 时延	10 Layers 准确率 / 时延	16 Layers 准确率 / 时延	20 Layers 准确率 / 时延
Naive Allocation	23.2% / 12.7 ms	33.0% / 18.2 ms	45.7% / 26.3 ms	44.4% / 31.9 ms
SWAN-C (仅控制器)	30.9% / 13.7 ms (+7.4%)	39.2% / 19.3 ms (+6.1%)	43.2% / 27.5 ms (+4.7%)	46.0% / 33.1 ms (+3.6%)
SWAN-SC (控制器 + SkipGate)	29.6% / 12.3 ms (-3.3%)	38.0% / 18.7 ms (+2.9%)	42.9% / 24.0 ms (-8.5%)	41.7% / 27.1 ms (-15.1%)

此外，在端侧硬件 Nvidia Jetson Orin 上模拟相机大雾退化时，SWAN 在 MAXN、50W 和 30W 功率约束下的实测时延相比 Naive 分别进一步降低 7.4%、9.9% 与 16.5%；当叠加 Token 剪枝（SWAN-PSC）后，端侧推理延迟直降超过 50%。

关键发现¶

极度严苛预算下，智能算力分配具备决定性优势：当总算力被死死限制在 4 层时，Naive 均匀分配（每个模态 2 层）在 LiDAR 线束骤减下仅取得 3.88 mAP，而 SWAN-C 凭借对残存模态质量的自适应倾斜，将 mAP 强力拉升到 16.12，高出 12.24 mAP，同时相较于基于 STE 梯度的 ADMN（7.48 mAP）高出 8.64 mAP，验证了 NeuralSort 学习全局重要性排名的优越性。
算力充裕时，SkipGate 释放巨大冗余：在 16 层高预算设定下，SkipGate 可自主将执行层数根据场景复杂度压减至 6 到 15 层，带来平均超 18% 的 GFLOPs 削减，而整体 NDS 与 mAP 下降不足 1.5。
Token 剪枝是击破时延壁垒的核心功臣：在高端桌面卡 RTX 4090 上，SkipGate 减少算力带来的收益常被 PyTorch 调度启动开销所吞噬；而 Token 剪枝平均丢弃 74.46% 图像与 51.16% 激光雷达 Token，将 DETR 解码开销斩断，使端到端延迟直接从 120+ ms 下探至 72~83 ms（降幅最高达 30.8%）。

亮点与洞察¶

将离散排列松弛化为可微优化：引入 NeuralSort 置换矩阵训练 QoI 分配控制器，绕开了强化学习难以收敛的困境，又彻底解决了 Straight-Through 梯度估计在复杂多模态骨干中层重要性学不准、决策摇摆的顽疾。
打破人为启发式规则，由数据驱动真实模态价值：在 LiDAR 运动模糊场景下，直觉常认为应将计算资源全面切向完好的清晰相机，但 SWAN 自主学出的策略依然选择保留 LiDAR，实验也证明模糊点云所提供的 3D 空间结构依然显著优于单目 2D 视觉，证明了数据驱动调度的客观性。
分层解耦的自适应颗粒度控制：宏观控制器按 QoI 决定最大分配预算、微观 SkipGate 按样本特征动态早退、空间 Token 剪枝按几何语义过滤无效背景，三者协同兼顾了最坏情况安全保证与平均场景极致节能。

局限与展望¶

以层数为离散资源抽象导致实际代价不对称：作者承认将“层数”作为均一预算单元存在近似性。实际上相机 Swin 层计算量约为点云 FlatFormer 层的 2.4 倍，而延迟仅为其 1/3。层数重新分配会在一定程度上引入算力与时延的非对称倾斜，未来需将非均一硬件代价直接编码进控制器损失。
高端 GPU 上的宿主调度与张量碎片化开销：在 RTX 4090 这类计算能力充沛但通信敏感的设备上，频繁的 CPU-GPU 数据交互（控制门控逻辑回传）使得 SkipGate 的算力节省被调度时延掩盖。后续亟需引入 TensorRT 等图级编译器将动态分支内化在 GPU Graph 内执行。
合成扰动与现实数据间的 Sim2Real 域间隙：基于 MultiCorrupt 合成噪声训练的模型在真实 nuScenes 雨夜场景中存在过激跳层的倾向，需要借助真实未标注雨雪数据进行下游微调校准。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通自动驾驶多模态网络面对质量变异、算力受限与样本复杂度三重动态的统一自适应方案，巧妙融合 NeuralSort 排序。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 nuScenes 5 类环境扰动、不同硬性预算梯度、真实雨夜数据迁移、MM-Fi 跨领域手势任务以及 Jetson Orin 边缘端实测。
写作质量: ⭐⭐⭐⭐⭐ 问题阐述极具张力，层次结构递进清晰，对理论机制与硬件级调度开销的归因剖析深刻客观。
价值: ⭐⭐⭐⭐⭐ 紧扣具身智能与自动驾驶落地核心痛点，为边缘端高可靠多模态感知系统的动态能效优化提供了兼具理论与工程价值的标杆。