FuseAdapt: Parameter-Efficient Multimodal Fusion for Semantic Segmentation with Missing Modalities¶

会议: NeurIPS 2026
arXiv: 2610.21779
论文: https://arxiv.org/abs/2610.21779
代码: https://devinxzhang.github.io/FuseAdapt-Page/
领域: 语义分割
关键词: 多模态语义分割, 缺失模态鲁棒性, 参数高效微调 (PEFT), 视觉基础模型 (VFM), 预测模态建模 (PMM)

一句话总结¶

针对多模态语义分割在推理期传感器缺失或退化时性能断崖式下跌的问题，FuseAdapt 提出在冻结视觉基础模型的自适应空间内将模态私有的注意力更新与受路由调控的 FFN 低秩残差跨模态通信解耦，并配合训练期以全模态 EMA 教师为监督的预测模态建模（PMM），仅用极少可训练参数便显著刷新完整与残缺模态下的分割精度。

研究背景与动机¶

在自动驾驶、移动机器人与具身感知系统中，集成 RGB、深度、激光雷达点云与事件流等互补传感器已成为复杂场景理解的标准配置。这些异构数据分别提供了纹理外观、几何测距、反射特征与高时间分辨率运动线索。然而，多传感器带来的性能红利在现实开放环境中极为脆弱：雨雪雾等恶劣天气、昼夜剧烈光照跃变、镜头遮挡、传感器暂态故障或硬件硬件下线，都会导致部分模态在测试期严重退化甚至彻底缺失。传统的专用多分支骨干网络（Separate Encoders）参数量与计算开销随传感器数量线性膨胀；而共享骨干（Shared Encoders）或后融合（Late Fusion）结构极易产生对单一优势模态（如高质量 RGB）的过拟合依赖，一旦主力模态缺失，整套融合表征即陷入崩塌。

为了应对模态缺失语义分割（MISS），现有研究普遍转向模态丢弃（Modality Dropout）、跨模态自蒸馏或子集一致性正则化。然而，粗粒度的文本语义锚点（Text Anchors）在稠密像素级预测中缺乏局部高频几何指引，而强制要求不同传感器子集之间输出对齐的子集一致性约束，往往直接受到天然物理差异与不可逆 cross-modal mismatch 的负面干扰，甚至将不可通约的模态特有细节强行抹平。

面对这一矛盾，本文探索能否将通用视觉基础模型（VFM）的冻结表征作为多模态感知基座，把各传感器的专属适配与跨传感器通信显式剥离至轻量低秩自适应空间中。核心 idea：冻结通用视觉大模型主干，在自注意力层保持各传感器私有的低秩适配以提取独立模态修正，在 FFN 层通过接收端条件化的门控路由交换低秩残差激活实现紧凑融合；并在训练期引入预测模态建模（PMM），利用全模态 EMA 教师特征监督可学习 query 重建缺失传感器隐空间表征，实现无推理开销的缺失模态鲁棒感知。

方法详解¶

整体框架¶

FuseAdapt 旨在统一模态完整语义分割（MCSS）与模态不完整语义分割（MISS）两个评测场景。给定一组对齐的二维多模态输入（如 RGB $\mathbf{R}$、深度图 $\mathbf{D}$、LiDAR 投影图 $\mathbf{L}$、事件堆叠图 $\mathbf{E}$），系统首先将各模态统一投影视觉 token 空间并送入共享的冻结 Transformer 主干（如 DINOv2 或 MiT）。整套架构主要由两套核心机制协同驱动：其一是嵌入在 Transformer 模块内部的自适应空间融合（Adaptation-Space Fusion），它在保持主干完全冻结的前提下，解耦私有注意力适配与跨模态 FFN 低秩残差路由通信；其二是仅在训练阶段激活的预测模态建模（Predictive Modality Modeling, PMM），负责借助全上下文教师网络构建模态间的冗余重建能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入 (RGB, Depth, LiDAR, Event)"] --> B["共享冻结 VFM 主干 (DINOv2 / MiT)"]
    B --> C["模态私有自注意力低秩适配<br/>保持 Q/V 专属更新，解耦注意力结构"]
    C --> D["前馈网络低秩残差门控路由<br/>跨可见模态自适应交换 FFN 残差激活"]
    D --> E["可见模态表征聚合与共享解码器<br/>统一密集语义预测输出"]
    D -.->|训练期缺失模态监督| F["预测模态建模 (PMM)<br/>EMA 全模态教师 + Perceiver 结构 Query 隐空间重建"]
    F -.->|余弦距离损失| G["反向传播优化适配分支与预测器"]

关键设计¶

1. 模态私有自注意力低秩适配：保持模态内部特异性修正 传统共享 LoRA 会强迫所有传感器共享同一套低秩更新矩阵，但深度几何、激光点云脉冲与事件流的时空特性与自然图像差异巨大。经验分析表明，不同模态在自注意力层的梯度更新方向几乎正交。若在自注意力阶段强行混合多传感器特征，会破坏预训练 VFM 已建立的空间自注意力先验。因此，FuseAdapt 严格将 Query 和 Value 的低秩更新限制在各模态内部： $$\mathbf{Q}^{m}=\mathbf{X}^{m}(\mathbf{W}_{Q}+\mathbf{A}_{Q}^{m}\mathbf{B}_{Q}^{m}),\quad\mathbf{V}^{m}=\mathbf{X}^{m}(\mathbf{W}_{V}+\mathbf{A}_{V}^{m}\mathbf{B}_{V}^{m})$$ 其中主干权重 $\mathbf{W}_{Q},\mathbf{W}_{V},\mathbf{W}_{K},\mathbf{W}_{O}$ 完全冻结共享，低秩秩次满足 $r \ll d$。每个模态独立计算其多头自注意力 $\text{MHSA}^{m}(\mathbf{X}^{m})$，使得各模态在进入跨模态交互前，能在各自独特的特征空间内完成传感器特异性的基底修正。

2. 前馈网络低秩残差门控路由：受约束的自适应跨模态通信 在特征经过私有注意力提炼后，跨传感器互补信息的交互被显式收敛至 FFN 阶段。FuseAdapt 并非直接在完整特征或参数层做粗暴融合，而是仅对低秩 FFN 残差激活进行条件化路由。设当前可见的非空模态集合为 $\mathcal{V} \subseteq \mathcal{M}$，对于接收模态 $m \in \mathcal{V}$ 和空间位置 $i$，门控路由网络根据接收模态自身特征计算各候选源模态的置信度权重： $$\alpha^{m}_{ij}=\frac{\exp(g^{m}(\mathbf{X}^{m})_{ij})}{\sum_{k\in\mathcal{V}}\exp(g^{m}(\mathbf{X}^{m})_{ik})},\quad j\in\mathcal{V},\qquad\alpha^{m}_{ij}=0\quad(j\notin\mathcal{V})$$ 此时缺失或不可用的模态在 Softmax 归一化前被直接 Mask 屏蔽。随后，接收模态在经过两级 FFN 变换时自适应汇聚其他可见模态的低秩残差： $$\mathbf{H}^{m}=\sigma\left(\mathbf{X}^{m}\mathbf{W}_{1}+\sum_{j\in\mathcal{V}}\boldsymbol{\alpha}^{m}_{j}\odot(\mathbf{X}^{j}\mathbf{A}_{1}^{j}\mathbf{B}_{1}^{j})\right),\quad \mathbf{F}^{m}=\mathbf{H}^{m}\mathbf{W}_{2}+\sum_{j\in\mathcal{V}}\boldsymbol{\alpha}^{m}_{j}\odot(\mathbf{H}^{j}\mathbf{A}_{2}^{j}\mathbf{B}_{2}^{j})$$ 由于主干稠密投影矩阵 $\mathbf{W}_{1},\mathbf{W}_{2}$ 始终保持冻结，通信被严格限制在低秩侧路上。在 Transformer 最后一层，各可见模态的输出特征直接对称求均值 $\hat{\mathbf{X}}_{\mathcal{V}}=\frac{1}{|\mathcal{V}|}\sum_{m\in\mathcal{V}}\hat{\mathbf{X}}^{m}$，并输入至轻量 SegFormer 解码器。这种设计保证了模型在任意子集输入下无需调整网络拓扑即可平滑推理。

3. 预测模态建模 (PMM)：隐式学习跨传感器上下文冗余 为了赋予模型在极端缺失模态下的抗崩塌能力，FuseAdapt 在训练阶段引入基于 Joint-Embedding Predictive Architecture（JEPA）思想的表征级预测目标。系统维持一个参数按指数移动平均（EMA，$\mu=0.999$）更新的教师分支。教师网络始终接收完整的全模态输入，生成被掩码缺失模态的目标表征 $\mathbf{y}_t$ 并做 stop-gradient 切断梯度。在学生侧，当随机掩码导致目标模态 $t \in \mathcal{M}\setminus\mathcal{V}$ 缺失时，模型并不使用固定的逐像素线性映射，而是引入一组模态专属的可学习查询向量 $\mathbf{Q}_t \in \mathbb{R}^{N \times C}$，通过类似 Perceiver 的跨注意力预测器在所有可见模态聚合特征 $\hat{\mathbf{X}}_{\mathcal{V}}$ 上执行全局检索： $$\hat{\mathbf{z}}_{t}=g_{\phi}(\mathbf{Q}_{t}, \hat{\mathbf{X}}_{\mathcal{V}})$$ PMM 优化目标即为预测嵌入与教师隐状态之间的逐 token 余弦距离： $$\mathcal{L}_{\text{pmm}}=1-\frac{1}{N}\sum_{i=1}^{N}\frac{\hat{\mathbf{z}}_{t}^{(i)} \cdot \operatorname{sg}[\mathbf{y}_{t}^{(i)}]}{\|\hat{\mathbf{z}}_{t}^{(i)}\|\|\operatorname{sg}[\mathbf{y}_{t}^{(i)}]\|}$$ 该任务强制学生网络利用现存传感器去“推想”未观测模态在全上下文下的语义与几何表征，从而将跨模态互补先验内化至路由与适配权重中。训练结束后，EMA 教师与预测器被直接剔除，推理零冗余。

损失函数 / 训练策略¶

模型采用两阶段退火与动态加权优化： 1. 预热与全模态对齐阶段：前序轮次（MCubeS 200 epochs，DELIVER/MUSES 15 epochs）仅使用完整模态输入训练，使低秩适配参数与主干快速对齐。 2. 混合鲁棒训练阶段：以 0.5 的独立伯努利概率随机保留各传感器（保证非空），在出现缺失时均匀采样一个缺失模态计算 $\mathcal{L}_{\text{pmm}}$。 3. 类别平衡 OHEM 语义分割损失：针对罕见地物类别与难样本，采用带逆频度动态类别权重的线上难例挖掘交叉熵损失 $\mathcal{L}_{\text{OHEM}}$： $$\mathcal{L} = \mathcal{L}_{\text{OHEM}} + \mathcal{L}_{\text{pmm}}$$ 优化器选用 AdamW，初始学习率 $3.5\times 10^{-4} \sim 4.0\times 10^{-4}$，配合余弦学习率衰减策略。

实验关键数据¶

主实验¶

在三个多模态基准（MCubeS 材质分割、DELIVER 恶劣天气多传感器感知、MUSES 异构全天候自动驾驶数据集）上，FuseAdapt 在模态完整（MCSS）与模态不完整（MISS）下均取得显著突破。

表 1：MCSS 完整模态语义分割性能对比 (mIoU)

数据集	骨干网络	可训练参数量 (M)	评测模态配置	FuseAdapt (本文)	前序最强方法	性能提升
MCubeS	ViT-B (DINOv2)	14.01	RADN (全模态)	57.62	53.92 (StitchFusion)	+3.70
MCubeS	ViT-B (DINOv2)	14.01	跨模态子集平均	56.30	53.29 (StitchFusion)	+3.01
DELIVER	ViT-B (DINOv2)	14.01	RDEL (全模态)	68.33	68.25 (Any2Seg)	+0.08
DELIVER	ViT-B (DINOv2)	14.01	跨模态子集平均	64.97	64.18 (Any2Seg)	+0.79
MUSES	ViT-S (DINOv2)	3.29	FEL (全模态)	77.28	74.80 (MLE-SAM)	+2.48
MUSES	ViT-S (DINOv2)	3.29	跨模态子集平均	76.14	74.73 (MLE-SAM)	+1.41

表 2：MISS 极端缺失模态语义分割对比 (MUSES, trained with FEL)

方法	骨干网络	可训练参数 (M)	单模态 F	单模态 E	单模态 L	双模态 FE	双模态 FL	双模态 EL	三模态 FEL	7种组合均值
CMX	MiT-B0	24.84	2.52	2.35	3.01	41.15	41.25	2.56	42.27	19.30
CMNeXt	MiT-B0	37.85	3.50	2.77	2.64	6.63	10.28	3.14	46.66	10.80
MAGIC	MiT-B0	3.72	43.22	2.68	22.95	43.51	49.05	22.98	49.02	33.34
Any2Seg	MiT-B0	4.91	44.40	3.17	22.33	44.51	49.96	22.63	50.00	33.86
Zheng et al.	MiT-B0	3.72	60.33	33.15	42.59	47.19	53.47	39.59	47.89	47.80
FuseAdapt	ViT-S	3.29	71.09	30.16	46.59	73.24	76.72	54.04	77.28	61.30

在极端考验缺失鲁棒性的 DELIVER 数据集上（15 种模态子集评测），FuseAdapt 的跨子集平均 mIoU 达到 56.22，大幅碾压 Any2Seg (45.04)、MAGIC++ (44.78) 与 StitchFusion (43.91)，平均领先超过 +11.18 mIoU。

消融实验¶

表 3：自适应空间信息流与融合机制消融 (MCubeS / DINOv2-B & MUSES / MiT-B0)

架构变体配置	机制说明	MCubeS 全模态 (RADN)	MUSES 全模态 (MiT-B0)
Frozen Feature Mean	无任何 LoRA 适配，仅输出特征平均	51.16	48.12
Shared LoRA	所有模态共享同一套低秩更新矩阵	54.69	53.56
Separate LoRA	模态私有低秩适配，但无跨模态路由交换	56.09	54.31
Dense-feature Routing	保持 Q/V 私有，但在完整稠密 FFN 特征间路由	55.08	55.94
All-path Routed LoRA	同时在 Q/V 与 FFN 低秩残差上进行路由交互	55.74	56.17
FuseAdapt (Full)	Q/V 私有适配 + 仅 FFN 低秩残差路由通信	57.62	57.54

表 4：预测模态建模 (PMM) 辅助目标消融 (MCubeS 15 种缺失子集平均 mIoU)

训练辅助目标变体	平均 mIoU	相对完整 PMM 差距
仅 Modality Dropout (无预测损失)	43.67	-9.22
Per-token 线性回归器 (逐像素映射)	49.71	-3.18
输出 Logit 知识蒸馏 (Output KD)	49.84	-3.05
全局融合特征蒸馏 (Global-feature KD)	50.57	-2.32
Query 预测器 (不使用 EMA 教师，使用在线目标)	50.59	-2.30
Full PMM (Query 检索 + EMA 全上下文教师)	52.89	基准

关键发现¶

Q/V 适配必须保持私有，通信应仅发生于 FFN 低秩残差侧：表 3 中如果强行将注意力层的 Q/V 也纳入跨模态路由（All-path Routed LoRA），MCubeS 表现从 57.62 跌落至 55.74。这证明了各异构传感器（如红外偏振角、激光反射值）在特征提取初期的注意力模式存在天然分布差异，强行跨模态扭曲注意力权重反而会破坏 VFM 空间先验。
PMM 远优于常规蒸馏与线性重构：如表 4 所示，简单的 Modality Dropout 极易欠拟合（43.67）；而逐 token 刚性对应的线性回归（49.71）在传感器发生微小位移时性能剧烈下滑。PMM 基于可学习 query 的全局 cross-attention 机制使模型对视差与位置扰动具备极强韧性（16 像素平移下余弦下降仅 0.00051，而线性回归剧降 0.01636）。
参数量小但并非绝对最低延迟：在 H100 GPU 测速中，三模态 FuseAdapt 推理耗时为 21.05 ms，内存峰值 1.75 GiB，部署参数量仅 3.91M。虽然部署参数大幅少于 CMNeXt (10.30M) 和 StitchFusion (4.56M)，但由于需多路通过冻结 backbone 并在 FFN 执行逐 token 路由，其整体延迟略高于 Any2Seg (14.69 ms) 与 MAGIC (14.72 ms)。

亮点与洞察¶

解耦自适应空间融合：没有堆叠庞大的外部融合网络，而是将信息交互精密限制在 FFM 的可调低秩残差通道，极大降低了新增传感器带来的显存与参数负担（添加单模态仅增 1.11M 参数）。
非对称的 EMA-Query 跨模态想象：将 JEPA 表征预测巧妙迁移至跨模态鲁棒性训练中，在无任何推理开销的前提下，将缺失模态恢复从“粗粒度文本锚点拉扯”转变为“全上下文潜空间重构”。
通用主干兼容性：论文不仅在 DINOv2 上验证成功，还在轻量 MiT-B0/B2、EVA-CLIP-B 以及 NeCo-B 上进行了严格的控制实验，证明该低秩融合范式可广泛作为多模态大模型的即插即用插件。

局限与展望¶

依赖对齐的公共 Token 网格：当前方法要求输入各模态均能投影或插值到完全一致的 $H \times W$ 二维 token 网格，对于点云未投影的纯三维 Sparse Tensor 或非规则异步事件流无法原生支持。
缺失鲁棒性假设的边界：全模态 EMA 教师充当监督目标的前提是“多模态总体优于单模态”（统计显示 81.72% 样本成立）；但若现存输入传感器本身遭遇物理污染或严重离群噪声，全上下文目标可能提供误导性的错误先验。
未涵盖异步时序与极端标定畸变：未来需要结合动态抗畸变注意力与自适应不确定性估计，以应对真实世界车载系统中的时间戳未对齐与外参漂移。

评分¶

新颖性: ⭐⭐⭐⭐☆ (在冻结 VFM 适配空间内精巧解耦 Q/V 私有性与 FFN 残差路由，并引入模态级 JEPA 预测机制)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖三大多模态主流数据集、详尽的信息流消融、多骨干对比及 H100 实际推理开销测速)
写作质量: ⭐⭐⭐⭐⭐ (数学建模清晰严谨，对比实验与控制实验逻辑扎实，洞察深刻)
价值: ⭐⭐⭐⭐⭐ (为自动驾驶与机器人领域兼顾参数高效与传感器缺失高可靠性提供了极具启发性的工程方案)