Interference-Aware Continual Vision–Language Learning via Instance-Level Expert Routing¶

会议: ECCV 2026
论文: ECCV 原文
领域: 模型压缩
关键词: 持续学习、视觉语言模型、LoRA、专家混合架构、干扰感知路由

一句话总结¶

针对持续视觉语言学习中的灾难性遗忘与任务冲突，提出 IAR 框架，通过 Fisher 度量白化计算样本级干扰能量以动态路由专家，结合子空间主夹角填充与残差驱动自适应增秩，在跨域分类、结构化概念匹配、生成式 VQA 与跨模态检索中全面超越现有基线。

研究背景与动机¶

在真实场景的持续部署中，视觉语言系统面临着非平稳的数据流与任务漂移——识别类别、视觉风格、指令形式不断变化，而受限于隐私保护、传输延迟与存储成本，系统往往无法维护大规模的历史回放缓冲池。全量重训练无法跟上流式演进，而朴素的微调又极易冲刷掉旧有能力，导致灾难性遗忘。虽然参数高效微调（PEFT）和混合专家架构（MoE）为持续适应提供了轻量化路径，但现有方法大多依赖全局动量约束、几何正则或基于样本分布特征的启发式路由门控。

这种机制的核心缺陷在于缺乏对任务间更新冲突的显式度量。当多个连续任务的更新方向在低维适配器空间内发生重叠时，静态共享的适配器或无冲突感知的专家分配机制会强行让所有任务在相同的参数子空间内相互竞争，导致新知识直接覆盖表征旧能力的参数方向。现有的路由策略往往基于粗粒度的输入分布相似度，无法感知一次候选更新究竟会对已固化的知识产生多大的破坏；同时，模型的容量扩展大多是预先设定或阶梯式触发的，无法根据单个样本的表征不足程度进行精准的按需扩容。

本文的切入角度是：将跨任务冲突从不可控的隐式失败转化为显式的样本级决策信号，建立“度量-选择-生长”（measure-select-grow）的自适应闭环。核心 idea：冻结视觉语言骨干网络，通过 Fisher 度量白化投影能量显式量化候选更新对各历史专家子空间的破坏性，将样本动态分配至最小干扰专家，并通过子空间主夹角填充与残差驱动的自适应增秩，实现表征空间正交解耦与按需容量扩展。

方法详解¶

整体框架¶

IAR 的核心流程是围绕冻结的视觉语言骨干模型构建适配器专家池（LoRA/Adapter Experts）。对于流式输入的每个样本，模型首先通过仅前向的骨干网络计算探针梯度，并在对角 Fisher 信息度量下进行白化处理；随后评估白化梯度在各专家历史更新子空间上的投影能量，以此作为跨任务干扰的精确量化指标。路由模块据此将样本分配给干扰最小且兼顾容量均衡的 Top-\(K_r\) 个专家。在优化阶段，除主任务损失外，引入子空间填充损失推大专家子空间间的几何主夹角；而在遇到现有专家子空间无法覆盖的高残差样本时，触发低秩维度的自适应增秩机制。在部署推理阶段，通过蒸馏获得的无梯度轻量路由器实现高效推断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 (x, y) 与冻结骨干"] --> B["度量白化探针与投影能量<br/>仅骨干前向探针梯度 + 对角 Fisher 白化投影"]
    B --> C["最小干扰路由与容量控制<br/>选择最小能量 Top-Kr 专家 + EMA 利用率惩罚"]
    C --> D["专家权重聚合与前向计算<br/>稀疏加权组合 LoRA 适配参数"]
    D --> E["子空间填充正则化<br/>惩罚两两互相关以最大化主夹角"]
    D --> F["残差驱动动态增秩<br/>监测残差能量比，在最缺层沿残差 SVD 方向增秩"]
    E --> G["更新后专家池与蒸馏路由器"]
    F --> G

关键设计¶

1. 度量白化探针与投影能量：将跨任务冲突显式量化为几何重叠度 以往方法若直接在包含适配器的网络上求梯度作为路由信号，会导致路由决策与优化目标形成循环依赖，且欧氏空间下的梯度幅度受参数尺度影响显著。为此，IAR 仅通过冻结骨干网络 \(f_\theta\) 执行一次前向反向，提取对各层权重矩阵的探针梯度 \(g_\ell(x, y) = \nabla_{\text{vec}(W_\ell)} \mathcal{L}(f_\theta(x), y)\)。为了让干扰度量符合模型预测行为的局部变化（即 Fisher 二次型 \(\delta w^\top G \delta w\)），模型通过指数移动平均（EMA）维护对角 Fisher 矩阵 \(G_\ell = \text{diag}(\mathbf{f}_\ell)\)，并对探针梯度执行白化变换 \(\tilde{g}_\ell = L_\ell g_\ell\)，其中 \(L_\ell = \text{diag}(\sqrt{\mathbf{f}_\ell + \epsilon})\)。对于每个专家 \(e\)，将其历史 LoRA 秩-1 分量向量化构建更新子空间基底 \(U_{\ell, e}\)，并维护其 EMA 稳定版本 \(\bar{U}_{\ell, e}\) 与白化能量基底 \(\tilde{U}_{\ell, e}^E = L_\ell \text{sg}[\bar{U}_{\ell, e}]\)。样本 \((x, y)\) 对专家 \(e\) 的干扰能量定义为白化梯度在专家子空间上的正则化投影范数平方：

\[\mathcal{I}_e(x, y) = \sum_{\ell \in \mathcal{S}} \tilde{g}_\ell(x, y)^\top \tilde{U}_{\ell, e}^E \left( (\tilde{U}_{\ell, e}^E)^\top \tilde{U}_{\ell, e}^E + \varepsilon_p I \right)^{-1} (\tilde{U}_{\ell, e}^E)^\top \tilde{g}_\ell(x, y)\]

投影能量 \(\mathcal{I}_e\) 越大，说明该样本的优化方向与专家 \(e\) 的历史参数空间高度共线，复用该专家极易覆盖既有能力；反之，低投影能量代表二者正交，更新时造成的相互干扰最小。

2. 最小干扰路由与容量控制：兼顾防遗忘选择与专家负载均衡 纯粹追求最小干扰极易导致路由器陷入单专家过载或部分专家闲置的模式坍塌（Expert Collapse）。为此，IAR 将能量指标与长期利用率惩罚相结合。维护专家 \(e\) 的 EMA 历史利用率 \(u_e\) 及其均值 \(\bar{u}\)，构造容量惩罚项 \(\rho_e = (u_e / \bar{u})^{\gamma_c}\)。综合路由得分为：

\[s_e(x, y) = \mathcal{I}_e(x, y) + \lambda_C \rho_e\]

依据 \(s_e\) 选取得分最小的 \(K_r\) 个专家（默认 \(K_r=2\)），并通过温度为 \(\beta\) 的 Softmax 归一化计算门控权重 \(\alpha_e(x, y)\)。离散选择采用直通估计器（Straight-Through Estimator），在保留硬路由稀疏性的同时使梯度能够顺畅反传至被选中的专家。这种机制在严格规避干扰的同时，动态拉平了各专家的利用率分布。

3. 子空间填充正则化：最大化专家子空间主夹角以解耦表征 若多个专家的子空间在长期演化中发生趋同或相互缠绕，最小干扰路由的选择置信度会显著下降，不同技能的隔离屏障也将被削弱。受格拉斯曼流形打包思想启发，IAR 引入子空间填充正则项（Subspace Packing）。为了让梯度直接回传至 LoRA 参数，填充损失使用当前的更新基底并对白化变换执行截断梯度 \(\tilde{U}_{\ell, e}^P = \text{sg}[L_\ell] U_{\ell, e}\)，通过 QR 分解得到正交化基底 \(\widehat{U}_{\ell, e} = \text{qf}(\tilde{U}_{\ell, e}^P)\)。子空间打包损失定义为不同专家子空间间的互相关矩阵 Frobenius 范数平方和：

\[\mathcal{R}_{\text{pack}} = \sum_{\ell \in \mathcal{S}} \sum_{1 \le i < j \le E} \left\| \widehat{U}_{\ell, i}^\top \widehat{U}_{\ell, j} \right\|_F^2\]

最小化 \(\mathcal{R}_{\text{pack}}\) 能够强制将任意两个专家子空间之间的第一主夹角 \(\theta_{i, j}^{(1)}\) 向 \(\pi/2\)（正交）推移，从而在几何结构上保证不同专家承载互相正交的表征维度，为后续流式任务保留纯净的解耦空间。

4. 残差驱动动态增秩：在表征不足层精准注入低秩容量 当遭遇全新的领域或概念时，当前所有专家构成的联合空间可能均无法有效表达新样本的更新需求。强行将此类更新压缩在既有低秩空间内会导致模型欠拟合，甚至引发新的干扰。IAR 建立专家联合子空间 \(\tilde{U}_{\ell, \cup}^E = [\tilde{U}_{\ell, 1}^E, \dots, \tilde{U}_{\ell, E}^E]\)，并构建对应的正交投影余项 \(\tilde{r}_\ell = (I - \tilde{P}_{\ell, \cup}) \tilde{g}_\ell\)。计算整网的残差能量比：

\[\eta(x, y) = \frac{\sum_{\ell \in \mathcal{S}} \|\tilde{r}_\ell\|_2^2}{\sum_{\ell \in \mathcal{S}} \|\tilde{g}_\ell\|_2^2}, \qquad \ell^\star = \arg\max_{\ell \in \mathcal{S}} \|\tilde{r}_\ell\|_2^2\]

当残差能量比超过阈值 \(\eta(x, y) > \tau\)（默认 \(\tau=0.2\)）时，样本被加入待增秩队列。在批次或阶段边界，模型在残差最大的网络层 \(\ell^\star\) 针对当前样本最优专家 \(e^\star\) 执行秩自适应生长：先将白化残差逆变换反投影到无量纲权重空间 \(r_{\ell^\star} = L_{\ell^\star}^{-1} \tilde{r}_{\ell^\star}\) 并恢复为矩阵 \(R_{\ell^\star} = \text{mat}(r_{\ell^\star})\)，提取其前向截断奇异值分解的第一主方向 \((a, b) = \text{topSVD}_1(R_{\ell^\star})\)，以受控能量比例系数 \(\kappa\) 追加到 LoRA 矩阵列 \(A_{\ell^\star, e^\star}\) 与行 \(B_{\ell^\star, e^\star}\) 中（受上限 \(r_{\max}\) 约束）。这一设计实现了针对薄弱层的靶向扩容，避免全网盲目增参。

损失函数与推理蒸馏¶

模型联合优化任务主损失、子空间填充损失与长期负载均衡项：

\[\mathcal{J} = \mathbb{E}_{(x, y)} \left[ \mathcal{L}(f_{\theta, \alpha}(x), y) + \mu \mathcal{R}_{\text{pack}} + \nu \mathcal{R}_{\text{load}} \right]\]

在部署推理阶段，由于真实测试数据不存在反传标签因而无法直接计算探针梯度，IAR 引入轻量级路由蒸馏网络 \(r_\psi(\phi(x))\)。该网络以冻结骨干提取的前向特征 \(\phi(x)\) 为输入，通过 KL 散度拟合训练期基于干扰能量计算出的预言门控分布 \(\alpha(x, y)\)。在推理时，直接由 \(r_\psi\) 产出各专家激活概率，经过 Top-\(K_r\) 稀疏化并重新归一化后加权合成各层的 LoRA 增量，完全脱离了测试期梯度的依赖，带来极低的推理额外开销。

实验关键数据¶

主实验¶

在多领域持续分类（MTIL 11 域与任务未知的 X-TAIL 10 域，16-shot 协议）、结构化概念匹配（ConStruct-VL）、生成式视觉问答（VQACL：VQA v2 图像问答与 NExT-QA 视频问答）以及跨模态持续检索（CVLR 5 域）上进行了系统评测。所有方法均保持骨干冻结且训练参数预算匹配（0.8%–1.2%）。

表 1：跨领域分类与结构化概念匹配性能对比

方法	MTIL Avg (%)	MTIL Last (%)	MTIL Transfer (%)	X-TAIL Avg (%)	X-TAIL Last (%)	X-TAIL Transfer (%)	ConStruct-VL Acc (%)
LwF (TPAMI'17)	64.3	62.2	70.8	61.5	58.4	74.2	68.7
ZSCL (ICCV'23)	69.8	66.5	74.2	66.0	63.1	77.0	73.7
Mod-X (ICML'23)	68.9	65.0	72.8	65.3	62.0	75.4	74.1
C-CLIP (ICLR'25)	71.1	68.0	75.0	68.1	66.2	80.0	75.8
ZAF (NeurIPS'24)	70.3	67.2	76.1	67.6	65.7	80.4	74.6
DDAS (CVPR'24)	71.0	68.5	74.0	67.2	65.0	78.6	75.0
RAIL (NeurIPS'24)	70.9	68.8	77.4	67.4	65.9	79.2	74.9
DIKI (ECCV'24)	71.5	69.2	76.0	68.3	66.4	79.6	76.1
GIFT (CVPR'25)	71.6	69.4	77.2	68.6	66.7	80.7	76.5
LADA (ICML'25)	71.9	69.6	76.9	69.0	67.1	80.9	76.6
IAR (本文)	73.0	70.7	78.1	69.8	68.0	81.2	77.3
较前最高提升	+1.1	+1.1	+0.7	+0.8	+0.9	+0.3	+0.7

表 2：生成式视觉问答 (VQACL) 与跨模态持续检索 (CVLR) 性能对比

方法	VQA v2 AP (%) ↑	VQA v2 Forget (%) ↓	NExT-QA AP (%) ↑	NExT-QA Forget (%) ↓	CVLR R@1 (%) ↑	CVLR R@5 (%) ↑	CVLR R@10 (%) ↑	CVLR Last R@1 (%) ↑
Vanilla	21.3	14.4	18.5	8.7	19.2	26.6	35.1	17.8
ER (NeurIPS'19)	47.8	6.2	31.0	3.4	29.6	57.4	66.8	28.5
DER (NeurIPS'20)	48.6	5.9	31.8	3.1	30.3	58.0	67.2	29.1
InfLoRA (CVPR'24)	50.4	4.5	33.4	2.7	30.9	58.8	67.9	30.1
CL-MoE (CVPR'25)	51.3	2.9	33.5	2.6	31.4	59.4	68.6	30.3
SMoLoRA (arXiv'24)	50.9	2.5	33.4	2.5	—	—	—	—
C-CLIP (ICLR'25)	50.7	3.4	33.0	2.7	32.5	61.2	70.8	31.1
IAR (本文)	52.4	2.3	34.2	2.4	33.7	62.8	71.9	32.6
较前最优提升	+1.1	-0.2	+0.7	-0.1	+1.2	+1.6	+1.1	+1.5

消融实验¶

为系统解构 IAR 各核心组件的有效性，论文设置了 8 种单因素消融配置并在全协议下进行跨任务评估。

表 3：IAR 单因素消融实验

实验配置说明	MTIL Avg ↑	X-TAIL Last ↑	ConStruct Acc ↑	VQA v2 AP ↑	VQA v2 Forget ↓	NExT-QA AP ↑	CVLR R@1 ↑	CVLR Last R@1 ↑
完整 IAR 模型	73.0	68.0	77.3	52.4	2.3	34.2	33.7	32.6
❶ 无 Fisher 白化 (欧氏距离度量)	72.3 (-0.7)	67.4 (-0.6)	76.7 (-0.6)	51.8 (-0.6)	2.6 (+0.3)	33.7 (-0.5)	33.1 (-0.6)	32.0 (-0.6)
❷ 无路由器 (均匀适配器混合)	71.5 (-1.5)	66.6 (-1.4)	75.8 (-1.5)	51.2 (-1.2)	3.0 (+0.7)	33.0 (-1.2)	32.3 (-1.4)	31.1 (-1.5)
❸ 无子空间填充正则 (\(\mu=0\))	72.6 (-0.4)	67.3 (-0.7)	76.5 (-0.8)	52.0 (-0.4)	2.5 (+0.2)	33.9 (-0.3)	33.3 (-0.4)	32.0 (-0.6)
❹ 固定秩 \(r=8\) (无增秩机制)	72.6 (-0.4)	67.7 (-0.3)	76.9 (-0.4)	51.8 (-0.6)	2.6 (+0.3)	33.7 (-0.5)	33.4 (-0.3)	32.3 (-0.3)
❺ 完全禁止增秩 (固定基础秩 \(r=4\))	72.3 (-0.7)	67.4 (-0.6)	76.6 (-0.7)	51.4 (-1.0)	2.7 (+0.4)	33.4 (-0.8)	32.9 (-0.8)	31.9 (-0.7)
❻ 无容量平衡惩罚 (\(\lambda_C=\nu=0\))	72.5 (-0.5)	67.1 (-0.9)	76.8 (-0.5)	52.0 (-0.4)	2.6 (+0.3)	33.8 (-0.4)	33.0 (-0.7)	31.8 (-0.8)
❼ 单专家硬路由 (Top-\(K_r=1\))	72.7 (-0.3)	67.5 (-0.5)	76.9 (-0.4)	52.1 (-0.3)	2.4 (+0.1)	33.9 (-0.3)	33.4 (-0.3)	32.3 (-0.3)
❽ 无 EMA 基底 (使用瞬时更新基底)	72.4 (-0.6)	67.2 (-0.8)	76.7 (-0.6)	51.9 (-0.5)	2.6 (+0.3)	33.6 (-0.6)	33.1 (-0.6)	32.0 (-0.6)

关键发现¶

路由决策的核心必要性：消融 ❷（去除路由器改为均匀混合）导致了全局最大的性能滑坡，MTIL Avg 下降 1.5%、VQA v2 遗忘率急剧恶化 +0.7%，充分证明无差别的参数共享是持续学习中灾难性遗忘的根源。
度量白化对几何保真的关键价值：消融 ❶ 验证了若退化为朴素欧氏内积，能量估计将受到参数绝对幅值的扭曲，使检索任务上的 Last R@1 掉点 0.6%，证实对角 Fisher 度量与模型行为变化的一致性至关重要。
干扰能量对遗忘率的高预测力：论文诊断分析显示，训练期测得的样本期望干扰能量 \(\mathbb{E}[\mathcal{I}]\) 与后续任务在旧任务上的准确率退化量 \(\Delta \text{acc}\) 呈现高度正相关（Pearson \(r=0.622\), Spearman \(\rho=0.769, N=4259\)），且在高能量区间方差显著增大，验证了将其作为路由决策与增秩触发信号的数学合理性。
增秩事件的网络层分布特性：自适应增秩事件在网络各层分布并不均匀，呈现出向中高层显著富集的特征；中高层是多模态语义对齐与高阶推理表征集中的区域，在这些层注入秩带来了最高的 \(\Delta\text{AP}\) 与 \(\Delta\text{Last}\) 增益，表明残差机制精确捕获了语义层面的能力不足。

亮点与洞察¶

解耦路由信号与参数更新的因果环：利用仅含冻结骨干的前向梯度作为探针，彻底阻断了“路由依赖当前专家输出，而专家更新反向影响路由特征”的内生纠缠，保证了干扰度量的客观与稳定。
将连续流式几何问题映射为子空间打包：通过引入截断梯度的子空间打包正则，将连续任务微调过程中各专家在参数流形上的退化，转化为最大化格拉斯曼子空间第一主夹角的几何约束，为终身学习提供了结构层面的防干扰屏障。
残差能量引导的自适应按需增秩：打破以往按任务阶段僵硬扩展参数或全网统一扩容的范式，通过监测联合子空间投影残差比率，仅在现有专家能力饱和且表征不足的网络层实施单维度精准增秩，在模型压缩与持续扩展之间找到了极佳的平衡点。

局限与展望¶

探针计算的额外前向反向开销：在训练阶段，每个批次需要先在冻结骨干网络上做一次前向与反向以获取探针梯度，相比于标准前向更新引入了约 1.5 倍的训练计算量，在超大规模模型持续预训练场景下存在一定吞吐瓶颈。
推理路由器蒸馏的跨域泛化边界：推理阶段依赖前向特征蒸馏出的轻量路由器，若流式测试数据遇到了与训练期分布偏离极大的未见域（Out-of-Distribution），蒸馏路由器的门控预测置信度可能会下降，影响专家调度的准确性。
未来方向：探索将 IAR 与极少量具有代表性的样本回放机制相结合；进一步拓展至多模态音视频大模型（Any-to-Any MLLMs）以及端侧极低功耗边缘智能设备。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从 Fisher 度量白化投影能量角度将持续学习冲突建模为实例级可计算信号，并结合格拉斯曼子空间打包与残差增秩，设计极为精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖分类、概念匹配、生成式图文/视频问答、跨模态检索四大主流评测基准，且包含详尽的统计学关联分析、层分布与敏感性消融。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严密，度量推导清晰，实验图表信息密实且逻辑闭环。
价值: ⭐⭐⭐⭐⭐ 为大模型在非平稳环境下的轻量化参数适应与终身演进提供了兼顾稳定性、塑性与计算预算的标准范式。