COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision-Language Learning¶

会议: NeurIPS 2026
arXiv: 2610.22907
论文: https://arxiv.org/abs/2610.22907
领域: 多模态VLM
关键词: 持续学习、视觉语言模型、专家混合、知识蒸馏、上下文老虎机

一句话总结¶

针对任务不可知的视觉-语言持续学习中多模态漂移、专家间冲突与容量不足三重耦合压力，COMET 提出机制解耦框架，结合三亲和度蒸馏、跨专家注意蒸馏与上下文老虎机容量合并，在冻结主干与免回放条件下取得最强持续适应性能与亚线性专家增长。

研究背景与动机¶

在大规模图文对上预训练的视觉语言模型（如 CLIP）具备强大的零样本迁移能力，但在实际开放世界部署中，模型通常需要面对连续到来的下游专业任务，例如胸部 X 射线、卫星遥感与电子显微镜等。在任务不可知的持续学习设定（X-TAIL）下，模型无法获取历史任务数据进行重放（无回放），推理时不提供任务标识（任务不可知），且出于算力约束不能对整个大骨干网络进行全量重训。参数高效持续学习（PEFT）方法通过冻结骨干网络并仅更新轻量适配器来应对灾难性遗忘，但在面对长序列、异质性极强的异构任务流时仍频繁陷入性能崩塌。

这一困境的根源并不局限于传统的稳定性-可塑性权衡，而是由三个相互耦合且特征相异的失效轴共同驱动：一是模态一致性漂移（modal-consistency drift），持续适应会拉扯预训练对齐与下游任务对齐，导致模型在适应特定域时丢失通用图文几何与零样本能力；二是表征空间干扰（representation-space interference），各专家网络在隔离状态下独立训练，在不完美的路由机制下，歧义样本一旦被误分配到未校准的专家，误差会在决策边界急剧放大；三是单任务容量不足（per-task capacity shortfall），轻量适配器受限于预训练冻结骨干的固有表征基底，无法承载远离日常图文分布的专有几何结构（如医学病理与显微图像）。现有方法要么通过权重插值牺牲新域容量，要么积累孤立适配器而缺乏协同空间，其核心痛点在于将特征参照、路由选择、专家约束与容量合并等多种角色混杂在一个机制中。

本文的切入角度是：必须在架构构建阶段将上述三大轴的解决机制进行严格解耦，打破角色冲突。核心 idea：将特征参照、跨专家协同、容量合并控制与推理路由在构建上彻底解耦，由冻结教师锚定图文三亲和度几何，通过无标签参考池让新专家与兼容旧专家对齐注意力推理，并利用上下文多臂老虎机根据后验反馈动态调控专家池的合并与保留。

方法详解¶

整体框架¶

COMET 构建了一个渐进增长且紧凑的轻量级 CLIP 专家池。对于数据流中的每个新任务，系统首先在冻结教师图像特征空间中为该任务训练轻量级自编码器路由器；随后从统一 CLIP 初始化新专家模型，在当前任务监督损失以及基于共享无标签参考池的两项蒸馏损失监督下训练；训练完成后，系统评估跨任务兼容性信号，并唤醒上下文多臂老虎机（CMAB）做出容量决策——是将新专家合并进已有兼容专家，还是保留为独立专家；在最终无任务标识的推理阶段，各专家路由器通过自编码重构误差计算校准对数似然比，自适应激活 top-$k$ 专家完成门控加权预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流：任务数据与图文参考池"] --> B["自编码重构路由器预训练<br/>基于冻结教师图像特征提取"]
    B --> C["三亲和度蒸馏 TAD<br/>模态内图图/文文与跨模态双向对齐"]
    C --> D["跨专家注意力蒸馏 SACED<br/>基于参考池对齐兼容旧专家注意结构"]
    D --> E["上下文多臂老虎机 CMAB 容量决策<br/>基于后验增益执行保持或合并"]
    E --> F["校准似然比重构路由推理<br/>top-k 自适应门控稀疏融合输出"]

关键设计¶

1. 三亲和度蒸馏 TAD：锚定预训练跨模态流形 为解决持续适应对预训练零样本对齐的破坏，TAD 摒弃了不稳定的分类 logit 蒸馏，直接使用冻结的 CLIP ViT-B/16 教师网络在共享图文参考池 $\mathcal{D}_{\text{ref}}$（10,800 对 Conceptual Captions 样本）上作为无标签几何参照。TAD 构建了三重亲和度对齐：在模态内，分别计算学生与教师图像嵌入的批量相似度矩阵误差 $\mathcal{L}_{\text{I}} = \|S_{\text{I}}S_{\text{I}}^\top - T_{\text{I}}T_{\text{I}}^\top\|_F^2$ 以及文本相似度矩阵误差 $\mathcal{L}_{\text{T}} = \|S_{\text{T}}S_{\text{T}}^\top - T_{\text{T}}T_{\text{T}}^\top\|_F^2$；在跨模态维度，计算双向图文匹配概率分布，并施加由教师至学生的正向 KL 散度约束 $\mathcal{L}_{\text{Cross}}$。三者联合损失 $\mathcal{L}_{\text{TAD}} = \mathcal{L}_{\text{I}} + \mathcal{L}_{\text{T}} + \lambda_1 \mathcal{L}_{\text{Cross}}$ 保证了专家既能吸收专有任务监督，又能被牢牢锚定在原始多模态对齐流形上。

2. 跨专家注意力蒸馏 SACED：实现路由容错与平滑退化 针对路由错误引发的表征崩溃，SACED 旨在让新训练的专家在注意力推理层面与历史上兼容的已有专家保持表征几何兼容。系统首先在参考池 $\mathcal{D}_{\text{ref}}$ 上评估旧专家与当前任务特征的门控重合度、预测一致性及分布余弦相似度，筛选出兼容专家子集 $\mathcal{S}_k$。随后，SACED 提取学生专家、选定旧专家及冻结教师在相同参考输入下的注意力图，经过标准化与池化后计算各自相对于教师注意力图的余弦距离 $d_{\text{attn}}$，并通过损失函数使得新专家匹配旧专家相对于教师的注意力偏移结构： $$ \mathcal{L}{\text{SACED}} = \mathbb{E}}}\sim\mathcal{D{\text{ref}}, j\sim\text{Unif}(\mathcal{S}k)} \left[ \left| d(A_s(x}))) \right| \right] $$ 这一设计不强加下游类别分布，仅在教师坐标系下传递推理注意力分配方式，使即使被误路由的测试样本也能落入表征空间互相兼容的专家模块，将灾难性错误降级为平滑退化。}}), A_t(x_{\text{ref}})) - \operatorname{sg}(d_{\text{attn}}(A_j(x_{\text{ref}}), A_t(x_{\text{ref}

3. 上下文多臂老虎机容量合并：解耦训练与动态模型分配 为了摆脱固定相似度阈值导致的合并失效，COMET 将专家容量控制建模为训练后期的上下文决策问题。对于通过相似度门限初筛的候选专家 $E_c$，系统构造由当前任务验证精度、合并兼容度、退化风险、容量压力以及候选专家历史负载构成的 5 维上下文向量 $\phi_{k,c}$。决策网络计算得分 $B_k(c) = w^\top \phi_{k,c} + \beta_k / (1 + N_k)$，若最优候选得分超过自适应阈值 $\tau_k$ 则执行权重空间合并，否则保留为独立专家。在执行动作后，CMAB 利用基于验证集精度的中心化优势信号 $A_k = r_k - \bar{r}_k$ 与动作符号更新策略权重 $w$ 与阈值 $\tau$，使决策准则能自适应任务序列的新颖性，从理论与实践上确保专家数量随任务流长度呈亚线性增长。

4. 基于重构误差的自编码校准路由：无监督任务归属判别 在推理期，模型既无任务标签也无教师预测可用。COMET 为每个保留专家维护一个微型浅层自编码器 $R_m$（约 0.2M 参数），直接在冻结教师的图像特征上重构输入样本。为消除不同自编码器因重建基底不同而造成的绝对误差偏差，COMET 将对数重构误差转换为校准对数似然比： $$ \ell_m(x) = \log p(\log r_m(x) \mid m) - \log p(\log r_m(x) \mid \text{bg}) $$ 其中前景分布由该专家对应训练集拟合，背景分布由通用参考池拟合。通过温度 softmax 转换为门控权重 $w_m(x)$ 后，动态激活 top-$1$ 或 top-$2$ 专家并对输出图文匹配 logits 进行加权融合，实现了精准且解耦的稀疏推理。

损失函数 / 训练策略¶

每个任务阶段分为三步： 1. 路由器预训练：自编码器在冻结教师特征上以均方重构误差 $\mathcal{L}_{R} = \frac{1}{d}\|R_{\text{new}}(z)-z\|_2^2$ 训练 1,000 步。 2. 专家优化：新专家以 AdamW（学习率 $10^{-5}$，批大小 64）训练 1,000 步，总损失为 $\mathcal{L}_k = \mathcal{L}_{\text{task}} + \mathcal{L}_{\text{TAD}} + \lambda_2 \mathcal{L}_{\text{SACED}}$，默认 $\lambda_1 = 0.2, \lambda_2 = 1.0$。 3. 容量合并：训练收敛后评估 $\mathcal{V}_k$ 与 $\mathcal{D}_{\text{ref}}$ 信号，CMAB 决策是否合并，并更新老虎机参数；已保留专家参数此后全部冻结。

实验关键数据¶

主实验¶

在跨域任务不可知增量学习评测基准 X-TAIL（10 个连续图像分类数据集，含 Aircraft、Caltech101、DTD、EuroSAT、Flowers、Food、MNIST、Pets、Cars、Sun397）上，评估未见任务前向迁移能力（Transfer）、全流程平均精度（Average）以及最终记忆留存精度（Last）：

方法	模型架构/容量	Transfer (%)	Average (%)	Last (%)	活跃参数量 / 延迟
Zero-shot (CLIP-B/16)	ViT-B/16 (150M)	57.7	—	57.7	150M / 166.3ms
LwF	ViT-B/16 (150M)	44.9	52.8	61.4	150M / 166.3ms
WiSE-FT	ViT-B/16 (150M)	53.7	59.8	68.5	150M / 166.3ms
ZSCL	ViT-B/16 (150M)	55.9	64.2	72.4	150M / 166.3ms
MoE-Adapters	ViT-B/16 + Adapter	60.3	63.4	65.8	180M / 196.5ms
Primal-RAIL	ViT-B/16 + Ridge	—	73.2	84.0	— / —
LADA	ViT-B/16 + Memory	61.1	74.7	86.7	96-150M / 176.9ms
COMET (本文)	TinyCLIP (58M/专家)	62.6	76.1	88.1	~145M / 107.1ms

在远离 CLIP 预训练分布的 4 任务异构序列（Covid19 胸部 X 光、Kather-Texture 组织学、NCT100K 结直肠癌、SEM 电子显微镜）上，COMET 展现出压倒性优势： - Transfer: COMET 达到 31.2%，大幅超越 ZSCL（12.5%）、WiSE-FT（11.9%）与 LADA（7.5%），其中在 NCT100K 单任务迁移上达到 40.5%（其他所有基线均低于 1.6%）。 - Average: COMET 达到 72.9%，比之前最强的 LADA（52.7%）提升了 +20.2%p。 - Last: COMET 达到 96.7%，显著优于 MoE-Adapters（93.2%）与 LADA（87.3%）。

消融实验¶

在 X-TAIL 基准上的核心组件与策略消融如下：

配置 / 变体	专家数 $M$	存储参数量 (M)	Transfer (%)	Average (%)	Last (%)	说明
基础无蒸馏模型	8	551	56.6	73.9	85.6	去除两项蒸馏，仅任务损失
仅添加 TAD	8	551	61.3	75.4	87.6	锚定预训练图文几何 (+4.7%p Trans)
仅添加 SACED	8	551	59.9	75.1	85.3	建立跨专家推理对齐 (+3.3%p Trans)
完整 COMET (TAD + SACED)	8	551	62.6	76.1	88.1	两项蒸馏互补发挥最大效能
极端随机合并 (Random)	3	261	58.9	64.9	69.1	破坏专家几何，精度显著滑坡
强行全合并 (Always-Merge)	1	145	58.4	58.4	58.4	容量严重不足，发生灾难性遗忘
强行全保留 (Always-Expand)	10	667	61.6	75.8	87.3	参数膨胀且缺乏协同，精度劣于CMAB
CMAB 自适应决策 (本文)	8	551	62.6	76.1	88.1	兼顾紧凑容量与最高精度

关键发现¶

蒸馏机制的高度互补性与必要性：TAD 提供了坚实的预训练全局流形约束，单项为 Transfer 带来 +4.7%p 增益；SACED 则专注于局部跨专家空间兼容。若单独分解 TAD，图图亲和度 $\mathcal{L}_{\text{I}}$ 是最关键支撑（剥离后 Average 跌至 60.4%），但必须与跨模态 $\mathcal{L}_{\text{Cross}}$ 联合作用才能防止局部失真。
路由容错能力的实质验证：在经过 CMAB 合并后的 80,939 个测试样本中，有 2.6%（2,069 个）被路由器误分配到了非预定专家模块；由于 SACED 施加的注意力几何兼容性约束，这些被误分配的样本中有高达 52.5% 仍然得到了正确的分类预测，验证了系统对非理想路由的平滑退化特性。
容量决策与任务新颖性高度共振：CMAB 在 10 任务流程中自动保留了 8 个专家，且在不同任务输入顺序下自适应收敛于 5–8 个专家之间，平均任务遗忘仅为 2.2%p；相比之下，简单的 Always-Expand 存储参数量达 667M 却跑输 CMAB（87.3% vs 88.1% Last），说明盲目扩张专家会导致路由歧义，合理的合并反而能强化泛化。

亮点与洞察¶

功能角色的正交解耦哲学：传统持续学习框架常让教师模型既当特征提取器又当路由判决器与合并仲裁者，导致多重目标相互破坏。COMET 明确将教师限制为只提供不变的无标签几何参照，将容量调控后置于训练完成之后，架构层次清晰。
注意力偏移的相对化对齐：SACED 不在专家间进行硬性的参数对齐或类别概率逼近，而是使用冻结教师作为坐标系，通过衡量“学生与教师的注意偏移”与“旧专家与教师的注意偏移”之间的距离进行协同，是一种极其巧妙的无标签跨模块正则化手段。
低推理延迟的精简专家设计：虽然累计存储了多个专家，但推理阶段仅执行轻量级图像重构路由并稀疏激活单专家或双专家，且采用了参数量仅 58M 的 TinyCLIP，单图推理延迟降至 107.1ms（帧率达到 598 img/s），显著快于传统基于 CLIP-B/16 的单一模型基准。

局限与展望¶

理论亚线性增长依赖分布支持有界：作者承认专家规模的亚线性增长理论基于任务增量新颖性递减的充分条件假设。若任务流无限延伸且持续切入完全正交的全新域，系统仍可能面临专家数量的线性膨胀，且 CMAB 当前缺乏严格的 regret 理论界保证。
未探索硬性存储预算下的受限修剪：当前算法依赖老虎机依据增益自行决定是否合并，缺乏在严格指定最大参数存储阈值下的被迫压缩与专家修剪机制。
生成式视觉语言大模型的扩展验证：当前评测主要基于判别式图文匹配架构（CLIP/TinyCLIP），在自回归多模态大模型（如 LLaVA、Qwen-VL）的持续指令微调场景下的适用性尚待验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性拆解视觉语言持续学习的三大失效轴，提出了角色正交解耦与注意力相对蒸馏机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 X-TAIL 10 任务基准及极具挑战性的 4 任务跨域远分布医学/工业序列，消融细致且包含详尽的路由错误分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，问题定义清晰，数学推导与实验论证严谨规范。
价值: ⭐⭐⭐⭐⭐ 为大模型开放世界持续学习提供了跳出传统单一稳定性-可塑性权衡的全新范式。