SCoT: Similarity-guided Conflict-aware Task Consolidation for Continual VQA¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://anand-patel05.github.io/SCoT
领域: 多模态 VLM
关键词: 持续学习、视觉问答 (VQA)、任务向量、参数空间整合、反向正迁移

一句话总结¶

SCoT 提出基于预训练锚点的任务向量几何整合框架，在层级粒度测量任务相似度自适应分配整合权重，并通过条件投影精准剔除反向破坏性参数冲突与对编解码接口实施深度感知稳定，在 VQAv2 和 NExT-QA 上实现了近乎零遗忘（AF 0.07 与 -1.90）以及罕见的反向正迁移，性能甚至超越多任务联合训练上限。

研究背景与动机¶

现代视觉语言模型（VLM）依托大规模跨模态预训练获得了卓越的多模态表征与组合推理能力，但在实际落地部署中，系统往往需要在一个开放的任务流中持续吸收新技能，例如不断新增的问题类型、未知视觉领域、细分概念或长尾推理范式。然而，简单的顺序微调（Sequential Fine-tuning）会导致极其剧烈的灾难性遗忘，不仅破坏脆弱的跨模态对齐结构，还会迅速腐蚀预训练底座赋予的通用泛化能力。现有的持续视觉问答（Continual VQA）方案主要沿袭单模态持续学习的思路，高度依赖小规模回放缓冲区（Replay Buffer）、激活/梯度空间正则化或启发式架构约束，这些方法将每一次任务更新视为黑盒优化过程，无法显式追踪和控制任务知识在共享参数空间内的演化动态与相互作用。

这种优化的核心矛盾在于：参数更新在不同层、不同任务之间既存在协同增强（Synergy），也存在毁灭性的方向冲突（Interference）。现有基于回放或损失惩罚的方法往往在模型可塑性（Plasticity）与稳定性（Stability）之间陷入脆弱的二元妥协；而新兴的任务向量（Task Vector）与模型合并技术要么依赖离线后验合并（假设能同时拿到所有任务独立训练完毕的模型，脱离了在线数据流的持续学习场景），要么采用基于幅值极值的启发式规则（如 MagMax），完全忽略了参数更新之间的几何夹角与方向冲突，导致模型倾向于保守合并，极大地遏制了前向与后向知识迁移。

针对这一瓶颈，本文将持续多模态学习重新表释为参数空间中的定向几何整合过程。既然持续学习的目标是寻找到一个能够支撑所有历史任务与当前任务的共享全局最优解，那么就应该在参数位移空间中显式建模新旧任务向量的相互作用。核心 idea：将持续任务学习显式表示为相对于预训练锚点的任务向量累积，在每一网络层通过余弦相似度自适应调节可塑性整合权重，利用条件几何投影精准剥离对抗先验知识的破坏性分量，并对组合推理敏感的编解码接口层实施深度感知约束，实现构造性而非竞争性的持续知识演化。

方法详解¶

整体框架¶

SCoT 的核心处理流程以一个冻结或统一的预训练多模态模型 $\theta_0$（如 T5 编解码器骨干）作为坐标锚点。当持续任务流中的第 $i$ 个任务 $T_i$ 到达时，模型以历史累积参数 $\bar{\theta}_{i-1}$ 为初始化，利用任务私有数据及小规模回放缓冲区进行微调得到微调权重 $\theta_i^{\mathrm{ft}}$。随后，系统计算出当前任务相对于预训练锚点 $\theta_0$ 的累积位移向量 $t_i$，并进入参数空间持续整合引擎。整合引擎逐层度量 $t_i$ 与历史整合偏移 $m_{i-1}$ 的方向一致性，通过条件几何投影消除方向对抗成分，利用相似度映射出层级整合系数，并结合深度感知稳定阈值对敏感层进行更新幅度截断，最终将更新融合进历史累积偏移 $m_i$，得到用于下阶段任务初始化及即时部署的共享模型 $\bar{\theta}_i = \theta_0 + m_i$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：任务数据流 T_i<br/>及共享初始权重 θ_bar_i-1"] --> B["任务微调与位移提取<br/>计算相对于锚点 θ_0 的任务向量"]
    B --> C["锚点相对状态表示<br/>分离任务位移与历史累积偏移"]
    C --> D["冲突感知层级投影<br/>检测余弦冲突并条件剔除反向分量"]
    D --> E["相似度引导层级整合<br/>余弦对齐度映射自适应插值权重 α"]
    E --> F["深度感知敏感层稳定<br/>截断编解码交界层更新强度"]
    F --> G["输出：共享整合模型 θ_bar_i<br/>部署并初始化下一任务 T_i+1"]

关键设计¶

1. 锚点相对状态表示：解耦任务特定学习与全局累积

在持续学习场景中，若直接在非平稳的优化轨迹上做权重混合，极易造成参数漂移并掩盖梯度的几何方向。SCoT 始终维持一个固定的预训练骨干参数 $\theta_0$ 作为不变坐标系基底。在学习第 $i$ 个任务 $T_i$ 时，使用上一阶段已整合的共享参数 $\bar{\theta}_{i-1}$ 进行热启动微调得到 $\theta_i^{\mathrm{ft}}$，但提取任务知识时显式计算相对于全局初始锚点 $\theta_0$ 的全量位移： $$t_i = \theta_i^{\mathrm{ft}} - \theta_0$$ 通过维护单一的历史累积综合偏移量 $m_{i-1}$（初始化时 $m_0 = \mathbf{0}$），当前的共享部署模型在任何时刻均可严格表示为： $$\bar{\theta}_i = \theta_0 + m_i$$ 这种机制将“任务内部学到了什么特征变化（$t_i$）”与“多任务间如何平滑累积（$m_i$ 的更新规则）”彻底解耦，为后续在纯矢量空间施行精确的线性代数与微分几何约束奠定了基础。

2. 相似度引导层级整合：基于一阶几何对齐的自适应可塑性调控

多模态 Transformer 内部不同层级所承载的表征抽象度高度非均质，传统正则化算法计算参数重要性（如 Fisher 信息矩阵）时开销巨大且难以在线扩展，而粗暴的跨层均匀合并又忽视了网络层对任务知识的特化响应。SCoT 提出直接利用参数空间的一阶几何夹角作为天然重要性信号。针对模型的每一个独立层 $\ell$，计算当前任务向量 $t_i^{(\ell)}$ 与历史累积偏移量 $m_{i-1}^{(\ell)}$ 之间的余弦对齐度： $$s_{\ell,i} = \frac{\langle t_i^{(\ell)}, m_{i-1}^{(\ell)} \rangle}{\|t_i^{(\ell)}\| \|m_{i-1}^{(\ell)}\| + \epsilon}$$ 其中 $\epsilon$ 为防止零向量除零的数值稳定常数。接着，将余弦相似度 $s_{\ell,i} \in [-1, 1]$ 线性仿射并截断映射到预设的有界权重区间 $[\alpha_{\min}, \alpha_{\max}]$： $$\alpha_{\ell,i} = \text{clip}\left(\alpha_{\min} + (\alpha_{\max} - \alpha_{\min}) \frac{s_{\ell,i} + 1}{2}\right)$$ 当某一层的新旧任务位移高度同向（$s_{\ell,i} \to 1$）时，说明两个任务在该层存在强协同效应，系统赋予更大的 $\alpha_{\ell,i}$ 进行积极整合；反之，若协同度较弱或接近正交，则赋予接近 $\alpha_{\min}$ 的保守权重以保护既有知识结构。参数整合以加权移动插值形式展开： $$m_i^{(\ell)} = (1 - \alpha_{\ell,i}) m_{i-1}^{(\ell)} + \alpha_{\ell,i} \Delta_i^{(\ell)}$$ 其中 $\Delta_i^{(\ell)}$ 为经过下述抗冲突投影后的有效任务位移，该式仅将新任务带来的真实增量知识融入全局状态，有效避免了历史信息的重复叠加与爆炸。

3. 冲突感知层级投影：最小扰动条件投影剔除破坏性干扰

当计算得到的层级余弦对齐度出现负值（$s_{\ell,i} < 0$）时，意味着当前任务在层 $\ell$ 的优化方向与历史累积知识构成了钝角相悖，这正是诱发灾难性遗忘的物理根源。直接压缩整个任务向量的幅值会无差别地损伤该任务的正交有效表征。SCoT 提出一种条件最小范数几何投影，仅精准手术式地切除其与历史方向直接反向的投影分量： $$\tilde{t}_i^{(\ell)} = \begin{cases} t_i^{(\ell)} - \frac{\langle t_i^{(\ell)}, m_{i-1}^{(\ell)} \rangle}{\|m_{i-1}^{(\ell)}\|^2 + \epsilon} m_{i-1}^{(\ell)}, & \text{if } s_{\ell,i} < 0 \\ t_i^{(\ell)}, & \text{otherwise} \end{cases}$$ 该投影在数学上构成了满足非负内积约束 $\langle \tilde{t}_i^{(\ell)}, m_{i-1}^{(\ell)} \rangle \ge 0$ 的最小欧式扰动修正。将修正后的任务位移作为增量输入（即令 $\Delta_i^{(\ell)} = \tilde{t}_i^{(\ell)}$），系统在完好保留正交分量（促进独立新概念吸收）和正向分量（促进知识正迁移）的同时，彻底隔绝了导致破坏性干扰的反向分量。

4. 深度感知敏感层稳定：守护编码器-解码器接口的组合推理表征

在 VQA 持续学习中，模型不仅需要记忆历史所学概念，还面临将旧技能推广到未见物体组合的新颖组合泛化挑战。研究表明，Transformer 对组合推理的表征并非全网络均质分布，在所采用的 Encoder-Decoder 架构中，系统通过系统性消融发现，高阶跨模态语义在编码器尾部成型，并在解码器前端被组装为显式推理答案。为了防止持续微调破坏这一关键交互界面，SCoT 引入了深度感知稳定策略，定义组合敏感层集合 $\mathcal{L}_{\mathrm{comp}}$（即编码器后部层与解码器前部层），对这些层的整合权重进行上限约束： $$\alpha_{\ell,i} \leftarrow \min(\alpha_{\ell,i}, \alpha_\ell^{\mathrm{cap}}), \quad \ell \in \mathcal{L}_{\mathrm{comp}}$$ 在具体实现中，将编码器尾部敏感层强力锚定在 $\alpha_{\min}$，解码器头部敏感层上限设定为 $1.5 \times \alpha_{\min}$，而其余网络层则允许完全自适应释放至 $\alpha_{\max}$。这种差异化的刚度配置为模型构筑了一道天然的组合推理抗遗忘防线。

一个完整示例¶

假设系统在连续处理两类视觉问答任务：已巩固了包含多类别目标计数的任务向量历史偏移 $m_{i-1}$，新任务为针对全新动物种类的计数与属性识别。 1. 微调与位移计算：使用当前部署模型 $\bar{\theta}_{i-1}$ 对新任务微调后，计算新任务向量 $t_i = \theta_i^{\mathrm{ft}} - \theta_0$。 2. 底层与高层特征演化：在底层视觉投影层，输入特征同向，计算得出余弦相似度 $s_{\ell,i} = +0.72 > 0$。无需投影，直接映射计算得到较高的整合权重 $\alpha_{\ell,i} = 0.387$。底层参数积极吸收新物体的视觉基底特征。 3. 中层交互冲突检测与投影：在编码器第 9 层的自注意力投影矩阵上，新任务与旧任务的注意力分布产生局部冲突，测得 $s_{\ell,i} = -0.34 < 0$。算法触发条件几何投影，计算新任务向量沿 $m_{i-1}^{(\ell)}$ 方向的分量并予以减除，使得修正后的 $\tilde{t}_i^{(\ell)}$ 与历史状态严格正交（夹角修正为 $90^\circ$，$s=0$）。由于该层属于 $\mathcal{L}_{\mathrm{comp}}$，其插值系数被强制截断在 $\alpha_{\min} = 0.08$。 4. 状态更新：整合引擎按照移动插值公式合成新的 $m_i$。在下一次评估旧任务的计数能力时，由于关键注意力层破坏性分量已被消除且结构被锁定保护，历史任务准确率非但未发生断崖式下跌，反而因底层表征的复用提升了判别精度。

损失函数 / 训练策略¶

在任务微调阶段，系统遵循 VQACL 标准协议，采用标准的自回归交叉熵损失优化生成器参数： $$\mathcal{L}_{\mathrm{FT}} = - \sum_{k=1}^{|Y|} \log P_{\theta}\left(Y_k \mid Y_{<k}, V, Q\right)$$ 训练采用 Adam 优化器，学习率设为 $10^{-4}$，批大小为 80，每个任务训练 3 个 epoch。回放缓冲区规模 $M$ 在 VQAv2 上设为 5000 样本，在 NExT-QA 上设为 500 样本。任务向量整合超参数设定为 $\alpha_{\min} = 0.08$ 与 $\alpha_{\max} = 0.45$。

实验关键数据¶

主实验¶

实验在持续视觉问答两大权威基准 VQAv2（图像多任务流）与 NExT-QA（视频因果时序流）上展开，评估指标涵盖最终平均准确率（AP）与平均遗忘率（AF，越低越好，负值代表性能增强），包括标准测试集（Std. Test）与新颖组合泛化测试集（Comp. Test）。

算法 / 配置	缓冲区大小 (#Mem)	VQAv2 Std AP(↑)	VQAv2 Std AF(↓)	VQAv2 Comp AP(↑)	VQAv2 Comp AF(↓)	NExT-QA Std AP(↑)	NExT-QA Std AF(↓)	NExT-QA Comp AP(↑)	NExT-QA Comp AF(↓)
Joint (理论上限)	–	41.32	–	40.88	–	35.92	–	36.24	–
Vanilla (顺序微调)	None	14.92	30.80	11.79	27.16	12.68	25.94	12.59	28.04
EWC	None	15.77	30.62	12.83	28.16	13.01	24.06	11.91	27.44
MAS	None	20.56	11.16	23.90	6.24	18.04	10.07	21.12	10.09
ER	5000 / 500	36.99	5.99	33.78	5.76	30.55	4.91	32.20	5.57
DER	5000 / 500	35.35	8.62	31.52	8.59	26.17	5.12	21.56	12.68
VS	5000 / 500	34.03	8.79	32.96	5.78	28.13	4.45	29.47	6.14
VQACL	5000 / 500	37.46	6.96	35.40	4.90	30.86	4.12	33.85	3.80
QUAD	5000 / 500	39.25	4.91	40.00	3.81	31.70	2.91	33.21	4.16
SCoT (本文)	5000 / 500	42.78	0.07	42.11	2.14	32.28	-1.90	33.94	2.04

消融实验¶

论文对核心组件进行了严格的递进式消融评估： - C1: 锚点相对任务向量作为持续状态（Task Vector State，均匀朴素平均）； - C2: 相似度引导的层级整合（Similarity-guided Consolidation）； - C3: 冲突感知层级投影（Conflict-aware Projection）； - C4: 组合泛化深度感知稳定（Depth-aware Stabilization）。

配置组合 (C1 / C2 / C3 / C4)	VQAv2 Std AP(↑)	VQAv2 Std AF(↓)	VQAv2 Comp AP(↑)	VQAv2 Comp AF(↓)	NExT-QA Std AP(↑)	NExT-QA Std AF(↓)	NExT-QA Comp AP(↑)	NExT-QA Comp AF(↓)
C1 独立运作	39.23	-0.35	38.51	-0.28	27.35	-1.79	28.44	-5.67
+ C2 (引入相似度加权)	42.62	1.42	41.08	2.99	32.15	1.79	34.00	3.33
+ C3 (引入冲突消除投影)	43.02	0.92	41.31	2.95	32.39	0.49	33.75	3.07
+ C4 (完整模型 SCoT)	42.78	0.07	42.11	2.14	32.28	-1.90	33.94	2.04

关键发现¶

超越多任务联合训练上限：在 VQAv2 标准测试中，SCoT 取得了 42.78% 的 AP，明显超越了传统被视作持续学习理论天花板的 Joint 联合训练结果（41.32%）。这证明循序渐进的几何投影整合避免了多任务联合优化时复杂的梯度直接干涉，能够收敛至更优的协同参数解。
罕见的反向正迁移（Positive BWT）：在 NExT-QA 基准上，SCoT 测得了负遗忘率（AF = -1.90%），BWT 指标在 VQAv2 和 NExT-QA 上分别达到 +5.64 和 +6.97（而对比基线 QUAD 仍为 -4.76，Sequential 微调高达 -29.44）。这标志着后续任务的学习实际上促进了前序任务性能的提升。
各组件权衡明确：C2（相似度加权）带来了最显著的性能跃迁（VQAv2 Std AP 提升 +3.39%，NExT-QA Std AP 提升 +4.80%），但略微增加了遗忘风险；C3（冲突感知投影）精准化解了该风险，将遗忘率显著压低；C4 则通过轻微牺牲普通任务适配幅度，显著兑现了组合测试集上的抗遗忘增益（Comp AP 升至 42.11% / 33.94%）。

亮点与洞察¶

参数流的最小扰动非负投影机制：当层级余弦对齐度小于零时，传统方法采用全量向量衰减或符号掩码，而 SCoT 运用解析的格拉姆-施密特正交化变体切除逆向分量。这种设计数学形式完备，计算几乎零开销，却能完美保障参数流的单调正向累积。
打破联合训练上限的几何启示：这一实验现象颠覆了“联合训练必然是持续学习上限”的教条认知，说明多任务联合优化容易受制于互相牵制的非凸局部鞍点，而带有抗冲突几何滤波的序列化合并反而充当了一种更平滑的路径规划器。
编解码接口的组合刚度解耦：论文通过实验发现组合推理瓶颈集中在 Encoder-Decoder 交界层，并有针对性地实施深度感知刚性截断。这种“中流砥柱式”的分层可塑性控制可直接推广至各类复杂序列化智能体网络中。

局限与展望¶

预训练锚点漂移的长期假设：当前方法依赖固定的 $\theta_0$ 维持向量线性空间。如果任务流极其漫长且领域剧烈漂移，模型位移距离原点过远时，局部切空间的切平面线性近似可能会逐渐失效。
任务内部微调阶段的盲区：SCoT 的几何修正发生在 post-hoc 任务整合阶段，而在任务内的局部梯度下降反向传播过程中，模型仍可能在旧任务敏感区域发生瞬间过拟合，未来可尝试将投影条件回传至任务内梯度更新中。
自适应阈值的启发式设定：当前 $[\alpha_{\min}, \alpha_{\max}]$ 以及敏感层的判定仍依赖网格实验先验，未来若能根据层级曲率（如低秩 Hessian 特征值）实现自适应闭环调控将更具通用性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将任务向量代数引入在线持续 VQA，创新性地构建了基于层级余弦相似度的最小范数抗冲突投影机制。
实验充分度: ⭐⭐⭐⭐⭐ 全面覆盖 VQAv2、NExT-QA、LLaVA-7B 大模型、单模态分类与领域适应，包含标准与全新组合双重测试维度，消融细致扎实。
写作质量: ⭐⭐⭐⭐⭐ 几何图示直观清晰，数学符号表达严谨，方法演进逻辑一气呵成。
价值: ⭐⭐⭐⭐⭐ 为大模型时代的轻量化多模态持续学习提供了坚实的无干扰参数合并范式，超越联合训练的表现具有深刻启发意义。