跳转至

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/kaln27/AWARe
领域: 模型压缩
关键词: 灾难性遗忘, 多模态大语言模型, 激活加权保留, 持续微调, 参数高效微调

一句话总结

针对多模态大语言模型(MLLM)在下游任务微调过程中易覆盖预训练核心表征导致灾难性遗忘的难题,AWARe 通过在校准集上分析自注意力投影与多模态投影层的激活强度来评估输出通道显著性,并全局冻结前 30% 最关键神经元权重,仅更新约 17.5% 参数即实现了高适应性与通用知识保留的双赢。

研究背景与动机

多模态大语言模型(MLLM)通过将大规模预训练视觉编码器与大语言模型底座深度对齐,在跨模态理解、图文推理以及开放指令遵循上取得了显著成功。然而,将这些基础多模态模型针对下游垂直任务(如特定视觉问答、图像字幕生成或跨领域序列任务)进行微调时,往往会遭遇严峻的灾难性遗忘(Catastrophic Forgetting)。新任务梯度的无序反向传播会剧烈冲刷和覆盖对通用感知与推理至关重要的预训练参数,使模型在原先熟练的上游基础任务上发生严重的断崖式性能衰退。

现有缓解遗忘的方法往往难以直接胜任数十亿参数规模的多模态模型。传统的经验回放(Experience Replay)需要缓存或混合海量上游多模态数据,存储与传输开销巨大且受限于数据隐私合规;基于参数正则化(如 EWC)的方法计算高阶 Fisher 统计信息开销沉重,在大模型中难以扩展;而主流参数高效微调(PEFT,如 LoRA、DoRA)虽然大幅缩减了可训练参数量,但其全局低秩扰动依然会在深层表征空间内诱发特征漂移与正交冲突,无法从根源上阻止上游核心知识通路的退化。近期的选择性剪枝与稀疏微调尝试根据静态权重绝对值或单步梯度大小挑选更新子集,但静态权重忽略了输入数据流在多模态前向推理时的动态激活动态,无法精准刻画真正承载多模态结构性常识的神经元回路。

受到模型量化(如 AWQ)与剪枝(如 Wanda)中“激活强度主导功能重要性”现象的启发,本研究认为在 MLLM 的自注意力矩阵和跨模态投影中,少数经历持续强激活的神经元通道承载了跨样本稳定的通用模式。若能从统计分布中准确定位这些高显著神经元并在微调阶段对其施加刚性保护,便可在零结构开销下彻底隔绝遗忘破坏。核心 idea:利用少量校准样本统计自注意力与跨模态投影层的序列聚合激活范数,以跨维度归一化构建通道级显著性画像,全局硬冻结前 30% 高显著性权重行,仅放行其余约 17.5% 低显著参数参与下游自适应更新。

方法详解

整体框架

AWARe 的整体工作流程严格遵循“先画像、后约束微调”的两阶段范式,且全流程不改动模型原生拓扑结构,微调结束后无需附加推理开销。在第一阶段(知识画像,Knowledge Profiling),算法选用极少量上游或通用多模态样本(仅需 200~400 个样本执行一次前向传播),前向提取自注意力机制(\(W_q, W_k, W_v\))以及视觉连接器(mm_projector)的中间激活张量,经序列聚合与样本间归一化后计算出每个输出神经元通道的显著性标量;在第二阶段(受约束微调,Constrained Fine-tuning),算法将所有目标层的神经元置于全局池化排序,锁定全局最显著的前 \(\rho\) 比例神经元(对应权重行掩码置零),训练时仅对低显著参数应用梯度更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态校准输入<br/>少量上游或MMMU样本"] --> B["前向激活捕获<br/>提取Q/K/V及Projector激活"]
    B --> C["跨维度范数归一化<br/>序列L2聚合与隐藏维归一"]
    C --> D["全局显著性排序与掩码生成<br/>池化层-通道对并锁定Top-ρ"]
    D --> E["动态掩码受约束微调<br/>AwareLinear解耦冻结与可训练通道"]
    E --> F["下游零开销部署模型<br/>移除包装器保持原生结构"]

关键设计

1. 跨维度范数归一化:消除样本长度与幅值偏差对神经元重要性度量的干扰 针对不同输入样本序列长度不一、局部异常离群 token 激活畸大而掩盖真实结构性神经元贡献的痛点,AWARe 设计了一套无须反向传播梯度的轻量三步统计归一化流水线。对于目标线性层权重 \(W \in \mathbb{R}^{d_{out} \times d_{in}}\),前向传播产生激活张量 \(A \in \mathbb{R}^{B \times L \times d_{out}}\)。首先沿序列长度维度计算每个样本 \(i\)、输出神经元 \(k\) 的激活能量 \(L_2\) 范数: $\(a'_{i,k} = \sqrt{\sum_{j=1}^L a_{i,j,k}^2}\)$ 若直接平均 \(a'_{i,k}\),某些高对比度或长指令样本的绝对激活幅值会主导整体评分。因此算法在隐层维度 \(d_{out}\) 上执行逐样本 \(L_2\) 归一化,得到去量纲的相对重要性系数 \(a''_{i,k} = a'_{i,k} / \|a'_i\|_2\)。最后通过跨批次样本平均获得神经元显著性得分 \(s_k = \frac{1}{B} \sum_{i=1}^B a''_{i,k}\)。这一设计促使模型聚焦于在多样化上下文内始终表现活跃的关键通道,而非偶然过载的局部神经元。

2. 全局显著性排序与掩码生成:跨层不均衡配额突破传统层内均分限制 针对固定每层均匀冻结相同比例(Layer-Balanced)导致不同深浅网络层灵活性受抑或表征不足的缺陷,AWARe 提出了跨层联合的全局排序保留策略(Global-Highest Selection)。在多层感知机与注意力网络中,底层倾向于提取边缘纹理与通用结构,而顶层更关注抽象语义。AWARe 将全网所有候选投影层的通道标识对 \((l, k)\) 放入统一池中全局排序,选取排名前 \(\rho\) 比例的最高分通道集合 \(\mathcal{I}\)。基于集合 \(\mathcal{I}\) 构建二值梯度掩码矩阵 \(M_{grad} \in \{0, 1\}^{d_{out} \times d_{in}}\):当第 \(k\) 行属于显著集合 \(\mathcal{I}\) 时,其所有入边权重掩码 \((M_{grad})_{k,:} = 0\);其余通道设为 1。热力图分析证实,该机制自发地在 \(q\_proj\) 和 \(k\_proj\) 的浅层分配更高的冻结率,而在 \(v\_proj\) 上维持跨深度的均匀冻结,极其契合 Transformer 的内部信息流模式。

3. 动态掩码受约束微调:通过行级解耦实现高效更新与零部署负担 针对传统正则化需引入复合损失计算、额外低秩适配矩阵导致推理延迟增大的痛点,AWARe 在工程与算法上引入轻量训练时算子 AwareLinear。在参数反向传播时,下游损失对权重的梯度经由掩码矩阵进行 Hadamard 逐元素哈达玛积滤波: $\(W^{(t+1)} = W^{(t)} - \eta \cdot \left(\nabla_W \mathcal{L}_{down} \odot M_{grad}\right)\)$ 在 PyTorch 实现中,AwareLinear 将线性投影矩阵在物理层按行切分为活跃可训练块与冻结保留块,前向传播保持等价矩阵运算,反向传播时仅为未冻结的输出行分配梯度显存,大幅压降了优化器状态开销。在微调结束后,该包装器直接脱落并恢复为标准线性算子,没有任何额外超参数推理分支或适配层。结合自注意力与多模态连接器(保持 MLP 全冻结)的结构设定,可训练参数量被严格限定在总块参数的约 17.5%,兼具极高的吞吐与更新效率。

损失函数 / 训练策略

微调过程完全由下游特定任务的监督损失驱动,无须构造任何额外正则化项或上游重放交叉熵: $\(\mathcal{L} = \mathcal{L}_{down}(M_\theta, \mathcal{D}_{down})\)$ 在下游反向传播更新时,优化器仅更新 \(M_{grad}\) 中值为 1 的权重区域。默认配置下采用 AdamW 优化器,学习率采用余弦退火(Cosine Annealing)调度,LLM 骨干学习率设为 \(2 \times 10^{-5}\),多模态投影层学习率设为 \(2 \times 10^{-4}\),预热比例 0.03,全局 Batch Size 为 16,训练 3 个 epoch。

实验关键数据

主实验

在单任务下游微调(以 LLaVA-v1.5-7B 为底座,预训练上游任务涵盖 OKVQA、OCRVQA、GQA、TextVQA,微调下游目标任务为 IconQA 视觉问答与 COCO-Caption 图像描述)设定下,论文对比了全量微调、LoRA、DoRA、Orth-Reg、DARE、Model Tailor、LoRASculpt、SPIDER 以及 AWARe。评估指标包括知识保留度 \(R\)(上游相对保留率)、学习效率 \(E\)(相对 Full-FT 的下游增益)及其调和平均值 \(H\):

微调方法 IconQA: OKVQA IconQA: OCRVQA IconQA: GQA IconQA: TextVQA IconQA: Target IconQA: R IconQA: E IconQA: H COCO-Cap: Target COCO-Cap: R COCO-Cap: E COCO-Cap: H
Zero-shot 57.99 66.20 61.93 58.23 23.18 100.0 28.9 44.9 40.40 100.0 42.3 59.4
Full-FT 0.04 0.00 0.00 0.46 80.15 0.2 100.0 0.4 95.59 0.0 100.0 0.0
LoRA 45.06 48.40 49.22 36.47 63.65 73.3 79.4 76.2 110.27 81.6 115.4 95.6
DoRA 49.94 54.40 55.39 47.26 84.48 84.7 105.4 93.9 112.60 82.6 117.8 97.1
Orth-Reg 53.12 56.10 57.43 51.00 84.52 89.1 105.5 96.6 111.87 86.5 117.0 99.5
DARE 44.39 46.85 48.75 34.84 82.28 71.5 102.7 84.3 108.57 79.5 113.6 93.5
Model Tailor 50.07 53.85 53.04 46.92 81.76 83.4 102.0 91.8 117.64 89.9 123.1 103.9
LoRASculpt 53.52 59.50 57.63 53.76 85.26 91.8 106.4 98.6 120.35 88.8 125.9 104.2
SPIDER 50.41 61.49 56.54 51.54 85.29 90.0 106.4 97.5 114.74 89.2 120.0 102.3
AWARe (Ours) 56.95 65.10 60.83 57.66 86.92 98.4 108.4 103.2 120.94 94.2 126.5 108.0
AWARe (MMMU) 56.86 63.35 60.93 56.77 85.23 97.4 106.3 101.7 121.22 93.9 126.8 107.9

在持续指令微调五任务基准 MLLM-DCL(遥感 RS \(\to\) 医学 Med \(\to\) 自动驾驶 AD \(\to\) 科学推理 Sci \(\to\) 金融 Fin)上,AWARe 同样表现突出:

持续学习基准方法 平均得分 (Avg ↑) 最终留存得分 (Last ↑)
ModalPrompt 53.87 53.94
HiDe 57.04 55.31
LoRA-FT 58.52 53.00
MoELoRA 58.53 54.78
CL-MoE 59.30 54.88
O-LoRA 59.53 55.54
SEFE 60.96 58.51
DISCO 62.40 60.33
AWARe (Ours) 65.58 (+3.18) 62.10 (+1.77)

消融实验

参数挑选策略及冻结配额的消融实验(在 IconQA 与 COCO-Caption 下对比)验证了激活驱动判据与全局分配的核心有效性:

实验维度 具体配置 IconQA: Source Avg IconQA: Target COCO-Cap: Source Avg COCO-Cap: Target 说明
筛选准则 随机选择 (Random 30%) 49.94 86.32 49.46 116.31 无法有效护航上游能力,上游平均分暴跌
筛选准则 权重幅值 (Weight Norm 30%) 58.51 85.51 53.52 115.19 静态模长缺少动态交互视角,保留能力劣于激活
筛选准则 混合判据 (0.3W + 0.7A) 58.69 84.66 53.90 115.24 混合静态权重反而稀释了激活指示精度
筛选准则 纯激活显著性 (Activation 30%) 60.13 86.92 57.56 120.94 显著性最具判别力,平衡性最佳
分配策略 层内均匀 (Layer-Balanced 30%) 58.95 85.29 - - \(R=96.5, E=106.4, H=101.2\)
分配策略 全局最高 (Global-Highest 30%) 60.13 86.92 - - \(R=98.4, E=108.4, H=103.2\)
冻结比例 全局最高 \(\rho=10\%\) 58.53 86.13 - - 冻结过少,\(R=95.8, H=101.3\)
冻结比例 全局最高 \(\rho=30\%\) 60.13 86.92 - - 黄金平衡点,综合指标最高
冻结比例 全局最高 \(\rho=50\%\) 60.55 85.97 - - \(R=99.1, E=107.3, H=103.0\)
冻结比例 全局最高 \(\rho=90\%\) 60.98 54.62 - - 严重欠拟合目标任务,\(E\) 骤降至 68.1

关键发现

  • 网络更新目标的层间敏感度差异显著:实验揭示更新 MLP 模块会导致上游任务发生断崖式崩溃(指标跌至 30 分以下),印证了 MLP 存储大量事实性通用世界知识的假说;而将微调严格限制在自注意力投影层(\(W_q, W_k, W_v\))结合 mm_projector,能为新任务提供足够的可塑性空间而不扰动底层记忆。
  • 动态激活显著性远胜静态权重模长:如 Table 3 所示,在相同 30% 冻结预算下,基于激活的通道挑选在 IconQA 和 COCO-Caption 上游平均分分别达到 60.13 与 57.56,比基于纯权重绝对值选择高出 1.62 和 4.04 分,证明前向推断过程中的真实激活热度才是功能关键通道的直接反映。
  • 代理校准数据集的惊人泛化力:在无法获取上游特定训练数据时,仅使用通用基准 MMMU 的 600 个样本构建激活画像,所得调和得分依然高达 101.7(IconQA)与 107.9(COCO-Caption),显著超越 LoRASculpt 和 SPIDER 等现有前沿基线,消除了对原始训练集的依赖。
  • 样本规模微敏感性与跨架构通用性:校准样本规模从 200 增至 400 时指标标准差仅为 0.23~0.30,说明显著神经元是模型结构内在稳定的表征属性。此外,方法在 Qwen2.5-VL-7B 与 Qwen3-VL-8B 上的成功迁移证明了其强大的架构无关性。

亮点与洞察

  • 将激活感知从模型压缩跨界迁移至防遗忘微调:借鉴 AWQ 和 Wanda 在量化剪枝中的发现,敏锐捕捉到多模态网络中“极少数神经元支撑稳定通用表征”的核心机制,将其巧妙转化为梯度更新的保护壁垒。
  • 全局池化突破层级局限:打破传统 PEFT 中逐层固定配额的思维定势,允许浅层注意力投影分配更高比例的保护掩码,更契合多模态模型浅层表征提取、深层特定推理的天然认知结构。
  • 零结构膨胀与零推理延迟:相较于增加额外 Adapter、Prompt 向量或 LoRA 分支的手段,AWARe 采用训练时动态掩码包装、推断时直接脱落的方式,对模型部署和推理引擎保持 100% 原生兼容。

局限与展望

  • 对校准集模态覆盖范围具有较强依赖:消融实验揭示,若仅使用纯文本 MMLU 进行校准,虽然文本能力得到保全,但模型在未涉及的复杂视觉基准(如 ChartQA)上出现了明显的性能滑坡(从 74.5 降至 66.5)。
  • 保留配额超参数 \(\rho\) 仍需启发式设定:当前算法将保留比例固定为 30%,面对下游任务间极其剧烈的领域分布漂移时,尚缺乏自适应动态调整每层保留配额的闭环机制。
  • 评测规模仍集中于 8B 级以下多模态模型:论文目前在 LLaVA-v1.5-7B、Qwen2.5-VL-7B 及 Qwen3-VL-8B 上进行了验证,尚未在更百亿参数级或融合音频、视频原生的超大模型上完成全面压力测试。

相关工作与启发

  • vs LoRA / DoRA / DARE: 传统参数高效适配方法或权重随机丢弃融合方法虽然缩减了优化自由度,但其权重更新在所有通道上无差别扩散,极易冲刷原先的跨模态投影对齐;AWARe 证明了“明确锁定核心功能通道、其余通道稀疏更新”在防遗忘上远优于均质低秩扰动。
  • vs Model Tailor / SPIDER: 现有基于梯度的重要性选择往往依赖于单步反向传播的静态导数分布;AWARe 则从前向激活动力学切入,无需复杂二阶近似或敏感的梯度缩放,计算成本极低且稳定性更强。
  • vs HiDe-LLaVA / SEFE / DISCO: 在多任务持续学习场景下,这类前沿 baseline 往往引入复杂的专家解耦架构或特征正交损失;AWARe 证明通过简单的跨任务累加校准集并重新轮转激活掩码,就能在标准模型拓扑下取得更优异的持续学习保留度。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 首次将激活显著性归一化范式系统性引入 MLLM 的抗灾难性遗忘受限微调中,思路简洁巧妙。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖单任务下游适配与五阶段持续学习,涵盖 LLaVA、Qwen2.5-VL、Qwen3-VL 三大基座,基线对比与消融剖析极其扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰明快,图表规范详实,数学公式精炼且紧密贴合实现细节。
  • 价值: ⭐⭐⭐⭐⭐ 兼具高有效性、零架构侵入性与高计算效率,为多模态垂类行业大模型的持续演化微调提供了极具工业落地价值的范本。