How to Teach Large Multimodal Models New Skills¶
会议: ECCV 2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 持续学习、选择性微调、灾难性遗忘、输出分布漂移、计数偏置
一句话总结¶
本文将多模态模型的部分遗忘解释为任务诱发的输出偏置，并发现只训练注意力投影或 MLP 的 Gate&Up 层，就能在 LLaVA-OneVision 五任务连续学习中分别取得 +24.9 / +30.5 个百分点的当前任务增益，同时将通用评测变化限制在 -0.6 / -2.1 个百分点。
研究背景与动机¶
已经能描述图像和回答常识问题的多模态模型，仍可能不擅长识别细粒度鸟类、准确数物体或读钟表。直接用专项数据微调虽然能补齐这些技能，却可能让原来正常的图文问答退化。持续学习方法通常通过回放旧数据、蒸馏旧模型或扩展网络保护旧知识，但原始预训练数据未必可得，额外模块也会增加部署和训练成本。因此，这里关心的是不回放历史任务数据时，能否仅凭参数更新位置获得更好的学习与保持能力。
作者观察到一个比“微调造成遗忘”更具体的现象：某阶段损失的通用能力，可能在随后学习另一项技能时部分恢复，即使没有重看旧样本。这提示测试成绩下降不一定意味着知识被永久删除。比如计数训练后，模型面对开放式图像描述仍识别出了对象，却把回答改写成数量陈述；错误可能出在输出倾向，而不全是视觉识别能力本身。若把这两类变化混在一起，就可能用很重的记忆保护机制去处理本可通过限制参数更新解决的问题。
Transformer 内部也提供了一个可检验的切入点：注意力投影主要调整上下文信息的关联与混合，MLP 则将激活的特征写回残差流，进而影响词汇分布。作者不是据此宣布两者完全独立，而是比较它们的更新效果，再用计数偏置探针检查输出变化。核心 idea：优先更新注意力投影，或只改变 MLP 的特征激活而冻结其 Down 写回投影，以减轻专项训练对通用输出分布的扰动。
方法详解¶
整体框架¶
输入仍是图像和文本指令，视觉编码器、跨模态 projector 与自回归语言模型的结构均不改变。每个训练阶段只使用当前技能的数据，以目标回答提供监督；作者改变的是允许更新的参数集合，而不是增加新的推理模块。
两种推荐配置是替代选项：SA Proj. 更新所有语言模型层的注意力投影；MLP Gate&Up 则更新门控与升维投影，冻结降维投影。训练后模型仍按原来的路径生成回答，不需要任务路由器、额外适配器或旧数据缓存。图中的计数偏置探针仅用于分析，不参与优化，也不是部署时的必经步骤。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Input["预训练模型<br/>当前任务图像与指令"] --> Select["选择可训练参数"]
Select -->|方案一| Attention["注意力投影更新"]
Select -->|方案二| Features["特征激活更新"]
Labels["当前任务标准回答"] -.->|交叉熵监督| Train["当前阶段微调"]
Attention --> Train
Features --> Train
Train --> Model["适配后模型<br/>常规自回归生成"]
Model -.->|仅分析| Probe["计数偏置探针"]
Captions["非计数描述图像"] -.-> Probe关键设计¶
1. 注意力投影更新：学习怎样使用已有信息，而非全面改写解码器
SA Proj. 在每一层训练 \(W_Q,W_K,W_V,W_O\)，其余组件保持冻结。Query 与 Key 决定读取哪些上下文位置，Value 决定混合哪些内容，输出投影再把混合结果写回残差流。对于一个已经学到丰富视觉和语言特征的模型，专项技能未必需要重新学习所有表征，也可能只需更有效地提取与组合这些已有信息。这样的参数限制保留了较大的适应空间，又避开了直接更新整个 MLP 所产生的强烈输出漂移。
这里不能将 SA Proj. 简化成“只改路由、不改写回”：它确实包含 \(W_O\)。作者另外测试只训练 QKV、冻结 \(W_O\) 的版本，以区分这两个因素。后者更稳定，却将当前任务增益从 +24.9 降到 +14.9 个百分点，说明把所有写回路径都冻住也会过度限制学习。因此，推荐方案来自实际学习与遗忘的联合比较，不是从模块名称直接推断出来的必然结论。
2. 特征激活更新：保留 MLP 的输出映射，只学习哪些特征应该被激活
门控 MLP 先用 Gate 分支经 SiLU 得到门控信号，同时用 Up 分支形成扩展特征；两者逐元素相乘，再通过 Down 投影写回模型宽度的残差流。完整 MLP 微调会同时改变“检测到什么”和“检测后往残差流写什么”，从而容易把整个模型的输出偏好拉向当前任务的答案格式。Gate&Up 方案只训练前两者，固定原有的 Down 映射，让新技能更多通过调整特征激活来实现。
冻结 Down 并不意味着 MLP 的输出不变，因为送入 Down 的激活已经改变；它约束的是写回映射本身，而不是禁止新信息进入残差流。实验中的关键对照是：完整 MLP 与 Gate&Up 的当前学习量接近，但前者对通用评测和早先学过的任务伤害明显更大。这比单纯比较可训练参数多少更能说明问题，也解释了为何 Gate&Up 适合希望多学一点、又不能承受全面退化的场景。
3. 计数偏置探针：在非计数任务上检查模型是否变得偏爱数字
探针使用固定的 LCS-558K 图像描述样本和固定数字词元集合，后者包括数字字符与常见的英文数字词。对每幅图像，当前模型先以贪心解码生成描述；在每个生成位置，取所有数字词元中最大的下一词元概率，再沿生成序列求平均，最后对图像求平均，得到 numeric-token bias（NTB）。它测量的是最可能的单个数字词元所获概率，不是数字词元概率总和，也不是最终文本中数字出现次数。
这种设计把“学会计数”和“无论问什么都想回答数字”分开：前者由 PixmoCount 准确率衡量，后者在不要求计数的描述图像上检查。LLM 和完整 MLP 微调时，数字偏置随训练增大，同时通用评测下降；SA Proj. 的偏置则接近基线。该探针沿模型自己生成的前缀计算，因此它同时反映输出分布及其生成轨迹的变化，适合作为诊断证据，不能单凭它断言所有内部知识都完好无损。
一个完整示例¶
论文图 4 比较在 PixmoCount 上训练 1K 步后的两种模型。面对计数问题，完整 MLP 与 SA Proj. 都能回答图中有 13 人，因此两者确实都获得了目标技能；但同样的学习成功并不能保证开放式回答仍正常。
换成一张包含演示文稿和增强现实示例的图像，再问“照片里有什么”，完整 MLP 模型把它描述成照片里有 2 张照片。SA Proj. 模型则继续解释演示内容与场景。这个例子展示的不是后者数得更多，而是它更能保留“根据当前问题选择回答形式”的能力；偏置探针正是把这种现象变成可跟踪的量。
损失函数 / 训练策略¶
基础方案使用 teacher forcing 下的下一词元交叉熵，只在当前任务数据上训练，不混入以前的任务样本。选择性微调无需附加损失、辅助参数或逐阶段混合系数；学习到下一技能时沿用上阶段检查点。嵌入、语言模型输出头和层归一化参数在论文讨论的选择性配置中保持冻结。
作者另以 Learning without Forgetting（LwF）作为对照：冻结上一阶段模型作为教师，在当前任务的样本上约束学生与教师输出分布的 KL 散度，并将蒸馏项与任务损失加权相加。蒸馏均匀抽样词元位置，最多取 1000 个位置以控制计算和显存。这说明无需保存旧数据也能约束输出变化，但 LwF 是额外对照机制，不是 SA Proj. 或 Gate&Up 的默认组成部分。
默认顺序为 CUB200 鸟类分类、PixmoCount 计数、PathVQA 医学问答、TextVQA 文字读取、TimeClock 读时钟，总计 107,910 个训练样本，其中 TextVQA 为 34,602 个。表 1 对三种五任务顺序求平均，表 2 的另两类骨干使用默认顺序；两种汇总条件不能混写成所有模型都跑了三种顺序。
本地缓存仅含正文与参考文献，原文把具体数据划分、学习率、批量大小和更多实现细节放在补充材料中，故这里不补写未核实的超参数。缓存中的公式抽取有明显损坏，本笔记用上述文字准确说明运算与目标，不把修复猜测冒充作者原式。
实验关键数据¶
主实验¶
表中均为原文表 1 的 LLaVA-OneVision 结果，除明确说明外均是相对基线的百分点变化，不是最终准确率。基线目标任务平均分为 43.9，通用评测平均分为 76.4。
“目标学习”是每阶段当前任务相对基础模型的增益均值；“目标遗忘”比较早先任务在刚学完与序列结束时的表现，负值表示下降；“目标最终增益”是序列结束时所有目标任务相对基础模型的平均变化；“通用变化”是序列结束时八个 held-out 基准的平均变化。
八个基准为 AI2D、ChartQA、DocVQA、InfoVQA、RealWorldQA、SeedBench、ScienceQA、MMStar，不用于这五项技能的训练。DocVQA 与 InfoVQA 使用 ANLS，即基于归一化编辑相似度的答案评分，其余按文中准确率口径汇总；各指标统一到相同尺度后取平均，不等于将全部测试题合并计算一次准确率。
| 更新范围 | 目标学习 | 目标遗忘 | 目标最终增益 | 通用变化 |
|---|---|---|---|---|
| Full：整个模型 | +29.9 | -25.9 | +9.2 | -27.4 |
| LLM：完整语言模型 | +31.8 | -23.5 | +13.0 | -23.3 |
| SA Proj. | +24.9 | -2.3 | +23.1 | -0.6 |
| 完整 MLP | +31.1 | -19.5 | +15.5 | -15.7 |
| MLP Gate&Up | +30.5 | -4.2 | +27.1 | -2.1 |
真正重要的是整段序列的净收益：完整 LLM 在每阶段学得更多，但其目标最终增益仅为 +13.0，低于 Gate&Up 的 +27.1。因此，只看刚完成训练的单项任务，会高估全面微调在持续学习中的价值。
消融实验¶
下表从同一表 1 提取参数冻结对照，保持三种任务顺序平均的实验条件。它检验“限制写回是否总是有利”，而不是新的独立实验。
| 参数对照 | 目标学习 | 通用变化 | 分析 |
|---|---|---|---|
| SA Proj.，训练 QKVO | +24.9 | -0.6 | 保留注意力输出投影的适应能力 |
| SA Proj.，仅训练 QKV | +14.9 | +0.2 | 更稳定，但目标学习少 10.0 个百分点 |
| 完整 MLP，训练 Gate、Up、Down | +31.1 | -15.7 | 当前任务收益高，通用损失大 |
| MLP Gate&Up，冻结 Down | +30.5 | -2.1 | 学习仅少 0.6，通用下降幅度减少 13.6 个百分点 |
关键发现¶
- 跨模型效果并非“零遗忘保证”。表 2 中，LLaVA-NeXT（LLaMA-3 8B）的 SA Proj. 通用变化仍为 -7.7；Qwen2.5-VL 7B 则为 +0.6，说明稳定性的绝对水平依赖基础模型。
- 输出偏置提供了机制线索。第 5.2 节报告数字偏置与遗忘的 Spearman 相关系数为 0.84，并展示后续专项微调可部分恢复表现；相关性和恢复现象支持解释，但不构成覆盖所有技能的因果证明。
- 简单参数选择不一定慢于低秩适配。第 5.4 节在 4 张 H100 上报告 SA Proj.、LoRA、MoE 吞吐量分别为 1.46、1.27、0.44 samples/sec；这是文中测量配置的结果，不能外推到任意批量、实现或硬件。
亮点与洞察¶
- 把“答案风格被带偏”和“知识本身丢失”区分开来。计数与描述的并列检查比单看总分下降更容易定位干预对象。
- 冻结 Down 的价值在于约束特征写回方式，而不仅是减少训练参数。接近完整 MLP 的学习增益让这个机制解释更有说服力。
- 同时报告当前学习、旧技能保持和通用能力保持。三者会给出不同的方法排序，持续适配应以实际使用目标选择配置。
局限与展望¶
- 作者明确承认：未覆盖超大规模或商业多模态模型，也没有验证数十亿样本规模下是否继续有效。
- 本笔记的判断：NTB 专门针对数字输出，尚不能直接诊断医学术语、类别名称或其他答案格式引发的偏置；需要扩展到更多可控任务并配合干预实验。
- 本笔记的判断：五阶段课程和少量骨干足以展示趋势，但不足以证明长任务流中的稳定性；LLaVA-NeXT 的剩余下降也提醒读者不能把推荐配置当成免评测方案。
- 复现边界：正文未提供全部划分与训练超参数，代码仅声明将公开。更完整的复核需要原文补充材料和实际代码。
相关工作与启发¶
- vs LwF：LwF 用上一阶段教师的输出约束当前模型；本文的两种推荐配置直接限制可训练参数集合。两者都试图减少输出漂移，但选择性微调默认无需教师前向计算。
- vs LoRA / MoE：这里的对照分别将低秩适配或专家扩展用于 MLP；本文保留原结构，避免新增模块。结论只适用于文中配置，不能理解为所有 LoRA 或 MoE 方案都更差。
- vs WiSE-FT：权重插值也能保住部分通用表现，但文中需要按任务选择混合系数；选择性微调提供了更直接的默认更新范围。
- 迁移启发：适配窄领域 VLM 时，可先比较 SA Proj. 与 Gate&Up，并用任务外开放式回答检查输出偏置，再决定是否需要回放或蒸馏。
评分¶
- 新颖性: 4/5。主要价值是可恢复遗忘的机制视角与有依据的参数选择，而非新网络结构。
- 实验充分度: 4/5。五项技能、八个通用基准、三类骨干和多类对照较全面，但大规模与长序列尚缺。
- 写作质量: 4/5。任务指标与核心对照清楚，完整复现仍依赖补充材料。
- 价值: 4/5。给实际多模态持续适配提供了低改造成本、可直接比较的起点。