Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning¶

会议: NeurIPS 2026
arXiv: 2605.10765
代码: https://github.com/LAMDA-CL/NeurIPS2026-Drape
领域: 多模态VLM
关键词: 多模态持续学习, 指令微调, 实例级软提示, 零空间梯度投影, 原型路由

一句话总结¶

针对多模态持续指令微调中静态模块复用无法适应任务内样本多样性的痛点，Drape 提出了由文本指令引导视觉交叉注意力的实例级连续软提示生成框架，并结合共享映射层的零空间梯度投影与免标签 CLIP 原型路由，在实现细粒度样本自适应的同时有效抑制灾难性遗忘。

研究背景与动机¶

多模态大语言模型（MLLMs）通过大规模图文指令微调获得了强大的通用视觉语言理解与推理能力，但在实际落地场景中，模型往往需要按时间顺序持续吸收新任务、新领域与新指令规范。多模态持续指令微调（Multimodal Continual Instruction Tuning, MCIT）的核心挑战在于：在无历史回放数据（Rehearsal-free）的严格约束下，模型如何高效扩展新能力，同时避免对历史任务出现灾难性遗忘。

现有 MCIT 方案主要采用“模块组合”范式，例如固定冻结预训练骨干网络，通过维护任务级的独立提示池（Prompt Pool，如 CODA-Prompt、ModalPrompt）或 LoRA 专家池（如 MoELoRA、ProgLoRA、HiDe-LLaVA），并在推理时动态路由或线性加权聚合离散专家。然而，同一任务内部的样本在视觉场景复杂度、问题提问意图、细粒度推理深度以及图文交互需求上仍存在巨大的异质性。例如在同一个 OCR-VQA 任务中，针对书籍封面识别年份与提取完整书名所需关注的图像区域和语言偏置截然不同；将整个任务所有样本坍缩到一个静态的离散提示向量或专家权重上，不仅极易引发任务内欠拟合，还会限制模型对精细视觉线索与复合属性验证的捕获能力。

由此产生的核心矛盾是：模型既需要轻量可塑的参数结构来针对每个具体的“图-文”输入对进行精细自适应，又必须在参数共享与持续演进过程中避免后续任务的梯度漂移冲刷旧任务的多模态映射表征。本文的切入角度是打破离散专家选择的局限，转向基于当前输入端到端合成连续的实例级软提示，并对跨任务共享投影层施加几何正交约束。核心 idea：通过构建由文本指令引导并跨模态融合视觉 patch 特征的轻量生成器，实时合成样本专属的连续软提示，同时借助共享投影层的零空间梯度投影与 CLIP 空间任务原型路由，构建免回放的多模态持续指令微调系统。

方法详解¶

整体框架¶

Drape（Dynamic Cross-Modal Prompt Generation）整体由三大核心机制协同构成： 1. 跨模态提示生成器（Cross-Modal Prompt Generator）：每个任务维护专属轻量生成器 $G_t$，将输入文本指令在潜在空间进行分段池化并提炼为查询向量，随后与投影后的视觉 patch 特征做交叉注意力交互，端到端合成附着在 LLM 输入前的实例级软提示 $\mathbf{P}_i$； 2. 共享投影层零空间梯度投影（Null-Space Gradient Projection）：跨任务共享的视觉投影层 $\pi$ 在更新时，利用历史任务二阶矩矩阵 SVD 分解得到的互补子空间投影矩阵 $\boldsymbol{\Pi}^{(t-1)}$ 约束梯度，确保新任务参数更新落在旧表征的正交零空间内，极小化对旧特征映射的干扰； 3. 免任务标签 CLIP 原型路由（CLIP-Guided Prototype Routing）：利用冻结的 CLIP 统一语义空间，在任务完成后注册融合图文信息的紧凑原型 $\mathbf{c}_t$ 并通过分类对比损失细化，推理阶段根据测试样本与原型的余弦相似度自动激活最匹配的生成器 $G_{t^*}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多模态输入<br/>图像 v + 文本指令 q"] --> Proto["CLIP 引导原型路由<br/>计算融合特征与原型相似度选定 G_t*"]
    Proto --> Init["指令感知查询初始化<br/>文本分段掩码均值池化 + MHA 提炼查询 Q"]
    Init --> Synth["视觉引导提示合成<br/>跨模态注意力提取图像 patch 特征生成 P_i"]
    Synth --> Prep["提示拼接输入序列<br/>z' = [P_i; w; u] 输入冻结主干 LLM"]
    Prep --> LLM["自回归生成响应<br/>前向计算语言建模损失"]
    LLM --> NSP["投影层零空间梯度投影<br/>更新时约束投影层梯度处于旧特征补空间"]

关键设计¶

1. 跨模态提示生成器：解耦模态不对称性的实例级提示合成 针对静态提示向量无法捕捉样本级图文交互的痛点，Drape 遵循“文本指令定义信息需求、图像补丁提供具象内容”的模态非对称认知规律，设计了两阶段生成机制。首先在指令感知查询初始化阶段，将屏蔽了占位符、填充符与目标答案的文本指令序列映射至隐空间 $\mathbf{h}^u = f_u(\mathbf{u}) \in \mathbb{R}^{s \times H}$（其中 $H=512$）。将指令划分为 $L_p=10$ 个等长区间，在区间内计算有效词的平均池化得到初始查询矩阵 $\bar{\mathbf{H}} \in \mathbb{R}^{L_p \times H}$，再以 $\bar{\mathbf{H}}$ 为查询对完整指令 $\mathbf{h}^u$ 执行多头自注意力与层归一化，提炼出富含任务意图的查询向量 $\mathbf{Q} \in \mathbb{R}^{L_p \times H}$。紧接着在视觉引导提示合成阶段，视觉 patch 特征映射为 $\mathbf{h}^v = f_v(\mathbf{w}) \in \mathbb{R}^{m \times H}$，查询向量 $\mathbf{Q}$ 作为 query 跨模态交叉注意力检索视觉特征： $$\mathbf{R} = \mathrm{LN}\left(\mathbf{Q} + \mathrm{MHA}(\mathbf{Q}, \mathbf{h}^v, \mathbf{h}^v)\right) \in \mathbb{R}^{L_p \times H}$$ 经 Dropout 正则化后，通过双层 MLP（$H \to 2H \to d$ 配 GELU 激活）输出与 LLM 嵌入维度对齐的连续软提示 $\mathbf{P}_i = f_{\mathrm{head}}(\mathbf{R}) \in \mathbb{R}^{L_p \times d}$，直接拼接到 LLM 输入序列前端。整个过程使提示参数随样本动态生成，精准响应特定图像区域的细粒度判别需求。

2. 投影层零空间梯度投影：几何正交约束防止多模态表征漂移 由于视觉投影层 $\pi(\cdot)$ 在所有任务间共享，后续任务的持续反向传播极易破坏前序任务建立的视觉到语言空间对齐结构。为了在不回放旧样本的前提下消除这种干扰，Drape 对投影层的每个线性层维护累积输入二阶矩特征矩阵： $$\mathbf{M}^{(t)} = \frac{N^{(t-1)}\mathbf{M}^{(t-1)} + \sum_i \tilde{\mathbf{v}}_i \tilde{\mathbf{v}}_i^\top}{N^{(t)}}$$ 通过奇异值分解 $\mathbf{M}^{(t)} = U\Sigma V^\top$，依据能量保留阈值 $\epsilon=0.99$ 截断前 $r$ 个主成分方向，构建未被前序任务主要激活的互补正交基 $V_\perp = V_{[:, r+1:d_v]}$，进而得到投影矩阵 $\boldsymbol{\Pi}^{(t)} = V_\perp V_\perp^\top$。在学习新任务 $\mathcal{D}_{t+1}$ 时，梯度钩子自动将权重的原始梯度投影至正交补空间： $$\nabla W' = \nabla W \boldsymbol{\Pi}^{(t)} = \nabla W V_\perp V_\perp^\top$$ 一阶误差分析证明，由于旧任务输入特征 $\tilde{\mathbf{v}}^{\mathrm{old}}$ 在补空间上的分量接近于零（$V_\perp^\top \tilde{\mathbf{v}}^{\mathrm{old}} \approx \mathbf{0}$），新任务的参数更新对历史样本输出的一阶扰动 $\Delta \mathbf{o}^{\mathrm{old}} = -\eta \nabla W' \tilde{\mathbf{v}}^{\mathrm{old}} \approx \mathbf{0}$，从而在数学上保证了共享特征提取器对历史表征的高度保真。

3. CLIP 引导原型路由：免样本回放的判别式无标签推理 由于每个任务对应独立的生成器 $G_t$，在测试集不提供任务 ID 的现实场景下，系统必须精准分发输入样本。Drape 复用 LLaVA 本身内置的冻结 CLIP 视觉编码器，仅需轻微计算指令文本的 CLIP 嵌入，构建 $L_2$ 归一化的拼接图文特征 $\tilde{\mathbf{e}}_i = \mathrm{norm}([\xi(\mathbf{q}_i); \gamma(\mathbf{v}_i)])$。当任务 $\mathcal{D}_t$ 训练完毕后，以其当前批次缓存特征均值初始化原型 $\mathbf{c}_t$，并利用与历史原型的对比分类损失进行微调优化： $$\mathcal{L}_{\mathrm{cls}} = -\frac{1}{B}\sum_{i=1}^B \log \frac{\exp(\cos(\tilde{\mathbf{e}}_i, \mathbf{c}_t)/\tau)}{\exp(\cos(\tilde{\mathbf{e}}_i, \mathbf{c}_t)/\tau) + \sum_{s=1}^{t-1}\exp(\cos(\tilde{\mathbf{e}}_i, \mathbf{c}_s)/\tau)}$$ 优化后丢弃所有样本级特征缓存，每个任务仅以一个紧凑的原型向量 $\mathbf{c}_t$ 驻留内存。推理时，通过余弦相似度 $t^* = \arg\max_{t} \cos(\tilde{\mathbf{e}}, \mathbf{c}_t)$ 检索出最相关的生成器 $G_{t^*}$。该设计避免了复杂门控网络的再训练漂移，同时融合了视觉和文本语义边界。

损失函数 / 训练策略¶

在学习任务 $\mathcal{D}_t$ 时，冻结视觉主干、LLM 骨干及所有历史生成器 $\{G_1, \dots, G_{t-1}\}$，可更新参数仅为当前任务生成器 $G_t$ 与共享投影层 $\pi$。模型采用标准自回归下词预测交叉熵损失进行端到端优化： $$\mathcal{L}_t = -\sum_{j=1}^L \log p_\theta(y_j \mid [\mathbf{P}_i; \mathbf{w}_i; \mathbf{u}_i], \mathbf{y}_{<j})$$ 使用 AdamW 优化器配合 Cosine 学习率退火，生成器峰值学习率设为 $2 \times 10^{-4}$，投影层设为 $2 \times 10^{-5}$，Warmup 比例为 0.03。在 4 张 RTX 4090 GPU 上采用 DeepSpeed ZeRO-2 与 bf16 混合精度训练，每个任务仅迭代 1 个 epoch。

实验关键数据¶

主实验¶

在代表性 8 任务 MCIT 基准 CoIN 与更严格无数据泄露的 6 任务基准 UCIT 上，Drape 全面超越了经典连续提示与基于 LoRA 专家的 MCIT SOTA 方案（以 LLaVA-v1.5-7B 为骨干）：

基准数据集	指标（平均准确率）	Drape (本文)	最佳对比基线	提升幅度
CoIN (8 任务序列)	Final Avg Accuracy	67.48	59.09 (ProgLoRA) / 55.06 (ModalPrompt)	+8.39 / +12.42
- TextVQA	Accuracy	59.61	56.40 (ModalPrompt)	+3.21
- ImageNet	Accuracy	94.16	83.90 (ProgLoRA)	+10.26
- VizWiz	Accuracy	54.43	53.87 (ProgLoRA)	+0.56
- Grounding	Accuracy	67.92	36.69 (ModalPrompt)	+31.23
UCIT (6 任务序列)	Final Avg Accuracy	69.41	66.54 (SEFE) / 62.29 (HiDe)	+2.87 / +7.12
- ImgNet-R	Accuracy	85.07	84.03 (HiDe)	+1.04
- ArxivQA	Accuracy	91.60	90.73 (HiDe)	+0.87
- VizWiz-Cap	Accuracy	55.68	47.01 (SEFE)	+8.67

消融实验¶

在 CoIN 基准上对核心模块进行的受控消融实验充分验证了双轮驱动设计的不可替代性：

配置	平均准确率 (%)	相对变化 ($\Delta$)	核心观察说明
Drape (Full Model)	67.48	-	完整模型在 8 个连续任务上达到最佳均衡
w/o Cross-Modal Attn.	66.31	-1.17	去除视觉交叉注意力，在 VizWiz (-6.66) 和 OCR-VQA (-0.89) 等细粒度视觉任务上性能大幅下滑
w/o Null-Space Proj.	64.86	-2.62	去除零空间梯度投影，共享投影层遭受灾难性遗忘，ImageNet (-10.54) 与 TextVQA (-3.83) 出现断崖式回退
w/o Routing (Last Task Gen.)	57.65	-9.83	缺失任务原型路由时，强制使用最新任务生成器导致跨任务严重错配
Oracle Routing Upper Bound	68.17	+0.69	Drape 的学得原型路由（67.48）已逼近给出真实任务标签的理论上限（差距仅 0.69）

关键发现¶

双重抗遗忘机制的协同互补：在持续学习序列中，Drape 的平均后向迁移量仅为 $B=1.50$（CoIN）和 $B=0.04$（UCIT），甚至在前期阶段呈现负后向迁移（即产生正向知识迁移），大幅优于 ModalPrompt ($B=3.72$) 与 ProgLoRA ($B=12.75$)。
稳定性-可塑性权衡极佳：通过对比学习即时准确率与最终准确率发现，零空间投影（NSP）仅使新任务的即时学习准确率微降 0.96%（从 69.01% 变为 68.05%），但最终跨任务平均准确率从 64.86% 跃升至 67.48%（挽回了 2.62% 的遗忘损失），以极低的可塑性代价换取了强劲的特征空间稳定性。
参数与显存极其轻量：Drape 单任务仅更新 32M 参数，全流程训练仅耗时 1.59 小时（显著低于 MoELoRA 的 7.27 小时与 HiDe 的 3.93 小时）；每个任务落盘冻结生成器仅占 21.04 MB，连续学习 50 个任务累计仅增约 1GB 存储，且推理端到端延迟仅增加 2.50 ms/样本。

亮点与洞察¶

从“离散专家挑拣”跃迁至“连续提示合成”：敏锐指出既有 MCIT 范式将复杂任务坍缩为单一离散参数块的根本缺陷，开创性地使用轻量跨模态注意力网络实时根据当前图像与问题动态计算软提示，使 VLM 获得前所未有的样本级细粒度感知。
正交零空间约束在多模态对齐层的优雅应用：无需存储任何历史回放样本或维护沉重的特征库，仅通过跟踪投影层输入的低阶统计矩与 SVD 几何分解，便在理论上实现对旧任务特征映射的一阶零扰动。
极简且贴合架构的原型路由系统：直接复用骨干网络自带的 CLIP 视觉编码器，以图文拼接特征结合温度对比损失凝练出单一紧凑原型，不仅免除了路由门控网络在大规模数据漂移下的崩溃风险，更以近乎零的额外开销逼近了 Oracle 路由上限。

局限与展望¶

轻量微调范式覆盖局限：Drape 目前仅在软提示微调（Prompt Tuning）与共享 Projector 约束架构下验证，尚未探索将实例级连续生成思想融合进 LoRA 或多头自注意力权重更新矩阵中。
跨模态生成器的容量瓶颈：实验表明将生成器隐层维度从 512 进一步提升至 768 或 1024 时性能趋于平缓，如何让小规模生成器自适应处理长图文交错文档或极高分辨率局部图依然是开放课题。
极端语义混淆下的路由误差：混淆矩阵表明在高度同质的任务对（如 GQA 与 VQAv2，或从 ScienceQA 混淆至 OCR-VQA）之间仍存在一定比例的错选，后续可引入层次化置信度决策或多假设软加权来平滑路由误差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 突破多模态持续学习固守的离散专家组合路线，首创跨模态实例级软提示动态合成框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 CoIN 与 UCIT 双基准、8 任务详细遗忘度矩阵、稳定性-可塑性权衡分析、训练/推理时延全面拆解及注意力可视化。
写作质量: ⭐⭐⭐⭐⭐ 论述逻辑严密，正交几何证明直观，图表设计精巧且可解释性强。
价值: ⭐⭐⭐⭐⭐ 为轻量级多模态大模型的终身学习与开箱即用扩展提供了高能效、无回放的范式范本。