CaPCL: Caption-Preserved Continual Learning for Text-to-Image Retrieval¶

会议: ECCV2026
作者: Naoya Sogi, Ren Ohkubo, Takashi Shibata, Makoto Terao, Yusuke Hosoya, Takayuki Okatani
官方论文: 5212
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/9419.pdf
代码: https://github.com/NEC-N-SOGI/CaPCL
领域: 模型压缩
关键词: 持续学习、文本到图像检索、非均衡跨模态偏移、辅助描述、语义保持

一句话总结¶

CaPCL 在学习新图文检索任务时，要求模型继续生成更新前为当前图像写出的辅助描述，以保护新查询没有覆盖的旧语义；在 BLIP-2 的四种任务顺序平均结果上，将 ModX 的遗忘指标 FM 从 0.0890 降至 0.0654，同时把 AA 从 0.6387 提高到 0.6942。

研究背景与动机¶

文本到图像检索中的“文本到图像”指按查询寻找已有图像，并不是生成图像。随着用户兴趣变化，系统需要不断学习新图文对，但同一图像并不只有一种正确描述：包含车辆和建筑的街景，既可能因交通内容被检索，也可能因建筑特征被检索。新任务换了关注点，不代表旧关注点应该从表示中消失。普通微调只奖励当前查询，容易让图像特征向新的语义侧面偏移；ModX、DKR 等方法虽然保持更新前的图文相似度，却主要约束当前训练图文对及其相似关系，未必覆盖图像中没有被新查询提及的内容。

作者把“视觉分布仍有较大重叠、文本查询却明显变化”的情况称为非均衡跨模态偏移（unbalanced cross-modal shift）。这个区分比笼统地说“数据换域”更具体：视觉内容完全不同的任务可能较少干扰旧概念，反而是图像看起来熟悉、监督文本强调另一面时，旧语义容易被覆盖。论文用图像子空间重叠和图像条件下的文本负对数概率分别刻画两侧变化，发现二者联合与遗忘的相关性强于各自单独使用；这是经验关联，而不是已经证明的遗忘因果定律。

因此，论文没有先要求模型冻结整个嵌入空间，而是让更新前模型说出“它原本从这些图像中看到了什么”，把这些描述作为保留旧解释的训练目标。核心 idea：用更新前模型为新图像生成的辅助描述锚定已有语义，再与新图文任务共同训练，使模型学会新的检索角度时仍能表达旧的观察角度。

方法详解¶

整体框架¶

输入是当前任务的新图像及其查询文本，输出仍是用于图文相似度检索的视觉语言模型。每次进入新数据集，先冻结当前模型的快照，由“语义锚点生成”产生辅助描述；随后通过“描述保持训练”，让待更新模型同时学习新查询并重现这些描述。辅助描述还可进入“辅助描述关系约束”，增加图像与描述之间的对比学习或相似度蒸馏，但这不是基础 CaPCL 的必选步骤。

关键是教师的时间位置：它是进入当前任务前的模型，而不是始终固定的最初预训练模型。这样保留的是已经经历过前序任务的语义解释。辅助描述也来自当前任务图像，不需要在这里引入旧图像回放库；它们能覆盖哪些旧知识，取决于当前图像提供了什么内容、更新前模型又能描述出什么内容。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前图像与新查询"] --> B["语义锚点生成"]
    B --> C["描述保持训练"]
    B --> D["辅助描述关系约束<br/>可选 ACC / ACS"]
    C --> E["联合优化与模型更新"]
    D --> E
    E --> F["检索模型进入下一任务"]

关键设计¶

1. 语义锚点生成：把更新前的图像解释留下来

只用新查询训练时，模型并不知道哪些未被提及的内容还应当保留。CaPCL 在任务开始前，用冻结快照的描述生成能力为每张新图像做一次离线采样；实际配置通过核采样（nucleus sampling）为每张图像生成 5 条辅助描述，采样参数为 \(p=0.9\)。这些描述不要求复述新查询，恰恰希望保留不同的语义侧面。多个采样增加可覆盖的观察角度，但并不保证穷尽图像含义，更不意味着这些自生成描述都经过人工事实核验。

这一步与让更强外部模型“重新标注数据”有所不同：自生成描述保存的是本模型更新前的解释，目标是知识保持而不只是描述质量最大化。论文也允许以 Qwen2.5-VL 的描述替换或补充自生成描述，不过外部描述锚定的是外部模型的理解，未必与检索模型原有知识完全一致。生成完成后，这组文本在当前任务训练期间保持固定，避免监督目标随着模型一起漂移。

2. 描述保持训练：保住可表达的内容，而非固定整个表示空间

每个当前图像现在拥有两类监督：数据集的新查询，以及更新前模型产生的辅助描述。新查询通过原生 VLM 目标推动适应；辅助描述则以自回归负对数似然监督待更新模型，要求它在看同一张图像、给定已有描述前缀时，仍能预测更新前描述中的后续词元。对一条辅助描述，可将这个目标写为：

\[ \mathcal{L}_{\mathrm{cap}}(I,\hat T) = -\sum_{t=1}^{|\hat T|}\log p_{\theta}(\hat T_t\mid I,\hat T_{<t}). \]

其中 \(I\) 是当前图像，\(\hat T\) 是冻结快照生成的辅助描述，\(\theta\) 是待更新模型参数；实际对同一图像的多条描述取平均。缓存中的式 (6) 丢失了部分运算符，上式依据紧邻正文明确给出的“负对数似然”恢复数学含义，并非逐字转录。它保留的是图像条件下生成一段内容的能力：模型可以改变特征来适应新任务，只要不要把旧描述表达不出来。与直接钉住所有相似度相比，这种约束给表示调整留下空间；但“描述能维持”仍不等于所有旧检索关系都受到严格保证。

3. 辅助描述关系约束：让语义锚点也能服务检索空间

描述除了作为生成目标，还能作为额外文本参与检索训练。辅助描述对比损失（ACC）把图像与自己的辅助描述作为正配对，用批内其他图像和描述形成双向对比目标，直接增强旧语义文本与图像之间的关联。辅助描述相似度蒸馏（ACS）则比较更新前后模型对批内图像和辅助描述的相似度矩阵：沿图像侧和描述侧分别施加带温度的 softmax，再用 KL 散度约束对应分布。前者加强配对，后者保留关系结构；两者都是利用同一组锚点的可选扩展，不应与基础描述保持损失混为一谈。

这一区分决定了方法如何扩展到没有可用描述生成头的检索模型：可以先由外部模型生成描述，再只用 ACC 或 ACS，而不能假装这个检索模型也计算了自回归描述损失。论文的 SigLIP2 实验正是外部 Qwen2.5-VL 描述加 ACC，因为其描述生成头未公开。因此，该实验支持辅助描述的跨架构价值，但并未直接验证基础描述保持训练在 SigLIP2 上同样成立。

一个完整示例¶

以同时包含车辆、建筑和道路的街景为例，假设旧查询关注车辆，新任务查询关注建筑。进入新任务前，模型先为这张当前图像生成 5 条描述，其中部分可能仍保留车辆、街道等细节；训练时，新查询损失要求模型认识建筑方面的新关联，描述保持损失则要求它在同一图像上仍能生成先前的车辆相关内容。

如果加入 ACC，车辆相关辅助描述还会作为额外正文本进入检索对比学习；如果加入 ACS，则同时约束它与批内各图像的旧相似关系。完成该任务后，更新后的模型才成为下一任务的冻结快照。这是对论文动机场景的流程说明，不是新增实测样本，也不能推断每张街景都会生成相同的词句。

损失函数 / 训练策略¶

基础版本将原生 VLM 目标和描述保持目标相加；启用全部扩展时，还加入 ACC 和 ACS。为便于阅读，将正文给出的加法关系统一记作：

\[ \mathcal{L}_{\mathrm{base}}=\mathcal{L}_{\mathrm{VLM}}+\mathcal{L}_{\mathrm{cap}}, \qquad \mathcal{L}_{\mathrm{extended}}=\mathcal{L}_{\mathrm{VLM}}+\mathcal{L}_{\mathrm{cap}}+\mathcal{L}_{\mathrm{acc}}+\mathcal{L}_{\mathrm{acs}}. \]

这里的 base/extended 下标仅为笔记区分版本使用；缓存式 (5)、(12) 的加号提取不完整，关系以对应正文为依据。在 BLIP-2 上，原生目标包含图文对比损失和生成新查询的语言建模损失；可训练部分是 Q-Former 的全部参数和描述生成头。训练使用 Adam，学习率 \(10^{-4}\)、10% 预热及余弦退火，每个数据集训练 10 个 epoch，使用 8 张 NVIDIA L40S。对比学习及相似度蒸馏温度为 \(\tau=0.0295\)。

诊断非均衡偏移并不是额外训练模块，也不在损失中动态控制正则化。图像重叠指标先对冻结 BLIP-2 图像特征做 PCA，以累计解释方差 0.95 选择子空间，再统计主角余弦大于 0.95 的方向比例；越大代表子空间重叠越强。文本查询分歧指标则计算给定图像时查询文本的平均负对数概率：每对图文先对预测词元做长度归一化，再在数据集上平均；越大代表模型原先越不容易用该图像生成这种查询。它不是直接计算两个文本数据集之间的 KL 散度。缓存未包含说明不同子空间维度如何对齐的补充细节，不在这里补造实现。

实验关键数据¶

主实验¶

评测顺序由 Incidents1M（I）、BLIP3-OCR（B）、RSICD（R）、TextCaps（T）、PixMo-Docs（P）组成，分别为 IBRTP、PTRBI、BTIRP、PRITB；每次学完一个任务，都评估已见数据集以及不参与该序列训练的 Flickr30K。Incidents1M 使用 mAP，其余使用 MRR：MRR 对每个查询取相关图像排名的倒数再平均，mAP 对多相关图像检索的平均精度再取查询平均。

AA 衡量持续学习后的平均检索表现，越高越好；FM 衡量旧知识表现退化，越低越好。正文引用既有定义但没有展开 AA/FM 的完整聚合式，相关补充材料不在当前缓存中，不能据此自行确定 Flickr30K 在聚合中的权重。综合指标明确为：

\[ \mathrm{HM}=\frac{2\,\mathrm{AA}(1-\mathrm{FM})}{\mathrm{AA}+1-\mathrm{FM}}. \]

下表为原文表 1 的四种顺序平均值，各方法使用相同 BLIP-2、原生损失与可训练模块。表内数值是指标本身，不是百分数。

方法	AA ↑	FM ↓	HM ↑
FT	0.6459	0.1241	0.7435
EWC	0.6460	0.1241	0.7436
ModX	0.6387	0.0890	0.7509
DKR	0.6300	0.1000	0.7409
C2MR	0.6300	0.0955	0.7427
CaPCL（基础版）	0.6942	0.0654	0.7966

相对综合指标最好的基线 ModX，基础 CaPCL 的 AA 增加 0.0555、FM 减少 0.0236、HM 增加 0.0457，均为绝对指标差。最难的 PTRBI 顺序中，CaPCL 的 FM 为 0.0965，ModX 为 0.1303，FT 为 0.2674；这比仅报告平均值更能说明任务顺序对遗忘的影响。平均 HM 是各顺序 HM 的平均，不应要求它与平均 AA、平均 FM 重新代入公式后的值完全一致。

消融实验¶

下表选取原文表 2 中三个单独使用项和全部联合项，均保留原生 VLM 目标，并对四种顺序取平均。“仅”表示只启用该项附加约束，不是去掉原生训练损失。

附加约束配置	AA ↑	FM ↓	HM ↑
仅描述保持	0.6942	0.0654	0.7966
仅 ACC	0.6666	0.0929	0.7684
仅 ACS	0.6301	0.1401	0.7272
描述保持 + ACC + ACS	0.6941	0.0596	0.7987

描述保持是单项中最强的约束；仅加辅助描述并做相似度蒸馏，并不能自动带来好结果。全部联合相对基础版，FM 从 0.0654 降至 0.0596、HM 从 0.7966 升至 0.7987，但 AA 从 0.6942 微降至 0.6941，所以不能表述为“所有指标都进一步提高”。

关键发现¶

描述来源很重要：原文表 3 的自生成、Qwen2.5-VL 生成、两者结合，HM 分别为 0.7966、0.7884、0.8001。自生成优于单独外部生成，符合“保持自身旧解释”的动机；混合更好说明两者存在互补，但并未证明越强的外部描述模型一定越有利。
偏移诊断中，图像重叠与文本分歧乘积和遗忘的相关系数为 0.59，两个单项分别为 0.33、0.45。结果支持同时观察两种模态，但该相关性来自原文的诊断数据组合，不等于任意未来数据上的精确遗忘预测器。
辅助描述不是零成本：对 50K 图文对、每图 5 条描述，8 张 L40S 上生成约 35 分钟，对应 10 个 epoch 训练约 160 分钟。生成是每个数据集的一次性预处理，额外成本不能从运行预算中省略。

亮点与洞察¶

把“保留知识”具体化为保留图像的一种可生成解释，而不只保留一组相似度。生成能力在这里服务检索训练，任务本身仍然是检索。
正确区分视觉重叠和文本变化，揭示熟悉图像也可能带来新的遗忘风险。它提醒评测不能只看视觉域是否相近，还要看文本监督选择了图像的哪一面。
基础机制与可选扩展分得清楚，便于判断不同实验到底验证了什么。尤其外部描述加 ACC 的成功，不应被包装为没有生成头也能直接使用描述负对数似然。

局限与展望¶

作者明确承认，描述生成头的质量决定能保住哪些内容，而且这种知识选择是隐式的。原文提出在指定知识可用时支持显式保留优先级，但没有验证这一扩展。
当前图像与自生成文本无法保证覆盖所有旧任务语义，错误描述也可能被保持下来。基础方法提供经验上的遗忘缓解，不是对旧能力完整保持的形式化保证。
主文报告五个异质数据集和四种顺序，但没有在此提供重复试验的误差条；极小数值差异不宜直接解释为稳定优势。SigLIP2 只测试外部描述加 ACC，不能作为核心描述保持损失的跨架构复现。
本地全文包含完整主文和参考文献，不含所引用的补充材料；额外消融、精确 AA/FM 聚合细节和 C-CLIP 受控比较不在本笔记的已核验范围。代码链接来自论文的计划发布声明，当前是否开放未作联网确认。

评分¶

新颖性: 4/5。将非均衡跨模态偏移与描述保持联系起来，比单纯增加蒸馏损失更有问题针对性。
实验充分度: 4/5。多数据集、多任务顺序和组件消融较完整，但主文缺少不确定性估计，部分细节依赖未收录补充材料。
写作质量: 4/5。动机与机制关系清楚，基础方案和可选方案可区分；缓存公式提取损坏需要谨慎核对。
价值: 4/5。对具备描述能力、需要连续更新的图文检索系统有直接参考价值，收益仍受描述质量与额外生成成本限制。