Unlocking Compositional Generalization in Continual Few-Shot Learning¶
会议: NeurIPS 2026
arXiv: 2605.11710
OpenReview: https://openreview.net/forum?id=JiDX823MQW
领域: 自监督/表示学习
关键词: 持续少样本学习, 物体中心表示, 组合泛化, 槽注意力, 冗余消除
一句话总结¶
提出严格解耦表征训练与组合推理的双阶段框架 COMPOSE，利用自监督 ViT 固有的局部语义几何，在训练期采用整体原型交叉熵与互相关去冗余损失保持通用几何，在推理期动态组合中心化槽向量进行双向 Chamfer 匹配，在未见概念泛化上达到 94.14% 并显著抑制灾难性遗忘。
研究背景与动机¶
现实世界中的视觉识别系统往往面临动态开放环境，模型需要基于极少量样本持续学习新概念，同时不能丢失旧概念知识。在持续少样本学习（Continual Few-Shot Learning, CFSL）中，这一挑战被推向极致：系统必须依赖屈指可数的样本泛化至与训练分布完全不重叠的全新概念。直觉上，以物体为中心的表示（Object-Centric Representations）是天然切入点——若能将场景解构为局部部件/物体级槽向量，识别未见物体只需组合已有的概念部件，而不必预先见过整幅图像，从而天然抗遗忘并具备强组合泛化能力。
然而，现有方法在这一范式下遭遇了严重的结构性瓶颈。主流的预训练模型持续学习方法通常将整个场景压缩为单一的刚性全局嵌入向量，彻底放弃了物体的局部组合结构；而近期尝试引入槽注意力（Slot Attention）的工作则在泛化到真正未见概念时发生崩溃。作者深入分析发现，其失败根源在于两重相互交织的结构性冲突：一是架构层面的“表征污染”——经典槽注意力依赖循环 GRU 隐状态，将空间路由动态与视觉语义深层纠缠，破坏了主干网络的纯净几何；二是优化层面的“组合优化陷阱”——在训练阶段直接使用基于最近邻局部匹配（如 Chamfer 距离）的部件级损失，会导致不同槽承受结构性发散的梯度更新方向，驱使局部特征极度过拟合于训练集的局部纹理或边缘，丧失跨概念迁移能力。
面对这一困境，研究团队提出必须将表征学习的优化目标与测试时的组合推理机制彻底解耦。核心 idea：利用自监督视觉 Transformer 固有的无监督补丁语义几何作为结构基座，以无瓶颈的注意力直接聚合替代 GRU，在训练阶段仅优化整体类别原型分类并配合互相关去冗余，在推理阶段冻结网络并以中心化槽向量执行双向 Chamfer 组合匹配。
方法详解¶
整体框架¶
COMPOSE 包含两个严格隔离的阶段：第一阶段为整体训练（Phase I: Holistic Training），冻结自监督主干网络与槽注意力模块，仅优化轻量级多示例学习（MIL）路由网络和线性投影头，同时借助小型样本回放缓冲区约束遗忘；第二阶段为免反向传播的组合推理（Phase II: Compositional Inference），完全冻结所有网络权重，通过单图均值中心化与双向 Chamfer 距离匹配新场景。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入图像"] --> B["自监督 ViT 主干<br/>(冻结提取补丁特征)"]
B --> C["注意力直接加权聚合<br/>(绕过 GRU 隐状态)"]
C --> D["双路并行映射<br/>(MIL 路由权重与线性投影头)"]
D --> E["Phase I: 整体训练<br/>(类别原型 CE + 互相关去冗余)"]
D --> F["Phase II: 组合推理<br/>(单图槽中心化 + 双向 Chamfer 匹配)"]
E -.->|冻结参数| F
F --> G["最终综合预测分数"]关键设计¶
1. 注意力直接聚合：消除循环瓶颈引起的表征污染
传统槽注意力通过 GRU 隐状态迭代更新槽向量，该循环瓶颈编码了竞争槽之间的空间抑制逻辑，导致空间分配决策与视觉语义特征严重纠缠，稀释了自监督主干的纯净局部几何。COMPOSE 彻底抛弃 GRU 隐状态，直接使用槽注意力生成的空间归一化权重对主干补丁特征进行线性加权求和并做 \(L_2\) 归一化：
其中 \(F_n\) 是冻结自监督 ViT（如 DINOv2）提取的补丁特征，\(\alpha_{kn}\) 是槽 \(k\) 在补丁 \(n\) 上的竞争性 Softmax 权重。直接加权聚合驻留在自监督特征的原生语义流形中，在保持即插即用物体分割能力的同时极大提升了槽纯度。
2. 整体原型训练与互相关去冗余：跳出局部组合陷阱并防止槽坍缩
在训练期对槽向量施加局部最近邻匹配（如 Chamfer 距离）会引入槽特异性梯度，导致梯度方向发散，驱使槽过度特化于特定训练纹理。COMPOSE 采用多示例学习（MIL）路由架构，通过一层隐藏层 MLP 预测每个槽的重要性标量权重 \(\omega_k\)：
共享线性投影头 \(W_2\) 分别生成各槽嵌入 \(z_k = \text{L2-norm}(W_2 \tilde{\phi}_k)\) 与全图整体嵌入 \(e = \text{L2-norm}(W_2 \sum_{k=1}^K \omega_k \tilde{\phi}_k)\)。训练时仅以整体嵌入 \(e\) 计算动态类别原型交叉熵损失，使得每个槽接收到相同方向的宏观梯度信号。为了防止所有槽退化至同一方向（槽坍缩），引入基于 Barlow Twins 原理的互相关去冗余正则项：
其中 \(C\) 是未归一化投影特征在批次内所有槽维度的标准化互相关矩阵。该损失仅惩罚非对角元素，避免了类似 VICReg 方差铰链损失与原型分类神经坍缩（Neural Collapse）之间的动力学冲突。
3. 槽特征去均值中心化与双向 Chamfer 匹配：实现稳健无梯度组合推理
在第二阶段推理过程中，模型必须对从未见过的全新概念进行零梯度判别。COMPOSE 首先在单张图像内对槽嵌入执行均值中心化操作：
该操作去除了整图共享的全局背景和光照偏置，凸显槽间相对结构差异。随后，结合第一阶段的整体匹配分数 \(s_{\text{hol}}(q, c) = \tau \cdot \cos(e_q, P_c)\) 与基于 Top-\(\kappa\) 重要槽集合的双向 Chamfer 匹配分数 \(s_{\text{Ch}}(q, c)\)：
其中 \(\gamma\) 调节宏观类别语义与局部部件结构之间的比重，在无须微调主干的前提下释放了物体级部件的组合泛化潜力。
损失函数 / 训练策略¶
第一阶段联合优化参数（路由层 \(W_1, v\)、投影矩阵 \(W_2\) 及可学习温度 \(\tau\)），损失函数定义为：
优化器采用 Adam，学习率设为 \(10^{-3}\)，去相关系数 \(\lambda_d = 0.02\)，槽数量 \(K=7\)，路由隐层维度 \(h=64\)。推理时取 \(\kappa=4\) 过滤低置信度背景槽，平衡系数设为 \(\gamma=0.3\)。
实验关键数据¶
主实验¶
在组合少样本迁移基准 CGQA（10 任务、100 类，10-way 10-shot，3 次随机种子均值）上，对比零样本基线、离线元学习以及基于预训练模型（PTM）的持续学习代表性方法：
| 数据集 / 划分 | 指标 | COMPOSE (本文) | 强基线 CoFiMA (微调) | 强基线 EASE (冻结) | 性能收益与对比 |
|---|---|---|---|---|---|
| CGQA - noc (未见概念) | 准确率 (%) | 94.14 ± 0.64 | 91.97 | 91.21 | 较微调 SOTA 提升 +2.17 pp，大幅领先 |
| CGQA - Ha (调和平均) | 准确率 (%) | 92.92 ± 0.42 | 94.74 | 92.06 | 冻结主干方法中最佳，接近耗时微调方案 |
| CGQA - sys (系统组合) | 准确率 (%) | 90.27 ± 0.70 | 94.04 | 90.12 | 保持稳健组合泛化能力 |
| CGQA - pro (生产力扩展) | 准确率 (%) | 94.77 ± 0.41 | 97.03 | 93.77 | 在复杂多物体场景表现优异 |
| FSCIL (CIFAR-100) | 遗忘率 FF (%) | 3.54 ± 0.22 | — (Comp-FSCIL: 27.91) | — | 遗忘率降低 7.9 倍 |
消融实验¶
在 CGQA 与真实自然图像 COBJ 基准上评估各模块剥离带来的变化（单种子 42，以 COMPOSE 为基准计算相对差值 \(\Delta\)）：
| 配置 / 变体 | CGQA noc (%) | CGQA \(H_a\) (%) | COBJ noc (%) | COBJ \(H_a\) (%) | 说明 |
|---|---|---|---|---|---|
| COMPOSE (完整方法) | 94.22 | 93.01 | 88.75 | 77.21 | 完整模型基准 |
| 训练期加入 Chamfer (+CT) | 91.71 (\(\Delta -2.51\)) | 93.64 (\(\Delta +0.63\)) | 88.08 (\(\Delta -0.67\)) | 77.19 (\(\Delta -0.02\)) | 陷入组合优化陷阱，未见概念泛化显著受损 |
| 去掉去冗余项 (\(\lambda_d = 0\)) | 88.66 (\(\Delta -5.56\)) | 91.88 (\(\Delta -1.13\)) | 87.93 (\(\Delta -0.82\)) | 76.68 (\(\Delta -0.53\)) | 槽坍缩导致特征表征能力退化 |
| 推理期去除槽均值中心化 | 93.14 (\(\Delta -1.08\)) | 92.09 (\(\Delta -0.92\)) | 88.70 (\(\Delta -0.05\)) | 76.66 (\(\Delta -0.55\)) | 背景与全局光照干扰局部结构对比 |
| 推理期去除 Chamfer 匹配 | 91.26 (\(\Delta -2.96\)) | 91.23 (\(\Delta -1.79\)) | 88.95 (\(\Delta +0.20\)) | 77.66 (\(\Delta +0.45\)) | 丢失部件级细粒度对齐能力 |
| 替换为 GRU 隐状态 (无 SCA) | 90.60 (\(\Delta -3.64\)) | 89.20 (\(\Delta -3.79\)) | 81.10 (\(\Delta -7.73\)) | 68.70 (\(\Delta -8.35\)) | 循环瓶颈严重污染自监督空间语义 |
关键发现¶
- 去冗余损失是泛化核心支柱：在 CGQA 上去除互相关去冗余损失 \(\lambda_d=0\) 会导致未见概念 noc 指标暴跌 5.56 个百分点，表明防止槽坍缩并促使各槽学习正交特征子空间至关重要。
- 训练期使用 Chamfer 带来不可逆破坏：强制在训练期使用局部 Chamfer 匹配（COMPOSE-CT）虽然微弱提升了已见概念的稳定性，但不可逆地拉低了未见概念 noc 达 2.51 pp，证实了“梯度方向方差”导致的局部过拟合假说。
- 自监督几何质量是绝对前提：换用有监督预训练 ViT（IN-21K）时，槽纯度跌破 0.3，性能严重崩溃；而在 DINOv1（88.69%）→ iBOT（90.09%）→ DINOv2（94.14%）的递进中，noc 呈现单调提升。
亮点与洞察¶
- 训练整体化与推理组合化的辩证解耦：揭示了持续组合学习中“训练时拆分部件匹配反而破坏部件可泛化性”的深刻悖论，通过“整体训练定方向，推理组合比细节”化解了该矛盾。
- 直接注意力聚合替代循环状态机：绕过多年来槽注意力文献沿袭的 GRU 架构，证明无状态的直接注意力特征聚合不仅计算轻量，更能保全自监督主干原生高保真语义几何。
- 互相关正则化与原型学习的动力学兼容性：在理论上证明了交叉熵损失在正交变换下保持不变，互相关损失可在零 CE 阻力下平滑实现去相关，规避了方差铰链损失与神经坍缩的内在冲突。
局限与展望¶
- 对主干补丁语义几何的强依赖：当主干网络局部几何退化（如无监督弱对齐的有监督 ViT 或跨模态对比不足的 CLIP）或遭遇极端域偏移时，槽分割纯度显著下降，进而限制整体泛化性能。
- 复杂自然场景槽分割噪声：在背景复杂的自然图像（如 COBJ）上，无监督槽注意力的局部边界定位不够精准，导致 Chamfer 匹配的增益不如在结构清晰图像上显著。
- 未来方向：探索无需微调全模型即可在特征层重构补丁局部紧致几何的轻量级后处理算子，以及针对自然复杂多物体遮挡场景的自适应槽数推断机制。
相关工作与启发¶
- vs CoFiMA / EASE 等 PTM 持续学习方法：现有方法依靠全局特征向量或子空间扩展，虽然在已知分布重放中表现良好，但面对未见概念缺乏部件级拆解重构能力；COMPOSE 引入显式物体中心槽，且无需耗时数小时的端到端微调（训练仅需 ~5 分钟）。
- vs DINOSAUR / 经典 Slot Attention：以往槽注意力方法将 GRU 隐状态作为槽表示并在特定数据集上端到端微调，破坏了通用几何；COMPOSE 采用直接加权补丁聚合，并在固定自监督流形上保留通用性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从理论与优化动力学角度指出部件级损失导致的梯度方差陷阱，并创新性提出训练整体、推理组合的双阶段范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 CFST 体系各细分测试、标准 FSCIL、CIL，以及针对预训练主干、损失项、特征形态的严谨详尽消融。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，论证步步推进，数学推导与实验证据结合极佳，结构清晰。
- 价值: ⭐⭐⭐⭐⭐ 为解耦持续学习与组合泛化之间的张力提供了通用、优雅且极高效的全新解决路径。