Hierarchical Semantic Tree Anchoring for CLIP-based Class-Incremental Learning¶
会议: NeurIPS 2026
arXiv: 2511.15633
代码: https://github.com/LAMDA-CL/NeurIPS2026-HASTEN
领域: 多模态 VLM
关键词: 类增量学习、视觉语言模型、双曲空间、语义层级树、零空间投影
一句话总结¶
针对基于 CLIP 的类增量学习缺乏显式语义层次建模导致细粒度特征漂移与灾难性遗忘的问题，Hasten 利用动态构建的语义层级树在双曲洛伦兹流形中建立偏序锥约束与对比锚定，并借助历史协方差特征近似零空间投影冻结共享映射层的旧任务响应，在九大基准上显著降低特征漂移与遗忘率。
研究背景与动机¶
在持续学习（Continual Learning）与类增量学习（Class-Incremental Learning, CIL）中，模型需要顺序接收多个任务的新类别数据流，同时保留历史类别的识别能力。随着大规模预训练视觉语言模型（如 CLIP）的发展，冻结预训练骨干网络并引入轻量化适配器（Adapter）或提示词（Prompt）已成为主流范式。这类方法借助预训练模型强大的跨模态泛化表征，在无需存储历史样本（Exemplar-free）的前提下大幅缓解了灾难性遗忘。然而，真实世界的视觉与语言概念天然具有层次化树状结构：顶层的广义实体逐级细分为中层概念（如“猫”、“狗”），再进一步下潜至具体的细粒度品种（如“拉布拉多”、“金毛”），每个叶子节点对应具体的视觉图像实例。
现有的 CLIP 类增量算法普遍将所有类别视为彼此孤立的平坦标签，完全忽略了这种先验的层次结构。这一盲区在连续更新过程中引发了严重的概念边界混淆与细粒度特征漂移。更致命的是，CLIP 依赖欧几里得几何特征空间，其体积随距离仅呈多项式增长，度量处处平坦且均匀。当一个宽泛的概念节点试图在欧氏空间中靠近大量相关的具体子类时，局部空间被极度压缩，不可避免地强行拉近毫不相关的其他具体类别，导致层级边界坍塌。在任务按序列更新时，早先学习的细粒度特征由于缺乏几何层面的结构锚定而发生严重漂移，甚至漂移到不相关新类的决策区域中，造成深层的灾难性遗忘。
本文的核心切入点在于：双曲几何具有恒定的负曲率与指数级体积增长特性，能够以极低失真嵌入树状偏序拓扑；若能将外部层次先验作为结构化弱监督引入多模态特征对齐，并有效阻断共享投影层对旧任务的干扰，即可从几何根源上稳定特征分布。核心 idea：构建基于大语言模型动态扩展的语义层级树，将多模态特征映射至双曲洛伦兹流形，利用偏序蕴涵锥与双曲对比损失形成多级语义锚定，同时将共享映射层的参数更新约束在历史特征的近似零空间内，协同抑制特征漂移与灾难性遗忘。
方法详解¶
整体框架¶
Hasten 的整体流水线围绕“树结构动态扩展 → 多模态层次感知感知与累加 → 共享双曲映射 → 双曲流形锚定约束 → 零空间梯度投影稳定化”五大环节展开。在每个增量学习阶段，系统首先仅根据当前已出现的类别标签，调用大语言模型（GPT-5）对现有层级树进行单向增量扩展，固定历史边结构与虚拟祖先节点；随后，冻结 CLIP 视觉与文本编码器，利用当前任务专属的线性感知模块捕获任务自适应特征，并与历史模块输出累加；之后，通过全局共享的线性映射层将累加特征映射至洛伦兹双曲空间；在双曲流形中，利用文本-文本与文本-图像蕴涵锥损失以及双曲对比损失施加显式层级偏序约束；最后，在反向传播时将共享映射层的梯度投影到基于历史特征协方差构建的近似零空间上，确保参数更新不干扰旧任务的特征变换。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 图像与增量类别文本"] --> B["增量语义层级树构建<br/>GPT-5 动态扩展 is-a 树并冻结旧边"]
B --> C["分层感知模块与特征累加<br/>冻结旧分支并在欧氏空间累加"]
C --> D["全局双曲映射层与正规化<br/>TP 投影至洛伦兹模型并正则化"]
D --> E["双曲层级偏序锥锚定与双曲对比<br/>文本蕴涵锥 + 图像锚定 + 双曲对比"]
E --> F["共享映射层零空间梯度投影<br/>基于历史协方差 SVD 约束更新方向"]
F --> G["双空间概率融合预测<br/>欧氏类别均值 + 双曲原型测地线距离"]关键设计¶
1. 增量语义层级树构建：严格遵循持续学习因果律的无泄漏拓扑扩展
为了在无样本类增量场景下获得可靠的层级监督，同时杜绝窥探未来任务类别导致的信息泄露，Hasten 采用严格因果递增的方式构建语义层级树 \(\mathcal{K}=(\mathcal{C},\mathcal{E},r)\)。在初始阶段（\(t=0\)），仅输入首批基础类别名称，提示 GPT-5 以虚拟根节点 "entity" 为始构建标准的 is-a 偏序分类树，并在必要时引入抽象虚拟类（如 "animal", "cat"）以连通具体实体。进入后续增量阶段（\(t>0\)）时，系统将已有的树结构与新增类别列表一并输入模型，强制要求在绝不删除、移动或修改已有节点与边的前提下，仅通过新增叶子节点或必要的局部抽象父节点接入已有树干分支。所有历史阶段生成的虚拟节点在文本编码后的双曲嵌入均被缓存并永久冻结，后续任务仅在此基础上挂载新类别，从而在拓扑根基上锁定了历史概念的语义坐标系。
2. 洛伦兹双曲流形投影与多模态层级感知聚合：以自然几何空间适配树状爆炸容量
针对欧氏空间度量平坦、容纳树状分枝必然引发维度灾难与距离拥挤的缺陷，Hasten 采用曲率为 \(c=1\) 的 \(d\) 维洛伦兹流形 \(\mathcal{B}^d \subset \mathbb{R}^{d+1}\)。在洛伦兹模型中，点表示为 \(\mathbf{p}=[\mathbf{p}_s, p_t]\)，满足约束 \(\langle\mathbf{p},\mathbf{p}\rangle_{\mathcal{B}} = \|\mathbf{p}_s\|^2 - p_t^2 = -1/c\) 且 \(p_t = \sqrt{1/c+\|\mathbf{p}_s\|^2}\)，其测地线距离定义为 \(d_{\mathcal{B}}(\mathbf{p},\mathbf{q})=\frac{1}{\sqrt{c}}\cosh^{-1}\!\bigl(-c(\langle\mathbf{p}_s,\mathbf{q}_s\rangle-p_t q_t)\bigr)\)。由于双曲测地线球的表面积随半径呈指数级爆炸增长，天然与树状层级的节点数增长相吻合，越抽象的高层概念越靠近双曲原点 \(\mathbf{o}=[\mathbf{0}, 1/\sqrt{c}]\)，越具体的叶子节点越分布于流形远端边缘。
在网络结构上，系统在冻结的 CLIP 图像编码器 \(g_v\) 与文本编码器 \(g_t\) 之后，针对第 \(b\) 个增量任务各挂接一个任务私有的线性感知模块 \(H_v^b\) 与 \(H_t^b\)。历史模块全被冻结，新模块专门捕获当前任务的领域特化分布，随后在欧氏空间执行累加聚合：\(\tilde{\mathbf{z}}_v = \sum_{i=1}^b H_v^i(\mathbf{e}_v)\)，\(\tilde{\mathbf{z}}_t = \sum_{i=1}^b H_t^i(\mathbf{e}_t)\)。累加后的欧氏特征由全局任务共享的线性映射层 \(\mathrm{TP}(\cdot): \mathbb{R}^d \to \mathbb{R}^d\) 投影为洛伦兹流形的切向空间分量 \(\mathbf{z}_s = \mathrm{TP}(\tilde{\mathbf{z}})\)。为了防止映射层在连续迭代中发生病态形变，引入保真度正则项将 \(\mathrm{TP}\) 约束在原点指数映射 \(\mathrm{expm}_{\mathbf{o}}(\mathbf{v})=\frac{\sinh(\|\mathbf{v}\|)}{\|\mathbf{v}\|}\mathbf{v}\) 附近：
3. 偏序蕴涵锥锚定与双曲对比学习：结构化双向约束抑制特征漂移
为了将层级树的拓扑结构显式固化为双曲几何中的空间包容关系，Hasten 为每个节点赋予一个以双曲原点发出的定向蕴涵锥（Entailment Cone）。节点 \(\mathbf{p}\) 的半开角定义为 \(\mathrm{aper}(\mathbf{p})=\sin^{-1}(2\kappa / (\sqrt{c}\|\mathbf{p}\|))\)，这意味着语义越具体、距离原点越远的子类，其投射出的锥角越狭窄严苛，语义层级越抽象、越靠近原点的父类，其锥角覆盖范围越广。对于任意子节点 \(\mathbf{q}\) 与父节点 \(\mathbf{p}\)，计算 \(\mathbf{q}\) 相对于 \(\mathbf{p}\) 锥体外侧的角度偏差 \(\mathrm{ext}(\mathbf{p},\mathbf{q})\)：
当子节点逸出父节点锥体时，通过蕴涵损失施加惩罚 \(\mathcal{L}_{\mathrm{entail}}(\mathbf{p},\mathbf{q})=\operatorname{SoftPlus}(\mathrm{ext}(\mathbf{p},\mathbf{q})-\mathrm{aper}(\mathbf{p}))\)。该约束在两个层面上展开： - 文本-文本层级偏序：对树中所有边 \((p,c)\in\mathcal{E}\)，不仅强制子类文本落入父类文本锥体内，还加入最小测地线间距 \(\delta\) 的排斥约束以杜绝嵌入坍塌：\(\mathcal{L}_{\mathrm{hier}}^{\mathrm{txt}\to\mathrm{txt}}=\mathcal{L}_{\mathrm{entail}}(\mathbf{z}_t^p,\mathbf{z}_t^c)+\operatorname{SoftPlus}(\delta-d_{\mathcal{B}}(\mathbf{z}_t^p,\mathbf{z}_t^c))\)。 - 文本-图像多模态锚定：将叶子类别的视觉表征 \(\mathbf{z}_v\) 强制拉入对应类别文本 \(\mathbf{z}_t^c\) 的蕴涵锥中：\(\mathcal{L}_{\mathrm{hier}}^{\mathrm{txt}\to\mathrm{img}}=\mathcal{L}_{\mathrm{entail}}(\mathbf{z}_t^c,\mathbf{z}_v)\)。
此外，为了进一步强化跨模态语义聚集，引入基于负测地线距离的对称双曲对比损失 \(\mathcal{L}_{\mathrm{contrast}}\)。借助缓存的冻结虚拟祖先节点和来自高斯先验分布 \(\mathcal{N}(\mu_k, \Sigma_k)\) 的旧类代理特征，新类别在双曲流形中被严密锚定在对应分支内，彻底阻断了细粒度视觉特征在任务更迭中滑向其他类别的漂移通道。
4. 共享映射层的近似零空间梯度投影：阻断跨任务干扰并保持可塑性
全局映射层 \(\mathrm{TP}\) 在所有增量任务中跨模态共享更新，若放任其自由进行梯度反向传播，新任务的学习必然强行修改已适配好的映射矩阵权重，从而破坏历史特征在双曲流形中的空间位置。为此，Hasten 在每个新阶段开始前，依据历史所有任务在输入映射层前所累积的未去中心化二阶协方差矩阵 \(C^{(b-1)}\) 实施奇异值分解（SVD）：\(C^{(b-1)}=U \Sigma V^\top\)。设定累积方差能量阈值，提取能量超过预设阈值的主成分之后的尾部特征基向量，构成历史特征的近似正交补空间（即近似零空间）\(V_\perp = [\mathbf{v}_{r+1}, \dots, \mathbf{v}_d]\)。
在第 \(b\) 阶段优化时，计算出 \(\mathrm{TP}\) 的原始参数梯度 \(\Delta W\) 后，立即将其投影至该零空间：
由于历史任务的特征矩阵 \(X^o\) 满足 \(X^o V_\perp \approx 0\)，参数更新对旧任务特征产生的净扰动极为微弱：\(X^o \Delta W_{\mathrm{proj}} = (X^o V_\perp)(V_\perp^\top \Delta W) \approx 0\)。该机制在数学上证明了新参数步进方向几乎不改变旧任务特征的映射输出，既赋予映射层学习全新特征变换的塑性，又对已学知识构建了坚实的零干扰屏障。
损失函数 / 训练策略¶
模型在每个增量任务阶段的总训练目标为多项几何损失的加权和：
核心超参数设定为：\(\lambda_1 = 0.5\), \(\lambda_2 = 0.1\), \(\beta = 0.1\), 间距阈值 \(\delta = 0.2\), 锥体比例系数 \(\kappa = 0.1\)。训练采用 AdamW 优化器，批量大小为 64，每个增量阶段训练 10 个 epoch，初始学习率为 0.001 并采用余弦退火衰减。
在推理阶段，为了兼顾全局粗粒度判别与局部层级几何判别，模型融合了原始欧氏空间与双曲流形空间的双重预测： 1. 原始空间后验概率 \(P_{\mathrm{orig},k}(\mathbf{x})\)：由冻结 CLIP 视觉特征 \(\mathbf{e}_v\) 与保存的历史类别欧氏均值 \(\mu_k\) 之间的余弦相似度 Softmax 产生； 2. 双曲空间后验概率 \(P_{\mathrm{hyp},k}(\mathbf{x})\)：由层级感知视觉特征 \(\mathbf{z}_v\) 与文本类别原型 \(\mathbf{z}_t^c\) 在流形中的负测地线距离 \(-d_{\mathcal{B}}(\mathbf{z}_v, \mathbf{z}_t^c)\) 作为 logits 计算得到。
最终分类决策通过融合概率相加取最大后验得出：\(\hat{y} = \arg\max_k (P_{\mathrm{orig},k}(\mathbf{x}) + P_{\mathrm{hyp},k}(\mathbf{x}))\)。
实验关键数据¶
主实验¶
论文在涵盖域偏移、细粒度分类及通用物体分类的九大基准上进行了系统评测，采用 CLIP ViT-B/16（LAION-400M 预训练）作为统一骨干网络，设定固定随机种子 1993。评价指标为增量全阶段平均准确率 \(\bar{\mathcal{A}}\) 与最终阶段准确率 \(\mathcal{A}_B\)。下表汇总了代表性基准数据集上的对比表现：
| 数据集 | 分割设置 | 指标 | Hasten (本文) | PROOF (前次SOTA) | SimpleCIL | 提升 (vs PROOF) |
|---|---|---|---|---|---|---|
| CIFAR100 | B0 Inc10 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 88.64% / 82.51% | 86.77% / 79.11% | 84.15% / 76.63% | +1.87% / +3.40% |
| CIFAR100 | B50 Inc10 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 85.45% / 82.38% | 83.32% / 79.73% | 80.20% / 76.63% | +2.13% / +2.65% |
| StanfordCars | B0 Inc10 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 93.06% / 88.93% | 90.74% / 86.51% | 92.04% / 86.85% | +2.32% / +2.42% |
| StanfordCars | B50 Inc10 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 90.23% / 88.46% | 88.00% / 85.58% | 88.96% / 86.85% | +2.23% / +2.88% |
| FGVCAircraft | B0 Inc10 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 67.23% / 56.32% | 63.81% / 56.14% | 59.24% / 48.09% | +3.42% / +0.18% |
| CUB200 | B0 Inc20 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 86.22% / 80.96% | 82.31% / 76.64% | 83.81% / 77.52% | +3.91% / +4.32% |
| ImageNet-R | B0 Inc20 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 85.73% / 80.70% | 83.84% / 78.40% | 81.06% / 74.48% | +1.89% / +2.30% |
| UCF101 | B0 Inc10 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 96.49% / 92.69% | 94.58% / 91.10% | 90.44% / 85.68% | +1.91% / +1.59% |
| SUN397 | B0 Inc30 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 86.30% / 80.40% | 83.89% / 77.25% | 82.13% / 75.58% | +2.41% / +3.15% |
| ObjectNet | B0 Inc20 | \(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\) | 58.63% / 46.18% | 56.07% / 43.69% | 52.06% / 40.13% | +2.56% / +2.49% |
消融实验¶
论文在 Cars、CIFAR100 和 UCF101 三个数据集上系统剥离了各个关键组件，验证了层级监督、正则项与双曲流形建模的不可替代性（摘自论文 Table 2）：
| 变体配置 | Cars (\(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\)) | CIFAR100 (\(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\)) | UCF101 (\(\bar{\mathcal{A}}\) / \(\mathcal{A}_B\)) | 说明与关键结论 |
|---|---|---|---|---|
| Hasten (Full Model) | 93.06% / 88.93% | 88.64% / 82.51% | 96.49% / 92.69% | 完整模型在各指标上均达到最优 |
| w/o \(\mathcal{L}_{\mathrm{hier}}^{\mathrm{txt}\to\mathrm{txt}}\) | 91.99% / 87.56% | 86.75% / 80.48% | 94.21% / 91.80% | 移除文本层级偏序监督，CIFAR100 最终阶段掉点 2.03% |
| w/o \(\mathcal{L}_{\mathrm{hier}}^{\mathrm{txt}\to\mathrm{img}}\) | 92.38% / 88.25% | 87.37% / 81.33% | 95.84% / 92.54% | 移除图文锥体锚定，多模态特征失去层级依附 |
| w/o separation term | 92.93% / 88.73% | 88.68% / 82.62% | 96.16% / 92.57% | 移除父子最小距离惩罚，局部几何稍显拥挤但影响较平缓 |
| w/o \(\mathcal{L}_{\mathrm{tp}}\) 正则项 | 90.98% / 86.25% | 85.70% / 80.55% | 94.06% / 90.46% | 缺乏指数映射对齐正则，Cars 均值性能大幅下跌 2.08% |
| Euclidean Counterpart | 90.14% / 85.86% | 84.58% / 78.41% | 93.25% / 88.57% | 将双曲替换为欧氏几何，CIFAR100 最终性能暴跌 4.10% |
此外，抗遗忘度度量指标 \(F_B\)（越低越好，见论文 Table 3）证明，在无基础类的 B0 严苛场景下，Hasten 在 Food (\(F_B=4.86\)), Cars (\(F_B=4.30\)), UCF (\(F_B=4.12\)), SUN (\(F_B=7.32\)) 均取得了所有自适应方法中的最低遗忘率，显著超越传统提示词方法（如 L2P 的 24.69 与 DualPrompt 的 24.28）。
关键发现¶
- 双曲几何相对欧氏空间的根本优势：将流形退化回欧氏空间后，CIFAR100 上的最终准确率从 82.51% 剧降至 78.41%（-4.10%）。这证明平坦空间无法有效容纳层级爆炸的分支容量，双曲几何的负曲率是稳定层级关系不可或缺的底层支撑。
- 层级监督与投影约束的协同互补：在增量阶段演进曲线中，去除层级监督导致模型从初期到末期全程持续滑坡；而去除 TP 零空间投影在早期影响微弱，但在后期任务累积时干扰迅速放大。两者结合确保了既有特征空间结构与映射层权重的双重坚固。
- 测地线回溯展现平滑的语义抽象阶跃：在从图像特征沿双曲测地线向根节点回溯的分析中，Hasten 能够沿途依次检索出“太极拳” → “武术” → “实体”，展现了极佳的从具体到抽象的层级连续性；而平坦的 CLIP 空间中路径完全退化，无法呈现层次语义过渡。
亮点与洞察¶
- 将外部世界知识显式转化为双曲偏序监督：巧妙借助大模型的因果语义拓扑构建 is-a 树，并将偏序关系转化为洛伦兹双曲空间中的几何蕴涵锥约束，从几何第一性原理解决了类别独立假设带来的表征漂移难题。
- 用特征二阶协方差的 SVD 近似零空间保护共享权重：不仅约束表征本身，更在参数更新层面针对共享映射矩阵实施梯度正交投影，以极轻量开销彻底隔离了跨任务参数干扰。
- 双空间（欧氏+双曲）概率联合决策：在推理期有机结合原始空间的全局均值相似度与双曲空间的细粒度层级测地线距离，兼顾了广义判别力与层次严密性，这种混合空间决策可广泛推广至细粒度检索与长尾分类任务中。
局限与展望¶
- 依赖预构建树的语义完备性：作者在文中明确指出，当前层级树由 GPT-5 一次性扩展生成，在具有高度专业歧义或极端细粒度的领域（如罕见工业缺陷或生物专有分类），LLM 生成的 is-a 结构可能存在拓扑偏差或逻辑层级缺失。
- 静态层级缺乏数据自适应纠错机制：一旦前期生成的虚拟父类或边连接出现偏差，后续增量过程由于固定了历史树结构，无法在流式数据驱动下动态重构或剪枝错误的拓扑分支。
- 未来改进方向：可探索结合多模态聚类的动态层级自愈机制，或在局部不确定度较高时引入人机协同微量审核，进一步提升领域自适应的稳健性。
相关工作与启发¶
- vs PROOF [Zhou et al., TPAMI 2025c]: PROOF 通过正交投影头缓解跨任务特征干扰，但在欧氏空间内仍将各类别孤立对待；Hasten 引入了双曲流形中的显式语义树锚定与蕴涵锥，建立了细粒度层级拓扑，显著抑制了细粒度品种的混淆。
- vs RAPF [Huang et al., ECCV 2024]: RAPF 依赖参数融合与轻量自适应微调，但随着任务递增参数合并容易稀释专业知识；Hasten 采用模块累加与共享层零空间约束，配合双曲几何的指数容量从空间拓扑上保障了抗遗忘能力。
- vs CLG-CBM [Yu et al., CVPR 2025]: CLG-CBM 利用文本引导的概念瓶颈模型提升可解释性，但其概念池仍处于平坦结构；Hasten 实现了垂直偏序与水平分化的统一几何建模。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ (将双曲洛伦兹流形、偏序蕴涵锥与大模型动态语义树无缝融入多模态类增量学习，构思极佳)
- 实验充分度: ⭐⭐⭐⭐⭐ (在九大基准、多种增量切分设置下进行了翔实评测，消融实验深入且兼顾了测地线回溯可视化)
- 写作质量: ⭐⭐⭐⭐⭐ (数学推导严谨自洽，几何物理图像清晰，行文逻辑流畅)
- 价值: ⭐⭐⭐⭐⭐ (为大规模基础模型在持续学习中的表征漂移提供了行之有效的几何与优化联合解法)