Semantic Concept Steering Breaks the Explanation Drift Loop in Continual Learning¶
会议: NeurIPS 2026
arXiv: 2610.33877
OpenReview: https://openreview.net/forum?id=i3RRjUpRUG
代码: https://github.com/yonisGit/concept_consistent_continual_learning
领域: 可解释性
关键词: 持续学习, 解释漂移, 概念引导, 挤出效应, 虚假相关
一句话总结¶
针对传统解释感知持续学习依赖自身冻结显著图导致自指性漂移闭环的顽疾，本文提出概念一致性持续学习（C3L），通过离线自动发现的语义概念区域与尺度不变背景稳定性约束，结合相关性守恒的挤出效应，打破漂移闭环并显著提升连续任务下的泛化与鲁棒性。
研究背景与动机¶
深度神经网络在序列任务训练中普遍面临灾难性遗忘问题。现有的持续学习（CL）方法大多聚焦于参数正则化、回放重放（Replay）或动态网络架构等手段，致力于维持模型在特征空间或输出空间的分类准确率。然而，这类黑盒范式仅约束了模型预测“是什么”，却忽视了模型推理的“方式”。近期研究表明，灾难性遗忘不仅表现为预测准确率衰退，更会诱发隐蔽的“解释漂移”（Explanation Drift）——模型即使暂时保有了对旧任务的准确预测，其内部注意力也会悄然从具有因果诊断性的关键判别特征（如鸟类的喙形、羽毛斑纹）漂移并绑定到无关的背景虚假相关（如枝叶杂物、伪影纹理）上，极易在分布漂移时引发预测崩溃。
为了遏制解释漂移，先前的方法（如 RRR、EPR、TASS）尝试将像素级显著图（如 Grad-CAM）与回放样本一同存入缓存，并对注意力变化施加像素级距离正则。然而，这种方案存在一个本质且长期被忽视的结构性缺陷：像素级监督目标源于样本进入重放缓冲区时模型自身的冻结显著图。如果模型在存入缓冲区节点时就已经对部分虚假特征产生了轻微过拟合或漂移，这种错误的注意力分布就会被就地固化为未来的正则化靶标，形成“模型漂移 → 目标带偏 → 持续强化漂移”的自指性漂移闭环（Self-Referential Drift Loop）。加之像素级归因本身极易受高频噪声干扰且缺乏语义特异性，简单的像素对齐根本无法阻止虚假特征的累积。
为了彻底打破自指性漂移的闭环，本文提出必须将显著性正则化的锚点从“依赖模型当前状态的像素归因”转移至“独立于模型状态的类一致语义概念”。核心 idea：通过大语言模型与开词表分割模型离线自动生成类级别语义概念锚点，借助 LRP 相关性守恒引发的“挤出效应”隐式抑制背景虚假相关，并以尺度不变的余弦稳定性约束背景几何先验，在免去人工标注的同时彻底打破自指性漂移闭环。
方法详解¶
整体框架¶
C3L（Concept-Consistent Continual Learning）将模型注意力的引导解耦为“离线自动概念挖掘与定位”和“双重语义正则化持续学习”两大阶段。在离线准备阶段，系统首先利用大语言模型（LLM）提取各类别特有的细粒度语义属性词，并经由开词表目标分割模型 SAM 3 投影到具体样本上生成二值概念掩码；在增量训练阶段，模型针对回放缓冲区样本计算逐层相关性传播（LRP）图，通过正向概念重叠损失强化判别性特征，同时结合反向背景稳定性损失约束背景空间分布，诱导相关性质量向概念区域聚集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入序列任务与增量样本"] --> B["离线自动化概念挖掘与空间定位<br/>LLM 生成判别性属性 + SAM 3 批量掩码投影"]
B --> C["逐层相关性提取<br/>CNN 采用 ϵ-LRP，ViT 采用 AttnLRP"]
C --> D["概念重叠保持与挤出效应<br/>BCE 强化目标概念区域，隐式排挤背景相关性"]
D --> E["尺度不变背景结构稳定约束<br/>余弦相似度锁定背景空间拓扑，允许能量衰减"]
E --> F["联合优化输出<br/>打破自指性漂移闭环，输出稳健双语归因"]关键设计¶
1. 离线自动化概念挖掘与空间定位：解耦模型状态与先验生成
针对先前方法因依赖自身显著图而陷入自指性循环的问题，C3L 引入完全独立于模型参数状态的语义监督源。首先，系统借助大规模语言模型（GPT-4o-mini）对每个类别 \(c\) 自动生成一组具有类别区分度的语言描述概念 \(\Psi_c^{\text{raw}}\)。为避免抽象或罕见概念引入噪声，可选引入发生率（Occurrence Rate，\(\nu_{\text{occ}} \ge 0.15\)）与覆盖度（Coverage，\(\nu_{\text{cov}} \ge 0.2\)）对候选集进行剪枝得到 \(\Psi_c^*\)。随后，针对回放缓冲区 \(\mathcal{M}\) 中的样本，利用 SAM 3 将概念属性词批处理定位生成对应的分割区域，并通过置信度阈值（\(\tau_{\text{conf}} = 0.3\)）聚合成样本级的二值概念掩码： $\(M_{\text{concept}}^{(x)} = \bigcup_{\psi \in \Psi_y^*} \bigcup_{i: s_i(\psi) \ge \tau_{\text{conf}}} B_i^{(\psi)}\)$ 非概念区域则自然定义为背景掩码 \(M_{\text{bg}}^{(x)} = \mathbf{1} - M_{\text{concept}}^{(x)}\)。该先验在训练前全部离线固化，同一类别内所有实例共享统一的语义属性集，既消除了人工标注负担，又赋予了目标跨实例的语义一致性。
2. 概念重叠保持与相关性守恒的挤出效应：无显式惩罚的虚假相关抑制
为迫使模型牢牢聚焦于真正定义物体的部件，C3L 采用基于归一化显著图与概念掩码的二值交叉熵（BCE）损失： $\(\mathcal{L}_{\text{concept}} = \frac{1}{|\mathcal{M}|} \sum_{(x,y) \in \mathcal{M}} \text{BCE}(S_x \odot M_{\text{concept}}^{(x)}, M_{\text{concept}}^{(x)})\)$ 其中显著性图 \(S_x\) 采用具备严格层级相关性守恒性质的归因算法（CNN 采用 \(\epsilon\)-LRP，ViT 采用 AttnLRP）。依据 LRP 的近似局部守恒性质，全图分配给目标类别 logit \(f_\theta(x)_y\) 的相关性总量是有限且近似守恒的： $\(\sum_{i \in \mathcal{C} \cup \mathcal{B}} S_x(i) \approx f_\theta(x)_y\)$ 当 \(\mathcal{L}_{\text{concept}}\) 强制推高概念区域 \(\mathcal{C}\) 内所占的相关性份额 \(\rho_{\mathcal{C}}\) 时，背景区域 \(\mathcal{B}\) 所能分配到的剩余相关性上界将被自然压缩：\(\sum_{i \in \mathcal{B}} S_x(i) \approx f_\theta(x)_y (1 - \rho_{\mathcal{C}})\)。这种机制被定义为“挤出效应”（Crowding-Out Effect）：背景区域与概念区域在有限的 logit 预算下竞争归因质量，从而无需对背景人为施加破坏性的零惩罚，就能隐式剥离背景噪声与虚假相关。
3. 尺度不变的背景拓扑稳定性约束：保留预训练上下文先验
虽然挤出效应能够自发压低背景区域的总相关性量值，但在没有空间结构约束的情况下，剩余的相关性残差极易随序列任务的推进而游移到新的任务特定背景伪影上。与此同时，预训练骨干网络在背景区域往往蕴含着有益的几何、尺度与姿态等全局上下文先验，若强行完全抹杀背景会导致泛化性能下滑。为此，C3L 在样本首次存入回放缓冲区时记录参考显著图 \(S_x^{\text{ref}}\)，并针对背景区域施加基于余弦相似度的尺度不变稳定性损失： $\(\mathcal{L}_{\text{stab}} = \frac{1}{|\mathcal{M}|} \sum_{(x,y) \in \mathcal{M}} \left( 1 - \frac{\langle S_x \odot M_{\text{bg}}^{(x)},\; S_x^{\text{ref}} \odot M_{\text{bg}}^{(x)} \rangle}{\|S_x \odot M_{\text{bg}}^{(x)}\|_2 \cdot \|S_x^{\text{ref}} \odot M_{\text{bg}}^{(x)}\|_2 + \epsilon} \right)\)$ 采用余弦相似度具有关键的理论考量：它仅惩罚背景中能量分布的相对空间位移与几何漂移，而将其整体范数（幅度大小）完全放开。如此一来，背景相关性能量在挤出效应下能够顺畅衰减，而残留的能量拓扑结构则被严格稳定在初始先验形态上，有效切断了自指性漂移在背景层面的继续蔓延。
损失函数 / 训练策略¶
在增量任务 \(\mathcal{T}_t\) 的训练过程中，总优化目标由常规分类任务交叉熵与两项回放正则项联合构成： $\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{task}} + \lambda_{\text{concept}} \mathcal{L}_{\text{concept}} + \lambda_{\text{stab}} \mathcal{L}_{\text{stab}}\)$ 其中 \(\mathcal{L}_{\text{task}}\) 为当前任务数据 \(\mathcal{D}_t\) 与回放集 \(\mathcal{M}\) 上的交叉熵分类损失。为保证与经典回放基准对比的公平性，显著性正则项仅施加于重放缓冲区样本上（\(|\mathcal{M}|=1000\)）。针对 ResNet-18，超参数配置为 \(\lambda_{\text{concept}}=1.0, \lambda_{\text{stab}}=1.5\)；针对 ViT-B，配置为 \(\lambda_{\text{concept}}=0.8, \lambda_{\text{stab}}=1.2\)。模型使用标准 SGD 优化器以批大小 128、学习率 0.001 训练 20 至 50 轮。
实验关键数据¶
主实验¶
论文在五个极具挑战性的基准数据集（细粒度分类 CUB，领域适应 DomainNet，以及带有严重分布偏移与对抗特性的 ImageNet-R、ImageNet-A、ObjectNet）上进行了全面评测，对比涵盖正则化、纯回放、提示词（Prompt）、适配器（Adapter）以及现存解释感知类（RRR、EPR、TASS）共计 20 余种前沿基准。下表汇总了各数据集在最终任务学习后的平均准确率（ACC ↑）与平均遗忘率（F ↓）：
| 骨干架构 | 方法 | CUB (ACC / F) | DomainNet (ACC / F) | ImageNet-R (ACC / F) | ImageNet-A (ACC / F) | ObjectNet (ACC / F) |
|---|---|---|---|---|---|---|
| ResNet-18 | Fine-Tuning | 18.12 / 31.74 | 25.15 / 20.24 | 22.08 / 26.13 | 7.92 / 30.54 | 10.76 / 37.21 |
| ResNet-18 | DER++ | 71.45 / 9.62 | 68.02 / 5.74 | 69.81 / 7.82 | 61.43 / 12.53 | 64.44 / 11.34 |
| ResNet-18 | RRR (Grad-CAM) | 72.21 / 9.10 | 68.25 / 5.66 | 70.13 / 7.66 | 61.73 / 12.06 | 64.82 / 10.87 |
| ResNet-18 | RRR-LRP (严格控制) | 73.25 / 8.42 | 69.30 / 5.13 | 71.15 / 6.92 | 63.01 / 10.24 | 66.20 / 9.23 |
| ResNet-18 | C3L (Ours) | 79.73 / 5.32 | 73.01 / 3.14 | 74.35 / 4.23 | 67.84 / 6.52 | 71.12 / 5.82 |
| ViT-B | Fine-Tuning | 12.54 / 21.92 | 17.34 / 13.92 | 15.24 / 18.05 | 8.53 / 27.94 | 9.43 / 25.72 |
| ViT-B | CODA-Prompt | 74.74 / 5.42 | 74.95 / 3.12 | 72.35 / 3.82 | 54.24 / 6.92 | 67.82 / 4.83 |
| ViT-B | PLAN-R | 79.24 / 3.52 | 78.62 / 1.83 | 80.13 / 2.58 | 65.48 / 3.05 | 72.85 / 2.84 |
| ViT-B | RRR-ViT-AttnLRP | 78.09 / 4.17 | 78.47 / 1.92 | 79.48 / 3.35 | 63.02 / 4.24 | 71.61 / 3.33 |
| ViT-B | C3L (Ours) | 83.65 / 2.92 | 80.43 / 1.23 | 82.74 / 1.89 | 71.14 / 1.53 | 76.83 / 1.92 |
此外，在去除虚假相关评估中，ResNet-18 在含严重肤色偏置的 Fitzpatrick17K（FITZ）与人工高斯注入偏置的 Split ImageNet-100C（I-100C）上，C3L 分别达到 60.47% 与 64.19% 的准确率，大幅超越此前专精去偏置的方法 BiasPruner（58.13% / 48.52%）和 BGS（56.85% / 51.39%）。在 CUB 显著性分割对齐上，C3L 解释图的 mIoU（58.77%）和 mAP（83.92%）均显著优于传统像素级基准 RRR（52.59% / 69.71%）。
消融实验¶
在 ViT-B 骨干下针对双重正则化项的必要性展开消融（ImageNet-R 与 CUB）：
| 配置 | ImageNet-R (ACC / F / AIA) | CUB (ACC / F / AIA) | 机制说明 |
|---|---|---|---|
| Full C3L | 82.74 / 1.89 / 83.92 | 83.65 / 2.92 / 84.64 | 正向概念重叠 + 负向背景空间拓扑稳定 |
| w/o \(\mathcal{L}_{\text{concept}}\) | 77.12 / 3.82 / 78.13 | 73.74 / 5.19 / 72.95 | 缺失概念锚点，退化严重（在细粒度 CUB 上掉 9.91%） |
| w/o \(\mathcal{L}_{\text{stab}}\) | 78.94 / 3.01 / 78.32 | 78.42 / 3.86 / 78.98 | 仅推高概念，背景残差向新任务伪影漂移，各掉 ~4-5% |
| w/o both (标准 ER) | 72.27 / 9.13 / 71.56 | 70.92 / 8.48 / 71.40 | 退化为普通经验重放，性能大幅跌落 |
| 替换为粗粒度目标分割 | 79.93 / 2.84 / 81.06 | 78.47 / 4.01 / 81.64 | 证实增益源于“细粒度概念”，而非 SAM 3 目标轮廓 |
| 无重放模式 (C3L-NoReplay) | 79.82 / 3.84 / 78.99 | 80.94 / 3.27 / 81.78 | 零样本缓存下仍大幅击败保留 1000 样本的普通 ER |
关键发现¶
- 双重正则项展现出非对称重要性：在细粒度鸟类数据集 CUB 上，剔除 \(\mathcal{L}_{\text{concept}}\) 会导致准确率断崖式下滑近 10 个百分点，表明类别特异的判别属性对于防止细粒度概念混淆至关重要；而移除 \(\mathcal{L}_{\text{stab}}\) 会在各数据集上均匀掉点 4% 左右，验证了背景先验结构防漂移的必要性。
- 挤出效应的定量验证：在跟踪 CUB 第一阶段测试样本的注意力流动时，从第 1 个任务推进至第 10 个任务，概念区域所占 logit 相对份额 \(R_{\text{rel}}(\mathcal{C})\) 从 0.52 稳步递增至 0.72（+38.5%），背景区域份额 \(R_{\text{rel}}(\mathcal{B})\) 从 0.46 顺畅压低至 0.28（-39.1%），而全图总相关性守恒始终维持在 0.98~1.00，确证了能量在无显式背景惩罚下自发向语义部位重分配。
- 极端小缓存下的数据效率：当重放缓冲区从 1000 骤降至 200 时，C3L 仍能取得 80.40% 的准确率，超越了多数基准在使用 1000 样本缓存时的最终表现。
亮点与洞察¶
- 立论深刻打破盲点：精准剖析了过往解释感知持续学习中“用自身旧显著图指导新学习”的死穴，从理论根源上指明了其本质是强化虚假特征自指闭环，给该细分方向建立了新的基准视角。
- 巧借物理守恒化解两难：借助 LRP 的近似相关性守恒巧妙激发出“挤出效应”，使正向概念聚焦自然转化为对背景虚假相关的“无声驱逐”，既避开了盲目清空背景造成的上下文信息丢失，又打破了解释漂移。
- 普适性高可平替重放：即使在完全不保留重放样本的严苛设置下，C3L 仅凭当前任务概念引导（C3L-NoReplay）即全面碾压经典 1000 容量的 ER，展现出在隐私敏感和边缘受限环境下的广阔应用价值。
局限与展望¶
- 依赖预训练基础模型流水线：离线挖掘与分割环节依赖 GPT-4o-mini 和 SAM 3，若语言模型生成了非视觉化抽象描述（如“生性温顺”）或 SAM 3 对微小遮挡部件定位失败，仍可能引入局部掩码噪声。
- 背景参考图尚未完全剔除初始偏置：虽然背景稳定性项仅约束相对几何形态，且量值被挤出效应持续弱化，但存入缓冲区那一刻模型内部若已夹带某些背景空间偏置，其残存轮廓仍会被部分保留。
- 扩展空间：未来可探索向多模态与时序语言模型的持续学习迁移，或利用概念激活向量（CAV）进一步构建显式跨任务可复用的组合概念图谱。
相关工作与启发¶
- vs RRR / EPR / TASS：以往像素级解释感知 CL 将模型自身的 Grad-CAM 热力图视作真值，陷入自指性漂移循环；C3L 采用独立于模型状态的类一致离线概念，以“概念纠正”替代“像素盲从”。
- vs Concept Bottleneck Models (CBMs)：经典 CBM 旨在构建可解释白盒瓶颈架构，训练与适配极其繁重；C3L 则将概念定位作为外部辅助先验，无缝赋能标准 ResNet 与 ViT 主干。
- vs 显式背景抑制微调：既往去偏工作多采用惩罚项强行将背景归因压至零；C3L 洞察到背景上下文几何先验的价值，通过余弦尺度不变约束稳定背景空间拓扑，实现“衰减而不失真”。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示并形式化自指性漂移闭环，提出基于概念锚定与守恒挤出的解耦机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 五大公开基准，20+ Baseline，横跨两类主干、OOD 泛化、抗虚假相关及消融验证。
- 写作质量: ⭐⭐⭐⭐⭐ 论证脉络极度清晰，动机锋利，数学物理机理推导自洽且图文呼应。
- 价值: ⭐⭐⭐⭐⭐ 为解决深度模型在动态环境下的解释崩溃提供了通用且免人工标注的工程落地范式。