CS-TTA: Preserving Concept Sensitivity in Test-Time Adaptation¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 医学图像
关键词: 测试时自适应, 概念敏感度漂移, 概念激活向量, 虚假相关, 跨中心医学图像泛化

一句话总结¶

针对测试时自适应（TTA）在提升任务准确率的同时可能加剧虚假捷径依赖的问题，本文利用 TCAV 揭示了概念敏感度漂移（CSD）现象，并提出即插即用的正则化方法 CS-TTA，在无目标域标签的前提下通过惩罚概念敏感度偏离源域，显著抑制对干扰概念的过度拟合并大幅提升最差组表现与跨医院医学诊断鲁棒性。

研究背景与动机¶

测试时自适应（TTA）已成为应对分布漂移的主流手段。给定源域预训练模型，TTA 方法（如基于熵最小化的 Tent、一致性正则的 CoTTA 以及样本选择的 EATA）仅利用无标签的目标域测试流更新部分网络参数（通常是批归一化层的仿射参数），在多种常见图像损坏与域迁移基准上取得了显著的准确率提升。随着方法的发展，学术界不断关注小批量自适应、灾难性遗忘以及连续时间流中的稳定性，但这些评估体系几乎无一例外地建立在单一维度上：任务预测准确率。只要模型在测试集上的 Top-1 准确率有所上升，自适应过程就被认定为成功，而模型内部究竟是依据什么特征做出这一决策却始终未被审视。

然而，这一评价盲区在存在虚假相关或高敏感性的实际场景中隐藏着严重的隐患。在医疗影像（如胸部 X 光片分类）等任务中，深度模型极易捕捉不同医疗机构特有的文本标记、设备投影等捷径特征，而非关注真实的病灶区域；在通用视觉中，模型也往往偏向背景或纹理而非物体的因果形状特征。当使用常规 TTA 算法进行无监督自适应时，无标签损失很可能通过强化这些虚假关联来降低预测熵，从而出现“准确率上升但实际决策逻辑更加劣化”的虚假繁荣。一旦遇到反混淆样本或切换到新的机构，模型的表现便会发生剧烈崩溃，这直接动摇了测试时自适应在安全关键型任务中的可信基础。

本文正是切入这一核心矛盾：利用概念激活向量（TCAV）的方向导数系统性追踪自适应过程中模型对人类可解释语义概念的敏感度演变，进而揭示了“概念敏感度漂移”（Concept Sensitivity Drift, CSD）现象——常规 TTA 在降低预测不确定性的同时，会系统性削弱模型对任务因果概念的敏感度，并显著提升对背景或机构伪影等干扰概念的依赖。核心 idea：将预先在源域提取的语义概念方向作为锚点，在测试时自适应过程中引入免目标域标签的即插即用敏感度保持正则项 CS-TTA，自适应惩罚超出容忍阈值的概念敏感度偏离，在不改变网络结构与优化流程的前提下引导模型摆脱虚假特征捷径。

方法详解¶

整体框架¶

CS-TTA 的整体流程分为离线概念建模与在线自适应正则化两个阶段。在离线准备期，利用源域带概念正负样本的激活值，在深层特征层（如 ResNet-50 的倒数第一个残差块或 DenseNet-121 的最后一个稠密块）通过简单的逻辑回归训练得到各个目标概念法向量，即概念激活向量（CAV），并将其参数全部冻结。在在线测试时自适应阶段，模型接收无标签的目标域样本流，在最小化原有 TTA 目标损失（如 Tent 的预测熵或 CoTTA 的一致性损失）的同时，在线监控每个批次样本在各个概念方向上的平均敏感度。对于敏感度偏离源域基准值超过预设阈值 $\tau$ 的概念，激活保留损失 $L_{\text{preserve}}$，与原始 TTA 损失加权组合后更新批归一化层参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入目标域无标签测试批次"] --> B["前向传播提取深层激活与预测结果"]
    B --> C["离线冻结的源域 CAV 向量库"]
    B --> D["计算任务无监督损失 LTTA<br/>(熵最小化 / 一致性等)"]
    C --> E["概念敏感度漂移检测 (CSD)"]
    B --> E
    E --> F["门控敏感度保持损失 Lpreserve<br/>(|S_C(t) - S_C(0)| > tau)"]
    D --> G["总损失加权反向传播<br/>Ltotal = LTTA + lambda * Lpreserve"]
    F --> G
    G --> H["仅更新 BN 仿射参数 (gamma, beta)"]

关键设计¶

1. 概念敏感度漂移量化：利用方向导数透视决策依据演变 为了定量评估网络在自适应过程中对特定概念的依赖变化，本文采用 TCAV 的连续敏感度度量。对于第 $l$ 层的特征激活 $a^{(l)}(x)$ 与类别 $k$ 的预测对数几率 $f_k$，样本级概念敏感度定义为对数几率沿概念激活向量 $v_C$ 的方向导数：$S_{C, k}(x) = \nabla_{a^{(l)}} f_k(a^{(l)}(x)) \cdot v_C$。标准 TCAV 统计正敏感度样本比例，但由于示性函数不可微，本文直接计算批次内的平均敏感度作为优化与监控依据： $$\bar{S}_C(\theta_t) = \frac{1}{|\mathcal{B}_t|} \sum_{x \in \mathcal{B}_t} S_{C, k(x)}(x; \theta_t)$$ 由此定义的整体概念敏感度漂移（CSD）定量揭示出：在常规 TTA 训练步数推进时，因果/病灶相关概念的敏感度出现大幅下滑，而干扰/背景概念的敏感度呈单调攀升。更重要的是，早期（如第 100 步）累积的 CSD 与后续阶段的准确率劣化表现出极强的正相关性（秩相关系数 $\rho = 0.76$），表明 CSD 可作为衡量模型是否滑向虚假捷径的早期诊断指标。

2. 门控敏感度保持损失：即插即用的选择性约束机制 如果盲目限制所有网络参数或所有特征维度的变动，将极大地削弱模型适应目标域分布漂移的能力。CS-TTA 提出了一种基于阈值筛选的门控正则化策略：仅对批次平均敏感度漂移绝对值超过设定阈值 $\tau$ 的概念施加二次惩罚，使得模型在大部分非敏感维度上依然保持充分的自适应自由度： $$L_{\text{preserve}}(\theta_t) = \sum_{C : |\bar{S}_C(\theta_t) - \bar{S}_C(\theta_0)| > \tau} \left(\bar{S}_C(\theta_t) - \text{sg}(\bar{S}_C(\theta_0))\right)^2$$ 其中 $\text{sg}(\cdot)$ 表示停止梯度算子，将源域初始敏感度 $\bar{S}_C(\theta_0)$ 视为固定的优化目标。通过设定 $\tau = 0.05$ 与正则化系数 $\lambda = 0.1$，该损失函数有效地将模型在关键语义方向上的表征锚定在源域认知框架内，同时完全不改变模型的原有网络结构与前向推理架构。

3. 一阶投影替代与计算加速：兼顾二阶精度与在线极低开销 严格计算精确敏感度 $\bar{S}_C$ 涉及模型输出对激活的梯度，在反向传播优化损失时需要展开二阶 Hessian 项，这会大幅增加在线自适应的显存占用与计算时延。为此，作者设计了一阶激活投影替代方案 $P_C(\theta_t)$，直接约束深层特征激活在固定 CAV 方向上的投影分量： $$P_C(\theta_t) = \frac{1}{|\mathcal{B}_t|} \sum_{x \in \mathcal{B}_t} a^{(l)}(x; \theta_t)^\top v_C$$ 在线自适应阶段，该操作退化为特征与各概念向量之间的简单矩阵点积，计算复杂度仅为 $\mathcal{O}(|\mathcal{C}| \cdot B \cdot d)$。消融实验证实，一阶替代在精度上与完整的二阶计算几乎完全一致（在 Waterbirds 上总体准确率 78.5% 对比 78.6%，最差组准确率 65.8% 对比 66.0%），而每一步的额外运行时间开销仅增加 1.1%–2.8%，完全满足真实测试流场景下的实时性需求。

损失函数 / 训练策略¶

模型在目标域上的整体优化目标为组合损失函数： $$L_{\text{total}} = L_{\text{tta}} + \lambda \cdot L_{\text{preserve}}$$ 其中 $L_{\text{tta}}$ 可以是任何现有的无监督 TTA 损失函数，如 Tent 的熵损失 $L_{\text{ent}} = -\sum p \log p$、CoTTA 的学生-教师模型交叉熵一致性损失或 DeYO 的置信样本选择损失。模型在整个自适应周期内仅更新批归一化层的缩放参数 $\gamma$ 与偏置参数 $\beta$，卷积与线性层权重始终处于冻结状态。学习率固定为 $10^{-3}$，批次大小在通用视觉基准上设为 64，在医学高分辨率影像上设为 16。

实验关键数据¶

主实验¶

论文在五大代表性基准上对 5 种流行 TTA 方法（Tent、EATA、CoTTA、SAR、DeYO）进行了全面评估。指标涵盖通用图像损坏鲁棒性（CIFAR-10-C、ImageNet-C 的平均分类准确率）、虚假相关鲁棒性（Waterbirds 与 CelebA 的平均准确率 Acc 和最差组准确率 WG），以及跨医院胸部 X 光迁移（CheXpert $\to$ MIMIC-CXR，针对肺炎、气胸、纵隔增大三类病灶评估平均 AUC）。

基准数据集 / 任务	评估指标	Source (未自适应)	Tent 基线	Tent + CS-TTA (本文)	DeYO 基线	DeYO + CS-TTA (本文)
CIFAR-10-C (WRN-28-10)	平均准确率 Acc (%)	74.5 ± 0.2	79.8 ± 0.3	81.2 ± 0.3 (+1.4)	81.8 ± 0.3	82.4 ± 0.3 (+0.6)
ImageNet-C (ResNet-50)	平均准确率 Acc (%)	39.2 ± 0.3	44.8 ± 0.4	45.9 ± 0.3 (+1.1)	46.5 ± 0.3	47.1 ± 0.3 (+0.6)
Waterbirds (ResNet-50)	最差组准确率 WG (%)	58.1 ± 0.8	56.2 ± 1.0	65.8 ± 0.9 (+9.6)	63.8 ± 0.9	68.5 ± 0.8 (+4.7)
CelebA (ResNet-50)	最差组准确率 WG (%)	47.2 ± 0.9	45.8 ± 1.1	54.3 ± 1.0 (+8.5)	51.2 ± 1.0	56.8 ± 0.9 (+5.6)
跨医院医学迁移 (DenseNet-121)	平均诊断 AUC	0.762 ± .004	0.778 ± .004	0.795 ± .003 (+0.017)	0.788 ± .003	0.802 ± .003 (+0.014)

在所有五个方法中，CS-TTA 均实现了跨领域的稳定提升。尤其在容易产生严重捷径学习的 Waterbirds 和 CelebA 上，纯熵优化的 Tent 和伪标签一致性的 CoTTA 甚至使得最差组准确率大幅倒退低于源域模型（CoTTA 在 Waterbirds 上从 58.1% 暴跌至 55.1%），而结合 CS-TTA 后最差组表现实现飞跃（Tent+CS-TTA 达到 65.8%，大幅反超源模型 7.7 个百分点）。在跨医院医学自适应任务中，CS-TTA 为所有基线带来了 1.4 到 1.8 个百分点的稳定 AUC 收益。

消融实验¶

基于 Waterbirds 上的 Tent+CS-TTA（ResNet-50）对核心超参数、作用网络层级、概念来源以及不同正则化设计进行了全面消融分析：

消融配置项	具体设定 / 变体	总体准确率 Acc (%)	最差组准确率 WG (%)	概念敏感度漂移 CSD	说明 / 核心结论
完整模型 (Default)	$\lambda=0.1, \tau=0.05$, Layer 4, 1st-order	78.5	65.8	0.12	默认设计取得最佳平衡
正则化强度 $\lambda$	$\lambda = 0.01$ (弱正则)	77.2	62.3	0.25	约束不足，漂移依旧显著
正则化强度 $\lambda$	$\lambda = 1.0$	77.8	65.1	0.07	约束较强，略微压制自适应
正则化强度 $\lambda$	$\lambda = 10.0$ (过强约束)	74.5	63.5	0.03	过度受限于源域，整体准确率受损
漂移门控阈值 $\tau$	$\tau = 0.02$ / $\tau = 0.10$	78.1 / 77.8	65.1 / 64.2	0.10 / 0.16	$\tau=0.05$ 在灵活性与约束性间最优
作用层级选择	较浅层 (Layer 2)	77.2	62.8	0.18	浅层特征语义纯度较低
作用层级选择	多层联合约束 (Multi-layer)	78.3	65.5	0.11	收益与仅在 Layer 4 相当但计算量增加
概念构建来源	弱监督 CLIP 伪标签	77.9	64.5	0.14	无人工标注时依然高度有效（仅差1.3%）
计算近似阶数	二阶精确梯度优化	78.6	66.0	0.11	与一阶替代性能相当，但耗时倍增
对照基线	盲目全激活 $L_2$ 正则	77.1	57.5	0.26	无概念选择性的特征锚定完全失效
对照基线	随机概念向量正则	77.3	58.2	0.24	证明收益源于真实语义引导而非随机约束

关键发现¶

盲目正则化的局限性：对激活值施加盲目的 $L_2$ 惩罚或使用随机概念方向时，最差组准确率仅为 57.5% 和 58.2%（与单独 Tent 的 56.2% 相当，且低于源模型的 58.1%），明确证实只有沿着任务因果与语义相关的特定概念方向进行门控锚定，才能真正消除捷径学习。
早停与监控潜力：在全基准测试中，自适应第 100 步的平均 CSD 值与后续 400 步的模型准确率衰退程度呈现出显著的强正相关性（$\rho = 0.76$）。这一发现为缺乏测试域真实标签的无监督 TTA 场景提供了一个全新的在线早停与风险预警指标。
医学影像的可信迁移：通过 GradCAM 和有符号 CSD 分析，胸部 X 光模型在跨医院自适应时普遍出现对“患者标识符”、“医疗器械投影”敏感度的自发增强，而病灶（肺部浸润影）敏感度下降。CS-TTA 成功扭转了这一趋势，使模型在目标机构重新聚焦于解剖学病理异常。

亮点与洞察¶

将可解释性工具转化为测试时自适应的目标约束：以往可解释性技术（如 GradCAM、TCAV）几乎完全局限于静态预训练模型的离线事后分析。本文创造性地将 TCAV 的方向导数作为在线动力学监控探针与优化锚点，实现了从“被动解释”到“主动干预”的方法论跨越。
概念敏感度漂移（CSD）现象的形式化刻画：首次系统性指出了主流 TTA 方法在提升准确率的同时可能暗中加剧虚假关联依赖这一致命漏洞，为社区敲响了警钟——无监督自适应中的“高置信度”与“准确率上升”并不等同于“更稳健的模型特征抽取”。
极端轻量且解耦的通用插件范式：通过一阶激活投影设计，CS-TTA 仅需离线计算一次源域 CAV 向量，在线自适应阶段耗时增幅控制在 3% 以内，无需更改任何网络拓扑，亦不依赖大型视觉语言模型在测试期的推理开销，极具工程工程落地价值。

局限与展望¶

对源域概念完备度与先验的依赖：CS-TTA 依赖预先定义的正负样本集或 CLIP 提示词来构建概念激活向量。如果源域概念库遗漏了目标域中特定新型的捷径模式，或者源模型本身在训练阶段就存在严重的认知偏差，保持源域敏感度反而可能限制模型适应更真实规律的潜力。
动态有益漂移与有害漂移的甄别：当前算法将超出阈值的敏感度漂移一律视为有害偏差并予以抑制。然而在部分复杂的真实域迁移场景中，模型适度降低对某些次要源概念的关注、转而学习目标域的稳健特征可能具有积极意义。
未来演进方向：未来可探索结合自动概念发现算法（如 ACE）在测试流中自适应挖掘未知伪影，并将该机制拓展至更复杂的长程连续域自适应（Continual TTA）场景中，防止多轮漂移导致的灾难性遗忘。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从概念敏感度漂移视角系统性揭示 TTA 过程中的捷径加剧现象，并创新性地将 TCAV 转化为测试时动态正则化损失。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大主流 TTA 算法、跨越通用图像与高危医学影像 5 大基准，提供了详尽的消融实验、梯度阶数论证及 GradCAM 可视化证据。
写作质量: ⭐⭐⭐⭐⭐ 逻辑论证极其严密，从现象发现、指标定义到算法设计和实际验证环环相扣，图表表达清晰直观。
价值: ⭐⭐⭐⭐⭐ 针对医疗等高安全要求场景中的自适应可信部署痛点给出了切实可行的轻量级解决方案，对 TTA 领域的发展具有显著推动作用。

消融配置项	具体设定 / 变体	总体准确率 Acc (%)	最差组准确率 WG (%)	概念敏感度漂移 CSD	说明 / 核心结论
完整模型 (Default)	\(\lambda=0.1, \tau=0.05\), Layer 4, 1st-order	78.5	65.8	0.12	默认设计取得最佳平衡
正则化强度 \(\lambda\)	\(\lambda = 0.01\) (弱正则)	77.2	62.3	0.25	约束不足，漂移依旧显著
正则化强度 \(\lambda\)	\(\lambda = 1.0\)	77.8	65.1	0.07	约束较强，略微压制自适应
正则化强度 \(\lambda\)	\(\lambda = 10.0\) (过强约束)	74.5	63.5	0.03	过度受限于源域，整体准确率受损
漂移门控阈值 \(\tau\)	\(\tau = 0.02\) / \(\tau = 0.10\)	78.1 / 77.8	65.1 / 64.2	0.10 / 0.16	\(\tau=0.05\) 在灵活性与约束性间最优
作用层级选择	较浅层 (Layer 2)	77.2	62.8	0.18	浅层特征语义纯度较低
作用层级选择	多层联合约束 (Multi-layer)	78.3	65.5	0.11	收益与仅在 Layer 4 相当但计算量增加
概念构建来源	弱监督 CLIP 伪标签	77.9	64.5	0.14	无人工标注时依然高度有效（仅差1.3%）
计算近似阶数	二阶精确梯度优化	78.6	66.0	0.11	与一阶替代性能相当，但耗时倍增
对照基线	盲目全激活 \(L_2\) 正则	77.1	57.5	0.26	无概念选择性的特征锚定完全失效
对照基线	随机概念向量正则	77.3	58.2	0.24	证明收益源于真实语义引导而非随机约束