SPDA: Efficient Online Test-Time Adaptation for Promptable Medical Segmentation¶

会议: ECCV 2026
论文: ECCV 原文
代码: 待开源
领域: 医学图像
关键词: 提示型基础模型, 在线测试时自适应, 医学图像分割, 双重扰动一致性, 轻量后置适配器

一句话总结¶

针对提示型通用与医学基础分割模型在临床异构数据上的性能退化问题，SPDA 提出一种轻量高效的在线测试时自适应框架，通过域自适应低频径向谱扰动与提示欠采样扰动构建高质量自监督一致性信号，并仅更新后置轻量适配器以完全绕过图像编码器反向传播，在大幅降低显存与算力开销的同时显著提升跨模态分割精度。

研究背景与动机¶

以 SAM 和 SAM2 为代表的提示型基础分割模型在自然图像中展现了极强的零样本泛化能力，而经过大规模医学数据微调的衍生模型（如 MedSAM、MedSAM2）也极大缓解了从自然域到医学域的分布漂移。然而在真实临床工作流中，即便医学微调模型面对来自不同扫描仪、医疗机构、成像序列以及不同解剖部位的测试数据时，依然会因严重的子域漂移（Sub-domain Shift）而出现显著的分割性能滑坡。

在线测试时自适应（Online Test-Time Adaptation, OTTA）能够在无源域数据访问且无人工标注的情况下，伴随数据流到达逐步调整模型以适应目标域。但现有医学 OTTA 方法在临床落地时面临两个核心矛盾：一是自监督学习信号的可靠性不足。基于特征对齐的方法需访问源域统计量，存在医疗隐私泄露风险且阻碍了对目标域特有特征的挖掘；基于输入扰动的一致性方法则依赖传统高频数据增强，而径向平均功率谱密度（RAPSD）分析表明医学图像的子域内差异主要集中在低频成分，盲目扰动高频极易破坏解剖语义结构并导致梯度失准。基于教师-学生等推理扰动的方法又受限于扰动多样性匮乏，极易积累确认偏差引发模型崩溃。二是临床边缘设备的严苛资源受限。传统微调或现有 OTTA 方案往往需要对庞大的图像编码器进行反向传播，导致巨大的激活值显存占用与计算延迟，即便在编码器内部插入 LoRA 等参数高效模块也无法免除整网反向传播开销。

为了化解上述在学习信号质量与计算效率之间的双重矛盾，本文提出了一种保持语义的双重扰动在线自适应方法 SPDA。核心 idea：基于医学子域漂移集中于低频的频谱先验，在输入端引入自适应低频径向谱扰动并在推理端引入提示欠采样扰动以构建稳健的无偏一致性学习信号，同时在冻结基础模型的前提下仅在图像编码器之后放置并更新轻量瓶颈适配器，彻底阻断大模型的反向传播瓶颈。

方法详解¶

整体框架¶

SPDA 专为提示型基础分割架构（包含图像编码器、提示编码器、掩码解码器及记忆模块）设计。对于持续到达的无标注测试样本流，SPDA 保持预训练基础分割模型所有原始权重完全冻结，仅在图像编码器输出端引入轻量后置适配器进行单步在线更新。系统通过双重扰动机制并行产生三条前向传播路径：原始输入路径生成基准锚点预测；低频频谱扰动路径生成输入扰动特征与预测；提示欠采样路径生成提示扰动预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续测试数据流输入<br/>图像切片与交互提示"] --> B["域自适应低频径向谱扰动<br/>统计更新与自适应低频扰动"]
    A --> C["提示欠采样扰动<br/>包围盒扩展与点提示子集采样"]
    A --> D["冻结的大型图像编码器<br/>原始特征提取"]
    B --> E["冻结的大型图像编码器<br/>扰动图像特征提取"]
    D --> F["轻量后置适配器<br/>仅更新适配器参数"]
    E --> F
    F --> G["特征一致性约束<br/>多尺度余弦距离最小化"]
    F --> H["冻结的提示编码器与掩码解码器<br/>多视角分割预测生成"]
    C --> H
    H --> I["预测一致性约束<br/>锚点与扰动视图间的 Dice 对齐"]
    G --> J["联合损失反向传播<br/>仅更新后置适配器"]
    I --> J
    J --> K["最终自适应分割掩码输出"]

关键设计¶

1. 域自适应低频径向谱扰动：精准拟合子域内频域差异并保持解剖语义

传统几何或高频噪声增强容易破坏医学图像边缘细节并引入域外伪影，导致梯度失调。本文通过径向平均功率谱密度分析发现，医学影像中不同中心、序列与器官之间的子域内方差主要由低频能量谱决定。为此，SPDA 对输入图像切片进行 2D 傅里叶变换，并将频域划分为 $K$ 个同心径向频带。通过指数加权移动平均（EWMA）和方差（EWVar）跨样本维护目标域的统计特性，进而自适应结合样本内方差与跨样本方差构建对数正态扰动分布。该扰动严格限制在前 $K_{low}$ 个低频同心环内，通过缩放傅里叶实部系数后逆变换重建图像。这种机制仅模拟目标子域内无害的风格与光照差异，从根本上杜绝了对深层病灶或解剖边界等高频语义信息的破坏。

2. 提示欠采样扰动：在推理阶段构建低特异性语义等价视图

除视觉输入侧的扰动外，提示型模型特有的交互提示为构建无偏一致性监督提供了全新维度。直接加入高斯偏移容易导致提示脱离真实解剖目标，破坏语义一致性。SPDA 提出保持语义的提示欠采样策略：针对包围盒提示，采用各向同性面积放大因子 $\zeta > 1$ 轻微扩展边界框，在保证包围盒依然完整覆盖目标组织的前提下降低空间特异性；针对多点提示集合（$N \ge 2$），随机抽取真子集 $N' < N$ 个提示点作为扰动输入。由于欠采样后的提示依然严格指代同一解剖目标，两组提示的前向输出应当具备极高的预测一致性，从而在免除额外参数的前提下提供多样化的自监督反馈信号。

3. 轻量后置适配器：完全阻断大编码器反向传播的极简高效瓶颈设计

传统测试时自适应和参数高效微调（如 LoRA、Adapter）若嵌入在 ViT 图像编码器各层内部，为了计算适配器梯度的反向传播仍必须遍历整个深层编码器，需要缓存所有中间激活值，带来巨大的显存占用与计算延迟。SPDA 将轻量级瓶颈卷积适配器完全放置在图像编码器之后，基础模型的图像编码器、提示编码器与掩码解码器在自适应过程中全程冻结。计算梯度并更新的参数量仅占极小比例（约 0.18M 参数），反向传播被严格拦截在适配器层面，无需为庞大的图像编码器保留任何前向激活值，使每张切片的计算开销由数百 TFLOPs 大幅压缩至 39.88 TFLOPs。此外，针对连续在线更新中可能发生的灾难性遗忘，SPDA 在每步自适应时随机恢复 1% 的适配器权重至初始状态，有效保障了长程流式适应的稳定性。

损失函数 / 训练策略¶

在测试阶段，SPDA 接收连续流式批次（Batch Size = 1），对每个样本执行单步更新。模型的优化目标由两项保持语义的一致性损失构成：

一是多层级特征一致性损失 $\mathcal{L}_f$。为确保适配器输出的表征对低频风格变化保持不变性，在各特征层级 $l \in \{1, \dots, L\}$ 计算原始适配特征 $\mathbf{z}_d^{(l)}$ 与输入扰动适配特征 $\widetilde{\mathbf{z}}_d^{(l)}$ 之间的余弦距离： $$ \mathcal{L}f = \frac{1}{L} \sum\right) \right) $$}^{L} \left( 1 - \cos\left(\mathbf{z}_d^{(l)}, \widetilde{\mathbf{z}}_d^{(l)

二是多扰动预测一致性损失 $\mathcal{L}_p$。利用软 Dice 损失衡量基准锚点预测掩码 $\mathbf{y}_d$ 与输入扰动预测 $\widetilde{\mathbf{y}}_d$、提示扰动预测 $\bar{\mathbf{y}}_d$ 之间的预测不一致性： $$ \mathcal{L}p = \frac{1}{2} \left( \mathcal{L}}}(\mathbf{y}_d, \bar{\mathbf{y}d) + \mathcal{L}_d) \right) $$}}(\mathbf{y}_d, \widetilde{\mathbf{y}

总优化目标为加权求和： $$ \mathcal{L} = \lambda_f \mathcal{L}_f + \lambda_p \mathcal{L}_p $$ 实验默认超参数设置：频带数 $K = 24$，低频扰动阈值 $K_{low} = 8$，分辨率控制因子 $\gamma = 1.7$，EWMA 动量 $\eta = 0.1$，方差融合权重 $\lambda_{intra} = 0.3, \lambda_{inter} = 0.7$，包围盒缩放系数 $\zeta = 1.005$，欠采样点数 $N' = 1$，损失权重 $\lambda_f = 0.1, \lambda_p = 1.0$。采用 AdamW 优化器进行单步梯度反向传播。

实验关键数据¶

主实验¶

评估在 CVPR 2024 Segment Anything in Medical Images Challenge 覆盖的 11 种医学模态（CT、皮肤镜、内窥镜、眼底、乳腺钼靶、显微镜、MR、OCT、PET、超声、X光）上进行，主干模型采用 SAM2 与医学专用 MedSAM2，对比前沿测试时自适应方法。评价指标为平均 Dice 相似系数（DSC, %）。

基础模型 / 提示类型	评价指标	Source-Only	InTEnt (CVPRW'24)	VPTTA (CVPR'24)	GraTa (AAAI'25)	SAM-TTA (arXiv'25)	SPDA (本文)
SAM2 (Box Prompt)	平均 DSC (%)	67.11	67.49	72.49	72.78	72.16	74.18 (+1.40)
SAM2 (3-Click Point)	平均 DSC (%)	51.48	51.41	52.88	55.61	55.93	61.44 (+5.51)
MedSAM2 (Box Prompt)	平均 DSC (%)	83.36	83.07	85.92	86.26	85.69	88.05 (+1.79)
MedSAM2 (Point Prompt)	平均 DSC (%)	78.02	77.74	78.72	79.05	79.01	81.11 (+2.06)

同时，在计算效率与资源开销方面（基于 MedSAM2 设置）：

方法	计算开销 (TFLOPs) ↓	总参数量 (M) ↓
InTEnt	204.56	38.97
VPTTA	233.20	38.98
GraTa	497.18	38.99
SAM-TTA	63.65	78.04
SPDA (本文)	39.88	39.16

消融实验¶

在 MedSAM2 骨干网络与 Box Prompt 设置下，对核心扰动模块的贡献及不同优化策略进行消融分析：

优化策略 / 模块组合	输入扰动方式	提示扰动	平均 DSC (%) ↑	计算开销 (TFLOPs) ↓	说明
无适应 (Baseline)	无	无	80.07	-	原始 MedSAM2 零样本测试
仅提示扰动	无	启用	81.45	39.88	带来 +1.38% 稳定提升
传统增强 + 提示扰动	RandAugment 传统增强	启用	83.78	39.88	传统高频扰动破坏边缘，增益受限
仅低频频谱扰动	域自适应低频谱扰动	无	83.91	39.88	低频扰动贡献了大部分核心增益
SPDA 完整模型	域自适应低频谱扰动	启用	85.04	39.88	双重扰动互补，取得最高精度
编码器 LN 微调	仅优化 LayerNorm	启用	80.85	77.61	需全编码器反向传播，开销翻倍
编码器 LoRA 微调	编码器注入 LoRA	启用	85.11	78.90	精度与本文相当，但计算开销高出 98%

关键发现¶

低频扰动的决定性贡献：单独引入域自适应低频径向谱扰动使 DSC 从 80.07% 飙升至 83.91%，而传统增强由于在高频引入失真，效果明显逊色于低频扰动。提示扰动与输入扰动结合后进一步达到 85.04%，证实了多视图约束的互补性。
算力减半而精度无损：后置适配器仅需 39.88 TFLOPs，相较于在编码器内部应用 LoRA（78.90 TFLOPs）计算量减少近一半，且分割精度几乎完全一致（85.04% vs. 85.11%），充分证明阻断编码器反向传播在兼顾轻量与表征能力上的巨大优越性。
频域超参数的模态特异性：敏感性实验表明，虽然全局统一的 $K_{low}=8, \gamma=1.7$ 已具备跨模态稳健性，但针对特定模态进行微调能释放更多潜力。例如 MR 图像偏好更窄的低频扰动范围（$K_{low}=4, \gamma=1.5$ 可获 +5.05% 的增益），而眼底图像则受益于更宽的频谱摄动（$K_{low}=12$）。

亮点与洞察¶

将频域能量分布先验与 TTA 结合：敏锐捕捉到医学图像跨域变化以低频为主的本质特征，避免了盲目套用自然图像高频增强所带来的解剖语义扭曲，为医学自监督学习提供了新颖视角。
后置适配器打破编码器反向传播枷锁：彻底跳出传统 PEFT 在编码器内插模块的思维定式，将适配层完全移至编码器之后，以最小的参数量和几乎减半的 TFLOPs 实现了与整网反向传播相当的自适应能力。
提示维度的自监督一致性构建：巧妙利用交互式提示的冗余性，通过各向同性框放大和稀疏随机点采样子集，无需增加任何生成模块便创造了高质量的预测对比基准。

局限与展望¶

依赖明确分立的架构解耦：当前设计假设模型具备独立的图像编码器、提示编码器与掩码解码器。对于高度融合端到端单体多模态大模型，后置适配器的插入点与冻结策略尚需进一步探索。
极端几何形态畸变的鲁棒性：目前的低频频谱扰动主要建模灰度分布与对比度风格偏移，对于器官严重形变、大范围位移或伪影引起的非线性结构扭曲，其自适应能力仍有提升空间。
未来改进方向：可进一步探索结合轻量级频域注意力机制，使低频径向频带的选择具备样本级动态感知能力，进一步提升跨多中心罕见病变的泛化边界。

评分¶

新颖性: 4.5/5.0（医学低频频谱自适应扰动与交互提示欠采样的结合非常新颖，后置解耦设计针对临床轻量化痛点明确）
实验充分度: 5.0/5.0（涵盖 11 种医学模态、2D 与 3D 设定、点/框双重交互提示，主实验与消融对比详尽）
写作质量: 4.5/5.0（逻辑严谨，动机与设计高度契合，图表信息充实且论证清晰）
价值: 4.5/5.0（切实解决基础模型临床端侧实时部署的计算与显存瓶颈，具有极强的落地指导意义）