Training-free Cross-domain Few-shot Segmentation via Robust Semantic Representation and Matching¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/Sparkling-Water/RSRM
领域: 语义分割
关键词: 跨域少样本分割、免训练、语义表示、支持增强、混合原型匹配

一句话总结¶

本文通过重新组合冻结 DINOv3 的中间特征、以可靠查询区域增强支持表示、融合多粒度原型匹配，在不做任务训练或目标域微调的条件下，实现四个目标域平均 68.39 / 73.08 的 1-shot / 5-shot mIoU。

研究背景与动机¶

少样本分割需要根据少量带像素标注的支持图像，找出查询图像中同一类别的区域。常规方法往往假定训练类和测试类虽不同，却来自相近的图像分布；跨域少样本分割还要跨越自然图像、遥感和医学影像之间的外观差异。原型方法把支持区域压缩成代表向量，相似度方法保留更细的像素对应，而源域训练或目标域微调负责把表示调整到任务上。这些路线都可能让有限任务数据改变原本通用的特征，因此更强的预训练编码器未必自动转化为更强的跨域表现。论文的直接证据是 LoEC 使用普通 ViT-B 时平均 1-shot mIoU 为 65.01，替换成 DINOv3-B 后反而是 63.37，见原文表 1。

本文据此选择保留预训练知识，只在测试 episode 内计算表示和匹配规则，不再学习新的适配参数。但冻结本身并不够：DINOv3 的最后层特征可能突出局部位置一致性，而非最适合前景与背景分离的语义信息。支持图像与查询图像即使属于同类，实例形态和背景组成也可能不同，直接比较一个支持均值原型容易失配。此外，单一全局原型会丢掉区域差异，全部像素匹配又容易受局部偶然相似影响，不同目标域对匹配粒度的需求并不一致。

作者没有把这些问题都交给 SAM 的掩码解码器，而是围绕一个视觉编码器构建可解释的测试时计算链路。这条链路依次回答三个具体问题：哪些层值得读出、查询信息中哪些部分可以相信、支持类别应以什么粒度表示。这里的“免训练”针对下游分割过程，既不否认 DINOv3 的大规模预训练，也不取消支持图像的像素标注。 核心 idea：先筛出语义可分的中间层，再通过类别受限的查询聚合缩小支持与查询差异，最后以自适应多粒度匹配完成跨域分割。

方法详解¶

整体框架¶

每个测试 episode 输入一个含 \(K\) 张标注图像的支持集，以及一张不提供真值掩码的查询图像。任务输出查询图像的二值前景掩码，支持标注指明当前要分割的类别。原文第 3.1 节说明，本文不使用额外源域数据训练；查询真值用于评估，而不参与下面的层选择或阈值选择。冻结 DINOv3 提取支持与查询的多层 patch token，并将这些 token 还原为空间特征图。语义感知特征重融合（SAFR）首先为两侧产生一致的特征读出方式。自适应支持增强（ASE）随后让支持特征吸收查询图像中可靠的同类信息。混合原型匹配（HPM）最后比较全局、区域和像素级原型，并合成查询预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["支持图像与掩码<br/>查询图像"] --> B["冻结 DINOv3<br/>多层特征"]
        B --> C["语义感知特征重融合<br/>SAFR"]
        C --> D["自适应支持增强<br/>ASE"]
        C -->|查询特征| E["混合原型匹配<br/>HPM"]
        D -->|增强支持特征| E
        E --> F["查询前景掩码"]

关键设计¶

1. 语义感知特征重融合：改变特征读出，而非改写冻结网络的内部计算

SAFR 的出发点来自原文第 6–7 页和图 3 的特征分析。作者在最后层选出方差最大的若干通道，发现它们常呈现位置相关的模式，而不是清晰的前景与背景区分。这些通道组成位置敏感通道集合，数量为 \(N_c=\operatorname{round}(C/\gamma)\)，其中 \(C\) 是通道数。对每一层注意力模块的原始输出，计算该通道集合的方差和占全部通道方差和的比例 \(r^l_{attn}\)。它度量的是选定位置敏感通道在当前特征中的相对占比，不是注意力熵，也不是查询预测的置信度。同时计算 Fisher 判别比 \(f^l_{attn}\)，即类间散度矩阵与类内散度矩阵的迹之比，衡量前景和背景的可分性。图 3 中较高的位置敏感方差占比通常对应较低的 Fisher 判别比和分割表现，但这是实验关联，不是对任意数据的理论保证。

随后，把方差占比高于各层平均值的层标为位置感知层，并以这些层划分候选区间。在相邻位置感知层之间选择方差占比最小的代表层，形成语义感知层集合；原文还加入 \(L+1\) 作为末端边界。这样既避免把全部层简单平均，也不需要修改后续层接收到的输入分布。选中层依据 Fisher 判别比与位置方差占比的比值加权，保留“可分性更强、位置干扰更弱”的读出。其核心融合方式见原文第 8 页式 (4)：

\[ \bar{\mathbf F}=\sum_{l\in\mathcal L_{sem}}\omega^l\mathbf F^l_{attn},\qquad \omega^l=\frac{f^l_{attn}/r^l_{attn}}{\sum_{l'\in\mathcal L_{sem}}f^{l'}_{attn}/r^{l'}_{attn}}. \]

层集合和融合权重由支持特征计算，再同时用于支持和查询侧，因而二者进入同一个匹配空间。支持标注为语义可分性判断提供依据，不能把这一阶段理解为使用查询真值选择最佳层。重融合发生在特征读出端，DINOv3 本身仍按原来的冻结前向过程运行。原文表 3 支持这种区分：降低残差中特征权重或压低相关通道方差会变差，而从最终输出删除位置敏感通道能改善表现，但仍弱于 SAFR。

2. 自适应支持增强：只从查询的可靠同类区域吸收信息

经过 SAFR 后，支持和查询仍可能存在实例差异，因此 ASE 不是直接用支持原型给出最终掩码。它先对支持前景和背景分别做掩码平均池化，得到两个原型，再与支持及查询特征计算余弦相似度并做 softmax。支持相似度图可以与已知支持真值比较，因此能够用来选择适合当前 episode 的阈值。具体而言，在 \((0,1)\) 内均匀采样 \(N_t\) 个阈值，对支持前景相似度图逐一二值化。选出使支持预测 mIoU 最高的阈值 \(t_f^*\)，但不直接把这个“支持上最优”的阈值应用到查询图像。作者注意到支持与自身原型的相似度通常高于支持与查询之间的相似度，因此需要进一步构造可靠区域阈值。原文式 (5) 把所有满足 \(t>\alpha t_f^*\) 的候选阈值取平均，得到 \(t_f^{rob}\)；背景也独立执行同样步骤。这是候选集合上的平均规则，不能简化为把最佳阈值直接乘以 \(\alpha\)，也不能保证结果总比最佳阈值低。

可靠前景和背景掩码生成后，支持特征作为注意力的查询，查询图像特征作为键和值。这里“查询图像”和 attention 的 query 不是同一概念：被更新的是支持表示，而非查询表示。模块不使用可训练的投影层，并在注意力矩阵中加入类别匹配掩码。只有支持前景到可靠查询前景、支持背景到可靠查询背景的连接被允许，其他连接加入负无穷屏蔽。聚合形式见原文第 9 页式 (7)：

\[ \mathbf A_{sq}=\operatorname{softmax}\left(\frac{\mathbf Q\mathbf K^T}{\sqrt C}+\mathbf M_{sq}\right)\mathbf V. \]

其中掩码 \(\mathbf M_{sq}\) 在允许的位置为零，其余位置为负无穷；softmax 沿可接收的查询位置进行归一化。聚合结果恢复成空间特征图后，与原支持特征按相同权重取平均，得到增强支持特征。这一步的作用是让支持原型靠近当前查询的实际外观，同时避免把明显不相关的查询区域混入前景表示。可靠区域仍来自模型相似度而非真值，因此 ASE 减少错误交互，却不能保证伪标签完全正确。

3. 混合原型匹配：让不同语义粒度共同决定前景

HPM 从增强后的支持特征构造三类原型，查询侧则继续使用 SAFR 输出的查询特征。全局原型分别对全部支持前景和背景取均值，给出稳定但较粗的类别代表。区域原型使用 k-means++ 聚类：前景划分为 \(N_r\) 个簇，背景划分为 \(2N_r\) 个簇。背景使用更多中心是因为它通常包含更多语义类别，而不是把前景和背景简单当作同等复杂的两团特征。像素级原型保留每一个支持前景或背景特征，为细粒度对应提供更多候选。对于每种粒度和每个类别，先计算所有原型与查询像素的余弦相似度，再在原型维度取最大值。因此区域和像素分支保留的是最强匹配，而不是所有候选相似度的平均。

每种粒度先比较自身的前景与背景相似度，得到一个临时查询掩码。然后在该掩码划分的预测前景区和预测背景区，分别计算前景相似度图的均值。两者之差 \(\omega_m=\mu_{m,f}-\mu_{m,b}\) 衡量这种粒度是否让预测前景明显区别于预测背景。这里两个均值都来自该粒度的前景相似度图，并非分别取前景图和背景图的均值。将三种粒度的差值经过 softmax 归一化，作为融合权重，再分别加权融合前景和背景相似度图。最终逐像素比较两张融合图，前景分数更高的位置被输出为目标区域，见原文第 10 页式 (8)–(9)。这一权重反映当前查询上的预测分离程度，不是有标注校准过的正确率，也不是为每个数据集学习一组固定系数。表 5 中各域对粒度的偏好不同，正是融合比强行统一为一种原型更合理的经验依据。

损失函数 / 训练策略¶

本文没有新增的分割训练损失、优化器迭代或目标域梯度更新；支持标注参与统计计算和阈值选择。 Fisher 判别比、阈值搜索、聚类和注意力聚合均属于测试时计算，不能把“无可训练参数”读成“没有适配成本”。原文第 10 页使用 DINOv3 ViT-B/16，将图像缩放到 \(480\times480\)。主要超参数为 \(\gamma=200\)、\(\alpha=0.75\)、\(N_t=20\)、\(N_r=9\)，因此区域原型的背景簇数为 18。本文报告 1-shot 与 5-shot 两种支持规模，但当前主文缓存没有完整展开多支持样本合并及所有边界情况的实现细节。复现时应核对作者代码中空可靠区域、聚类样本不足等处理，不能把这些缺失细节补写成论文已证明的规则。

实验关键数据¶

主实验¶

下列结果来自论文 PDF第 11 页表 1，单位为 mIoU，越高越好。原文对 5 个随机种子取平均；每个种子在 Deepglobe、ISIC、Chest X-ray 各采样 1200 个 episode，在 FSS-1000 采样 2400 个。本表选择 LoEC 原始 ViT-B 版本作为主要对照，本文使用 DINOv3-B，不能把差值全部归因于模块设计。

目标域	LoEC 1-shot	本文 1-shot	LoEC 5-shot	本文 5-shot
Deepglobe	42.12	49.71	51.48	58.88
ISIC	52.91	55.73	62.43	62.55
Chest X-ray	83.94	85.44	84.12	87.01
FSS-1000	81.05	82.67	83.69	83.89
四域平均	65.01	68.39	70.43	73.08

平均优势分别为 3.38 和 2.65 个 mIoU 点，而不是相对百分比提升。表 1 的 Matcher（DINOv3-B+SAM-B）平均为 61.20 / 67.27，本文相应高出 7.19 / 5.81 点。不过，Matcher（DINOv2-B+SAM-B）的 1-shot 平均为 61.75，因此 7.19 点不是相对所有 Matcher 版本中最佳 1-shot 结果的差值。 “四域平均最好”也不能写成“每域最好”：FSS-1000 的 5-shot 上 Matcher（DINOv2-B+SAM-B）为 88.52，高于本文 83.89。 Chest X-ray 的 5-shot 上 DFN 为 87.14，也略高于本文 87.01。

消融实验¶

组件消融来自原文第 12 页表 2，指标为四域平均 mIoU；这是分析模块贡献比跨骨干比较更直接的证据。

配置	1-shot	5-shot
基线	58.74	64.54
基线 + SAFR	62.53	68.64
基线 + SAFR + ASE	66.16	70.86
基线 + SAFR + HPM	65.99	71.61
基线 + SAFR + ASE + HPM	68.39	73.08

SAFR 单独带来 3.79 / 4.10 点；在 SAFR 上增加 ASE 为 3.63 / 2.22 点，增加 HPM 为 3.46 / 2.97 点。后两组增益以 SAFR 配置为共同参照，不能把它们误当作沿同一条逐步加模块路径累加的结果。进一步的原型分析来自第 13 页表 5，均为 1-shot，并在已使用 SAFR 和 ASE 的表示上比较。

原型类型	Deepglobe	ISIC	Chest X-ray	FSS-1000	平均
全局	49.48	55.98	80.14	79.03	66.16
区域	47.98	54.06	85.48	82.80	67.58
像素	47.65	51.03	84.55	83.64	66.72
HPM	49.71	55.73	85.44	82.67	68.39

关键发现¶

表 5 中全局原型在 ISIC 上最好，区域原型在 Chest X-ray 上最好，像素原型在 FSS-1000 上最好；HPM 提高平均值，但不包揽逐域最大值。
第 13 页表 4 的无掩码、固定阈值、最佳支持阈值、可靠阈值平均结果依次为 63.76、64.53、65.95、66.16，支持类别约束交互和阈值适配的作用。
第 14 页表 8 报告本文为 161.9 GFLOPs、47.62 FPS、零可训练参数；LoEC 为 150.1 GFLOPs、52.91 FPS，因此本文并非比 LoEC 推理更快。
同表 Matcher 为 727.6 GFLOPs、0.47 FPS，说明免训练方法之间仍可能存在很大的推理成本差异；实验硬件为 RTX 4090。

亮点与洞察¶

SAFR 把“冻结编码器”与“只能使用最后层输出”分开。可复用的思路是基于任务可分性选择读出，而不扰动已经训练好的层间分布。
ASE 用支持真值校准交互入口，而不是只在最后一步阈值化输出。这样能在聚合前限制潜在的前景与背景混淆。
HPM 不假定一种表示粒度跨所有域都最优。其融合依据来自当前查询的分离程度，提供了一种无需学习融合网络的具体方案。

局限与展望¶

作者将更强骨干在已有方法中的收益有限解释为过拟合；替换骨干的结果支持这一解释，但不足以排除适配策略或超参数不匹配等原因。
免训练消除了本文下游参数拟合过程，不意味着免于预训练偏差、episode 选择偏差或超参数对评测域的依赖。
查询可靠区域和粒度权重都由自身预测构造，错误但分离明显的预测仍可能被强化；原文主文没有给出这些失败情形的系统鲁棒性边界。
跨域实验覆盖四个常用数据集，尚不足以保证对任意成像协议、极小目标或复杂多类别场景同样有效；这是对证据范围的限制，而非论文报告的失败结果。
当前缓存含主文及参考文献第 1–18 页，不含文中多次提到的补充材料；更细的数据划分、完整超参数敏感性和多支持合并细节不能据此确认。

评分¶

新颖性: 4/5。三项设计围绕冻结编码器的跨域匹配形成完整方案，但原型融合和支持查询交互本身已有基础。
实验充分度: 4/5。包含四域、双 shot 设置、组件和机制消融及效率比较，但当前主文缺少完整方差与补充材料细节。
写作质量: 4/5。方法链路清楚，需注意平均最优与逐域最优、不同对照版本以及增益参照的区别。
价值: 4/5。提供无需下游训练的跨域分割基线和可拆分机制，实际使用仍需评估测试时成本和伪标签可靠性。