PASR: Pattern-Aware Scene-Conditioned Reasoning for Camouflaged Object Detection¶
会议: ECCV 2026
论文: ECCV 2026 Poster 5521
领域: 目标检测 / 语义分割
关键词: 伪装目标检测, 场景条件推理, 原型学习, 无监督推理, 背景偏离建模
一句话总结¶
提出无需像素级人工标注的无监督伪装目标检测推理框架 PASR，将伪装识别重构为基于冻结特征空间的“场景背景锚定与条件偏离推理”，通过检索背景对齐参考集并构建局部偏离原型，在四大基准上显著超越现有无监督与弱监督方案并逼近全监督性能。
研究背景与动机¶
伪装目标检测（Camouflaged Object Detection, COD）旨在从自然场景中识别与周围环境高度融合的伪装物体。在自然界进化机制下，伪装生物往往主动调控自身体表纹理、色彩与微观结构，使其视觉统计特性高度依附于特定生存背景。这导致前景与背景在全局特征分布上产生极端重叠，打破了传统通用目标检测与语义分割赖以成立的“前景具备全局显著性或类别稳定性”的根本假设。
现有 COD 方法主要沿着两条技术路线演进：一是主流的目标中心判别式范式，通过精细的多尺度特征融合、边界细化网络或频域分解来强行拉开前背景特征距离，但这种依赖密集像素标注训练的模型在面对背景剧烈漂移或未见生物类别时泛化能力骤降；二是近期引入外部参考图像的环境/样本引导范式（如 RISE、EASE），虽然尝试借助原型匹配或对比分析辅助分割，却通常将目标外观表征与背景统计信息割裂处理，忽视了伪装现象中“目标外表实质是依托特定背景结构产生的自适应扰动”这一条件依存本质。
本文的核心 insight 在于：伪装目标并非独立存在的抽象实体，而应被视为依附于局部背景统计特性的结构化扰动；因此评估候选目标的存在性不能依赖孤立的前景模板，而必须在场景背景锚定的条件约束下度量模式偏离。核心 idea：将伪装目标检测重构为“场景对齐的背景条件模式偏离推理（Scene-Conditioned Pattern-Deviation Reasoning）”，构建离线全无监督原型库，并通过两阶段“全局背景锚定-局部条件偏离原型推理-自参照提精”实现完全无需重训练的自适应检测。
方法详解¶
整体框架¶
PASR 整体由两个核心阶段构成：离线无监督原型库构建与测试阶段的渐进式场景条件推理。整个推理与库构建过程完全基于参数冻结的 DINOv2-ViT-L/14 特征空间，不更新任何神经网络参数。在离线阶段，系统从网络收集的自然图像中利用聚类自推理与核密度估计（KDE）自发分离前背景，生成无需标注的原型对；在测试阶段，输入查询图像首先通过全局背景检索过滤不相关场景并构建背景锚点（BG-anchor），随后在候选参考空间内执行 Patch 级条件偏离原型匹配，经由自适应密度分离与查询自参照细化得到高精度目标掩码。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询图像与离线原型库"] --> B["阶段1：粗粒度背景子空间对齐<br/>构建全局 BG-anchor 候选集"]
B --> C["阶段2：背景条件模式推理与统计分解<br/>Patch 级偏离原型匹配与 KDE 分离"]
C --> D["阶段3：查询图像自参照细化<br/>构建查询前背景对立对比与重切分"]
D --> E["生成最终伪装目标检测掩码<br/>（可选接 SAM 进行边缘几何规整）"]关键设计¶
1. 无监督原型库构建：完全摒弃人工标注的聚类自推理 针对外部参考原型严重依赖密集像素标注的痛点，该模块提出一种完全基于无监督聚类的原型抽取机制。对于给定的无标注自然参考图像 \(R_t\)，利用冻结的 DINOv2 提取稠密特征图 \(F_t \in \mathbb{R}^{H \times W \times d}\)。在嵌入空间进行聚类后，算法剔除具有大空间延展且中心贴近图像几何中心的聚类簇（通常对应居中的前景目标），保留其余簇作为候选背景群。计算各位置特征与候选背景聚类中心的最大余弦相似度，形成背景一致性响应图 \(S_t^{\text{self}}(x, y)\)： $\(S_t^{\text{self}}(x, y) = \max_k \frac{F_t(x, y) \cdot \tilde{P}_{t, k}^{\text{bg}}}{\|F_t(x, y)\| \|\tilde{P}_{t, k}^{\text{bg}}\|}\)$ 利用核密度估计（KDE）自适应确定响应低值区的主导阈值 \(\tau_t\)，获得粗糙前景区域。随后引入冻结参数的通用模型 SAM 以该粗掩码为提示词进行纯几何边缘规整，最终对规整后的前景与背景区域加权均值池化，得到轻量解耦的原型对 \((P_t^{\text{fg}}, P_t^{\text{bg}})\)。整套库的构建无需任何下游 COD 数据集真值标签。
2. 背景条件模式推理：将伪装线索建模为结构化偏离 在推理阶段，若直接在全库范围内盲目搜索，多变的环境风格会引入巨大的跨场景噪声。PASR 首先利用全图平均池化特征 \(F_j^g\) 与库内各背景原型 \(P_t^{\text{bg}}\) 计算全局余弦相似度，剔除 50% 差异过大的候选项，确立当前场景专属的背景锚点子空间 \(\mathcal{R}_j\)。随后在 Patch 粒度上，针对查询特征 \(F_j(x, y)\) 检索在 \(\mathcal{R}_j\) 中最匹配的前 \(K\) 个背景参考 \(\mathcal{T}_j(x, y)\)，并聚合其对应的前景特征形成查询自适应目标原型 \(\bar{P}_j^{\text{obj}}(x, y)\)。为了显式刻画伪装模式依附于背景的本质，设计了背景条件偏离原型 \(P_{jt}^{\text{pat}}\)： $\(P_{jt}^{\text{pat}}(x, y) = P_t^{\text{bg}} - \alpha \bar{P}_j^{\text{obj}}(x, y), \quad t \in \mathcal{T}_j(x, y)\)$ 其中 \(\alpha\) 为偏离强度调控因子（默认设为 0.4）。通过在该条件偏离原型空间内重新计算余弦相似度平均值 \(S_j(x, y)\)，具有强烈伪装偏离特性的区域将在响应图上呈现显著的低相似度低谷，再通过 KDE 密度估计自适应划定阈值，直接导出初始推理掩码 \(M_j^{(0)}\)。该设计将绝对的语义前背景匹配转变为相对的“背景依附性扰动”度量。
3. 查询图像自参照细化：消除跨图像检索的统计偏移 尽管跨图像原型检索能够粗略捕获偏离模式，但跨样本采集不可避免地伴随光照、微观视点及传感器层面的域偏移。为净化初始掩码 \(M_j^{(0)}\) 中的边界噪声，模块将自参照机制内化至测试图像内部：依据 \(M_j^{(0)}\) 分别在当前图像特征图 \(F_j\) 上加权聚合出图像特异性的前景原型 \(\hat{P}_j^{\text{fg}}\) 与背景原型 \(\hat{P}_j^{\text{bg}}\)。随后对全图每个 Patch 计算对立对比差值： $\(\Delta_j(x, y) = \text{sim}(F_j(x, y), \hat{P}_j^{\text{bg}}) - \text{sim}(F_j(x, y), \hat{P}_j^{\text{fg}})\)$ 再次使用无参数 KDE 估计对 \(\Delta_j(x, y)\) 的分布进行二值划分得到细化掩码 \(M_j^{(1)}\)。这一自闭环步骤仅利用当前图像自身的高保真统计量对粗预测进行滤波，有效压制了外部检索引发的误检。
损失函数 / 训练策略¶
PASR 为完全零训练、免反向传播的无监督范式，整个网络参数处于永久冻结状态。在单张 NVIDIA A40 GPU 上，核心推理延迟仅为 71–76 ms（包括 DINOv2 提取约 51 ms、偏离推理约 13 ms 以及自参照细化约 10 ms）。
实验关键数据¶
主实验¶
在四大权威伪装目标检测基准（CHAMELEON、CAMO、COD10K、NC4K）上，将 PASR 与代表性无监督方法（使用统一的 DINOv2-ViT-L/14 骨干、统一 476×476 分辨率且无测试时数据增强）进行对比（主结果见下表）：
| 数据集 | 指标 | 本文 (PASR) | 之前SOTA (EASE [CVPR 2025]) | 提升 |
|---|---|---|---|---|
| CHAMELEON | \(S_\alpha \uparrow\) | 0.832 | 0.819 | +0.013 |
| CHAMELEON | \(E_\phi \uparrow\) | 0.924 | 0.899 | +0.025 |
| CHAMELEON | \(F_\beta^w \uparrow\) | 0.768 | 0.741 | +0.027 |
| CHAMELEON | \(\text{MAE} \downarrow\) | 0.041 | 0.044 | -0.003 |
| CAMO | \(S_\alpha \uparrow\) | 0.755 | 0.749 | +0.006 |
| CAMO | \(E_\phi \uparrow\) | 0.833 | 0.831 | +0.002 |
| CAMO | \(F_\beta^w \uparrow\) | 0.693 | 0.684 | +0.009 |
| COD10K | \(S_\alpha \uparrow\) | 0.774 | 0.773 | +0.001 |
| COD10K | \(E_\phi \uparrow\) | 0.868 | 0.866 | +0.002 |
| COD10K | \(F_\beta^w \uparrow\) | 0.664 | 0.656 | +0.008 |
| NC4K | \(S_\alpha \uparrow\) | 0.817 | 0.800 | +0.017 |
| NC4K | \(E_\phi \uparrow\) | 0.902 | 0.884 | +0.018 |
| NC4K | \(F_\beta^w \uparrow\) | 0.760 | 0.735 | +0.025 |
| NC4K | \(\text{MAE} \downarrow\) | 0.051 | 0.056 | -0.005 |
在引入 SAM 边界几何规整的提示分割对比中，PASR 在 CHAMELEON 上达到 \(S_\alpha=0.869, E_\phi=0.937, F_\beta^w=0.846\)，在 NC4K 上达到 \(S_\alpha=0.863, E_\phi=0.917, F_\beta^w=0.840\)，大幅领先同类方法 GenSAM 与 ProMaC，并逼近全监督代表作 SINet-v2（NC4K 上 \(S_\alpha=0.847\)）。
消融实验¶
在各大基准上对核心模块与超参数配置进行消融验证（指标采用 \(S_\alpha / F_\beta^w\)）：
| 配置 | CHAM. (\(S_\alpha / F_\beta^w\)) | CAMO (\(S_\alpha / F_\beta^w\)) | COD10K (\(S_\alpha / F_\beta^w\)) | NC4K (\(S_\alpha / F_\beta^w\)) | 说明 |
|---|---|---|---|---|---|
| Full PASR | 0.832 / 0.768 | 0.755 / 0.693 | 0.774 / 0.664 | 0.817 / 0.760 | 完整模型 |
| \(\alpha = 0\) (退化为纯背景匹配) | 0.819 / 0.745 | 0.741 / 0.674 | 0.767 / 0.654 | 0.798 / 0.734 | 性能急剧下降，丧失条件偏离判别力 |
| w/o 自适应目标原型 | 0.825 / 0.755 | 0.753 / 0.691 | 0.773 / 0.662 | 0.813 / 0.755 | 移除局部匹配前景均值支持，稳定性受损 |
| w/o 查询自参照细化 | 0.826 / 0.756 | 0.751 / 0.687 | 0.769 / 0.656 | 0.808 / 0.748 | 失去同图统计一致性滤波，跨图噪声增加 |
| w/o BG-anchor (全库检索) | 0.829 / 0.764 | 0.752 / 0.689 | 0.776 / 0.664 | 0.816 / 0.759 | 缺少粗粒度场景过滤，上下文易混叠 |
| 随机 BG-anchor | 0.820 / 0.744 | 0.750 / 0.687 | 0.770 / 0.656 | 0.815 / 0.757 | 错误对齐导致背景条件严重失真 |
| w/o 离线 SAM 规整 | 0.829 / 0.764 | 0.754 / 0.692 | 0.774 / 0.662 | 0.812 / 0.752 | 原型库仅靠粗糙聚类掩码构建，性能仍高度坚挺 |
关键发现¶
- 偏离项是性能基石：当消融掉偏离控制因子（\(\alpha=0\)）时，模型退化为常规的纯背景匹配，在 NC4K 上的 \(F_\beta^w\) 从 0.760 大跌至 0.734，证明显式建模“前景在背景上的相对结构偏离”是攻克高拟态伪装的决定性因素。
- 高轻量原型库依然强大：对比以往无监督方案（如 EASE 需要从 16,000 张图像构建环境库并检索 1,024 个参考原型，RISE 需检索 512 个原型），PASR 仅从自然网络采集了 315 张图像构建小型原型库，且仅检索 \(K=32\) 个近邻候选，即在所有指标上全面超越此前 SOTA。
- 免人工标注鲁棒性卓越：去除原型库生成阶段的 SAM 几何规整后，性能几乎没有明显波动（NC4K 上 \(S_\alpha\) 仅从 0.817 变为 0.812），证实提取高质量原型的核心在于背景条件的统计解耦，而非依赖精美绝伦的像素级真值轮廓。
亮点与洞察¶
- 范式颠覆（以偏离代显著）：跳出了传统显著性检测的“寻找前景独特表征”思维定势，巧妙地将伪装现象解析为背景流形上的微小统计异动，从根本上契合了自然生物伪装的物理机理。
- 计算资源与标注成本极度收敛：通过精巧的数学设计（\(P_t^{\text{bg}} - \alpha \bar{P}_j^{\text{obj}}\)）与免监督聚类，不仅彻底告别了下游数据微调与标注依赖，还以 315 张网络图、32 个检索样本、75 ms 的低延迟达成了 SOTA，对边缘实时部署与少样本/零样本工业质检具备极高启发性。
- 可复用的通用设计模式：其“粗粒度全局锚定锁定流形 + 细粒度局部扰动度量 + 查询自反滤波”的三步走无监督推断框架，可直接迁移推广至表面缺陷检测、医疗病灶无监督发现以及异常感知等诸多正负样本极度不平衡或高伪装隐匿场景。
局限与展望¶
- 极端光影与密集遮挡场景的扰动混淆：当环境存在极其强烈的杂乱阴影、局部过曝或枝叶密集遮挡时，阴影与遮挡边缘同样表现为强烈的背景统计偏离，算法可能将其误检为伪装目标。
- 缺乏多尺度微观结构自适应机制：当前方法依赖 DINOv2 固定的 Patch 划分步长（ViT-L/14），对于尺寸极其微小的伪装昆虫或贴近毫米级的纹理突变，局部均值池化易抹平细粒度偏离，未来可探索引入跨尺度自适应 Patch 分辨率与动态锚点机制。
相关工作与启发¶
- vs EASE (CVPR 2025): EASE 采用环境原型分析独立检索背景参考，而 PASR 则建立背景条件化的前景扰动模型（\(P_t^{\text{bg}} - \alpha \bar{P}_j^{\text{obj}}\)），同时在原型库规模（315 张 vs 16,000 张）与检索开销（32 vs 1,024）上实现了压倒性的轻量化与精度飞跃。
- vs RISE (ICCV 2025): RISE 依靠密集的检索自增强来拉升无监督检测表现，但依然将前景与背景当作独立的实体对待；PASR 显式建模两者间的条件依附关系，在多尺度复杂基准 NC4K 上取得了更为纯粹精准的物体定位。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将伪装目标重构为场景对齐的背景条件偏离推理，彻底颠覆了前背景孤立匹配的旧认知]
- 实验充分度: ⭐⭐⭐⭐⭐ [四大权威数据集全维度测评，包含跨监督模式横评、全组件消融以及原型库规模与检索效率深度对比]
- 写作质量: ⭐⭐⭐⭐⭐ [问题重构逻辑严丝合缝，数学建模简洁利落，设计动机与实验结论高度自洽]
- 价值: ⭐⭐⭐⭐⭐ [为零标注/无监督视觉推理提供了兼具极高精度与计算轻量化的工业级新典范]