HVGCD: Rethinking Generalized Category Discovery through Hypothesis–Verification¶

会议: ECCV 2026
论文: ECCV 原文
领域: 自监督/表示学习
关键词: 广义类别发现, 假设-验证机制, 表示学习, 视觉Transformer, 开放世界识别

一句话总结¶

针对广义类别发现中单路径全局表征容易将新类别误判为相近已知类的问题，HVGCD 将推理过程重构为“全局假设-局部验证-统计锚定”认知循环，利用自适应原型与双重门控提取假设制导的验证证据，显著提升了新旧类别的聚类准确率。

研究背景与动机¶

广义类别发现（Generalized Category Discovery, GCD）致力于在仅有部分已知类别标注的数据集中，同时完成已知类别的精确识别与未知新类别的自主发现。然而，现有的代表性方法（如 SimGCD、CMS、SelEx 等）普遍将 GCD 形式化为静态特征聚类任务，完全依赖预训练视觉 Transformer（ViT）提取单一全局 [CLS] 特征，并在该固定语义空间内执行类别划分。这种单向特征聚合范式在封闭世界分布对齐时尚能工作，但在开放世界未知类别涌现的复杂场景下极易失效。

这种失效的核心症结在于推理阶段的截断（Inference Truncation）。在认知科学视角下，单一全局表征仅完成了“假设形成”阶段；缺少了显式的“假设验证”机制，模型在面对未知类别（如“狼”）时，全局语义向量往往不可避免地被拉向语义距离最近的已知类原型（如“哈士奇”），产生高度自信但完全错误的先验分类。虽然引入局部图像块（patch tokens）能够提供细粒度线索，但若缺乏假设驱动的目标导向，无序的局部特征聚合不仅无法校准全局偏置，反而会混入大量背景噪声与无关突显干扰。

人类视觉认知通常遵循由整体外观建立初始假设、再搜寻关键局部线索迭代审验的动态推理过程。基于此洞察，本文提出不能仅依靠被动全局映射，而应为表征学习重塑闭环认知逻辑。核心 idea：将 GCD 表征学习解耦为全局直觉假设、假设制导的局部验证证据与最大熵统计锚定三个组件，通过内容自适应原型重构细粒度判别线索，在特征层面构建结构化的“假设-验证”推理闭环。

方法详解¶

整体框架¶

HVGCD 将视觉实例表征从传统的单向特征投影重构为一个结构化的三元推理系统。输入图像经由 ViT 主干网络后输出全局标记 \(x_{\text{cls}}\) 与局部序列 \(\{x_i\}_{i=1}^N\)。系统由此构建最终表征 \(z = \mathcal{T}(h_{\text{hypo}}, v_{\text{ver}}, g_{\text{gnd}})\)：由 \(x_{\text{cls}}\) 快速生成全局直觉假设 \(h_{\text{hypo}}\)，提供初始语义先验；验证分支在全局假设的条件制导下，通过内容自适应原型流形与双重门控机制提取判别性验证证据 \(v_{\text{ver}}\)，用于证实或推翻初始假设；同时引入基于最大熵原理的统计锚定项 \(g_{\text{gnd}}\)，为开集分布不确定性提供无偏分布参照。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 X"] --> B["ViT 编码器提取特征<br/>全局标记 x_cls 与局部序列 {x_i}"]
    B --> C["全局直觉假设<br/>提取整体语义粗判 h_hypo"]
    B --> D["自适应原型归纳与流形重构<br/>深度卷积聚类与交叉注意力提取判别线索 x̂_i"]
    C --> E["双重门控后验验证<br/>联合内在突显度 S_i 与假设一致性 M_i 计算 α_i"]
    D --> E
    E --> F["验证证据聚合<br/>高置信度加权合成证据向量 v_ver"]
    B --> G["最大熵统计锚定<br/>计算局部特征一阶均匀期望 g_gnd"]
    C --> H["多源结构化表征集成<br/>z = h_hypo + λ_v v_ver + λ_g g_gnd"]
    F --> H
    G --> H
    H --> I["语义对齐与开放世界聚类输出"]

关键设计¶

1. 自适应原型归纳与流形重构：从杂乱局部特征中解耦结构化判别线索

直接将所有局部 patch 特征无差别送入验证分支会引入大量与当前目标无关的背景噪声与高频冗余。为了在特征空间中滤除非结构化干扰，模型引入轻量级深度可分离卷积聚类模块 \(\mathcal{G}(\cdot)\)，自适应地在局部序列 \(\{x_i\}_{i=1}^N\) 上计算软聚类分配概率 \(z_{k,i} = \text{Softmax}_i(\mathcal{G}(x_i))\)，并计算 \(K\) 个动态内容自适应语义原型 \(c_k = \sum_{i=1}^N z_{k,i} x_i\)。这些原型构成了局部语义流形基底，局部 patch 随后以此为键值进行 \(L\) 层交叉注意力重构：

\[\hat{x}_i = \text{CrossAttention}(Q(x_i), K(C), V(C))\]

重构特征 \(\hat{x}_i\) 仅保留能够被原型流形解释的结构化信息（如特征纹理或关键部件原语），去除了图像随机背景波动，为后续验证提供了稳健的判别线索候选。

2. 双重门控后验验证机制：联合结构突显与假设一致性校准证据置信度

并非所有被重构的局部特征都具有同等的验证价值。一个有效的验证线索必须同时满足两个统计事件：其一是自身具备判别性语义结构的内在突显事件 \(E_{\text{inf}}\)；其二是与当前全局假设相关的语义相干事件 \(E_{\text{coh}}\)。基于条件独立性假设，patch \(x_i\) 能够成为有效验证证据的后验置信度可解耦为：

\[\alpha_i \propto P(E_{\text{inf}} \mid \hat{x}_i) \cdot P(E_{\text{coh}} \mid x_i, h_{\text{hypo}})\]

在具体实现中，模型使用轻量级预测头 \(\phi(\cdot)\) 从稳健流形投影 \(\hat{x}_i\) 计算内在结构突显度 \(S_i = \sigma(\phi(\hat{x}_i))\)，过滤缺乏语义结构的区域；同时计算原始局部特征 \(x_i\) 与全局假设 \(h_{\text{hypo}}\) 在余弦空间下的归一化语义关联度 \(M_i = \langle \text{Norm}(h_{\text{hypo}}), \text{Norm}(x_i) \rangle\)，抑制与目标语义无关的离群干扰。最终通过带温度系数 \(\tau\) 的 Softmax 归一化权重 \(\alpha_i = \text{Softmax}_i(S_i \cdot M_i / \tau)\)，将原始局部细节自适应加权汇聚为验证证据向量 \(v_{\text{ver}} = \sum_{i=1}^N \alpha_i x_i\)。当初始假设存在偏差时，\(v_{\text{ver}}\) 能准确携带关键鉴别细节修正假设。

3. 最大熵统计锚定：防范开放世界高不确定性下的局部过拟合

在完全未知的开集分布下，过于选择性的局部验证机制可能因为样本局部伪特征而发生注意力漂移。为了赋予推理系统分布级稳定性，模型依据最大熵原理（Principle of Maximum Entropy）引入无偏参照。在缺乏先验分布偏置时，权重分布的不确定性最大化凸优化问题 \(\arg\max_w -\sum_{i=1}^N w_i \log w_i\) 具有唯一最优解，即均匀离散分布 \(w_i^* = 1/N\)。据此定义局部特征的一阶统计矩作为统计锚定项：

\[g_{\text{gnd}} = \frac{1}{N} \sum_{i=1}^N x_i\]

\(g_{\text{gnd}}\) 不直接承担分类判别职责，而是作为全图视觉均值锚点，在样本极端模糊或验证分支置信度骤降时提供退化保护，防止表示崩溃。

损失函数 / 训练策略¶

最终实例表征融合全局假设、验证证据与统计锚定：

\[z = h_{\text{hypo}} + \lambda_v v_{\text{ver}} + \lambda_g g_{\text{gnd}}\]

其中平衡系数默认设为 \(\lambda_v = 0.3\) 与 \(\lambda_g = 0.5\)。为防止局部验证分支在迭代优化中与全局语义产生病态对抗偏离，模型引入语义对齐正则化损失 \(\mathcal{L}_{\text{align}}\)：

\[\mathcal{L}_{\text{align}} = 1 - \langle \text{Norm}(v_{\text{ver}}), \text{Norm}(h_{\text{hypo}}) \rangle\]

模型总优化目标由基础 GCD 任务损失 \(\mathcal{L}_{\text{gcd}}\) 与对齐损失加权组成：\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{gcd}} + \gamma \mathcal{L}_{\text{align}}\)，其中超参数 \(\gamma = 0.05\)。模块整体即插即用，直接作用于嵌入空间，无需改动 ViT 主干架构。

实验关键数据¶

主实验¶

论文在 4 个细粒度数据集（CUB-200、Stanford Cars、FGVC-Aircraft、Herbarium19）与 3 个粗粒度通用数据集（CIFAR-10、CIFAR-100、ImageNet-100）上全面评估，涵盖 DINOv1 与 DINOv2 预训练骨干网络，评估指标为匈牙利算法匹配聚类准确率（ACC）。

细粒度分类基准对比结果（部分代表性方法）：

骨干网络	方法	CUB-200 All	CUB-200 Novel	Aircraft All	Aircraft Novel	Cars All	Cars Novel	平均 All	平均 Novel
DINOv1	SimGCD	60.8	58.8	52.1	49.3	55.4	48.0	52.9	48.0
DINOv1	SimGCD + HVGCD (本文)	66.5	64.6	54.1	51.2	60.6	53.3	56.4	51.6
DINOv1	CMS	67.2	62.3	52.5	48.3	51.7	42.2	51.8	44.6
DINOv1	CMS + HVGCD (本文)	67.9	64.8	55.1	52.0	53.9	44.9	53.3	47.0
DINOv1	LegoGCD	61.2	56.1	50.9	46.8	57.1	46.6	53.5	46.7
DINOv1	LegoGCD + HVGCD (本文)	66.9	63.6	53.8	49.8	58.8	50.2	56.3	50.4
DINOv1	SelEx	77.0	78.3	55.2	51.0	54.5	44.7	55.7	51.2
DINOv1	SelEx + HVGCD (本文)	78.5	79.3	65.2	63.8	58.1	49.8	59.9	56.3
DINOv1	平均提升 (Avg. \(\Delta\))	+3.39	+4.20	+4.36	+5.34	+3.14	+4.15	+3.04	+3.71
DINOv2	SimGCD	71.1	66.9	69.1	70.6	70.9	64.3	66.8	63.5
DINOv2	SimGCD + HVGCD (本文)	75.3	71.9	70.9	70.3	75.0	69.9	69.5	66.2
DINOv2	SelEx	89.8	91.2	80.5	81.6	83.1	77.0	74.6	72.4
DINOv2	SelEx + HVGCD (本文)	90.8	92.5	81.8	81.7	83.5	77.6	75.6	73.1
DINOv2	平均提升 (Avg. \(\Delta\))	+2.55	+2.72	+0.87	+0.12	+2.05	+2.84	+1.63	+1.70

在通用数据集上（CIFAR-10 / CIFAR-100 / ImageNet-100），基于 DINOv1 的 HVGCD 取得全类别平均 +1.08% 以及新类别 +1.36% 的增益；在 ImageNet-100 上搭载 SelEx 时，全类准确率从 84.0% 提升至 86.4%，新类准确率从 78.7% 提升至 81.8%。

消融实验¶

在 CUB-200、Stanford-Cars 与 CIFAR-100 数据集上对语义对齐损失权重 \(\gamma\) 进行敏感性消融（基于 SimGCD + DINOv1）：

对齐损失权重 \(\gamma\)	CUB-200 All	CUB-200 New	Stanford-Cars All	Stanford-Cars New	CIFAR-100 All	CIFAR-100 New	3数据集平均 All	3数据集平均 New
0 (无对齐约束)	65.8	63.3	59.5	52.6	81.2	78.4	68.8	64.8
0.05 (默认配置)	66.5	64.6	60.6	53.3	81.9	79.9	69.7	65.9
0.10	65.7	62.7	60.1	51.9	80.4	79.6	68.8	64.6
0.15	61.8	58.0	58.4	48.4	79.9	79.3	66.7	61.9

组件有效性与融合权重敏感性分析（图 3 结果）：单独引入验证证据 \(v_{\text{ver}}\) 或统计锚定 \(g_{\text{gnd}}\) 均能带来可观收益，并在 \(\lambda_v = 0.3\) 与 \(\lambda_g = 0.5\) 处同时达到最佳性能峰值。

关键发现¶

新类别发现增益远超已知类别：在 DINOv1 骨干下，细粒度新类别平均提升高达 +3.71%（已知类为 +1.76%）；特别在 FGVC-Aircraft 上搭载 SelEx 时，新类提升达到惊人的 +12.8%（51.0% \(\to\) 63.8%），充分证明假设-验证机制有效遏制了新类别向旧类原型的盲目坍缩。
对齐正则化的双刃剑效应：适度的对齐损失（\(\gamma = 0.05\)）能够保证局部证据与全局语义在流形上方向一致；若完全无对齐（\(\gamma = 0\)）会导致验证特征偏离目标，而过度正则化（\(\gamma = 0.15\)）则会强行抹杀验证分支特有的残差判别细节，导致平均准确率从 69.7% 骤降至 66.7%。
注意力图实现从无序突显向结构化聚焦跃迁：空间响应图对比（图 4 与图 5）表明，原有 baseline 容易被大面积强纹理或高对比度背景主导，而经 \(\alpha_i\) 门控后，模型注意力显著收缩并聚焦于具有物种鉴别力的关键构件（如鸟喙、机翼翼尖等）。

亮点与洞察¶

认知视角的理论重塑：突破将 GCD 视作纯几何聚类的传统局限，敏锐指出单向全局嵌入的本质是缺乏验算过程的半截推理，用“假设-验证-锚定”认知回路提供了坚实自洽的解释体系。
内在突显与相干性的双重解耦门控：不仅考虑特征自身显著性，而且严密建模局部细节对全局假设的条件相关性，巧妙避免了无监督局部特征聚合常伴随的噪声膨胀。
最大熵作为开放世界安全气囊：利用一阶统计矩作为最大熵无偏先验，数学形式极致精简（仅为均值向量），却在开集高不确定性下起到了不可替代的抗漂移锚点作用。

局限与展望¶

类别数目先验强假设：实验设定沿用已知真实类别总数或借助预估算法，在真实无约束开放世界中，未知类别规模的动态剧变可能干扰原型数 \(K\) 的最优化设置。
计算开销权衡：虽然原型聚类和门控相对轻量，但在高分辨率密集特征场景下，多层 Cross-Attention 重构仍会带来额外的显存与前向推理延时。
扩展至多模态与时序场景：假设-验证范式天然契合多模态大模型（MLLM）在复杂视觉问答或长视频事件发现中的细粒度事实核验，未来可进一步拓展为层次化推理机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将认知科学中的假设-验证范式完备映射到 GCD 特征表征学习中，理论视角深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个通用与细粒度基准、2 种预训练骨干、4 类经典基线，消融与可视化详尽深入。
写作质量: ⭐⭐⭐⭐⭐ 逻辑论证环环相扣，从问题认知痛点、数学分解到模块设计一气呵成。
价值: ⭐⭐⭐⭐⭐ 即插即用的特征层轻量级设计，对开集识别与自监督表征学习具有强启发与实用价值。