Generalized Biomedicine Discovery¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/lytang63/generalized-biomedicine-discovery
领域: 医学图像
关键词: 广义生物医药发现, 广义类别发现, 认知感知, 预测抑制, 惊奇显著性

一句话总结¶

针对开放世界临床场景下大面积正常解剖结构压制罕见病与细微病灶的问题，本文提出了广义生物医药发现（GBD）基准与类脑认知的 SCAN 即插即用层，通过预测性抑制主导模式、惊奇度放大局部病灶并做正交补空间特征容纳，在不破坏既有临床知识的前提下显著提升了未知罕见病与病理亚型的发现能力。

研究背景与动机¶

医学图像智能分析系统在真实临床开放世界部署时，面临着显著超出传统封闭世界假设的分布偏移。真实医疗场景普遍呈现三大典型特征：首先是长尾稀疏性，临床关键罕见病由于病例罕见往往极少被标注；其次是正常解剖结构的视觉主导性，大面积健康组织在成像中占据绝大部分视野，极易掩盖局部的细微病变；再次是层次化分类体系，新型疾病往往作为既有诊断大类内部的新亚型或姐妹节点涌现。然而，现有的开放集识别（OSR）仅粗暴地将所有未知样本归为单一的“未知类”，而常规的新类别发现（NCD）与广义类别发现（GCD）大多假定类别空间是扁平且均衡的自然图像分布，完全脱离了真实的生物医学需求。

这种脱节的核心矛盾在于：临床医生在诊断时并非被动接收全图信息，而是建立在熟知正常解剖流形的基础上，能够敏锐捕捉违背预期的细微偏差，并将新亚型精准锚定在既有分类层级中；然而现有的深度视觉模型在全局表征学习过程中，高频出现的正常解剖背景在特征空间中形成了强势的视觉主导流形，严重压制了未见异常信号的残差证据，导致模型在面对混合已知与未知的无标注数据时无法有效分离罕见病和亚型。

为了解决这一难题，本文的形式化目标是构建贴合真实临床工作流的广义生物医药发现（Generalized Biomedicine Discovery, GBD）基准，并在表征学习中解耦主导特征的掩蔽效应。核心 idea：受临床诊断认知心理学启发，提出即插即用认知模块 SCAN，按“预测性抑制正常模式 → 惊奇度唤醒异常显著性 → 互补容纳新表征”的三阶段认知感知流，在特征流形的正交补空间中分离并容纳微弱的新概念证据。

方法详解¶

整体框架¶

给定输入医学图像，视觉骨干网络（如 ViT-B/16）提取全局分类标记 $\mathbf{c} \in \mathbb{R}^D$ 与 $N$ 个空间 Patch 标记 $\mathbf{X} = [\mathbf{x}_1, \dots, \mathbf{x}_N]^\top \in \mathbb{R}^{N \times D}$。SCAN 作为轻量级即插即用层，在保持下游任意 GCD 算法学习目标与损失函数不变的前提下，对特征实施认知变换 $(\mathbf{c}, \mathbf{X}) \mapsto \tilde{\mathbf{c}}$。整体处理流程分为三个连续阶段：首先将 Patch 动态路由到可学习证据槽以构建图像自适应的主导解剖锚点，并几何投影消除可预测的主导模式；接着根据残差能量计算无监督贝叶斯惊奇度与显著性权重，激发高能量异常证据并广播回局部标记；最后将激发的新颖性提案投影到主导模式的正交补空间，经自适应非参数惊奇门控调制后增量融入全局表征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与 ViT 特征<br/>分类标记 c 与 Patch 标记 X"] --> B["预测性抑制与几何滤波<br/>路由证据槽构建主导锚点 u 并正交投影过滤"]
    B --> C["惊奇诱发显著性与证据激发<br/>残差模长计算能量 si 与显著性分布 wi"]
    C --> D["正交补空间投影与门控容纳<br/>提案投影到正交补空间并经惊奇门控 γ 注入"]
    D --> E["更新后的分类特征 c_tilde<br/>进入下游 GCD 聚类与分类流水线"]

关键设计¶

1. 预测性抑制与几何滤波：构建主导解剖锚点并过滤常规背景 针对正常解剖结构和高频已知类别主导全局特征、掩盖局部异常信号的痛点，受大脑皮层预测编码机制（主动抑制预期感官信号）启发，SCAN 并不预设固定的全数据集通用正常原型，而是引入 $E$ 个可学习的证据原型 $\mathbf{P} \in \mathbb{R}^{E \times D}$ 作为主导模式码本。模型通过温度为 $\tau_r$ 的 Softmax 计算每个 Patch 标记到各证据槽的软路由概率 $A_{ij} = \frac{\exp(\langle \mathbf{x}_i, \mathbf{p}_j \rangle / \tau_r)}{\sum_{k=1}^E \exp(\langle \mathbf{x}_i, \mathbf{p}_k \rangle / \tau_r)}$，并沿标记维度重新归一化为 $\tilde{A}_{ij} = A_{ij} / \sum_{k=1}^N A_{kj}$，从而聚合出 $E$ 个证据槽向量 $\mathbf{e}_j = \sum_{i=1}^N \tilde{A}_{ij} \mathbf{x}_i$ 以及平均槽向量 $\bar{\mathbf{e}} = \frac{1}{E} \sum_{j=1}^E \mathbf{e}_j$。将全局标记与局部槽证据融合得到图像专属性的主导锚点方向： $$\mathbf{u} = \frac{\mathbf{c} + \bar{\mathbf{e}}}{\|\mathbf{c} + \bar{\mathbf{e}}\|}$$ 随后，通过几何正交投影，主动将每个 Patch 标记中沿主导锚点方向的可预测投影分量剔除，得到残差矩阵 $\mathbf{R} = [\mathbf{r}_1, \dots, \mathbf{r}_N]^\top$： $$\mathbf{r}_i = \mathbf{x}_i - (\mathbf{x}_i^\top \text{sg}(\mathbf{u})) \text{sg}(\mathbf{u})$$ 其中 $\text{sg}(\cdot)$ 为截断梯度（stop-gradient）操作以稳定锚点方向。该设计无需任何标注即可滤除高频正常解剖信息。

2. 惊奇诱发显著性与证据激发：残差能量度量反常偏差并聚合 在消除主导背景后，残差向量的范数直观反映了样本局部的非预期程度。针对传统异常检测需要硬性设定阈值且无法跨数据集校准的缺陷，SCAN 借鉴贝叶斯惊奇理论，将残差模长定义为惊奇能量 $s_i = \|\mathbf{r}_i\|_2$，并通过图内软最大化计算自适应显著性权重 $w_i = \frac{\exp(s_i / \tau_s)}{\sum_{k=1}^N \exp(s_k / \tau_s)}$，其中 $\tau_s$ 调节显著性分布的敏锐度。随后，模型结合槽语义归属与惊奇权重，重新聚合出受惊奇激发的异常证据槽： $$\mathbf{e}_j^+ = \sum_{i=1}^N \tilde{A}_{ij} w_i \mathbf{r}_i$$ 为了让局部 Patch 特征感知异常，通过微型 MLP $\phi(\cdot)$ 将激发的证据矩阵 $\mathbf{E}^+ = [\mathbf{e}_1^+, \dots, \mathbf{e}_E^+]^\top$ 广播回各标记：$\mathbf{X}^{out} = \mathbf{X} + \phi(\tilde{\mathbf{A}} \mathbf{E}^+)$。这一步将“属于何种结构模式”与“偏离预期的程度”解耦，精准突出了细微病灶。

3. 正交补空间投影与门控容纳：在保护既有知识的前提下同化新类别 将发现的细微病变直接加回分类表征极易破坏已知类别的判别边界。基于海马体与新皮层互补学习系统（CLS）理论，SCAN 构建了一阶均值漂移与二阶逐维能量项相结合的全局新颖性提案 $\mathbf{\Delta} = \mathbf{W}_1 \left(\frac{1}{E}\sum_{j=1}^E \mathbf{e}_j^+\right) + \mathbf{W}_2 \left(\left(\frac{1}{E}\sum_{j=1}^E \mathbf{e}_j^+\right) \odot \left(\frac{1}{E}\sum_{j=1}^E \mathbf{e}_j^+\right)\right)$，其中 $\mathbf{W}_1, \mathbf{W}_2 \in \mathbb{R}^{D \times D}$ 为可学习参数。为了消除与已知知识的直接干扰，将 $\mathbf{\Delta}$ 与池化局部特征 $\mathbf{x}_{pool} = \text{MeanPool}(\mathbf{X}^{out})$ 均投影至与主导锚点 $\mathbf{u}$ 正交的补空间： $$\mathbf{\Delta}_\perp = \mathbf{\Delta} - (\mathbf{\Delta}^\top \mathbf{u})\mathbf{u}, \qquad \mathbf{x}_{pool\perp} = \mathbf{x}_{pool} - (\mathbf{x}_{pool}^\top \mathbf{u})\mathbf{u}$$ 为了控制容纳幅度，设计了免调参的非参数认知门控 $\gamma$。门控由三项互补指标联合计算：加权惊奇幅度 $S = \sum_{i=1}^N w_i s_i$、样本已知度 $k = \cos(\mathbf{c}, \bar{\mathbf{e}})$，以及显著性聚集度 $\kappa = 1 - \frac{\text{Ent}(\mathbf{w})}{\log N}$（其中 $\text{Ent}(\mathbf{w})$ 为信息熵）。利用训练过程中的指数移动平均（EMA）均值与方差对 $S$ 和 $k$ 进行标准化得到 $\hat{S}$ 与 $\hat{k}$，最终门控定义为： $$\gamma = \sigma(\hat{S} - \hat{k}) \cdot \text{clip}(\kappa, 0, 1)$$ 最终通过稳定残差加和输出特征：$\tilde{\mathbf{c}} = \mathbf{c} + \gamma \cdot \text{LN}(\mathbf{\Delta}_\perp + \mathbf{x}_{pool\perp})$。当样本与已知主导流形高度吻合时，$\gamma \to 0$ 恢复原始表征，防止灾难性遗忘；而面对高惊奇度的新颖病灶时，正交补特征被显著注入。

损失函数 / 训练策略¶

SCAN 自身设计为无缝嵌入的特征层，完全保持宿主 GCD 方法的原始训练目标与超参数不变。实验中骨干网络统一采用在 DINO-V2 自监督权重初始化的 ViT-B/16，默认在无标注测试集与标注训练集的混合数据上联合训练 200 个 Epoch。SCAN 默认设置 $E=16$ 个证据槽，无需针对特定医疗模态单独微调超参数。分类评估采用匈牙利匹配算法（Hungarian algorithm）对无标注集统一求解全局最优类别映射后，分别统计已知类（Old）、新发现类（New）及全集（All）的聚类准确率。

实验关键数据¶

主实验¶

GBD 涵盖三大真实临床场景并覆盖消化内镜（Gastrovision）、多器官病理切片（HistoSet-5×14）、外周血单细胞显微镜（MLL23）和皮肤镜图像（Derm12345）四种代表性模态。以下对比设定 I（长尾稀疏发现）与设定 II（正常到异常发现）下的代表性方法性能表现（报告准确率 ACC %）：

设定与方法	Gastrovision (All / Old / New)	HistoSet (All / Old / New)	MLL23 (All / Old / New)	Derm12345 (All / Old / New)	平均 Average (All / Old / New)
设定 I: 长尾稀疏发现
SEAL†（含层级标签监督）	56.8 / 51.2 / 60.7	81.2 / 87.1 / 77.9	65.4 / 67.6 / 54.1	56.5 / 61.0 / 10.6	65.0 / 66.7 / 50.8
SimGCD	37.8 / 40.6 / 31.8	74.4 / 83.8 / 71.8	56.9 / 52.9 / 67.0	25.4 / 27.9 / 13.1	48.6 / 51.3 / 45.9
SimGCD + SCAN	39.7 / 43.3 / 31.9	80.0 / 82.1 / 79.4	64.3 / 63.1 / 67.2	25.9 / 28.2 / 14.2	52.5 / 54.2 / 48.1
LegoGCD	39.8 / 48.9 / 26.1	72.5 / 76.0 / 71.6	70.8 / 63.4 / 89.7	26.3 / 28.5 / 15.7	52.3 / 54.2 / 50.8
LegoGCD + SCAN	41.3 / 49.4 / 29.2	72.5 / 77.5 / 71.2	73.2 / 67.2 / 88.8	26.7 / 29.0 / 14.8	53.4 / 55.8 / 51.0
SelEx	50.1 / 52.0 / 47.4	76.4 / 97.5 / 70.5	66.4 / 68.3 / 61.3	28.9 / 29.1 / 27.9	55.5 / 61.7 / 51.8
SelEx + SCAN (本文)	71.2 / 83.4 / 53.0	76.3 / 99.9 / 69.7	80.7 / 89.3 / 58.6	35.6 / 35.6 / 35.6	66.0 / 77.1 / 54.2
设定 II: 正常到异常发现
SEAL†（含层级标签监督）	62.6 / 64.2 / 61.0	73.5 / 98.7 / 48.2	69.2 / 70.9 / 60.1	59.0 / 61.7 / 5.5	66.1 / 73.8 / 43.7
SimGCD	39.7 / 42.9 / 25.6	61.1 / 94.1 / 44.5	57.9 / 55.9 / 63.4	26.6 / 27.2 / 19.9	46.3 / 55.0 / 38.3
SimGCD + SCAN	40.1 / 44.0 / 22.6	62.0 / 93.6 / 46.1	58.3 / 57.5 / 60.6	26.4 / 26.8 / 21.6	46.7 / 55.5 / 37.7
LegoGCD	49.3 / 53.7 / 24.9	62.0 / 97.5 / 44.2	68.5 / 72.1 / 58.6	28.5 / 30.8 / 5.5	52.1 / 63.5 / 33.3
LegoGCD + SCAN	50.5 / 55.5 / 23.1	63.9 / 97.4 / 47.1	69.4 / 73.7 / 57.7	29.0 / 29.7 / 21.6	53.2 / 64.1 / 37.4
SelEx	50.3 / 51.9 / 41.7	64.3 / 97.7 / 47.5	58.5 / 58.0 / 59.8	29.3 / 28.2 / 40.7	50.6 / 58.9 / 47.4
SelEx + SCAN (本文)	70.1 / 86.0 / 46.3	68.6 / 97.2 / 60.7	87.1 / 89.1 / 81.7	33.6 / 33.3 / 36.4	64.8 / 76.4 / 56.3

消融与开销分析¶

下表基于计算复杂度与设定 III（分类体系内亚型发现）的性能增益进行消融与开销分析（参数量、训练与推理耗时基于单批次在相同硬件下的测算）：

模块配置 / 宿主模型	参数量 (M)	训练耗时 (s)	推理耗时 (s)	设定 III 平均 All ACC (%)	设定 III 平均 New ACC (%)
SimGCD 基线	92.10	27.87	10.61	51.2	48.9
SimGCD + SCAN	99.68 (+7.6M)	30.12 (+8%)	11.32 (+6%)	50.7 (-0.5)	48.1 (-0.8)
LegoGCD 基线	-	-	-	47.5	43.7
LegoGCD + SCAN	-	-	-	50.5 (+3.0)	46.8 (+3.1)
SelEx 基线	-	-	-	53.7	49.8
SelEx + SCAN (完整模型)	-	-	-	66.0 (+12.3)	53.1 (+3.3)

关键发现¶

显著提升细粒度发现宿主上限：与细粒度自专长学习方法 SelEx 结合时，SCAN 的提升最为显著。在长尾稀疏发现中，SelEx + SCAN 全集平均 ACC 从 55.5% 跃升至 66.0%（+10.5%）；在正常到异常发现中，全集平均 ACC 从 50.6% 提升至 64.8%（+14.2%），异常类（New）发现率提升 +8.8%；在体系内亚型发现中，平均 All 达到 66.0%（+12.3%）。
超越带额外监督信息的模型：SEAL 依赖预先提供的层级结构标签，而 SelEx + SCAN 在完全无层级标签辅助的情况下，在多个场景中反超 SEAL（例如长尾发现中平均 All 达到 66.0% 对比 SEAL 的 65.0%；正常到异常发现中 MLL23 的 All 达到 87.1% 对比 SEAL 的 69.2%）。
轻量即插即用开销：SCAN 仅增加约 7.6M 参数量（增加约 8.2%），训练时间仅上升 8%，推理时间仅增加 6%，具备极佳的工程落地可行性。

亮点与洞察¶

认知科学理论与临床视觉先验深度融合：创新性地将预测编码（Predictive Coding）、贝叶斯惊奇（Bayesian Surprise）与互补学习系统（CLS）三大认知科学基石转化为针对特征流形的代数操作（正交滤波、能量加权与补空间容纳），从机理上攻克了正常解剖掩盖微弱病灶的根本顽疾。
动态无参数自适应门控：利用样本内惊奇能量、已知度和熵聚集度，配合 EMA 统计量构建动态门控 $\gamma$，无需人工调整硬阈值，实现了已知知识与未知新类发现的平衡。
可复用的流形去混叠技巧：通过正交补投影将特征更新限制在主导模式垂直子空间中的思路，可直接迁移至其他领域不平衡学习、开集检测或联邦长尾场景中，避免新特征覆盖旧知识。

局限与展望¶

基线兼容性存在差异：实验表明 SCAN 与基于自专长分层建模的 SelEx 结合契合度极高，但在结构更简单的 SimGCD 上部分子集提升微弱甚至略有回退，说明其正交残差特征需要更具区分度的聚类损失来引导。
全局超参数统一性限制：在四大模态中统一固定证据槽数量 $E=16$ 虽然证明了鲁棒性，但在不同器官与成像尺度下（如细胞显微与大体皮肤镜），最优槽数量存在差异。
未来方向：探索与生物医学大模型（如 Med-VLM / BiomedCLIP）局部视觉 Token 的联合微调，以及根据输入图像分辨率动态自适应调整证据槽数目。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对医学影像三类现实偏移的广义生物医药发现（GBD）基准，并设计了类脑认知的 SCAN 正交补流形解耦架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖内镜、病理、细胞与皮肤 4 种医学模态、3 种临床开放设定以及 3 种主流 GCD 宿主基线。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，认知理论到数学公式的映射连贯清晰，实验消融与动态可视化充分。
价值: ⭐⭐⭐⭐⭐ 为临床开放世界下罕见病与新亚型的无监督挖掘提供了极具启发性的计算框架与评估规范。