FPicker: Topology-Guided Evolution for Filament Tracing in Low-SNR Microscopy¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/tomzhaosky/FPicker
领域: 计算生物学 / 显微图像分析
关键词: 冷冻电镜、细丝追踪、开曲线演化、超低信噪比、AI for Science

一句话总结¶

清华大学团队提出 FPicker，通过中心-端点表示构建粗粒度拓扑骨架先验，并结合截断边界的开曲线图卷积演化网络与桥接渐进学习策略，攻克了冷冻电镜极低信噪比（SNR = -20 dB）下连续细丝蛋白追踪的拓扑断裂与端点收缩难题。

研究背景与动机¶

在现代结构生物学与药物研发中，解析淀粉样纤维等丝状蛋白的高分辨率三维螺旋重构至关重要。冷冻电镜（Cryo-EM）技术为观测生物大分子结构带来了革命性突破，然而初始且核心的细丝拾取（filament picking）步骤——在高度噪声的显微投影图像中自动检测并连续追踪单根柔性纤维骨架——长期依赖极其耗时繁琐的人工标注。与球状颗粒的检测不同，蛋白质细丝呈现为连续柔性曲线，常发生空间平行、重叠或交叉，且受限于极弱冷冻冰层信号，信噪比极低（SNR = \(\sigma_s^2/\sigma_n^2 < 0.1\)，即 -10 dB 至 -20 dB），目标在局部几乎完全被散粒噪声淹没。

现有视觉范式在极低信噪比细丝追踪中存在固有的几何失配。基于边界框的目标检测器（如 crYOLO、YOLOv8）通常试图检测局部片段后连接框中心，但用二维刚性框包围一维细弱柔性曲线会不可避免地框入大量纯背景噪声，迫使几何中心漂移至无信号区域，诱发严重的“虚假中心退化”（ghost center degeneracy）与轨迹断裂；基于像素级分割并结合骨架提取的范式（如 Topaz、SAM 2）则因二维投影导致重叠细丝共享网格像素，在交叉处造成拓扑混淆与粘连，且非可微骨架化使模型无法利用全局连通性自愈噪声伪影断裂；至于时序追踪器与传统主动轮廓（Active Contour/Snake）模型，前者因马尔可夫误差累积在噪声下极易脱轨，而基于图卷积的闭合轮廓模型不仅继承了框初始化的虚假中心陷阱，还会强制引入闭合边界条件，对非闭合细丝产生虚假拉力，导致端点向内缩回的“收缩退化”（shrinking degeneracy）。

本文的切入角度是打破闭合图轮廓的假设，将细丝直接建模为非闭合连续几何流形。核心 idea：提出 FPicker 拓扑演化框架，在阶段一通过无框的中心-端点表示定位细丝拓扑中点并直接生成刚性开线先验，在阶段二引入严格截断端点张力的开边界图卷积（OBC）进行局部与全局双流迭代变形，辅以密集几何场正则化与桥接渐进式训练，彻底解决极端噪声下的虚假中心漂移与端点收缩难题。

方法详解¶

整体框架¶

FPicker 的整体流程遵循由粗到精（coarse-to-fine）的两阶段可微演化架构，接收原始冷冻电镜显微图 \(I\) 作为输入，最终输出高精度的细丝开放骨架点集。共享特征提取网络（如 DLA-34 / ResNet-50）将显微图编码为高分辨率语义特征图 \(F \in \mathbb{R}^{H/s \times W/s \times C}\)（步长 \(s\)）。第一阶段（提案生成）在特征图上密集预测拓扑热图与中心-端点向量场，直接解码出刚性线性骨架先验；第二阶段（开曲线演化）在此先验基础上均匀采样顶点，通过双流开边界图卷积迭代回归法向偏移量，精准贴合细丝真实曲率脊线。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入冷冻电镜图像<br/>(超低信噪比 Micrograph I)"] --> B["共享特征提取网络<br/>(高分辨率语义特征图 F)"]
    B --> C["阶段一：拓扑感知提案生成<br/>(质心热图 + 双向端点偏移)"]
    B -.-> D["辅助几何场学习<br/>(距离场 D + 切向角场 A 正则)"]
    C --> E["刚性骨架先验构建<br/>(弧长中点与端点连线重采样)"]
    E --> F["桥接渐进策略调控<br/>(真实骨架到预测先验退火注入)"]
    B --> G["阶段二：开曲线演化网络<br/>(双线性采样顶点特征 f)"]
    F --> G
    G --> H["双流结构变形更新<br/>(开边界 GCN + 全局最大池化锚定)"]
    H -->|迭代 T 轮收敛| I["输出精准细丝三维追踪曲线<br/>(连续无闭合端点退化骨架)"]

关键设计¶

1. 拓扑感知提案生成：消除边界框虚假中心偏移

针对传统目标检测用刚性二维矩形框包围一维细弱柔性细丝导致的背景噪声淹没与中心漂移缺陷，FPicker 完全摒弃了边界框回归。模型将细丝目标直接重定义为其弧长中点对应的拓扑质心 \(c_i = G_i(L_i / 2)\)，保证检测锚点必然严格落于高置信度的蛋白质真实密度脊线上。第一阶段通过检测头输出热图，并利用 \(3 \times 3\) 最大池化进行非极大值抑制（NMS）提取离散质心；同时回归中心到起点与终点的位移向量场 \(\{\hat{d}_{\text{start}}, \hat{d}_{\text{end}}\}\)。由质心与两端点直接线性内插 \(N\) 个等距顶点，构建出刚性线性骨架先验 \(\hat{S}_{\text{init}}\)。该先验自带旋转不变性与方向捕获范围，即使是大曲率或正弦弯曲的正交纤维，也能落在后续变形网络的有效感受野内。

2. 开边界图卷积网络：解决传统主动轮廓端点收缩退化

传统深度主动轮廓模型（如 Deep Snake、CurveGCN）在特征聚合时采用循环周期边界条件，默认末端节点 \(v_N\) 与起始节点 \(v_1\) 相互连通并施加闭环拉力，直接套用于开曲线纤维时会诱发两端向内聚拢收缩，导致端点切向角度严重失真。FPicker 重新定义了细丝的开拓扑图卷积（Open-Boundary Graph Convolution, OBC），在图边界处采用复制填充（replicate padding）截断远端节点之间的梯度流动，对图信号 \(f \in \mathbb{R}^N\) 在测地邻域内聚合：

\[\mathbf{f}'_i = \sum_{j=-d}^{d} \mathbf{f}_{\max(1, \min(N, i+j))}\]

该设计将端点的非物理拉力严格置零，既保留了沿细丝骨架的平滑度约束，又消除了端点回缩退化，确保细丝全长完整恢复。

3. 双流结构演化与辅助几何场：全局结构锚定抗噪与低通滤波

在极低信噪比下，局部感受野易被随机泊松/高斯噪声主导导致单个顶点随机漂移。为此，变形头采用双流特征融合机制：局部流通过多层堆叠 OBC 提取几何邻接特征 \(\mathbf{h}_i^{\text{local}}\)，全局流则对所有顶点特征执行全局最大池化提取最强信号 \(\mathbf{h}^{\text{global}} = \max_{j=1}^N \mathbf{f}_j^{(t)}\)，将高信噪比局部特征动态广播给被强噪声淹没的顶点，根据拼接特征预测顶点位移：

\[\Delta \hat{\mathbf{v}}_i^{(t)} = \mathbf{W}_{\text{offset}} \begin{bmatrix} \mathbf{h}_i^{\text{local}} \\ \mathbf{h}^{\text{global}} \end{bmatrix} + \mathbf{b}_{\text{offset}}, \quad \hat{\mathbf{v}}_i^{(t+1)} = \hat{\mathbf{v}}_i^{(t)} + \Delta \hat{\mathbf{v}}_i^{(t)}\]

为了进一步防止骨干网络拟合高频散粒噪声，网络在训练阶段挂载辅助几何分支，密集监督预测到最近细丝的欧氏距离场 \(D\) 与包含切向方向 \((\cos\theta, \sin\theta)\) 的角度场 \(A\)，作为显式低通正则化器，赋予特征图对显微对比度传递函数（CTF）振荡的强大鲁棒性。

4. 桥接渐进学习策略：解耦初始粗定位方差与物理变形收敛

端到端联合训练在极低信噪比下面临严重的冷启动困境：演化模块需要稳定的几何输入来学习局部弹性形变物理规律，而早期的提案生成网络输出极度杂乱，极易使图卷积陷入局部极小值崩溃。本文提出了桥接渐进策略（Bridge Curriculum Strategy），在训练中通过伯努利概率分布动态控制输入骨架混合：

\[\mathcal{S}_{\text{input}} = \beta (\mathcal{S}_{\text{gt}} + \epsilon) + (1 - \beta) \hat{\mathcal{S}}_{\text{pred}}, \quad \beta \sim \text{Bernoulli}(P_{\text{gt}})\]

在训练前 10 个 epoch 设定 \(P_{\text{gt}} = 1\)，让演化模块在带微小高斯扰动 \(\epsilon\) 的真实骨架附近优先掌握向蛋白质密度脊线“吸附”的变形物理规则；随后在接下来的 110 个 epoch 内将 \(P_{\text{gt}}\) 线性退火衰减至 0，逐步平滑过渡到基于网络自身预测提案的自适应推理，彻底解耦了局部变形优化与全局定位误差。

损失函数 / 训练策略¶

总体损失函数由五部分多任务加权构成：

\[\mathcal{L}_{\text{total}} = \lambda_{\text{hm}} \mathcal{L}_{\text{hm}} + \lambda_{\text{reg}} \mathcal{L}_{\text{reg}} + \lambda_{\text{ends}} \mathcal{L}_{\text{ends}} + \lambda_{\text{aux}} \mathcal{L}_{\text{aux}} + \lambda_{\text{evol}} \mathcal{L}_{\text{evol}}\]

质心热图损失 \(\mathcal{L}_{\text{hm}}\)：采用针对拓扑质心峰值点 \(c_i = G_i(L_i/2)\) 修改的 Focal Loss（超参数 \(\alpha=2, \beta=4\)），惩罚质心周围的高斯响应偏差。
稀疏回归损失 \(\mathcal{L}_{\text{reg}}\) 与 \(\mathcal{L}_{\text{ends}}\)：仅在真实质心位置计算中心坐标亚像素偏移量 \(\hat{o}\) 及两端点位移向量 \(\hat{d}\) 的 L1 损失，避免在背景噪声区域过度拟合。
辅助几何损失 \(\mathcal{L}_{\text{aux}}\)：在有效细丝掩模内计算预测距离场 \(\hat{D}\) 与切向角场 \(\hat{A}\) 与真实连续几何场之间的全图密集 L1 误差。
开曲线演化损失 \(\mathcal{L}_{\text{evol}} = \mathcal{L}_{\text{fit}} + \lambda_{\text{uni}} \mathcal{L}_{\text{uni}}\)：其中 \(\mathcal{L}_{\text{fit}}\) 采用 Smooth-L1 优化顶点与真实轨迹的贴合度，\(\mathcal{L}_{\text{uni}}\) 显式惩罚相邻顶点间距的方差，防止顶点在局部强噪声区扎堆聚集，保证整条细丝等距光滑分布。

实验关键数据¶

主实验¶

在严格模拟电子光学成像与对比度传递函数（CTF）的 Cryo-Sim 基准上，评估不同信噪比场景下的细丝追踪性能。核心评价指标为空间-角度综合精度（mSAP，空间距离内且切向角误差 \(\Delta\theta < 15^\circ\) 的匹配真阳率）、连通性 Dice（clDice）、惩罚拓扑碎片率的 fp-clDice、断裂间隙率（Gap Rate）以及惩罚切向角误差（P-Ang）。

表 1：Cryo-Sim 基准上不同信噪比条件下的主对比实验（节选自原论文 Table 1）

方法类型	方法名称	中信噪比 (-13 dB) mSAP (%) ↑	中信噪比 (-13 dB) Gap (%) ↓	极低信噪比 (-20 dB) mSAP (%) ↑	极低信噪比 (-20 dB) Gap (%) ↓	极低信噪比 (-20 dB) P-Ang (°) ↓
边界框检测	crYOLO	48.6	24.5	25.4	48.2	64.4
边界框检测	YOLOv8	52.4	20.2	28.5	45.2	62.1
像素级分割	Topaz	48.1	24.5	24.2	48.5	65.4
像素级分割	U-Net	62.1	18.5	38.2	38.5	55.2
像素级分割	SegFormer	64.8	16.2	41.5	35.4	52.8
大模型提示分割	SAM 2	35.4	52.6	12.1	75.2	82.5
闭合主动轮廓	Deep Snake	68.2	12.5	45.8	28.5	45.2
闭合主动轮廓	CurveGCN	71.5	11.8	48.2	26.2	42.8
本文方法	FPicker (ResNet-50)	89.0	7.1	72.1	12.2	24.5
本文方法	FPicker (Swin-T)	90.5	7.3	74.8	10.5	21.8
本文方法	FPicker (DLA-34)	91.1	6.3	76.5	9.8	20.5

消融实验¶

在 Cryo-Sim 与真实世界 Custom-EMPIAR 数据集上逐步验证各设计组件的有效性：包括中心-端点（C-E）先验初始化、开边界拓扑图卷积（Open Topo）、桥接渐进策略（Bridge）与辅助几何场损失（Aux）。

表 2：核心组件逐级消融对比分析（摘自原论文 Table 4）

模型配置	初始化方式	拓扑流形	桥接策略	辅助几何	中信噪比 (-13 dB) mSAP (%) ↑	极噪 (-20 dB) mSAP (%) ↑	极噪 (-20 dB) Gap (%) ↓	EMPIAR 微调 mSAP (%) ↑	EMPIAR 微调 P-Ang (°) ↓
A (Base)	边界框 (Box)	闭合 (Closed)	-	-	55.4	2.5	92.5	24.5	75.2
B	中心-端点 (C-E)	闭合 (Closed)	-	-	68.5	12.5	65.4	52.5	54.8
C	中心-端点 (C-E)	开曲线 (Open)	-	-	70.2	35.6	58.5	55.2	42.3
D	中心-端点 (C-E)	开曲线 (Open)	-	✓	82.5	45.2	35.8	71.4	30.5
E (Full)	中心-端点 (C-E)	开曲线 (Open)	✓	✓	91.1	76.5	9.8	82.9	13.7

关键发现¶

虚假中心退化的致命影响：传统边界框基准（Model A）在 -20 dB 极噪条件下发生灾难性崩溃（mSAP 仅 2.5%，断裂间隙率高达 92.5%）。改用中心-端点（C-E）表示后，锚点锁定在骨架密度脊线，极噪间隙率显著下降至 65.4%，且 EMPIAR 微调精度翻倍提升（24.5% \(\to\) 52.5%）。
开曲线消除收缩退化：将闭合图卷积切换为开边界图卷积后，切向角度惩罚误差（P-Ang）在中信噪比下从 45.2° 骤降至 19.4°，在 EMPIAR 上从 54.8° 降至 42.3°，证实开曲线有效释放了两侧端点的虚假周期张力。
桥接策略是极端噪声收敛的核心使能因素：对比 Model D 与 Full Model E，桥接渐进策略使极噪环境下的 mSAP 从 45.2% 飞跃至 76.5%（提升超过 31 个百分点），证明在训练初期避免杂乱初始提案破坏拓扑变形器的物理规则学习对极端弱信号感知至关重要。
惊人的 Sim-to-Real 数据效率：在真实冷冻电镜数据集 EMPIAR 上，仅利用 10 张真实标注显微图微调，FPicker 的 mSAP 即可从零样本的 28.6% 跃升至 55.4%；50 张图即可达 70.1%，显著优于主流方法全监督训练的表现。

亮点与洞察¶

拓扑先验解耦几何与纹理：现有大模型如 SAM 2 严重依赖局部高频纹理匹配，在信噪比小于 -10 dB 的无纹理散粒噪声成像下彻底失效（极噪 mSAP 仅 12.1%）。FPicker 证明，通过物理流形先验直接建模内在几何骨架，是破解科学计算中超低信噪比难题的根本路径。
开曲线图演化的优雅工程实现：巧妙利用复制填充（replicate padding）截断长程节点连接，零开销消除了沿袭自传统 Deep Snake 的端点虚假收缩问题，极具可复用性。
全局池化作为动态语义锚点：在图卷积层后引入无坐标依赖的全局特征池化，使处于低置信度被噪声湮灭区间的端点能通过全局最高响应进行“轨迹幻觉重构”，极具启发性。

局限与展望¶

复杂分支拓扑无法原生建模：当前模型基于单条非循环开曲线设计，不支持 Y 型分叉等分支图拓扑。虽然真实冷冻电镜中的蛋白质细丝生物学上不存在分子分叉，所谓 Y 节点皆由二维投影重叠产生，但将其推广至血管、神经元追踪等具真分支拓扑的任务仍需扩展动态度数图卷积。
强连续性先验带来的过度合并（Over-Merging）：模型依靠强大的拓扑连续性弥合由噪声造成的断裂，但对同一直线上靠得很近的两个相邻独立细丝，存在一定的过度连接概率（论文统计该过度合并率 OMR 约为 7.96%），如何在维持去噪连通性的同时精细排斥对抗性端点仍需进一步探究。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出开边界主动轮廓演化机制与无框中心-端点细丝表示，精准破除冷冻电镜追踪的两大退化顽疾。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Cryo-Sim 物理正向模拟多梯度信噪比基准、Custom-EMPIAR 真实显微迁移与详尽消融，指标设计兼顾空间距离与切向角物理约束。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，数学公式表达精炼，图表排版美观且洞察深刻。
价值: ⭐⭐⭐⭐⭐ 为结构生物学与冷冻电镜 3D 螺旋重构自动化奠定了坚实的几何骨干基座，是 AI for Science 在信号匮乏科学成像中的典范之作。