TopoFuse: Topology-Aware Tri-Planar Fusion for 3D Cryo-Electron Tomography Segmentation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/rohitsalla/TopoFuse
领域: 3D 视觉
关键词: 冷冻电镜断层成像、持续同调、可微拓扑投影、三平面编码、拓扑先验

一句话总结¶

TopoFuse 针对冷冻电镜断层三维分割中因极低信噪比与缺失楔伪影导致的膜结构断裂和腔室塌陷，将拓扑先验从软损失函数重构为前向前向通道的可微投影算子，结合三平面 SAM 基础特征与拓扑条件化 FiLM 融合，仅需编辑约 3.1% 的关键体素即在贝蒂数误差上取得 54% 的大幅下降。

研究背景与动机¶

冷冻电子断层扫描（Cryo-ET）能够在纳米级分辨率下解析细胞微观超微结构，直接在原位观察生物大分子复合体、囊泡及亚细胞器。然而，冷冻电镜三维重构过程中存在严重的物理限制：不仅图像信噪比极低（SNR 通常小于 0.1），倾转角度限制更会引入“缺失楔”（missing-wedge）伪影，使轴向分辨率较横向显著恶化 2 到 3 倍。在这一严苛成像条件下，传统的 3D U-Net 或 nnU-Net 即使能在体素级指标（如 Dice 系数）上取得可观的分数，其分割预测结果却普遍存在灾难性的拓扑结构破损——本应闭合连续的线粒体双层膜碎裂成大量孤立残片，临近的亚细胞器发生粘连合并，而囊泡的封闭内腔则直接塌陷贯通。这类拓扑伪影对下游的细胞表面积估算和接触位点（contact site）定量分析具有毁灭性破坏。

针对分割拓扑破损问题，既有研究大多引入基于持续同调（Persistent Homology, PH）、同伦形变（Homotopy Warping）或中心线 Dice（clDice）的拓扑敏感损失函数进行正则化。然而，这些方法仅仅通过反向传播的梯度压力在训练期间“鼓励”模型生成拓扑合法的输出，无法在结构上杜绝违规。由于拓扑损失往往受制于极其微弱的局部梯度、难以调和的损失权重或者次优的持续特征配对，模型在训练收敛后依然残留大量拓扑破损，导致测试集上的拓扑断裂问题依旧存在。

与此同时，持续同调的几何特性表明：次水平集滤波（sublevel-set filtration）中的每一个拓扑特征（如连通分量或封闭空腔）的产生与消亡，都可以精确回溯到网格中唯一的“临界体素”（critical voxels）。既然拓扑违规的物理根源在几何上是高度局域化的，我们便没有必要依赖扩散的梯度惩罚去碰运气，而是可以直接在网络前向传播中对这些临界体素执行精准的稀疏修正。本文的核心 idea 是：将拓扑先验从训练阶段的软惩罚损失重构为前向传播中的可微稀疏投影算子，结合三平面预训练特征与拓扑条件化自适应融合，由轻量先验头自监督预测拓扑目标，从而在保证输出拓扑可解性的同时提供显式的可审计修复凭证。

方法详解¶

整体框架¶

TopoFuse 的核心目标是在前向传播中显式消除冷冻电镜体积分割中的拓扑破损。整个模型由四大核心阶段串联构成：首先，三平面基础编码器将三维体积拆解为正交切片并利用在海量自然图像上预训练的 2D SAM ViT-B 提取平面特异性特征；随后，拓扑条件化 FiLM 融合模块利用全图初筛的拓扑描述符自适应调整三平面的融合权重，优先增强各向异性伪影较小的切面；接着，可微拓扑投影算子在下采样网格上计算持续同调，通过瓶颈距离匹配确定错误拓扑特征的临界体素并执行稀疏 logit 微调，同时输出包含收敛状态与编辑稀疏度的修复凭证；最后，拓扑先验预测头在前向推理阶段直接从融合特征预测贝蒂数和生命周期预算，完全摆脱对真实标签（GT）的依赖。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入冷冻电镜体数据 V"] --> B["三平面基础编码器<br/>正交切片提取与 SAM 预训练表征"]
    B --> C["拓扑条件化 FiLM 融合<br/>全局拓扑描述符调制三维权重"]
    C --> D["拓扑先验头<br/>预测贝蒂数与生命周期预算"]
    C --> E["可微拓扑投影算子<br/>基于瓶颈匹配的临界体素稀疏修正"]
    D -->|推断拓扑目标| E
    E --> F["最终拓扑保真分割 + 修复凭证 C"]

关键设计¶

1. 三平面基础编码器：利用预训练 2D 基础模型绕过轴向缺失楔伪影 冷冻电镜体积由于缺失楔的存在，轴向分辨率严重退化，如果直接采用标准 3D 卷积在体数据上从头训练，缺失楔引入的伪影和方向性模糊会被无差别地扩散到整个空间邻域，且生物医学领域带标注体数据极少（仅数十例），难以支撑复杂的 3D 骨干网络。TopoFuse 采用三平面分解（\(xy\)、\(xz\)、\(yz\)），对每个正交切片栈分别使用共享权重的 2D SAM ViT-B 编码器提取特征。由于在 SA-1B 庞大数据集上预训练的 2D 基础模型具备强大的底层边缘与结构先验，沿轴向模糊的膜结构在侧向切片中往往具有更清晰的横截面轮廓。切片特征经过轻量转置卷积解码生成切片预测，并通过逆切片操作重塑为各平面的 3D logit 体积 \(Z^{(p)}\)，为后续跨视角互补融合提供了坚实基础。

2. 拓扑条件化 FiLM 融合：以全局连通状态自适应路由切面权重 简单对三个平面的输出进行均匀平均无法应对局部的严重各向异性与切片级遮挡。TopoFuse 设计了拓扑敏感的特征调制机制。模型首先对三个平面的预测取均值得到初步概率图 \(\bar{P}\)，并利用持续同调提取紧凑的拓扑描述符 \(\mathbf{t} = \psi(\bar{P}) \in \mathbb{R}^{6C}\)，其中囊括了各类在 0 维连通分量（\(d=0\)）和 2 维包围空腔（\(d=2\)）上的特征数目及总持续生命周期。轻量 3D CNN \(G(\cdot)\) 基于拼接的平面 logit 预测体素权重，并由两层 MLP 生成的 FiLM 尺度 \(\gamma(\mathbf{t})\) 和偏置 \(\beta(\mathbf{t})\) 动态调制：

\[\alpha^{(p)}(\mathbf{x}) = \mathrm{softmax}_{p}\Big(\gamma(\mathbf{t}) \odot G(\mathbf{x}; \{\mathbf{Z}^{(q)}\}) + \beta(\mathbf{t})\Big), \quad \mathbf{Z}(\mathbf{x}) = \sum_{p} \alpha^{(p)}(\mathbf{x})\mathbf{Z}^{(p)}(\mathbf{x})\]

当检测到严重的膜破损导致 \(0\) 维贝蒂数 \(\hat{\beta}_0\) 异常偏高时，网络在前向推理中自动自适应地增加对能清晰保持结构连续性的优势视角的依赖，在进入显式几何修正前就大幅减轻了拓扑断裂。

3. 可微拓扑投影算子：基于瓶颈匹配的临界体素精准稀疏编辑 传统方法将拓扑同调作为训练 loss，本质上依靠微弱梯度推动参数变化，极难彻底清除拓扑瑕疵。TopoFuse 的核心创新是将拓扑约束重构为一个前向投影算子 \(\mathrm{Proj}_T\)。在下采样网格（下采样率 \(s=2\)，将 \(128^3\) 降为 \(64^3\) 以确保单次计算仅需约 8 ms）上，算子计算当前概率图与目标拓扑图谱 \(\Pi^\star_c\) 之间的瓶颈距离（Bottleneck Distance \(d_B\)）。利用最优二分图匹配，算子精准锁定导致拓扑违规的未配对特征（多余的伪连通分支或缺失的真实孔洞），并检索其产生和消亡对应的唯一“临界体素”（Critical Voxels）坐标对 \((v_{b_i}, v_{d_i})\)。算法通过回溯线搜索在这些坐标上执行针对性 logit 扰动：

\[\mathbf{Z}_c(\mathbf{x}) \leftarrow \mathbf{Z}_c(\mathbf{x}) - \eta \cdot \nabla_{\mathbf{Z}_c} d_B\]

这种编辑具有严格的稀疏性（测试集上中位数体素修改率仅 3.1%），并迭代至多 \(T_{\max}=5\) 步。每次前向修正还会连带输出三元组修复凭证 \(\mathcal{C} = (I, V_{\mathcal{C}}, \Delta_{\mathcal{C}})\)，分别记录迭代次数、修改体素集合以及空间编辑稀疏度 \(\Delta_{\mathcal{C}}\)。当下采样网格在容差内收敛时即能从结构上满足目标图谱要求；若未收敛（如发生过度粘连），凭证会直接暴露警告，为生物学家的后续定量分析提供防伪审计。

4. 拓扑先验预测头：摆脱测试期真实标签依赖的伪图谱构建 在实际推断时，测试样本的真实拓扑图谱是未知的。TopoFuse 通过一个紧凑的三层 MLP 先验头 \(H_\pi\)，直接以全局池化后的融合特征 \(\mathrm{GAP}(\mathbf{F}_{\mathrm{fused}})\) 为输入，自回归预测各类别在 0 维和 2 维的贝蒂数 \((\hat{\beta}_0, \hat{\beta}_2)\)，以及分布在 6 个经验阈值区间内的持续生命周期预算。在推理阶段，系统依据预测的贝蒂数实例化特征对，将产生时刻与当前未配对临界体素的数值对齐，并通过预算区间确定其消亡阈值，从而合成出合法的拓扑约束目标 \(\hat{\Pi}^\star_c\)。这一设计彻底消除了对 Oracle GT 的依赖，使 TopoFuse 成为首个端到端自闭环且具备拓扑保证的冷冻电镜分割框架。

损失函数 / 训练策略¶

模型采用多任务联合端到端优化，总训练损失定义为：

\[\mathcal{L} = \mathcal{L}_{\mathrm{Dice+CE}}(\hat{P}', Y) + \lambda_t \mathcal{L}_{\mathrm{topo}} + \lambda_\pi \mathcal{L}_{\mathrm{prior}} + \lambda_a \mathcal{L}_{\mathrm{Dice+CE}}(\hat{P}, Y)\]

其中超参数设置为 \(\lambda_t = 0.1\)、\(\lambda_\pi = 0.05\)、\(\lambda_a = 0.5\)。主损失 \(\mathcal{L}_{\mathrm{Dice+CE}}(\hat{P}', Y)\) 直接监督投影修正后的最终概率输出 \(\hat{P}'\)。辅助拓扑损失 \(\mathcal{L}_{\mathrm{topo}}\) 基于预投影概率图与标签的 Wasserstein 距离，在训练前 5000 步进行线性预热，用于在编码器阶段引导模型输出趋近拓扑可行的解空间，防止特征分布与投影层脱节。先验头损失 \(\mathcal{L}_{\mathrm{prior}}\) 为针对真实贝蒂数统计量的 \(\ell_1\) 回归。引入未投影概率的辅助监督项 \(\lambda_a \mathcal{L}_{\mathrm{Dice+CE}}(\hat{P}, Y)\) 确保了梯度可以直接流回 SAM 编码器与特征融合层，避免投影操作对主干特征学习造成解耦破坏。

实验关键数据¶

主实验¶

论文在三个公开冷冻电镜标准基准上进行了全面评测：高信噪比核糖体体数据 EMD-0506、中等各向异性的海拉细胞薄层 EMPIAR-10499，以及各向异性极严重的细菌体数据 EMPIAR-10045。所有拓扑基线均基于完全相同的三平面骨干网络和训练预算，以确保对比的绝对公平。

原论文 Table 2 关键对比结果如下（\(D\) 为 Dice，\(\mathrm{BE}_0\) 为 0 维贝蒂数误差，\(\mathrm{BME}\) 为贝蒂匹配误差）：

方法	EMD-0506 (\(D \uparrow\))	EMD-0506 (\(\mathrm{BE}_0 \downarrow\))	EMPIAR-10499 (\(D \uparrow\))	EMPIAR-10499 (\(\mathrm{BE}_0 \downarrow\))	EMPIAR-10045 (\(D \uparrow\))	EMPIAR-10045 (\(\mathrm{BE}_0 \downarrow\))	Mean (\(D \uparrow\))	Mean (\(\mathrm{BE}_0 \downarrow\))
3D U-Net	70.2	3.84	69.8	4.12	67.3	5.21	69.1	4.39
nnU-Net	72.9	3.41	72.6	3.68	70.1	4.73	71.9	3.94
CryoSAM	75.6	3.07	75.2	3.24	72.8	4.31	74.5	3.54
Tri-planar (无拓扑)	76.4	2.94	76.0	3.10	73.5	4.18	75.3	3.41
+ clDice	78.1	2.61	78.4	2.73	76.2	3.72	77.6	3.02
+ HuTopo	79.2	2.48	79.6	2.59	77.3	3.53	78.7	2.87
+ BettiMatching	80.8	2.29	81.1	2.41	78.9	3.34	80.3	2.68
+ TopoPost (不可微后处理)	79.0	2.17	79.3	2.28	77.1	3.19	78.5	2.55
TopoFuse (Learned Prior)	85.1	1.04	85.6	1.09	83.9	1.58	84.9	1.24
TopoFuse (Oracle Prior)	85.9	0.71	86.4	0.74	84.6	1.12	85.6	0.86

注：配对 Wilcoxon 检验显示 TopoFuse 在所有三个基准上较 BettiMatching 的提升均满足 \(p < 0.001\)。

消融实验¶

在 EMPIAR-10499 基准上对各组件与投影迭代步数进行了系统消融（原论文 Table 3）：

实验配置	Dice (%) \(\uparrow\)	\(\mathrm{BE}_0 \downarrow\)	BME \(\downarrow\)	编辑稀疏度 \(\Delta_{\mathcal{C}}\) (%)	说明
Tri-planar (均匀平均，无拓扑)	76.0	3.10	0.31	–	基础三平面基线
+ 学得融合权重 (无 FiLM)	77.8	2.88	0.29	–	自适应加权小幅降低断裂
+ \(\mathcal{L}_{\mathrm{topo}}\) 软约束 (无投影)	81.1	2.41	0.24	–	传统软拓扑损失上限
+ 拓扑投影算子 (\(T=5\))	85.2	1.11	0.11	3.1 ± 0.7	拓扑误差骤降 54%，带来最大单项收益
+ FiLM 拓扑条件化调制	85.4	1.10	0.11	3.1 ± 0.7	进一步改善特征连续性
TopoFuse (Learned Prior 完整模型)	85.6	1.09	0.11	3.1 ± 0.7	自包含前向推理
TopoFuse (Oracle 理论上限)	86.4	0.74	0.07	3.0 ± 0.6	使用真实图谱上限
迭代步数分析: \(T=1\)	83.6	1.62	0.16	收敛率 71%	仅执行 1 次编辑步
迭代步数分析: \(T=3\)	84.9	1.21	0.12	收敛率 89%	推理效率平衡点
迭代步数分析: \(T=5\)	85.2	1.11	0.11	收敛率 96%	性能与收敛趋于饱和
迭代步数分析: \(T=10\)	85.3	1.09	0.11	收敛率 98%	计算收益边际化

关键发现¶

投影算子是性能跃迁的关键：在消融实验中，仅将传统软损失替换为投影算子便使 \(\mathrm{BE}_0\) 直接从 2.41 降至 1.11，相对降幅达到 54%，证明了前向几何显式修正相比反向传播微弱梯度的绝对优越性。
体素精度与拓扑保真度的正向循环：以往文献担忧拓扑修正可能因过度平滑损害体素准确率，但实验表明 TopoFuse 的 Dice 较强基准大幅上涨了 4.6 个百分点（80.3% \(\rightarrow\) 84.9%）。这主要是由于冷冻电镜中大量薄膜厚度仅数个像素，修复断裂的拓扑空隙直接带来了体素级交并比的显著提高。
各向异性越严重，收益越显著：在缺失楔最严重的 EMPIAR-10045 数据集上，TopoFuse 较纯三平面基线的 Dice 提升高达 10.4 pp（73.5% \(\rightarrow\) 83.9%），而在近各向同性的 EMD-0506 上提升为 8.7 pp，说明该架构在对抗方向性结构缺失方面尤为有效。
极小代价的高精度修正：模型在测试集上仅需修改 3.1% 的体素，并在 \(T=5\) 时实现 96% 的收敛率。在算力受限场景下，采用 \(T=3\) 仍可取得 89% 的收敛率与极低的拓扑误差。

亮点与洞察¶

从惩罚到投影的范式转变：过去近十年医学与生物图像的拓扑学习均将持续同调当作 loss penalty 施加间接约束，而 TopoFuse 首次在深度前向流程中实现几乎处处可微的拓扑投影算子，将不可靠的概率诱导转化为确定性的特征消解。
可审计的修复凭证机制：每次前向分割均伴生一个轻量修复凭证 \(\mathcal{C}\)，透明记录迭代步数与体素修改率。实验显示，当发生过度校正（如将相邻独立的亚细胞器错误连结）时，编辑稀疏度 \(\Delta_{\mathcal{C}}\) 会异常激增至 8% 以上并触发未收敛警报，为生物学家进行高通量全自动分析提供了天然的质检过滤依据。
通用可迁移的结构修正模块：虽然本文立足于严酷的冷冻电镜场景，但基于瓶颈匹配与临界体素定位的前向投影层是通用的数学算子，对血管断裂修复、神经元纤维追踪及心肌内膜完整性重建等任务具有直接的迁移复用价值。

局限与展望¶

同调维度的计算开销限制：目前算子仅约束 0 维连通分支与 2 维包围体，受限于三维网格下持续同调对 1 维隧道/环状特征（\(d=1\)）高达 \(\mathcal{O}(n^{1.5})\) 的计算复杂度，尚无法约束微管或线粒体嵴内的穿孔与环路缺陷（约占 8.2% 的体积样本）。
先验预测头造成的性能残留差：使用学得先验头预测的拓扑目标较 Oracle 真实图谱存在 0.35 的 \(\mathrm{BE}_0\) 残余差距。在约 4% 的极端各向异性样本中，先验头错判贝蒂数可能诱发过度纠偏（例如将两颗分离的颗粒粘连）。
分块边界的一致性缺失：目前投影算子在 \(128^3\) 体积裁剪块内独立运行，尽管 95% 的生物结构能够容纳于单个裁剪块内，但在全断层超大视野无缝拼接时仍存在潜在的跨块拓扑不连贯风险。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (打破拓扑损失传统范式，首创前向可微拓扑稀疏投影算子与修复凭证)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖真实冷冻电镜三大标准集与受控合成集，主实验、消融、计算开销及置信区间统计检验齐备)
写作质量: ⭐⭐⭐⭐⭐ (数学建模清晰严谨，范式转换动机明确，图表数据自洽详实)
价值: ⭐⭐⭐⭐⭐ (为冷冻电镜纳米级超微结构重建提供了首个具备拓扑保真度的生产级方案，启发广泛的生物医学三维分割应用)