ConnectomeBench2: A Unified Benchmark for Automated Connectomic Proofreading¶

会议: NeurIPS 2026
arXiv: 2606.21116
OpenReview: https://openreview.net/forum?id=ceOs8fK1Ev
代码: https://github.com/timfarkas/ConnectomeBench2
领域: 计算生物
关键词: 连接组学校对, 统一基准, 视觉Transformer, 跨物种泛化, 主动学习

一句话总结¶

提出了跨越小鼠、人类、斑马鱼与果蝇四大连接组的统一校对基准数据集 ConnectomeBench2，并基于共享几何与电镜双模态编码器的 Vision Transformer 实现了分割错误纠正的人类水平精度与强校准性。

研究背景与动机¶

突触分辨率连接组学旨在重建神经系统内单神经元形态及其全脑连接回路，依赖高通量电子显微镜或膨胀显微镜获取高分辨率三维成像体积。然而，哪怕当前最先进的 3D 分割算法在大尺度神经组织重建中依然不可避免地引入严重错误：包括单一神经元断裂为多个碎片的分裂错误（split error），以及多个神经元异常融合的合并错误（merge error）。人工纠正这些分割缺陷的“校对”（proofreading）过程极度繁琐耗时，动辄需要数十万至数百万人工工时，构成了阻碍绘制全脑突触连线图谱的最关键瓶颈。

以往自动化校对方法大多局限于单一物种（如果蝇或小鼠大脑皮层）、单一边界类型或孤立的数据格式，模型多针对单一任务设计，且缺乏跨任务、跨物种的大规模标准化训练与评测基准。已有评测基准如早期的 ConnectomeBench 规模仅数百个样本且缺少局部针对性，导致无法支撑现代深度学习的端到端表征训练。此外，校对算法若想真正投入实际流水线，必须具备可靠的不确定性校准（calibration）能力以进行置信度分流，并能够对未见物种与新脑区实现高样本效率的表征迁移与主动样本挑选。

针对这一系列阻碍，本文系统性整合了 FlyWire、MICrONS、Fish1 与 H01 四大公开连接组的专家校对历史操作记录，构建起涵盖超过 71.6 万条专家真实操作与 450 万张多模态图像的统一基准 ConnectomeBench2。核心 idea：将三维连接组校对任务统一为双模态多任务视觉表征学习，基于共享 ViT 骨干网络联合建模网格几何与电镜切片，并在特征空间构建马氏距离分布偏移预警与主动学习采样机制。

方法详解¶

整体框架¶

ConnectomeBench2 将神经元校对抽象为三大视觉决策任务：双网格断裂判断与连接修正（Split Error Correction）、单网格合并错误定位（Merge Error Classification），以及针对错误合并位点的二维分割掩码生成（Mask Segmentation for Merge Error Correction）。系统的整体处理流水线接收空间校对位点周边的 7 通道网格几何正交投影以及 4 切面 3 通道电子显微镜（EM）切片图像，通过双模态独立 Patch 嵌入与共享 Vision Transformer 编码器提取特征，最后分发至三个专用任务头完成端到端推理，并在下游通过 3D 凸包重构与超体素多割（Multicut）直接执行图割。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["校对操作与对照位点采样<br/>71.6万真实编辑/突触/骨架分叉"] --> B["双模态渲染管线<br/>7通道几何正交投影 + 3通道EM四切面"]
    B --> C["双模态共享编码器 ViT<br/>Patch Embedding + 跨模态特征提取"]
    C --> D["联合多任务损失优化<br/>交叉熵 + 置换不变掩码 Dice/CE 损失"]
    D --> E["超体素图割重构管线<br/>3D凸包投影 + 种子点采样 + Multicut"]
    E --> F["下游分流与主动学习泛化<br/>马氏距离 OOD 监控 + Fisher 样本挑选"]

关键设计¶

1. 几何与电镜并行的统一多模态渲染：消除图状态泄漏并保留多视角上下文

为防止模型走捷径利用分割图的历史版本标记而非真实的生物形态学线索，数据生成阶段对每个位点强制渲染纠正前与纠正后的对应状态。针对每个校对样本构建两套标准化视图：网格几何视图采用顶视、侧视和前视 3 组正交投影，包含 7 个独立通道（法向量 \(n_x, n_y, n_z\)、深度图、两通道神经元碎片掩码 maskA/maskB 以及轮廓线 silhouette）；电镜成像视图则提取 \(XY, XZ, YZ\) 三个基轴截面与一个最大化分割面积的倾斜截面，构成包含 EM 灰度强度与两通道分割掩码的 3 通道切片。所有视图在渲染时均注入空间中心抖动（300 nm）与尺度自适应裁剪，从数据源头上消除视角与对齐先验偏差。

2. 共享权重的视觉 Transformer 与置换不变联合多任务学习：兼顾离散判决与边界生成

模型主体基于标准 ViT-B/16 或 ViT-L/16 架构，分别使用卷积步长为 16 的双 Patch 嵌入模块接入 7 通道几何与 3 通道电镜视图，后接统一共享权重的 Transformer 块。模型输出端在 CLS Token 上构建用于分裂修正、合并错误分类以及突触控制辅助决策的三个线性分类头；同时在 Patch Tokens 上附加多阶段转置卷积解码器，输出 \(224 \times 224\) 的双通道分割掩码以指导合并拆分。针对神经元分裂后产生的新碎片在通道 \(A\) 与 \(B\) 上无序分配的内在对称性，掩码生成头引入了置换不变损失函数（Permutation-Invariant Loss）：

\[\mathcal{L}_{\text{mask}}=\min_{\pi\in\{\text{id},\text{swap}\}}\!\Big[\,w_{\text{CE}}\,\mathrm{CE}^{\pi}+(1{-}w_{\text{CE}})(1{-}\overline{\mathrm{Dice}}^{\pi})\,\Big]\]

其中 \(w_{\text{CE}}=0.5\)，仅在真实分裂编辑的前景像素上计算；总体损失通过掩码指示变量选择性回传各任务梯度，结合降权的突触辅助项 \(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{ep}} + \mathcal{L}_{\text{jn}} + \mathcal{L}_{\text{mask}} + 0.25\,\mathcal{L}_{\text{syn}}\)，实现各物种与任务间的表征平衡。

3. 从 2D 预测掩码到 3D 超体素图割的多阶段重构流水线：贯通端到端生物体素修复

仅输出二维图像掩码无法直接用于修改底层的块状图（ChunkedGraph）分割。系统构建了三阶段自动化割裂管线：首先进行约束凸包重建（build_seg_constrained_hull），利用各正交视角的二维掩码预测结果沿视线反向投射到局域体素栅格，并与底层的实际分割超体素求交集，通过视角间一致性投票（\(\ge 3\) 视角重叠命中）分别聚合生成碎片 \(A\) 与碎片 \(B\) 的三维凸包；随后在双凸包占据体素中均匀随机抽取 \(k\) 个三维坐标（默认 \(k=5\)）作为源点（source）与汇点（sink）；最后将种子点传入底层图割引擎调用 Multicut 算法求解带权超体素图的全局最优切割边界 \(\hat{E}_{\text{cut}}\)。下游实验表明预测二维掩码 mIoU 与真实三维超体素交并比 \(\text{sv\_iou}\) 呈现强正相关（Pearson \(r = 0.727\)），确保二维视觉优化能实质性转化为高质量的三维生物图谱修订。

4. 基于马氏特征距离与主动学习的分布漂移监控：实现免标注可靠置信度分流

针对新物种、新脑区以及新成像协议带来的严重分布偏移，本文在倒数第二层特征空间针对各类别拟合高斯分布，计算测试样本与训练流形间的马氏距离（Mahalanobis Distance）：当马氏距离增大时，模型的准确率单调下降且校准误差显著扩大，为无标注部署环境提供了量化告警信号。在适应新物种时，设计了兼顾不确定性与特征代表性的 Fisher 加权设施选址主动学习准则（Fisher-weighted facility location）：

\[V(\mathcal{S})=\sum_{i=1}^{N}w_{i}\cdot\max_{j\in\mathcal{S}}\,s_{ij},\quad w_i = 2\,p_{i,0}\,p_{i,1}\cdot \|x_i\|_2^2\]

以微小的数据标注预算（例如 \(K=300\) 次操作）从候选池中优先选择最具代表性与决策不确定性的关键样本微调分类头，大幅加速对全新连接组的适配收敛速度。

实验关键数据¶

主实验¶

在四大物种混合的独立空间测试集（未见的三维立方体测试块）上，统一模型与人类专家基准及各消融配置的 Per-sample（单次编辑操作聚合多视角后）平衡准确率（bAcc）和掩码 mIoU 评测如下表所示：

模型 / 配置	分裂错误修正 bAcc (%) [95% CI]	合并错误识别 bAcc (%) [95% CI]	掩码分割 mIoU [95% CI]	说明
人类专家基线 (Human Experts)	93.0 [87.2, 97.7]	84.1 [75.8, 91.7]	—	人工校对抽样评测
ViT-B (完整多模态模型)	97.0 [96.9, 97.2]	93.0 [92.7, 93.2]	0.696 [0.693, 0.698]	单卡A100推理，15 GPU-h训练
ViT-L (大型骨干模型)	97.2 [97.1, 97.4]	92.8 [92.5, 93.0]	0.678 [0.676, 0.681]	3×H100分布式训练
ViT-B (仅网格几何模态)	96.2 [96.0, 96.4]	90.6 [90.4, 90.9]	0.696 [0.693, 0.698]	纯3D网格投影输入
ViT-B (仅电子显微镜EM模态)	94.2 [94.0, 94.4]	91.1 [90.9, 91.4]	—	纯EM截面输入，无几何掩码GT

消融实验¶

针对 ViT-B 几何模态中各输入通道的推理期消融实验（探究各几何属性贡献），以及在留一物种（LOSO-mouse）合并错误识别任务中，预算 \(K=300\) 条件下不同主动学习采样策略的表现如下表所示：

配置 / 采样策略	关键指标取值	相对 baseline / 完整模型变化	说明 / 机制解析
ViT-B 几何完整版	分裂 bAcc: 96.2% / 合并 bAcc: 90.6%	基准线	包含法向量、深度、掩码及轮廓
移除轮廓线与深度 (−shape)	分裂 bAcc: 96.2% / 合并 bAcc: 89.7%	合并 bAcc 下降 0.9%	轮廓对复杂分支交叉点识别有一定辅助
移除法向量通道 (−normals)	分裂 bAcc: 96.0% / 合并 bAcc: 88.2%	合并 bAcc 下降 2.4%	法向量对曲率突变（合并错位处）表征关键
移除分割掩码通道 (−masks)	分裂 bAcc: 77.7% / 合并 bAcc: 90.6%	分裂 bAcc 骤降 18.5%	模型无法区分要判断的目标与背景干扰碎片
随机主动采样 (Random)	合并 bAcc: 56.8% (增量 +3.6%)	基准线	零样本 bAcc 约为 53.2%
Top-K Fisher 采样	合并 bAcc: 57.3% (增量 +4.1%)	增量无统计学差异 (\(p=0.444\))	仅考虑不确定性极易聚集在冗余局部
设施选址采样 (Facility Location)	合并 bAcc: 63.4% (增量 +10.2%)	显著超越随机采样 (\(p < 0.001\))	兼顾 Fisher 信息与特征空间覆盖多样性
Batch Fisher (head 梯度)	合并 bAcc: 60.1% (增量 +6.9%)	显著超越随机采样 (\(p = 0.024\))	分类头参数覆盖空间采样

关键发现¶

分割掩码是断裂合并判断的核心条件：在模态通道消融中，去除掩码通道使分裂修正平衡准确率直接暴跌 18.5%（从 96.2% 跌落至 77.7%），说明明确区分被测双段身份是视觉判断拓扑连续性的绝对必要前提。
视角扩展具有显著增益：测试阶段将正交 3 视角推理通过额外旋转扩展至 64 个几何视图并进行对数几率平均（Logit Pooling），可为模型额外带来 3%~4% 的准确率提升，且这种增益在视线间分歧度较大的困难样本中尤为显著，具备在实际部署中自适应调整计算量的潜力。
自监督连接组预训练远胜天然图像迁移：在跨物种迁移中，基于合成神经元剪枝与合并损毁构建的 DINO/iBOT 双塔自监督预训练骨干网络，在下游微调的样本效率和极限性能上系统性击败了 ImageNet 预训练权重。

亮点与洞察¶

连接组学大一统视角：首次打破了果蝇、小鼠等特定物种与“仅修正分裂”或“仅检测合并”的任务壁垒，构建起超 450 万张图像的基准，证明单一标准 ViT 可以在统一视觉表达下达到并超越人类专家水平。
可操作的分布偏移与置信度审计：指出了常规多视角平均导致的概率低估现象，并证实通过倒数第二层特征的马氏距离可以作为无需标注的 OOD 监测标尺，准确预警跨物种迁移时的性能滑坡。
高置信度自动化分流价值：在仅保留预测置信度 \(\max(p, 1-p) \ge 0.9\) 的高置信区间内，模型可在覆盖 23%~50% 操作的前提下实现接近 99.9%~100.0% 的惊人查准度与查全率，足以直接接入生产流水线实现半自动化分流减负。

局限与展望¶

2D 投影切片存在信息丢失：当前正交投影与单倾斜切面相比于全量 3D 卷积电镜块依旧存在几何信息折损，对于复杂纠缠的超细神经突起，未来需结合局部三维隐式表征或点云骨架增强。
人类与斑马鱼物种数据不平衡：由于公开的人类（H01）和斑马鱼（Fish1）连接组校对尚处于早期阶段，其骨架分叉负样本仅数百例，导致在留一物种评测时这两种物种的数据多样性相对受限。
端到端图割回环需更紧密结合：目前二维掩码预测与下游三维超体素 Multicut 仍分为独立阶段，未来若能将超体素图拓扑的离散优化显式融入端到端神经网络梯度反传，将进一步收敛最终的生物学重建误差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立四物种统一连接组校对多模态基准，并建立通用的视觉校对标准范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 450 万张多模态切片、四物种留一交叉验证、通道级消融、主动学习与置信度校准分析。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，实验与动机链路严谨自洽，附录细节与评测代码极其详实。
价值: ⭐⭐⭐⭐⭐ 极大推进突触分辨率全脑连接组学实用化进程，奠定了下一代自动化神经元重建的核心基石。