BigCell: Generating Gigapixel Whole-Slide Images¶

会议: NeurIPS 2026
arXiv: 2610.14261
代码: https://github.com/cvlab-stonybrook/BigCell
领域: 医学图像
关键词: 全切片病理图像, 流匹配, 十亿像素生成, 条件生成模型, 自适应调度

一句话总结¶

BigCell 提出首个原生支持十亿像素（Gigapixel）全切片病理图像（WSI）生成的统一框架，结合渐进式训练的 2048 分辨率流匹配 Transformer、病理基础模型嵌入驱动的滑动窗口推理、自适应 CFG 速度调度以及文本生成条件网格的 CGM 模型，实现了逼真的宏观组织架构与微观细胞形态合成。

研究背景与动机¶

全切片病理图像（Whole-Slide Images, WSIs）是病理学家诊断肿瘤及其他重大疾病的黄金标准，其数字化扫描尺寸往往超过 50,000×50,000 像素（十亿像素级）。在临床实践中，组织病理学展现出极其严密的跨尺度生物学依赖：在宏观尺度上，肿瘤边界、间质反应与腺体结构横跨数千像素，全玻片的染色分布具有全局一致性；在微观尺度上，细胞异型性与核形态必须与所处的局部组织微环境完全吻合。然而，现有的病理生成模型（如 PixCell、CytoSyn、MuPaD）均受限于局部的切片图块（Patch/Tile）级别，原生生成分辨率通常仅在 256 到 1024 像素之间，仅能覆盖完整切片的冰山一角。

这种尺度错配引发了深层次的监督信号脱节：临床病理报告与诊断标签天生是在全切片或病例级别出具的，而像素级的局部精细标注成本高昂且极其稀缺。如果直接将独立生成的图像块拼接，不仅无法保证全局组织结构的连贯性与染色均一性，更会导致宏观病理特征（如浸润范围、切缘状态、肿瘤分级）的断裂与失真，无法服务于现代全玻片级计算病理学系统的训练与评估。

解决该问题的核心矛盾在于：直接端到端训练十亿像素的扩散或流匹配模型在计算上是不可行的，而简单的图像块超分辨率或独立拼接又会丢失全局拓扑与组织学逻辑。本文的切入角度是：利用病理基础模型的密集表征作为宏观调控蓝图，将生成解耦为高分辨率图块流匹配器与跨窗口速度场聚合，并通过条件生成模型连接病理文本报告与密集嵌入分布。核心 idea：以病理基础模型嵌入构建空间连续的密集条件网格作为结构蓝图，结合 2048 原生分辨率的流匹配 Transformer 与自适应无分类器引导调度的滑动窗口推理，实现兼顾宏观拓扑一致性与微观细胞逼真度的十亿像素病理全切片图像生成。

方法详解¶

整体框架¶

BigCell 的生成流程主要包含三个核心部分：首先，通过参考切片或文本驱动的条件生成模型（CGM）获取覆盖目标区域的高维密集特征网格（基于 UNI-2 提取的 $1536$ 维表征），作为指导组织形态与空间布局的全局蓝图；其次，基于 Scalable Interpolant Transformer（SiT）架构的图块生成器（BigCell tile）以局部潜空间切片和对应条件网格为输入预测流匹配速度场；最后，在十亿像素全局潜空间画布上执行滑动窗口推理，将重叠窗口的局部速度聚合为全局速度场，配合基于无分类器引导（CFG）差异大小的自适应计算调度实现高效降噪生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：病理文本报告或参考 WSI"] --> B["条件网格构建<br/>CGM 文本采样或参考切片提取 UNI-2 网格"]
    B --> C["高分辨率流匹配图块生成器<br/>SiT-XL/2 在 Flux-2 VAE 潜空间预测速度场"]
    C --> D["流匹配滑动窗口全局速度聚合<br/>重叠窗口局部速度最小二乘平均"]
    D --> E["自适应 CFG 速度缓存调度<br/>根据引导差动态筛选活跃窗口加速 3 倍"]
    E --> F["输出：32768×32768 十亿像素病理全切片图像"]

关键设计¶

1. 条件生成模型（CGM）：跨越文本报告到空间密集组织蓝图的表征桥梁 临床上绝大多数 WSI 仅配有非结构化的自由文本病理报告，缺少密集的空间先验。为了实现从纯文本提示生成全景切片，BigCell 设计了条件生成模型（Conditioning Generation Model, CGM）。CGM 采用 DiT-DH-Base 架构（3.62 亿参数），直接在病理基础模型 UNI-2 的特征空间中建模条件分布 $p(y|c)$。针对 $8192 \times 8192$ 像素的组织区域，其对应的条件目标是 $32 \times 32 \times 1536$ 的密集特征网格 $y$。文本报告经由预训练的 TITAN 文本编码器转化为未池化的文本嵌入序列 $c \in \mathbb{R}^{128 \times 768}$，通过交叉注意力层注入网络。由于隐空间维度极高，CGM 采用基于 Logit-Normal 的时间步采样，并引入时间分布尺度修正因子 $\sqrt{(32 \times 32 \times 1536)/4096}$ 匹配有效噪声尺度，成功学习到宏观解剖结构、肿瘤浸润和间质分布的长程空间先验。

2. 渐进式分辨率流匹配图块生成器（BigCell tile）：奠定大感受野局部逼真度基石 底层的图块生成能力直接决定拼接后的组织质感与细胞细节。BigCell tile 采用 SiT-XL/2 架构（8.3 亿参数），在预训练 Flux-2 VAE 的潜在空间中运行，将 $2048 \times 2048 \times 3$ 的图像块压缩为 $256 \times 256 \times 32$ 的潜在张量 $z$。在模型内部，每个 block 均包含处理 UNI-2 条件网格（$8 \times 8 \times 1536$）的交叉注意力机制。为了稳定大尺度潜变量训练，模型采用渐进式训练策略，分辨率从 256、512、1024 逐步爬升至 2048 像素，并为 1024 与 2048 阶段配置了基于偏移调度（Shifted schedule, $\alpha=3$）的流匹配线性插值公式。2048 原生分辨率赋予了单窗口足够广阔的空间上下文，有效消除了小 patch 生成器在大图拼接时出现的宏观结构断裂与纹理重复。

3. 流匹配滑动窗口全局速度聚合：从局部流场到全局连续画布 针对远超原生训练分辨率的超大尺寸目标图像（如 $32,768 \times 32,768$ 像素），BigCell 将扩散模型的 MultiDiffusion 理论拓展至连续时间流匹配范式。设全局带噪潜在画布为 $x_t \in \mathbb{R}^{H \times W \times D}$，窗口提取算子为 $P_i x_t = x_t^i$。全局优化目标是寻找一个全局速度场 $v_t^*$，使得每个局部窗口截取的全局速度与图块生成器预测的局部速度 $v_t^i = v_\theta(x_t^i, t, c^i)$ 在加权最小二乘意义下误差最小： $$v_t^*(p) = \arg\min_{v_t(p)} \sum_i w^i(p)^2 \left(v_t(p) - v_t^i(p)\right)^2 = \frac{\sum_i w^i(p)^2 v^i(p)}{\sum_i w^i(p)^2}$$ 在实验中采用均匀加权 $w^i(p)=1$，即在全局潜在画布的任意重叠像素位置 $p$ 处，全局速度等于所有覆盖该位置的局部预测速度的算术平均值。随后，采样器执行确定性欧拉积分步进 $x_{t+\Delta t} = x_t + \Delta t \, v_t^*$。降噪完成后，仅需通过 VAE 解码器单次解码即可恢复出无缝拼接的高清像素全景。

4. 基于无分类器引导差异的自适应窗口调度：兼顾全局保真与3倍推理加速 在十亿像素（如 32k 分辨率）尺度下，单张图像由数百个重叠窗口组成，每一步迭代均对所有窗口执行前向计算开销极其庞大。作者洞察到：切片中的均匀背景区或均质间质形态简单，由无条件先验主导；而复杂的肿瘤边界、异型腺体区域则高度依赖条件网格引导。利用推理阶段常规计算的无分类器引导（CFG）信号，定义窗口 $(i,j)$ 在时间步 $t$ 的重要性评分为条件速度与无条件速度的 L1 差异范数： $$I_{ij}(t) = \left\| v_\theta(z_{ij}, t, y_{ij}) - v_\theta(z_{ij}, t, \emptyset) \right\|_1$$ 自适应调度算法仅需设定保留比例超参数 $r \in (0, 1]$：在首个时间步评估全切片所有窗口的 $I_{ij}(t)$；在后续每个时间步，仅对上一时间步评分最高的 Top-$r$ 窗口重新执行前向预测并刷新其速度与重要性，低重要性窗口则直接复用最近一次计算的历史缓存速度。该策略无需额外微调网络，在 $r=0.25$ 时即可将单张 32k 切片的生成耗时从 15.6 小时锐减至 4.97 小时，实现超过 3 倍的实际加速。

损失函数 / 训练策略¶

BigCell tile 与 CGM 均基于流匹配线性插值（Linear Interpolant）框架训练，采用速度预测目标（Velocity Prediction）： $$\mathcal{L}_{\text{FM}}(\theta) = \mathbb{E}_{t \sim p(t), x_0 \sim p_0, x_1 \sim p_1} \left[ \left\| v_\theta(x_t, t, c) - (x_1 - x_0) \right\|_2^2 \right]$$ 其中 $x_t = (1-t)x_0 + t x_1$ 为插值路径。优化器使用 AdamW，设置梯度截断为 1.0，并开启指数移动平均（EMA）与 10% 的 CFG 随机条件丢弃以支持引导采样。BigCell tile 在由 6 个数据集整合的 120,703 张 WSI（约 1600 万个 2048 像素图块）上分阶段训练，每个分辨率训练 1 个 epoch；CGM 则在 50 万对配对文本-特征网格上训练 40 个 epoch。

实验关键数据¶

主实验¶

在从测试集中独立抽取的 100 个 $8192 \times 8192$ 组织区域（ROIs）上，评估 BigCell 与现有 SOTA 病理图像生成模型在滑动窗口拼接下的生成质量。评估涵盖切片级特征相似度（TITAN、MOOZY）、图块级特征相似度（Virchow-2、H-Optimus-1 的均值及后 5% 分位数）以及非配对 Fréchet 距离（FD）。

生成器	TITAN↑	MOOZY↑	V2_mean↑	V2_5th↑	H1_mean↑	H1_5th↑	V2_FD↓	H1_FD↓
PixCell (1024)	0.941	0.900	0.778	0.632	0.667	0.509	1023	696
CytoSyn (224)	0.929	0.864	0.753	0.502	0.640	0.457	895	604
MuPaD (512)	0.646	0.755	0.462	0.258	0.342	0.196	981	641
LRDM	0.531	0.693	0.513	0.334	0.395	0.247	731	502
ZoomLDM	0.708	0.801	0.646	0.464	0.477	0.325	815	553
BigCell (本文)	0.956*	0.973*	0.869*	0.737*	0.735*	0.586*	907	621

注：* 表示相对于最佳基线经两配对双侧 Wilcoxon 符号秩检验达到 $p < 0.001$ 显著性差异。

消融实验¶

针对自适应计算调度的计算预算匹配分析（在 32k 分辨率下，对 256 张全景切片进行 NFE 与保真度权衡）：

计算配置	调度比例 $r$	等效 NFE	TITAN 相似度↑	V2_FD↓	H1_FD↓	单卡生成用时 (h)
全计算基准 (Full)	1.00	38,440	0.957	845	580	15.60
自适应调度 (Ours)	0.41	~16,000	0.954	852	589	~6.50
自适应调度 (Ours)	0.25	~11,000	0.951	860	598	4.97 (3.1× 加速)
减少步数基准 (Uniform)	- (少步数)	~11,000	0.885	1020	710	~5.00
自适应调度 (Ours)	0.05	~4,000	0.760	1180	830	~1.80
减少步数基准 (Uniform)	- (少步数)	~4,000	0.630	1450	1050	~1.80

在对下游少样本分类（Few-shot Classification）的数据增强验证中，利用 CGM 生成类一致性变体扩充训练集，在 PANDA（前列腺癌 ISUP 评级）与 TCGA-UT-8K 数据集上取得显著增益：在 PANDA $K=4$ 样本设置下，加权卡帕系数 $\kappa$ 从 0.493 跃升至 0.583（相对提升达 18.2%）；在 TCGA-UT-8K $K=1$ 单样本设置下，平衡准确率从 0.696 提升至 0.751。

在盲法病理学家图灵测试（3 位受试主治病理医生，每人 100 轮评估）中，判别合成切片为真实的概率高达 55%（真实切片判真率为 66%），总体识别准确率仅为 55.3%（95% CI: 50–61%，统计检验无显著差异，评委间一致性 Cohen's $\kappa=0.020$ 接近随机水平），且病理报告与切片的匹配准确率与真实切片持平（两者均为 0.57）。

关键发现¶

宏观一致性与原生分辨率紧密正相关：消融显示从 256 增加到 2048 像素训练分辨率，切片级与图块级相似度单调递增，但在 1024 之后边际收益收窄，而 4096 训练成本激增 12 倍，证明 2048 是算力与保真度的最佳平衡点。
长尾恶化率大幅降低：BigCell 在后 5% 图块相似度指标（V2_5th=0.737 vs PixCell 0.632）上提升尤为剧烈，表明大感受野图块能有效消除窗口边界处的接缝伪影与组织扭曲。
CFG 导向调度的非对称价值：在低算力配额下（NFE ≈ 4000），重要性调度较均匀步数缩减基线领先 0.13 的 TITAN 相似度，证实富含形态变异的组织区域获得了更充分的降噪优化。

亮点与洞察¶

免训练且物理透明的自适应推理机制：巧妙地将无分类器引导预测中的条件/无条件速度差值转化为局部的“结构复杂度评分”，在零额外网络参数的前提下动态分配推理算力，使十亿像素生成加速 3.1 倍。
解耦两阶段文本控制范式：不尝试让巨型图像生成器直接消化长篇报告，而是通过独立的 CGM 模型在紧凑的病理基础特征空间中“脑补”全切片拓扑蓝图，再交由图块生成器落地，成功化解了全切片尺度与复杂多模态长文本之间的优化冲突。
全尺度一致性赋能表征学习：验证了在切片尺度进行合成数据增强的优越性——局部的图块增强无法模拟肿瘤浸润等宏观长程空间结构，而整张切片级的一致变体能为下游 MIL 及全景分类器带来立竿见影的增益。

局限与展望¶

文本控制目前仅限于 8k 分辨率：受限于公开切片与高质量诊断报告配对样本的不足（超大尺寸配对区域急剧减少），CGM 仅训练在 $8192 \times 8192$ 尺度，尚未完全覆盖完整的 $32\text{k}+$ 原生玻片。
绝对计算开销依然较高：尽管提速 3 倍以上，单张 32k 图像在数据中心 GPU 上仍需约 5 小时，距离高通量实时临床推演和交互式示教仍有工程距离。
医学伦理与合规边界：极度逼真的合成病理图像若缺乏隐形数字水印或防伪溯源手段，在临床诊断归档中存在潜在的欺骗或误诊风险，当前仅能定位于学术科研与教学培训。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通病理图像从文本报告到十亿像素全切片的生成链路，提出了免训练的 CFG 速度场自适应加速。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多基础模型特征评测、盲法主治病理专家图灵测试、下游少样本任务验证及超算集群消融。
写作质量: ⭐⭐⭐⭐⭐ 论述清晰严谨，数学形式化推导完备，实验设计层次分明。
价值: ⭐⭐⭐⭐⭐ 解决了计算病理学长期存在的“切片生成与切片级诊断监督失配”核心痛点，为临床教学与数字孪生开辟了重要途径。