CD-RCM: Generalizable Continuous-Depth Novel View Synthesis for Reflectance Confocal Microscopy¶
会议: NeurIPS 2026
arXiv: 2606.12635
OpenReview: https://openreview.net/forum?id=0WaapzByGt
领域: 医学图像
关键词: 反射式共聚焦显微镜、新视角合成、连续深度合成、各向同性重建、皮肤特定感知损失
一句话总结¶
针对活体皮肤反射式共聚焦显微镜（RCM）轴向采样稀疏导致的各向异性三维成像难题，提出首个面向 RCM 的前馈式连续深度新视角合成框架 CD-RCM，结合虚拟相机轴向平移几何建模与领域自适应皮肤感知损失，单次前馈实现亚秒级任意深度切片合成与各向同性组织重建。
研究背景与动机¶
早期皮肤病变诊断与精准分期依赖于观察组织微观结构随深度的细微演变，尤其是真皮-表皮交界处（DEJ）等关键解剖过渡带。反射式共聚焦显微镜（RCM）作为一种无创的原位光学活检技术，能够利用内源性反射光以接近组织病理学的高横向分辨率（约 0.5 μm）对活体皮肤进行逐层扫描。临床采集时，显微镜通常沿深度方向离散移动焦平面，形成一系列 en-face（切面）图像构成的 z-stack。然而，受光学切片厚度物理极限（约 3 μm）与临床采集速度权衡的制约，实际采集的切片间隔较宽，导致三维组织体积呈现强烈的各向异性（横向分辨率约为轴向分辨率的 6 倍），严重阻碍了临床医生从任意非 en-face 角度观察垂直横截面及连续解剖结构。
现有处理手段陷入两难困境：传统数值插值方法（如 B-样条、三次样条或高斯空间平滑）完全缺乏解剖学先验，沿深度方向容易产生明显的阶梯效应或严重过度平滑，从而抹杀高频细胞形态和散斑统计特征；而前沿神经渲染与新视角合成（NVS）方案主要建立在表面不透明物体的视差几何投影之上，或者像稀疏角度 CT 辐射场渲染一样高度依赖单场景迭代优化，不仅无法处理 RCM 从表层向深层递进时浅层组织信号衰减与光学遮蔽并存的轴向穿透物理，更因耗时漫长而无法泛化至未经优化的新患者。
本文的切入角度是：将 RCM 轴向光学切片过程抽象为具有固定朝向沿 z 轴纯平移的虚拟针孔相机，把任意未知深度建模为可连续查询的光线空间。核心 idea：将 RCM 轴向密集化形式化为前馈式连续深度新视角合成，利用无因果掩码的双向 Transformer 统一交互稀疏输入与目标 Plücker 光线 Token，并配合基于 DINOv3 领域微调的皮肤特定感知损失，在无需每样本迭代优化的前提下实现亚秒级连续深度切片合成。
方法详解¶
整体框架¶
CD-RCM 整体流程包括四个核心阶段：虚拟相机参数化与坐标规范化、输入与目标切片的光线 Token 编码、基于无因果掩码双向 Transformer 的跨深度特征交互、以及由微调特征提取器约束的感知损失监督。
系统输入为单次采集的稀疏 RCM 切片序列中的若干张已知 en-face 图像（例如首、中、尾 3 张切片），输出为任意连续目标深度 \(z_t\) 处的预测切片 \(\mathbf{\hat{I}}_t\)。整个网络采用纯前馈结构推理，单次前馈完成端到端合成，避免了测试期优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["稀疏 RCM 切片序列<br/>(已知深度聚焦图像)"] --> B["虚拟相机轴向几何建模<br/>纯 z 轴平移与 Plücker 光线嵌入"]
B --> C["分块投影与 Token 统一化<br/>图块+光线拼接线性映射"]
C --> D["双向 Transformer 交互解码<br/>24 层全局自注意力聚合跨深度关联"]
D --> E["目标深度切片重构<br/>线性投影与 Sigmoid 还原 2D 图像"]
E --> F["混合目标函数监督<br/>MSE + LPIPS + 皮肤特定感知损失"]关键设计¶
1. 虚拟相机轴向几何建模：将光学切片转换为光线空间平移 传统 NVS 依赖稠密多视角匹配估计外参，而 RCM 通过振镜光栅扫描激光束并经共聚焦针孔滤波成像，不同层图像具有几乎严格重合的横向视野（negligible lateral motion），差异几乎完全源自焦平面沿光轴的推进。针对这一独特的轴向物理特性，本文将 RCM 成像过程抽象为固定朝向沿 \(z\) 轴移动的虚拟针孔相机。切片 \(i\) 的相机中心设为 \(\mathbf{c}_i = [0, 0, z_i]^\top = [0, 0, i \cdot \Delta_z]^\top\)。由此推导出相机到世界坐标的逆变换矩阵：
为保证跨体积几何一致性与训练数值稳定性，系统计算每个 stack 内部相机平移均值 \(\bar{\mathbf{c}}\) 与无穷范数最大值 \(\mathbf{c}_\infty\)，将平移向量正则化为 \(\mathbf{c}_i \leftarrow (\mathbf{c}_i - \bar{\mathbf{c}}) / \mathbf{c}_\infty\)。相机内参矩阵 \(\mathbf{K}\) 则采用以图像中心为光心、焦距与分辨率成正比的虚拟针孔模型。这一设计赋予了无物理相机参数的光学切片严谨的几何基底，允许直接计算像素级 6 维 Plücker 光线嵌入 \(\mathbf{P}_i \in \mathbb{R}^{H \times W \times 6}\)。
2. 双向 Transformer 跨深度查询：解耦表面视差的体积化特征推理 不同于传统表面渲染只关注可见表面的射线积分，RCM 视锥穿透组织内部，浅层结构对深层信号产生衰减但非完全不透明遮挡。模型将输入图像 \(\mathbf{I}_i\) 与其对应的 Plücker 光线嵌入 \(\mathbf{P}_i\) 切分为非重叠的 \(p \times p\)（\(p=8\)）图像块，通道维度拼接后通过线性投影映射为维度 \(d=768\) 的输入 Token 序列 \(\mathbf{x}_K\)（序列长度 \(K = N \cdot H W / p^2\)）。对于任意查询的目标深度 \(t\)，仅根据其虚拟相机参数生成对应的 Plücker 目标 Token \(\mathbf{y}_L\)。将两者拼接为完整序列 \([\mathbf{x}_K, \mathbf{y}_L]\) 后送入包含 24 个自注意力块的 Decoder-Only Transformer。该架构不引入因果掩码，允许所有输入与目标 Token 自由进行全局双向注意力交互，通过 QK-Normalization 与自注意力机制直接从多层输入切片中提取深度依赖的细胞微观结构先验，最后仅提取更新后的目标 Token 经由线性层和 Sigmoid 激活还原出 \(p \times p\) 像素块并拼接回预测切片 \(\mathbf{\hat{I}}_t\)。
3. 皮肤特定感知特征损失：突破自然图像先验的微结构保真监督 基于自然图像预训练的传统感知损失（如 VGG-16 或标准 LPIPS）主要关注宏观语义轮廓，对共聚焦显微图像特有的细胞核反光、黑色素沉着、颗粒层网状结构以及散斑噪声极不敏感，单纯依赖均方误差（MSE）训练又极易诱发模糊预测。为了捕获微细组织纹理，本文利用大规模辅助 RCM 马赛克图像自监督微调 DINOv3 基础模型，通过 LoRA（秩为 16）微调其所有注意力投影层，构建领域自适应特征提取器 \(\phi_s(\cdot)\)。在训练中，冻结提取器权重，构造皮肤特定感知损失 \(\mathcal{L}_{\text{SPF}}\)：
该损失迫使模型在高层特征空间保留具有诊断价值的皮肤微观解剖形态与边界连续性。
损失函数 / 训练策略¶
CD-RCM 的整体训练目标结合了像素级光度重建精度与高阶多尺度感知保真度：
实验中超参数设为 \(\lambda = 0.5\) 与 \(\gamma = 0.05\)。训练阶段从每个 stack 采样 \(M=9\) 张连续切片，选取首、中、尾 3 张切片作为已知输入条件，随机抽取剩余切片中的 4 张作为合成监督目标。这种动态跨度采样策略打破了固定步长记忆，赋予模型连续深度内插能力。
模型采用粗到细的两阶段训练策略：在 4 张 NVIDIA A6000 GPU 上，首先以 \(256 \times 256\) 分辨率训练 20k 步（单卡 Batch Size 8），随后以 \(512 \times 512\) 分辨率微调 10k 步（单卡 Batch Size 4）。优化器采用 AdamW，峰值学习率 \(4 \times 10^{-4}\)，配合 2000 步线性预热与余弦退火衰减，并引入 FlashAttention-v2 与 BF16 混合精度训练加速。
实验关键数据¶
主实验¶
在由 216 个活体 RCM 独立 stack（156 个用于训练，60 个用于测试评估）构成的数据集上，将 CD-RCM 与医学图像处理中常用的经典插值基线进行量化评估。评估指标包括峰值信噪比（PSNR）、结构相似性（SSIM）、高阶感知损失（LPIPS）以及所提皮肤感知特征误差（\(\mathcal{L}_{\text{SPF}}\)）。
| 方法 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | \(\mathcal{L}_{\text{SPF}}\) ↓ |
|---|---|---|---|---|
| B-Spline Interpolation | 22.02 | 0.471 | 0.375 | 0.161 |
| Cubic Spline Interpolation | 22.09 | 0.469 | 0.378 | 0.163 |
| Gaussian Interpolation | 22.87 | 0.522 | 0.477 | 0.164 |
| CD-RCM (本文) | 23.36 | 0.581 | 0.314 | 0.145 |
消融实验¶
在 \(256 \times 256\) 分辨率（训练 20k 步）下，对不同损失函数组合及 \(\mathcal{L}_{\text{SPF}}\) 的设计架构进行消融验证（均包含 \(\mathcal{L}_{\text{MSE}}\) 作为基底）：
| 训练目标配置 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | \(\mathcal{L}_{\text{SPF}}\) ↓ | 说明 |
|---|---|---|---|---|---|
| \(\mathcal{L}_{\text{MSE}} + \mathcal{L}_{\text{LPIPS}}\) | 21.60 | 0.480 | 0.343 | 0.273 | 仅常规感知损失，纹理细节保留差 |
| \(\mathcal{L}_{\text{MSE}} + \text{Johnson et al. (VGG)}\) | 22.56 | 0.547 | 0.386 | 0.258 | 传统 VGG 感知损失 |
| \(\mathcal{L}_{\text{MSE}} + \mathcal{L}_{\text{LPIPS}} + \text{Johnson et al.}\) | 22.65 | 0.567 | 0.329 | 0.216 | 组合标准感知损失 |
| \(\mathcal{L}_{\text{MSE}} + \mathcal{L}_{\text{LPIPS}} + \mathcal{L}_{\text{SPF}}\text{ (multi-feature)}\) | 22.39 | 0.522 | 0.338 | 0.246 | 多层特征抽取变体，约束分散 |
| \(\mathcal{L}_{\text{MSE}} + \mathcal{L}_{\text{LPIPS}} + \mathcal{L}_{\text{SPF}}\text{ (本文式 9)}\) | 23.35 | 0.597 | 0.288 | 0.172 | 完整模型，单层 MAE 皮肤感知损失最优 |
关键发现¶
- 显著超越传统插值：高斯插值虽然通过空间平滑压低了方差并取得次优的 PSNR（22.87 dB），但平滑过程严重破坏了微细结构，导致其 LPIPS 恶化至 0.477；CD-RCM 成功兼顾光度精度与感知高频，PSNR 达到 23.36 dB，SSIM 达到 0.581，LPIPS 降至 0.314。
- 皮肤特定损失的决定性价值：消融表明，仅采用标准 LPIPS 时模型在医学微结构上表现疲软；引入针对皮肤显微成像微调的 \(\mathcal{L}_{\text{SPF}}\) 后，PSNR 较 LPIPS 基线提升 1.75 dB，SSIM 提升 0.117，感知误差降幅超过 37%。
- 单层 vs 多层感知特征：对比类 VGG 多层特征拼接，基于 DINOv3-LoRA 的末层均值特征 MAE 展现出更精准的高层微观语义对齐能力，多层变体反而因浅层低级特征过大约束而导致指标全面下降。
亮点与洞察¶
- 将显微轴向步进优雅映射为光线渲染几何：敏锐抓住 RCM 扫描横向平移极小、仅轴向纯推进的成像特性，将其规范化为无畸变虚拟相机平移模型，成功打通了三维神经视角合成 Transformer 与显微穿透切片重建之间的技术鸿沟。
- 零迭代优化的高效前馈推理：彻底摆脱传统 NeRF / 3DGS 逐场景迭代耗时的弊端，在单张 A6000 上实现 10 倍轴向切片密集化仅耗时 0.8 秒，使活体皮肤各向同性体渲染与任意倾角虚拟切片达到临床实时交互水平。
- 可复用的生物显微感知监督范式：利用自监督视觉大模型（DINOv3）配合 LoRA 在专有生物光学领域做轻量自适应，构建契合细胞尺度散斑与灰度反射对比的专用特征度量，为其他显微光学超分辨率与补全任务提供了极具参考价值的损失设计方案。
局限与展望¶
- 预处理配准依赖：活体成像受患者呼吸与微小肌肉抖动影响，目前依赖 SIFT 仿射配准进行切片对齐；若未完全校准，残余抖动可能导致合成层发生几何伪影。
- 数据多样性覆盖有限：当前仅在 216 组来自 20–50 岁健康志愿者的正常皮肤（手臂与躯干）数据上完成验证，病理肿瘤组织、老年皮肤及特殊解剖部位的泛化能力尚待临床大规模验证。
- 大视场马赛克与多模态拓展：未来工作拟将该前馈架构扩展至多深度拼接的大面积连续 RCM 镶嵌图（Mosaic），并探索适配线场共聚焦光学相干断层扫描（LC-OCT）等其他轴向切片成像模态。
相关工作与启发¶
- vs LVSM (Jin et al., 2025)：LVSM 针对表面具有几何视差的不透明场景，通过相机外参变化合成多视角；CD-RCM 借鉴其 Decoder-Only Transformer 主干，但重构了几何先验，专门针对 RCM 轴向逐层穿透与组织半透明遮蔽特性建模。
- vs 辐射高斯体渲染 / CT 重建 (Cai et al., 2024; Li et al., 2025)：CT 采用多角度 X 射线投影反投影，需针对单例反复优化场参数；CD-RCM 面向单向光学层切成像，通过前馈网络直接内插任意深度，具备患者间免优化泛化能力。
- vs 传统显微样条插值 (Lehmann et al., 2002)：传统样条插值仅做一维或空间强度过渡，缺乏组织先验；CD-RCM 学习了人体分层结构的深层表征，生成具有生物学合理性的细胞级中间切片。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ (首个将前馈式 NVS 架构系统性迁移并适配至 RCM 轴向光学切片与连续深度合成任务，虚拟相机建模切合物理实际)
- 实验充分度: ⭐⭐⭐⭐☆ (涵盖 216 个活体样本评估、经典医学基线详实对比及深入的多重感知损失消融，定性断面剖析直观)
- 写作质量: ⭐⭐⭐⭐⭐ (问题阐述逻辑清晰，数学表达简洁严谨，图表结构完整且技术动机交代透彻)
- 价值: ⭐⭐⭐⭐☆ (打破 RCM 轴向各向异性瓶颈，赋能近组织病理级任意断面实时虚拟观察，对皮肤癌无创筛查极具临床赋能前景)