Extremely Sparse-View Computed Tomography from 2D Projections via Pose-Aware Diffusion Priors¶

会议: NeurIPS 2026
arXiv: 2610.38319
代码: https://github.com/OvO1111/xSV-CT
领域: 医学图像
关键词: 稀疏视角CT、投影域扩散模型、姿态感知先验、Radon值域条件、逆问题求解

一句话总结¶

提出针对极度稀疏视角CT（xSV-CT）的“稀疏训练/稀疏推理”范式，仅用每样本单张2D投影图训练多尺度姿态感知扩散先验，并在推理阶段通过共享体几何一致性与Radon变换值域物理约束联合引导采样，无需密集扫描3D体数据监督即可实现SOTA的新视角合成与高质量三维断层重建。

研究背景与动机¶

计算机断层扫描（CT）在临床诊断、术中导航和无损检测中不可或缺，但常规密集角度采集带来高昂的扫描耗时和潜在辐射损伤。在脊柱微创术中C型臂实时导航（仅允许3-8个视角）、动态心脏成像以及极度敏感的生物/文物标本无损扫描等关键场景中，成像条件被物理或安全边界严苛限制在少于10个、甚至仅单个投影视角，即极度稀疏视角CT（Extremely Sparse-View CT, xSV-CT）。然而，不仅测试阶段受限于超低剂量，在这些特殊的临床或科研场景下，建立包含密集扫描与预先完整重建的3D体数据体量庞大的训练集往往在物理或伦理上同样不可行。

这一双重约束暴露出当前主流稀疏视角CT方法的根本脱节：传统的无监督或单体优化方法（如解析FBP、代数迭代OS-SART以及基于NeRF/3DGS的隐式神经场）仅依赖测试样本自身的稀疏投影作为监督，虽然天然适配稀疏输入，但在1-8个视角下由于Fourier Slice Theorem导致的严重角度信息缺失，极度欠定性引发剧烈的条纹伪影和结构塌陷；另一侧基于深度学习的数据驱动方法（如深度展开、GAN或体素/切片域扩散模型）依赖强大的解剖学统计先验，但无一例外必须在大规模密集采集并预先高质量重建的3D体数据集上进行全监督训练，其训练先验完全脱离了目标极限稀疏采样的应用现实。

面对“训练集与推理期能否同时实现极限稀疏”的核心挑战，本文另辟蹊径将监督信号从完整的3D体下沉到投影域：单个2D投影虽然无法确定唯一的3D几何，但在大量不同受检者样本之间，成对的“采集角度-2D投影”能够刻画出符合物理投影流形的姿态条件化数据分布。核心 idea：仅利用每训练样本单张2D投影构建多尺度姿态感知扩散先验，在推理时通过反向扩散采样嵌入共享体几何重投影一致性与离散有限阶Radon值域物理替代约束，将单视角二维先验严密耦合为全局自洽的三维断层重建。

方法详解¶

整体框架¶

本文框架将xSV-CT逆问题解耦为“离线二维姿态条件先验学习”与“在线物理引导逆问题求解”两个协同阶段。在训练阶段，模型仅接收每样本单张2D投影及其扫描角度 $\theta_i$，通过正弦姿态位置编码和逐层多尺度交叉注意力机制，构建姿态感知的投影域去噪扩散概率模型（DDPM）；在推理阶段，面对给定的 $M$ 个极稀疏输入投影（如 $M\in\{1, 4, 8\}$），扩散采样器并行生成 $N$ 个未知新视角投影（默认 $N=180$），并在每步去噪中通过由几何连贯性损失（测量保真度、新视角协同与全变分正则）和基于Helgason-Ludwig值域条件（HLRC）的物理一致性损失构成的矫正器，协同优化潜变量投影，最终由标准反投影求解器完成高质量3D体重建。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["极稀疏输入投影与采集位姿<br/>M个观测视角 (1 / 4 / 8 views)"] --> B["多尺度姿态编码扩散先验<br/>正弦位姿编码与多层级跨注意力融合"]
    B --> C["扩散去噪步态采样<br/>预测当前纯净投影集合"]
    C --> D["共享体重投影几何连贯约束<br/>联合FBP反投影体与观测/新视角正投影对齐"]
    C --> E["离散有限阶Radon值域物理约束<br/>有限阶矩曲线傅里叶子空间最小二乘投影残差"]
    D --> F["自适应梯度引导更新<br/>Adam优化器引导反向扩散隐变量更新"]
    E --> F
    F -->|逐步去噪循环 t=T...1| C
    F -->|完成全部去噪| G["高质量密集正弦图与标准断层重建<br/>融合观测与生成投影输出全视角3D体"]

关键设计¶

1. 多尺度姿态感知投影域扩散先验：将扫描仪几何深度融入二维扩散骨干 由于X射线沿直线的衰减物理特性，平行束几何下互补视角（如 $0^\circ$ 与 $180^\circ$）具有镜像对称性，而相邻视角则呈现细微但关键的局部视差。为使2D扩散网络准确学习角度条件化投影统计分布，模型放弃将角度作为标量拼接，而是引入 $K$ 维正弦位姿编码： $$ \mathbf{z}_{i}[k] = \sin!\left((\lfloor k/2\rfloor + 1)\theta_i + |k\pi/2|\right) $$ 周期基底赋予网络平滑且对称可学习的角度坐标系。在此基础上，网络通过多尺度层级交叉注意力注入位姿信息：在U-Net中间深层（大感受野），交叉注意力促进位姿特征按解剖宏观结构聚类以消除大角度视角模糊；在浅层与输出层（小感受野），特征保持极高的局部角度敏感度与可分性。这种设计使纯2D网络仅依靠单样本单张投影，即可学会跨解剖结构的视角依赖分布。

2. 共享体重投影几何连贯约束：多路去噪链的三维流形对齐 在无约束情况下，独立并行的扩散采样容易生成解剖细节彼此冲突的切片，导致反投影三维体积发散。本文提出在每步去噪中，利用Tweedie估计得到的当前纯净投影 $\hat{\mathcal{P}}_t$ 与真实测量 $\mathcal{P}$ 联合构建中间全视角估计，通过近似逆算子 $\mathcal{A}_{\tilde{\boldsymbol{\theta}}}^\dagger$（平行/扇形束采用FBP，锥形束采用FDK）重建瞬时3D体 $\hat{\mathbf{y}}_{0|t}$，并设计几何连贯损失： $$ \mathcal{L}{\rm geo} = |\mathcal{P} - \mathcal{A}}}\hat{\mathbf{y}{0|t}|2^2 + |\hat{\mathcal{P}}t - \mathcal{A}}}}\hat{\mathbf{y}|2^2 + \mathcal{L}}(\hat{\mathbf{y}) $$ 测量保真项强制重建体积完全忠实于已知真实输入，新视角协同项则拉动所有生成的预测投影向同一共享三维体对齐，全变分项 $\mathcal{L}_{\rm TV}$ 抑制重投影高频伪影。该损失确保各视角生成过程不再孤立，而是受刚性3D几何投影流形约束。

3. 离散有限阶Radon值域物理约束：利用正弦图矩守恒消除物理违例 仅靠几何重投影容易受到算子近似反演误差的影响。本文引入连续Radon变换的Helgason-Ludwig值域条件（HLRC）作为可微物理代理。在固定高度切片 $z=Z$ 上，合法正弦图的 $n$ 阶矩曲线在角度展开中仅存在非零有限阶三角傅里叶系数，自由度被严格限制为 $n+1$。在采样每步，构造三角基底设计矩阵 $\mathbf{A}_0 \in \mathbb{R}^{N \times (n+1)}$，通过可微闭式最小二乘解析求解最佳投影系数： $$ \boldsymbol{\alpha}_0(Z) = (\mathbf{A}_0^\top \mathbf{A}_0)^{-1}\mathbf{A}0^\top \left(\int_t(r,\theta,Z)\,dr\right) $$ 物理一致性损失 }^1 r^n \hat{\mathcal{P}$\mathcal{L}_{\rm phy}$ 惩罚生成正弦图偏离该有限阶子空间的残差能量。这一纯投影域的物理守恒约束直接阻断了在局部结构上符合扩散先验、但在全局正弦图投影物理上不自洽的伪影模式。

损失函数 / 训练策略¶

训练阶段完全在2D投影域进行，采用标准DDPM均方误差损失预测噪声： $$ \mathcal{L}{\rm DDPM} = \mathbb{E}0,\boldsymbol{\epsilon}}|\,p\phi(\mathbf{x}_t;\theta_i, t) - \boldsymbol{\epsilon}\,|_2^2 $$ 训练在4张NVIDIA RTX Ada 6000 GPU上进行，使用AdamW优化器（初始学习率 $4\times 10^{-5}$，权重衰减 $10^{-5}$），批量大小为8/GPU，共训练300轮。在推理阶段，反向去噪过程采用Adam优化器更新潜变量 $\hat{\mathbf{x}}_t$，损失梯度组合为 $\nabla_{\hat{\mathbf{x}}_t}(\lambda_1 \mathcal{L}_{\rm geo} + \lambda_2 \mathcal{L}_{\rm phy})$，超参数设置为 $n=20$、$\lambda_1=10^{-2}$、$\lambda_2=1$。推理过程完全与输入视角数解耦，同一套预训练权重无缝支持1、4、8视角乃至任意位姿推理。

实验关键数据¶

主实验¶

在涵盖肺部平扫（CT-RATE，平行束模拟）与头部扫描（SinoCT，CatSim多能谱多色探测器扇形束模拟）的50例留出测试集上，针对1、4、8视角极度稀疏条件，与优化类方法（FBP、OS-SART、SAX-NeRF、R2-Gaussian、3DGR-CT）及3D密集监督深度学习方法（DiffusionMBIR、C2RV、DSDF）进行全面对比。

表1：全角度（180度空间）新视角合成质量定量对比

方法	训练监督类型	视角数	CT-RATE PSNR↑	CT-RATE SSIM↑	CT-RATE LPIPS↓	SinoCT PSNR↑	SinoCT SSIM↑	SinoCT LPIPS↓
FBP	无（解析）	1 / 4 / 8	7.2 / 10.1 / 11.3	0.15 / 0.13 / 0.29	0.50 / 0.48 / 0.48	10.6 / 11.5 / 12.2	0.28 / 0.39 / 0.42	0.52 / 0.48 / 0.43
OS-SART	无（迭代）	1 / 4 / 8	7.4 / 8.9 / 14.7	0.14 / 0.16 / 0.31	0.50 / 0.46 / 0.36	12.1 / 11.9 / 19.6	0.35 / 0.44 / 0.53	0.54 / 0.43 / 0.40
3DGR-CT	无（3DGS）	1 / 4 / 8	15.0 / 24.6 / 26.8	0.48 / 0.51 / 0.61	0.45 / 0.40 / 0.37	11.5 / 12.6 / 16.1	0.28 / 0.44 / 0.49	0.49 / 0.46 / 0.39
DiffusionMBIR	密集轴向切片	1 / 4 / 8	17.5 / 23.1 / 29.8	0.50 / 0.76 / 0.84	0.52 / 0.35 / 0.21	13.0 / 13.3 / 20.1	0.35 / 0.37 / 0.56	0.45 / 0.40 / 0.38
C2RV	密集3D体	1 / 4 / 8	20.5 / 27.8 / 33.5	0.74 / 0.89 / 0.94	0.32 / 0.25 / 0.24	17.4 / 17.8 / 22.8	0.51 / 0.58 / 0.67	0.49 / 0.42 / 0.39
DSDF	密集3D体	1 / 4 / 8	21.1 / 23.6 / 27.3	0.75 / 0.81 / 0.90	0.39 / 0.32 / 0.21	18.1 / 18.1 / 20.6	0.56 / 0.59 / 0.69	0.48 / 0.45 / 0.40
Ours	单张2D投影	1 / 4 / 8	23.1 / 32.8 / 36.3	0.80 / 0.93 / 0.95	0.34 / 0.23 / 0.17	19.6 / 24.3 / 25.7	0.63 / 0.74 / 0.77	0.43 / 0.38 / 0.34

表2：三维断层断层体重建质量定量对比

方法	训练监督类型	视角数	CT-RATE PSNR↑	CT-RATE SSIM↑	CT-RATE LPIPS↓	SinoCT PSNR↑	SinoCT SSIM↑	SinoCT LPIPS↓
FBP	无（解析）	1 / 4 / 8	7.4 / 8.0 / 9.6	0.12 / 0.19 / 0.23	0.55 / 0.53 / 0.54	11.7 / 11.7 / 13.0	0.34 / 0.38 / 0.39	0.54 / 0.45 / 0.43
OS-SART	无（迭代）	1 / 4 / 8	7.9 / 7.8 / 11.2	0.15 / 0.19 / 0.27	0.50 / 0.48 / 0.56	12.7 / 17.8 / 19.0	0.33 / 0.37 / 0.44	0.53 / 0.43 / 0.41
3DGR-CT	无（3DGS）	1 / 4 / 8	11.7 / 19.6 / 26.2	0.21 / 0.38 / 0.53	0.51 / 0.41 / 0.31	9.1 / 15.4 / 20.3	0.33 / 0.34 / 0.53	0.48 / 0.45 / 0.40
DiffusionMBIR	密集轴向切片	1 / 4 / 8	16.4 / 21.8 / 27.1	0.20 / 0.44 / 0.60	0.47 / 0.40 / 0.27	16.3 / 21.5 / 24.9	0.59 / 0.72 / 0.80	0.48 / 0.41 / 0.34
C2RV	密集3D体	1 / 4 / 8	11.0 / 23.3 / 26.6	0.28 / 0.50 / 0.64	0.54 / 0.39 / 0.25	13.3 / 19.6 / 25.9	0.63 / 0.71 / 0.76	0.50 / 0.45 / 0.38
DSDF	密集3D体	1 / 4 / 8	9.3 / 22.1 / 27.0	0.23 / 0.43 / 0.64	0.43 / 0.36 / 0.30	10.4 / 17.8 / 23.9	0.40 / 0.71 / 0.77	0.48 / 0.36 / 0.35
Ours	单张2D投影	1 / 4 / 8	21.1 / 24.5 / 28.6	0.46 / 0.51 / 0.69	0.41 / 0.32 / 0.27	16.4 / 20.0 / 25.2	0.66 / 0.70 / 0.80	0.47 / 0.36 / 0.34

消融实验¶

在8视角设置下，对模型各核心机制在50例测试集上的消融验证如下（表3）：

| 实验变体 | NVS PSNR (CT/Sino) | NVS SSIM (CT/Sino) | NVS LPIPS (CT/Sino) | Recon PSNR (CT/Sino) | Recon SSIM (CT/Sino) | Recon LPIPS (CT/Sino) | 说明 | |---|---|---|---|---|---|---| | 无姿态信息 (No pose) | 11.9 / 12.5 | 0.21 / 0.23 | 0.56 / 0.50 | 9.4 / 10.7 | 0.17 / 0.25 | 0.61 / 0.53 | 无法生成对齐视角的投影 | | 朴素交叉注意力 (Naive CrossAttn) | 24.5 / 20.2 | 0.40 / 0.45 | 0.48 / 0.47 | 11.5 / 15.6 | 0.33 / 0.39 | 0.41 / 0.50 | 缺乏对称性与周期先验 | | 无引导损失 (w.o. $\mathcal{L}_{\rm phy}, \mathcal{L}_{\rm geo}$) | 15.6 / 14.6 | 0.32 / 0.32 | 0.55 / 0.49 | 9.2 / 10.0 | 0.19 / 0.18 | 0.59 / 0.53 | 投影独立生成，误差严重累积 | | 无几何连贯损失 (w.o. $\mathcal{L}_{\rm geo}$) | 28.6 / 21.4 | 0.78 / 0.50 | 0.30 / 0.40 | 16.4 / 18.9 | 0.35 / 0.51 | 0.44 / 0.47 | 缺失与观测数据及3D体的对齐 | | 无物理值域损失 (w.o. $\mathcal{L}_{\rm phy}$) | 30.1 / 22.1 | 0.88 / 0.56 | 0.26 / 0.39 | 22.0 / 19.1 | 0.44 / 0.56 | 0.39 / 0.47 | 缺少连续Radon值域约束 | | 完整模型 (Ours full) | 36.3 / 25.7 | 0.95 / 0.77 | 0.17 / 0.34 | 28.6 / 25.2 | 0.69 / 0.80 | 0.27 / 0.34 | 双重约束联合引导最优 |

关键发现¶

双重引导缺失时性能崩塌：若去掉所有引导损失（w.o. $\mathcal{L}_{\rm phy}, \mathcal{L}_{\rm geo}$），重建PSNR暴跌至9.2 dB / 10.0 dB，直接复现了以往文献指出的“纯前向投影域扩散生成因缺少三维刚性约束导致误差在反投影中灾难性放大”的致命缺陷；而本文设计的 $\mathcal{L}_{\rm geo}$ 与 $\mathcal{L}_{\rm phy}$ 彻底逆转了这一瓶颈。
极限稀疏下的绝对优势：在1视角与4视角的极限设置下，本文重建PSNR比需要密集3D监督的SOTA回归模型（C2RV、DSDF）高出2-10 dB（CT-RATE 1视角下达21.1 dB vs DSDF 9.3 dB）。当视角数增加至16-64个标准稀疏区间时，各方法因几何信息充沛性能差距收敛，证明扩散先验正是填补极限稀疏信息鸿沟的核心推动力。
多随机种子可重复性与不确定度指示：跨4个随机种子的生成 $\ell_2$ 残差极低（8视角为 $0.96\times 10^{-3}$），且跨种子方差与真实误差高度相关（4视角Pearson相关系数 $r=0.60$），无需真实GT即可作为无监督的置信度图指导临床医生。
鲁棒性与伪影抑制：在模拟低剂量（25%光子剂量）下重建PSNR保持在25.0 dB；面对 $\pm 5^\circ$ 的位姿标定偏差仍达24.9 dB；在模拟强金属硬化伪影下，非金属区域比传统密集360视角FBP高出6.5 dB（27.7 dB vs 21.2 dB）。

亮点与洞察¶

训练/推理双稀疏范式的突破：颠覆了传统深度学习CT重建必须依赖密集扫描3D真实体监督的旧路径，首次确立了“单训练样本只需单张2D投影”的极简监督模式，攻克了辐射敏感活体和动态器官无法收集密集训练集的基础瓶颈。
离散有限阶Radon值域物理代理嵌入扩散采样：巧妙利用Helgason-Ludwig值域条件的稀疏频域性质，将无约束的图像生成约束在解析可微的Radon值域傅里叶系数空间，实现了生成模型自由度与经典层析物理守恒律的精确握手。
即插即用且视角度无关：模型训练无需固定视角数量与排列几何，推理时通过自适应能量引导即可处理单视角、非均匀分布或偶发缺失视角，单套权重即可通吃1到8视角。

局限与展望¶

推理耗时存在延迟：由于需要在扩散反向采样的每步求解多次可微前向/后向Radon变换及矩拟合，生成180个新视角并完成重建约需46分钟（$t \approx 10 + 0.2N$ 分钟），目前更适于异步术后分析，难以直接服务于超快实时术中闭环。
大角度区域先验依赖：离已知观测角度超过 $30^\circ$ 的区域，生成特征主要受数据先验驱动，在面对超出训练分布（OOD）的解剖异常（如罕见肿瘤变异）时可能产生模糊或形变。
投影几何适应范围：目前有限阶值域条件代理主要针对平行束及重排后的扇形束设计，拓展至复杂大角度锥形束和非共面轨迹仍需融入Grangeat条件等广义值域约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出训练与推理双稀疏的xSV-CT投影域扩散范式，巧妙融合Helgason-Ludwig值域物理与共享体重投影几何。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖CT-RATE平行束与SinoCT扇形束、1/4/8多视角、噪声消融、位姿偏差、固定剂量预算权衡及金属伪影实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，数学推导完备，问题解构与物理图景极为清晰。
价值: ⭐⭐⭐⭐⭐ 极大拓展了低剂量CT在术中导航、心脏成像与脆弱生物样本扫描中的临床与工程落地可行性。