Neuromorphic X-ray Computed Tomography¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://wanghongjian98.github.io/projects/neuroxct/
领域: 医学图像
关键词: 神经形态感测、X射线CT、隐式神经表示、稀疏视角重建、事件相机

一句话总结¶

首次将神经形态事件相机引入 X 射线计算机断层扫描（CT），提出事件增强神经衰减场（ENAF），联合利用稀疏投影的绝对尺度与事件流的高时频角向变化信息，显著消除极少视角下的伪影并大幅提升重建细节与效率。

研究背景与动机¶

X 射线计算机断层扫描（CT）是无损探测物体内部三维结构的基石技术，在医学诊断、材料科学与工业无损检测中不可或缺。高质量三维体素重建通常依赖密集角向采样及充分的曝光时间。然而在实际成像场景中，临床医疗往往为了规避辐射剂量危害必须大幅减少投影曝光，而高能同步辐射 CT 为了捕捉极快动态物理过程亦必须在极短时间内完成扫描。这两种严苛条件均使 CT 重建陷入极度稀疏视角（sparse-view）或少视角测量体制，由于投影角度严重欠采样，逆问题呈现高度病态性。

现有的稀疏视角重建方案主要依赖基于物理先验的迭代算法（如 SART）或基于隐式神经表示（INR）的学习方法（如 NAF、SAX-NeRF）。尽管神经衰减场等连续隐式表示相较经典解析算法（FDK/FBP）取得了显著的纹理恢复提升，但这些基于传统帧相机的纯强度方法在测量端受限于奈奎斯特采样定律：均匀时间间隔的帧曝光在角度变化剧烈时发生严重的时序混叠，而在缓慢变化区域又产生冗余开销。信息在探测器物理捕获阶段的缺失，从根本上锁死了算法端单靠几何或数据正则化能挽回的精度上限。

与固定间隔曝光的传统帧相机不同，神经形态事件相机以微秒级时间分辨率异步记录单个像素对数强度的相对动态变化，具备超过 120 dB 的超高动态范围和极低时间冗余。在物体绕轴旋转的 CT 采集过程中，穿透衰减场的瞬态投影变化能被事件相机以连续事件流的形式精细捕获。核心 idea：将神经形态事件传感引入 X 射线断层扫描，构建事件增强神经衰减场（ENAF），将稀疏静态投影提供的绝对衰减基准与微秒级事件流在任意角向区间累积的对数强度增量相耦合，通过归一化空间模式监督联合优化连续三维体素场，从物理感知层面终结稀疏视角的角向欠采样困境。

方法详解¶

整体框架¶

ENAF 的输入包含两个互补模态：在离散等距角度采集的稀疏强度投影集合，以及旋转全周期内伴随产生的微秒级异步事件流。输出为三维空间内连续的体素吸收衰减场 $f_\Phi(\mathbf{x})$。

整个系统分为空间场参数化、体素连续射线穿透投影积分、以及双模态联合优化三大步骤：首先利用多分辨率哈希网格编码与轻量级 MLP 参数化连续衰减场；对于任意投影角度，沿穿透射线进行数值积分渲染出合成投影；在监督阶段，模型沿固定采样角度计算常规投影绝对误差，同时在时序上随机采样角向时间窗口 $[t_a, t_b]$，将累积事件流积分得到的二维角向增量图与网络渲染的两角投影差分进行归一化模式匹配，驱动神经衰减场收敛。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["三维空间射线采样点 x"] --> B["多分辨率哈希神经衰减场<br/>哈希编码 + 紧凑MLP"]
    B --> C["数值积分射线投影<br/>渲染预测投影及差分"]
    C --> D["双路监督与一致性优化"]
    D -->|常规采样角度| E["投影一致性损失 L_proj<br/>锚定全局绝对衰减刻度"]
    D -->|随机角向区间 ta 到 tb| F["尺度解耦归一化事件损失 L_event<br/>对齐高频角向对数差分"]

关键设计¶

1. 多分辨率哈希神经衰减场：空间自适应的高效体素参数化

传统密集网格或高斯体素在少视角下自由度过高容易导致过拟合伪影，而纯坐标 MLP 收敛缓慢。ENAF 采用多分辨率哈希编码结合浅层多层感知机来参数化三维未知衰减场 $f_\Phi(\mathbf{x}) = \text{MLP}(\gamma(\mathbf{x}); \Phi)$。沿着探测器像素 $(x, y)$ 在角度 $\theta$ 的 X 射线路径 $\mathbf{x}(s) = \mathbf{o} + s\mathbf{d}$，系统通过离散步长 $\Delta s$ 沿射线离散采样 $S$ 个空间点，采用比尔-朗伯特定律的离散求和形式近似线积分投影： $$ \hat{A}\theta(x, y) = \int)\,\Delta s $$ 该设计以极低的显存开销保障了可微投影反向传播的连续性与体素空间分辨率，为后续跨角度可微差分渲染奠定了计算基石。}} f_\Phi(\mathbf{x})\,ds \approx \sum_{k=1}^S f_\Phi(\mathbf{o} + s_k \mathbf{d

2. 异步事件区间累积与角向增量建模：物理对齐的衰减差分表征

事件相机触发的物理机制依赖对数光强跃迁：当单个像素在相邻时间点的对数强度变化累积达到预设对比度阈值 $C$ 时，触发极性 $p_k \in \{-1, +1\}$ 的事件。根据 X 射线衰减的比尔-朗伯定律，透射强度 $I_\theta(x, y) = I_0 \exp(-A_\theta(x, y))$，因此对数强度的差分与线积分投影衰减的差分存在严格的反比物理对应：$\log I_{\theta_b} - \log I_{\theta_a} = A_{\theta_a} - A_{\theta_b}$。针对这一物理特性，ENAF 避免逐个微秒事件进行刚性对齐，而是随机采样时间窗口 $[t_a, t_b]$（对应旋转角 $\theta_a$ 与 $\theta_b$），将该窗口内各像素触发的极性累加为稠密累积事件图： $$ E_{a,b}(x, y) = C \sum_{e_k \in \mathcal{E}_{a,b}(x, y)} p_k $$ 通过使渲染差分 $\Delta \hat{A}_{a,b} = \hat{A}_{\theta_a}(x, y) - \hat{A}_{\theta_b}(x, y)$ 与 $E_{a,b}(x, y)$ 形成物理对齐，有效捕捉了离散稀疏帧之间遗漏的高频角向动态演变。

3. 尺度解耦的归一化空间模式监督：规避对比度阈值标定误差

在真实物理硬件中，神经形态相机的制造工艺偏差、热漂移与感光暗噪声使得实际对比度阈值 $C$ 在空间与时间上均存在微小扰动与未知缩放。若直接使用绝对差值 $L_2$ 损失监督，误差会直接劣化体素数值精度。为此，ENAF 引入余弦/L2 归一化的均方误差损失，解耦绝对幅值、强力对齐二者的空间几何梯度拓扑模式： $$ \mathcal{L}{\mathrm{event}}(\theta_a, \theta_b) = \left| \frac{\Delta\hat{A}}}{|\Delta\hat{A{a,b}|_2 + \epsilon} - \frac{E \right|_2^2 $$ 该设计彻底免除了复杂耗时的硬件逐像素灵敏度绝对标定过程，即使在事件阈值估计存在系统性漂移时，依然能可靠地将事件流中的高频空间边缘信息注入到体素场中。}}{|E_{a,b}|_2 + \epsilon

损失函数 / 训练策略¶

网络参数 $\Phi$（包含哈希网格特征向量与 MLP 权重）通过联合优化目标进行端到端训练： $$ \mathcal{L}(\Phi) = \mathbb{E}{\theta_n \sim \mathcal{P}\Theta}[\mathcal{L}{\mathrm{proj}}(\theta_n)] + \lambda_e \mathbb{E}E}[\mathcal{L}(\theta_a, \theta_b)] $$ 其中，投影损失 }$\mathcal{L}_{\mathrm{proj}}(\theta_n) = \|\hat{A}_{\theta_n} - A_{\theta_n}\|_2^2$ 约束稀疏视角处的绝对衰减量，确保重建结构的灰度准确与宏观几何稳定；事件损失 $\mathcal{L}_{\mathrm{event}}$ 则在连续角向区间提供稠密差分约束，$\lambda_e$ 调节两者平衡。模型使用 Adam 优化器，初始学习率 $1 \times 10^{-3}$，前 1,500 epoch 线性衰减至 $1 \times 10^{-4}$，共训练 3,000 epoch；批大小设为 1,024 条射线，单张 NVIDIA H100 GPU 即可快速收敛。

实验关键数据¶

主实验¶

论文在四套典型人体解剖解剖结构（Chest, Abdomen, Foot, Jaw）合成数据集以及真实世界同步辐射微纳结构数据集上进行了全面评估。下面展示合成解剖数据集在极少视角（5、10、25、50 views）下与传统解析法（FDK）、迭代代数法（SART）和 SOTA 神经场方法（NAF、SAX-NeRF）的定量对比（PSNR [dB] / SSIM）：

数据集	视角数	FDK	SART	NAF	SAX-NeRF	ENAF (本文)	提升 (vs 最佳基线)
Chest	5 views	12.59 / 0.2082	19.83 / 0.5787	17.75 / 0.5157	20.52 / 0.6498	29.79 / 0.9330	+9.27 dB / +0.2832
	10 views	16.66 / 0.3651	23.42 / 0.7347	24.75 / 0.7965	25.53 / 0.8240	31.10 / 0.9479	+5.57 dB / +0.1239
	25 views	21.82 / 0.6208	28.15 / 0.8955	29.62 / 0.9168	30.46 / 0.9291	32.58 / 0.9622	+2.12 dB / +0.0331
	50 views	22.89 / 0.7861	32.17 / 0.9594	33.50 / 0.9667	34.26 / 0.9701	34.57 / 0.9750	+0.31 dB / +0.0049
Abdomen	5 views	12.19 / 0.1674	23.10 / 0.7246	21.42 / 0.6886	24.10 / 0.8005	29.14 / 0.8851	+5.04 dB / +0.0846
	10 views	15.62 / 0.2797	25.12 / 0.7885	24.80 / 0.7690	26.62 / 0.8462	30.23 / 0.9038	+3.61 dB / +0.0576
	25 views	19.20 / 0.4623	28.26 / 0.8598	29.53 / 0.8671	31.06 / 0.9192	32.76 / 0.9368	+1.70 dB / +0.0176
	50 views	22.63 / 0.6030	31.40 / 0.9170	34.69 / 0.9544	34.95 / 0.9589	35.11 / 0.9584	+0.16 dB / -0.0005
Foot	5 views	11.79 / 0.1593	22.67 / 0.7100	24.29 / 0.8357	23.65 / 0.8326	30.02 / 0.9105	+5.73 dB / +0.0748
	10 views	15.20 / 0.2371	24.34 / 0.7930	26.59 / 0.8703	26.74 / 0.8737	30.78 / 0.9223	+4.04 dB / +0.0486
	25 views	20.22 / 0.4141	27.26 / 0.8768	30.14 / 0.9135	30.32 / 0.9170	31.70 / 0.9330	+1.38 dB / +0.0160
	50 views	24.53 / 0.6000	30.29 / 0.9296	31.82 / 0.9347	32.25 / 0.9404	32.45 / 0.9409	+0.20 dB / +0.0005
Jaw	5 views	15.49 / 0.1288	24.80 / 0.7091	24.99 / 0.6869	25.12 / 0.7017	31.88 / 0.9026	+6.76 dB / +0.1935
	10 views	18.68 / 0.2496	26.04 / 0.7428	26.87 / 0.7581	27.41 / 0.7764	33.16 / 0.9267	+5.75 dB / +0.1503
	25 views	23.71 / 0.5386	29.07 / 0.8447	30.37 / 0.8629	31.39 / 0.8922	34.66 / 0.9467	+3.27 dB / +0.0545
	50 views	28.58 / 0.7816	33.13 / 0.9301	34.37 / 0.9398	35.34 / 0.9510	35.54 / 0.9530	+0.20 dB / +0.0020

在瑞士光源（SLS）TOMCAT 线站采集的真实金属点阵（Lattice）结构实验中，ENAF 仅用 5 帧真实投影结合 Prophesee EVK4 事件数据，便清晰复原出微纳米点阵网格的锐利边界与节点连通性，而同等设置下的 FBP、SART 和 NAF 均被严重条状伪影与模糊破坏。

消融实验¶

论文在 Chest 数据集（5 views 极限设置）上开展了对事件流噪声与时间抖动的鲁棒性消融分析：

噪声扰动类型	噪声强度设定	PSNR (dB)	SSIM	说明
无噪声基准	Clean	29.79	0.9330	理想模拟事件流输入
时间抖动 (Jitter $t_{\max}$)	低 (1.0 ms)	29.78	0.9328	引入微秒时钟偏移，PSNR 仅微降 0.01 dB
	中 (5.0 ms)	29.66	0.9312	时钟抖动放大 5 倍，指标保持高度稳健
	高 (10.0 ms)	29.49	0.9294	达到 10 ms 强抖动，PSNR 仅降低 0.30 dB
虚假随机事件 (Spurious Ratio)	低 (10%)	29.77	0.9322	额外添加 10% 随机椒盐伪事件
	中 (20%)	29.73	0.9316	伪事件增至 20%，降幅仅 0.06 dB
	高 (50%)	29.62	0.9292	虚假噪声高达原事件量 50%，PSNR 仅降 0.17 dB

此外，纯事件监督（Event-only）消融显示：模型仅凭 $\mathcal{L}_{\mathrm{event}}$ 能恢复出物体内部轮廓结构，但因缺乏低频基准存在整体灰度漂移；一旦加入极少静态投影，绝对衰减即可与相对轮廓完美互补。

关键发现¶

极少视角收益呈量级爆发：在 5-view 极限欠采样下，ENAF 带来的提升最震撼（Chest 上超越纯帧 SOTA SAX-NeRF 达 9.27 dB，超越基线 NAF 达 12.04 dB），表明微秒级事件流在帧间隔空隙处填补了至关重要的连续动态导数信息。
区间累积机制赋予超强抗噪性：消融证明 ENAF 对时间抖动与离散空间噪声极其钝感。由于其监督粒度建立在角向时间窗口 $[t_a, t_b]$ 的积分累积图上，空间随机虚假事件在加和平均中被自然抵消，10 ms 的时间偏移亦未跨出窗口主有效区间。
显著超越常规计算效率瓶颈：在训练时间与收敛表现上，ENAF 仅需 5 分钟（5 帧）即可达到约 30 dB PSNR，而 SAX-NeRF 耗时超过 60 分钟且需要 25 帧才能勉强达到相近精度，数据与算力综合利用效率大幅跃升。

亮点与洞察¶

模态互补的物理优雅性：将比尔-朗伯特定律对数差分与事件相机的对数强度阈值模型形成一一映射，构建了首个将神经形态硬件用于 3D 穿透断层重建的严格物理闭环。
免标定的归一化空间模式设计：通过对投影差分与累积事件图施加 L2 模式归一化，巧妙化解了工业级事件相机硬件阈值难以绝对标定和存在热漂移的落地瓶颈。
跨领域启发：该架构将离散帧的绝对锚定与连续事件的差分积分联合优化的思路，可以直接推广至动态心血管 DSA 成像、中子断层扫描、以及高速工业无损探伤等极限低剂量或瞬态 3D 重建任务中。

局限与展望¶

真实实验样本类型较单薄：目前真实实验验证仅限于瑞士光源 TOMCAT 线站采集的单套纳米金属点阵样本，尚未涵盖复杂人体活体软组织或致密工业多组分复合材料。
动态器官形变未予建模：目前物理前向模型建立在物体刚体匀速旋转的静态假定上，未显式处理心脏搏动或呼吸引起的非刚体形变。
未来改进方向：可进一步结合神经形变场（Deformable NeRF/4D CT），利用事件相机高达数千帧等效的微秒分辨率直接重构毫秒级 4D 动态断层演化过程，并设计带有严格放射剂量计评估的低剂量临床协议。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出神经形态 X 射线断层扫描体系，打通了穿透物理模型与事件异步积分的理论闭环。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大解剖合成集、严谨噪声敏感性分析、以及真实的瑞士同步辐射线站微纳米结构硬件采集验证。
写作质量: ⭐⭐⭐⭐⭐ 物理推导严谨自洽，方法与图表条理清晰，实验对比扎实详尽。
价值: ⭐⭐⭐⭐⭐ 为超低剂量医疗 CT 和毫秒级工业动态断层无损检测开辟了极具前景的软硬件协同新范式。