Spatiotemporal Flux Probing for Single-Photon Videography¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://jerukan.github.io/spt-flux-probing
领域: 图像恢复
关键词: 单光子成像 / 高速摄影 / 时空通量探测 / 速度选择性成像 / 傅里叶分析

一句话总结¶

本文提出时空光子通量探测理论（Spatiotemporal Flux Probing），摆脱了以往依赖局部时空窗口或独立单像素的限制，通过全局 3D 傅里叶基函数直接从极稀疏异步光子流中估计连续通量的频谱并利用恒虚警率（CFAR）统计检测显著频率，以 10× 至 30× 更低的光子预算联合恢复超高速动态运动与高频照明调制，并实现了无需预设运动方向的速度选择性重聚焦摄像。

研究背景与动机¶

单光子雪崩二极管（SPAD）阵列与单光子探测器能够记录单光子到达的皮秒级时间戳或高帧率二值探测事件，为突破传统相机的曝光与运动模糊限制提供了全新可能。然而，在超高速摄影（如 100 kfps）或极低光照场景下，曝光时间窗极短，光子到达在空间与时间上均呈极端稀疏状态（每个像素平均仅能捕获 0.001 到 0.059 个光子）。在此物理极限下，如何从离散、随机、异步的微弱光子事件流中可靠地恢复出剧烈变化的场景连续光子通量（Spatiotemporal Flux $\phi(x, y, t)$），是计算摄像领域的核心难题。

现有单光子视频重建方法大多受限于“局部时空聚合”的基本假设。以 Quanta Burst Photography（QBP）为代表的时空池化方法以及深度去噪模型（如 bit2bit），依赖于在局部空间窗口或沿估计的运动轨迹上聚合光子；当光子极端稀疏且场景存在高频照明调制（如 120 Hz 交流日光灯或数十 kHz 的脉冲调制光源）时，局部窗口内几乎没有足够光子构建可靠的均值估计，去噪先验往往将时间调制抹平成空间平滑伪影。另一方面，单像素超宽带通量探测方法（UWB）虽能通过估计单像素时间戳的傅里叶系数恢复兆赫兹级的时间变化，却完全忽略了空间相关性；当场景物体快速运动划过像素时，单像素通量表现为超高时域带宽的脉冲阶跃信号，单像素模型在此欠采样条件下彻底崩溃。两者均无法兼顾超快运动与超快照明调制。

面对这一困境，本文指出：即使在单光子极端稀疏的极端极限下，关于场景宏观运动与照明调制的完整物理信息，仍然隐式编码在光子在全时空域到达事件的全局空间-时间相关性之中。核心 idea：将通量探测推广至全局 3D 时空流形，基于非齐次泊松过程鞅噪声统计特性，利用正交 3D 傅里叶基函数直接对全时空光子流进行相量投影累加，经恒虚警率（CFAR）检验提取显著频谱系数，并利用运动在时空频域形成的平面约束实现无监督的速度选择性重聚焦视频重建。

方法详解¶

整体框架¶

光子到达传感器的物理过程被建模为以时空光子通量率 $\phi(x, y, t)$ 为强度的 3D 非齐次泊松点过程（Inhomogeneous Poisson Process）。在观测体积 $\Omega = [0, w] \times [0, h] \times [0, t_{\text{exp}}]$ 内，传感器记录离散探测事件流 $\mathcal{P} = \{(x_i, y_i, t_i)\}_{i=1}^N$。时空通量探测的核心思想是引入一组预定义或待测的确定性连续时空探测函数 $p(x, y, t)$，通过离散光子相量求和直接无偏估计连续通量与探测函数的内积 $\langle p, \phi \rangle$，进而完成频谱恢复与运动解析。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入光子事件流<br/>SPAD / 脉冲 / 事件相机"] --> B["3D 傅里叶基探测<br/>离散光子相量投影求和"]
    B --> C["CFAR 频谱检测<br/>卡方分布检验滤除泊松霰弹噪声"]
    C --> D["逆傅里叶级数重建<br/>恢复连续时空通量与超高帧率视频"]
    C --> E["速度平面检测与聚焦<br/>频域斜面滤波与频谱剪切"]
    E --> F["输出速度选择性视频<br/>选定目标聚焦/其余运动模糊"]
    D --> G["输出多模态重建流<br/>100 kfps 视频与高频频闪联合恢复"]

关键设计¶

1. 3D 傅里叶基探测与鞅噪声统计建模：建立全局离散光子与连续频谱的无偏映射

传统方法在局部窗口内数光子，而本文基于连续随机点过程理论，将离散探测集合 $\mathcal{P}$ 对连续探测函数 $p(\mathbf{x})$ 的响应定义为探测测量 $E = \sum_{\mathbf{x}_i \in \mathcal{P}} p(\mathbf{x}_i)$。作者证明该离散求和精确分解为确定性的通量投影积分与一个由泊松霰弹噪声诱导的零均值鞅过程（Martingale Process）： $$E = \int_{0}^{t_{\text{exp}}} \int_0^h \int_0^w p(x, y, t) \phi(x, y, t) \, dx \, dy \, dt + M_p(t_{\text{exp}})$$ 在全局时空体积 $\Omega$ 上选用归一化的 3D 复指数傅里叶基函数 $p_{\mathbf{f}}(\mathbf{x}) = \frac{1}{\sqrt{v}} e^{-j 2\pi \mathbf{f}^\top \mathbf{x}}$（其中 $v = wh t_{\text{exp}}$ 为时空观测总体积），探测测量 $E_{\mathbf{f}} = \frac{1}{\sqrt{v}} \sum_{\mathbf{x}_i \in \mathcal{P}} e^{-j 2\pi \mathbf{f}^\top \mathbf{x}_i}$ 本质上是对所有光子相位矢量的全局相干求和。当通量 $\phi$ 中真实存在该频率成分时，光子事件在相位上发生相干叠加使 $|E_{\mathbf{f}}|$ 显著增大；而对于缺失频率，光子相位均匀分散而相互抵消。这一机制使得每一个捕获的光子都在全局尺度上为频率估计做出贡献，在极低光子数（低至几十个光子）下仍能保持大数定律与中心极限定理所保障的复高斯分布特性。

2. 恒虚警率（CFAR）显著频率检测：严谨剔除泊松噪声虚警

由于泊松霰弹噪声的随机波动，即使在通量完全不含某频率 $\mathbf{f}$ 时，相量求和模长 $|E_{\mathbf{f}}|$ 仍具有非零方差。为在无先验假设下精确分离真实信号与随机噪声，本文推导了零假设（该频率下无信号，即 $\mu_{\mathbf{f}} = 0$）下归一化探测能量的理论分布。作者指出实部与虚部在零假设下服从独立同分布的高斯分布，其归一化能量服从自由度为 2 的卡方分布 $\chi_2^2$。基于此，构建了恒虚警率（CFAR）自适应阈值检测器： $$c_\alpha = \text{CDF}_{\chi_2^2}^{-1}(1 - \alpha) \cdot \frac{|\mathcal{P}|}{2 v}$$ 其中 $\alpha$ 为预设的假阳性虚警概率，$|\mathcal{P}|$ 为总光子数。仅当 $|E_{\mathbf{f}}|^2 \ge c_\alpha$ 时，该频率 $\mathbf{f}$ 才被判定为真实存在的物理分量并纳入集合 $\mathcal{F}_{\text{det}}$。最后，通过逆离散傅里叶级数变换 $\hat{\phi}(\mathbf{x}) = \frac{1}{\sqrt{v}} \sum_{\mathbf{f} \in \mathcal{F}_{\text{det}}} E_{\mathbf{f}} e^{j 2\pi \mathbf{f}^\top \mathbf{x}}$ 重构出连续通量，有效避免了高频噪声在空谱中的无节制累积，实现了极度干净的重建背景。

3. 频域平面一致性检测与速度选择性摄像：无需先验的运动解耦与数字重聚焦

在物理成像中，场景中以恒定速度 $\mathbf{v} = [v_x, v_y]^\top$ 平移的刚性物体，其在时空域的亮度满足 $\phi(x, y, t) = I(x - v_x t, y - v_y t)$。依据傅里叶变换性质，该物体的时空频谱能量被严格限制在一个通过原点的平面上： $$v_x f_x + v_y f_y + f_t = 0$$ 平面的法向量直接编码了二维物方速度。本文针对这一物理特性，设计了基于平面一致性的无监督速度检测算法。系统在预设的速度假设集合 $\{\mathbf{v}_i\}_{i=1}^M$ 中扫描，累加落入各假设平面容差带 $|\mathbf{v}_i'^\top \mathbf{f}| \le \epsilon$ 内的所有已检测频率能量 $E_i = \sum_{|\mathbf{v}_i'^\top \mathbf{f}| \le \epsilon} |E_{\mathbf{f}}|^2$。由于不同速度平面的频谱可能重叠导致能量相关，本文采用非参数化秩检验（Rank-CFAR），在局部邻域假设中计算当前能量的相对排名，以显著水平 $\alpha_{\text{vel}}$ 精确检测出场景中存在的主导运动速度 $\mathbf{v}_{\text{det}}$。在获得速度后，通过频域坐标剪切变换 $f_t \leftarrow f_t + \mathbf{v}_{\text{det}}^\top \mathbf{f}_{x,y}$ 将该运动平面旋转映射至时间直流分量（DC），随后在滑动时窗内做逆变换，即可在视频中将该特定速度的目标清晰“重聚焦”，同时将其余异速运动及背景剧烈模糊化。

4. 统一跨传感器异步事件适配：向脉冲相机与动态视觉传感器的理论推广

本文理论并不局限于 SPAD 光子时间戳流，而是构建了一个面向多种异步传感器的统一感知框架。对于脉冲相机（Spike Camera），像元以固定积分阈值发放脉冲，脉冲瞬时发射率与局部光强成正比，探测测量直接等于缩放后的通量傅里叶系数，辅以低通滤波消除脉冲列固有谐波；对于事件相机（Event Camera），异步事件触发源于对数光强的时序变化量 $\Delta \log \phi \ge C$，事件相量和直接对应于 $\partial_t \log \phi(x, y, t)$ 的傅里叶系数： $$E_{\mathbf{f}}^{\text{event}} = \sum_{(\mathbf{x}_i, t_i) \in \mathcal{P}} \sigma_i p_{\mathbf{f}}(\mathbf{x}_i, t_i)$$ 在频域通过除以 $j 2\pi f_t$ 即可完成微分信号的直接解析积分，再利用卡尔曼滤波器融合低速绝对光强帧补偿漂移与直流分量，使得同一套频域探测理论能够通用于神经形态脉冲流与 DVS 事件流。

一个完整示例¶

以 SPAD512 相机拍摄高速飞行的子弹击破气球为例（环境存在 120 Hz 天花板交流灯与 31 kHz 脉冲 LED 照射）： 1. 输入与相量聚合：系统接收在极短曝光时间内捕获的二值光子流，总光子数仅为平均每像素 0.059 个光子。算法遍历 3D 傅里叶栅格基函数，所有光子坐标 $(x_i, y_i, t_i)$ 经过复指数计算并在全局累加为标量相量 $E_{\mathbf{f}}$。 2. 统计检验筛选：在 120 Hz 与 31 kHz 的时间频率切片上，$|E_{\mathbf{f}}|^2$ 显著超过卡方分布临界阈值 $c_\alpha$，被判定为真实照明调制；子弹运动对应的倾斜平面上亦检出连续频点，其余数以百万计的无信号频点则被 CFAR 严格截断置零。 3. 速度检测与重绘：通过 Rank-CFAR 自动搜索检测到灰色泡沫子弹的高速线速度矢量；对频谱执行坐标剪切后逆傅里叶变换，成功输出子弹轮廓锐利对焦、背景高频频闪完整保留、而破裂气球碎屑呈现运动模糊的 100 kfps 高速物理视频。

实验关键数据¶

主实验¶

论文在真实捕获的 SPAD512 数据（同步 100 kHz 二值帧）、单像素 SPAD 数据（68 ps 时间戳）、DAVIS240C 事件相机以及超高速脉冲相机数据集上进行了广泛对比。基线包括时空配准融合方法 QBP、自监督神经网络去噪模型 bit2bit、单像素超宽带方法 UWB，以及神经形态专用方法 EvINR（事件相机）和 STIR（脉冲相机）。

实验场景 / 传感器	关键条件 / 光子通量	对比基线	本文表现 (Ours)	基线表现	关键质量与性能对比结论
高速气球爆裂 (SPAD512)	100 kfps, 105~524 光子/帧 (0.001~0.059 ppp)	QBP / bit2bit	完美兼顾 100 kfps 高速运动与 120 Hz/31 kHz 双频闪	bit2bit 抹平频闪; QBP 产生剧烈噪点	仅本文能同时恢复微弱白子弹轨迹与亚毫秒级高频频闪
旋转风扇叶片 (SPAD512)	15 Hz 旋转, 0.009 ppp 极低光	UWB (Wei et al.)	边缘锐利，清晰恢复叶片结构与高光反射	UWB 完全崩溃无法成像，严重欠采样失真	本文利用全局空间关联，所需光子预算减少 10×
吉他弦振动 (SPAD512)	0.011 ppp 极度稀疏光子	QBP (Ma et al.)	完整恢复细微琴弦线条与时空位移	QBP 局部光子过少，重构严重模糊带斑块噪声	局部时空对齐窗口失效，全局探测表现稳健
旋转风扇+激光波前 (单像素 SPAD)	6 GHz / 100 kHz 超宽带调制	UWB (Wei et al.)	清晰分离 6 GHz 激光脉冲飞行波前与旋转叶片	UWB 在低光下出现严重运动伪影与模糊	达到相同重构信噪比，本文所需光子数降低达 30×
DAVIS240C 事件视频	1 kfps 动态重建	EvINR (学习型 SOTA)	频域积分+KF融合，纹理清晰且无明显累积漂移	EvINR 依赖隐式场训练，高频瞬态易平滑	无需复杂网络训练即可达到与学习型 SOTA 相当的重构质量
超速脉冲相机 (Spike)	10 kfps 极速汽车/爆裂	STIR (NeurIPS 2024)	保持高速运动边界连贯，抑制周期脉冲谐波	STIR 计算复杂度高，需要多帧时空交互网络	纯物理正交探测重建质量与最新深度模型持平

消融实验¶

论文针对时空探测的核心维度、统计判决机制及多传感器滤波模块进行了深入消融分析（包含真实与仿真基准）：

实验配置 / 模块组合	评估对象与测试场景	典型表现 / 关键指标变化	物理机制与消融说明
本文全局 3D 傅里叶探测 (Full)	极低光度动态场景 (0.003 ppp)	成功恢复 120 Hz 频闪与 31 kHz LED 微弱时空调制	空间与时间维度全光子相干累积，信噪比最高
仅时域单像素探测 (w/o 空间探测，即 UWB)	旋转风扇与横向平移测试	运动细节彻底丢失，频谱被物体划过像元的矩形窗展宽截断	丧失空间光子相干增益，像元间完全独立
局部时空窗口探测 (w/o 全局支持，即 QBP 类)	极弱光 (0.001~0.011 ppp)	局部光子匮乏导致方差发散，产生大量伪影与块状撕裂	极低照度下局部窗口光子数不足以支撑统计显著性
去除 CFAR 自适应阈值 (使用固定阈值/全频谱逆变换)	纯背景噪声抑制测试	背景中布满高斯白噪声斑点，虚警率上升 >40%	泊松霰弹噪声的高频非相干分量被全盘引入重构
速度检测去除 Rank-CFAR (使用简单能量极大值)	多目标异速交叉场景	邻近速度假峰严重干扰，主导速度检测准确率急剧下降	相邻速度假设平面频谱存在重叠，必须采用非参数秩检验解耦
事件相机去除卡尔曼滤波 (仅频域纯积分)	长时间事件流重建	图像全局对比度失真，低频出现严重明暗漂移	微分积分对直流（DC）分量不敏感，必须外部绝对光强基准校正

关键发现¶

时空相干性打破光子极限：相比传统的逐像素时间独立分析，将空间探测基与时间探测基统一为 3D 整体后，整个传感器面阵上的光子均参与到了每个频率的相位投影中。实验证明，其有效信噪比增益使所需光子数相比 UWB 降低了 10×（面阵相机）至 30×（超宽带激光回波），使 0.001 ppp 极弱光成像成为可能。
高频照明调制的双刃剑：在传统局部聚合（QBP）或神经网络自监督（bit2bit）中，交流照明频闪被视作破坏光流恒定性的噪声并被强行抹平；而在本文全局频域视角下，频闪在时间频率轴上表现为极其清晰的梳状谱（Frequency Comb），与物体的斜平面运动频谱在频域天然正交解耦，实现了双重物理信息的无损并存提取。
无监督速度选择性：基于 3D 频域能量平面的几何物理性质，Rank-CFAR 能够以极其简练的数学形式精准锁定多目标的离散速度，无需光流估计、特征点匹配或深度学习网络先验，即可实现类似全光相机的纯数字运动对焦。

亮点与洞察¶

将单光子事件流视作全局连续流形上的脉冲采样：巧妙避开了离散网格数光子与局部平滑性假设，将求解连续泊松强度场的问题转化为傅里叶级数在线性算子下的无偏投影与鞅噪声假设检验，理论优雅且具备第一性原理严格保证。
物理先验驱动的频域速度剪切（Spectral Shearing）：通过坐标变换 $f_t \leftarrow f_t + \mathbf{v}^\top \mathbf{f}_{x,y}$ 将动态运动平面的倾斜角直接“扳平”至时间直流（DC），使选定速度的目标在时空立方体中瞬间静止，其余非共速目标在时间积分中自然虚化，展示了频域几何变换在计算摄像中的巨大威力。
打通跨传感器事件感知的底层数学框架：揭示了 SPAD 时间戳、脉冲相机发射列、事件相机 DVS 对数微分在频域内皆为连续通量或其导数的确定性线性投影积分，为不同神经形态视觉传感器的对比分析与联合多模态重建提供了统一基石。

局限与展望¶

傅里叶基固有的吉布斯振铃效应（Gibbs Artifacts）：由于全局 3D 傅里叶基在全时空域无限延展，当场景包含极其尖锐的空间边缘（如高对比度遮挡边界）或突发性瞬态时间阶跃（如气球瞬间爆炸点）时，频域截断不可避免地导致空间与时间上的吉布斯振铃波纹。作者指出，未来可引入具备局部紧支撑特性的小波基（Wavelets）或正交时频原子予以改善。
受限于匀速直线刚体运动假设：当前速度检测与选择性聚焦算法建立在时空倾斜平面这一理论模型上，假定物体在时间窗内做近似匀速直线运动。对于加速度运动、刚体高频旋转或流体飞溅等高度非线性混沌动态，频谱将发生非平面弯曲与弥散，未来需探索多项式相位（Polynomial-Phase）或线性调频基（Chirplet）等高阶时变运动探测基。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次将连续泊松通量探测推广至全局 3D 时空流形，并建立无监督速度选择性重聚焦摄像框架）
实验充分度: ⭐⭐⭐⭐⭐（横跨 SPAD512 面阵、单像素皮秒 SPAD、事件相机与脉冲相机四大硬件平台，从 100 kfps 到 6 GHz 超宽带全面验证）
写作质量: ⭐⭐⭐⭐⭐（数学推导极为严谨，从鞅随机过程到 CFAR 判决逻辑自洽，图表与论述高度清晰）
价值: ⭐⭐⭐⭐⭐（为极端弱光高速摄影、主动激光雷达探测、神经形态多模态计算摄像提供了坚实的理论基石）