Event-based Sparse-view Background-Oriented Schlieren Tomography¶

会议: ECCV 2026
论文: ECCV 原文
领域: physics
关键词: 背景纹影层析, 事件相机, 神经隐式场, 物理信息正则化, 稀疏视角重建

一句话总结¶

针对高速气流三维层析成像中传统帧相机受限高帧率带宽与强光照补偿的瓶颈，本文提出首个基于事件相机的稀疏视角背景纹影（EventBOS）层析方法，利用可微折射光线追踪将神经隐式流体场与异步对数亮度变化事件流对齐，并融入热对流 Navier-Stokes 物理正则化与边界约束，在单视角与正交双视角下均超越了 1000 fps 传统帧相机重建质量。

研究背景与动机¶

在空气动力学试验、暖通空调系统诊断以及燃烧瞬态分析等科研与工程场景中，对透明介质内部高速非定常流场的全三维密度分布进行无侵入式精确量测至关重要。传统光学纹影技术依赖介质折射率非均匀性引起的探针光偏折，其中背景纹影（Background-Oriented Schlieren, BOS）因其装置简易、仅需通过流场拍摄纹理背景并通过视差估算偏折场的优势而得到广泛应用。然而，常规基于帧相机的纹影层析（FrameBOS）若要解析高速湍流动态，必须配备昂贵的高速相机阵列，这不仅面临多视角微秒级硬件时间同步的严苛挑战，更受制于巨大的数据传输带宽；同时，为保证大景深需收缩镜头光圈，在极短曝光时间内必须引入大功率补光，严重限制了其实用性与便携性。

神经神经形态事件相机具有微秒级时间分辨率、超高动态范围及极低数据冗余的独特优势，为解决高速纹影连续探测提供了全新机遇。然而，将事件相机引入三维纹影层析面临两大本质困难：一方面，事件相机仅异步响应像元级对数强度的相对时间变化，不再提供绝对强度帧，传统 BOS 依赖“基准未偏折图像”与“偏折图像”配对估算绝对位移场（光流）的框架在此完全失效，在恒定照明下相邻事件仅反映瞬态差分，且事件信号稀疏而噪声显著；另一方面，在真实物理实验中部署密集多视角事件相机阵列成本高昂且标定极难，强烈的投影空间多义性要求算法必须在极度稀疏的视角（如单视角或正交双视角）下实现病态逆问题求解。

为突破上述限制，本文摒弃了“先从事件中估算 2D 位移场、再进行层析”的两阶段传统路线，转而提出一种端到端逆渲染分析合成框架。核心 idea：将动态 4D 流体密度与速度、压力隐式建模为统一连续坐标神经网络，建立耦合非线性折射光线追踪与事件积分生成机制的可微正向模型，直接通过测量事件流的对数亮度累积变化监督网络参数，并引入热对流流体力学 Navier-Stokes 方程作为物理先验约束，从而在稀疏甚至单视角下实现高保真连续时空密度场重建。

方法详解¶

整体框架¶

本文提出的 EventBOS 层析方法采用分析-合成（Analysis-by-Synthesis）逆渲染范式。整个系统由神经流体场表征、可微折射光线追踪、事件对数亮度增量渲染以及物理先验正则化四大部分紧密协同构成。输入为在已知静态纹理背景 $I_{\text{ref}}$ 观测下由一个或两个事件相机采集的异步事件流 $\mathcal{E}$；输出为连续时空密度场 $\rho(\mathbf{x}, t)$ 及隐式推断的流速 $\mathbf{u}(\mathbf{x}, t)$ 和压力 $p(\mathbf{x}, t)$。

首先，坐标网络接收 4D 时空坐标 $(\mathbf{x}, t)$，同步预测密度、流速和压力；预测密度通过 Gladstone–Dale 物理定律线性映射为折射率场 $n(\mathbf{x}, t)$ 及其空间梯度 $\nabla n$。在给定的时间区间 $(t_1, t_2]$ 内，系统利用准线性近似与伴随梯度光线追踪算法，分别渲染出 $t_1$ 与 $t_2$ 时刻背景图像因折射产生的畸变帧 $\hat{I}_{\text{def}}(t_1)$ 和 $\hat{I}_{\text{def}}(t_2)$，并计算两者的对数亮度差 $\Delta \hat{L}$。渲染得到的对数亮度增量与该时间窗口内真实事件相机累积的极性加权事件图 $E(t_1, t_2)$ 构造均方误差损失。与此同时，系统通过自动数值微分计算各物理量对空间和时间的一阶、二阶导数，构建无量纲化的低马赫数热对流 Navier-Stokes 守恒残差，与远场环境密度边界条件及全变分（TV）正则项联合对网络进行端到端优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：4D时空坐标 (x, t)<br/>与背景参考图 I_ref"] --> B["神经流体隐式场<br/>预测密度/流速/压力"]
    B --> C["可微折射光线追踪<br/>Hamilton方程准线性伴随追踪"]
    C --> D["事件对数亮度增量渲染<br/>累积事件与对数帧差匹配"]
    D --> E["热对流物理先验与边界约束<br/>Navier-Stokes残差+环境标定"]
    E --> F["输出：高时间分辨率 4D 密度场<br/>与高精度视差光流场"]

关键设计¶

1. 神经流体隐式场与可微折射光线追踪：解耦网络开销与非线性光偏折计算

在传统 FrameBOS 中，三维折射率分布重建往往需要将空间体素化离散并建立高维投影线性方程组，而时变流场则需要逐帧离散求解，参数量随分辨率急剧膨胀且缺乏时间连贯性。本文将流体介质空间表示为连续 4D 神经隐式坐标场 $\mathcal{F}_\theta: (\mathbf{x}, t) \mapsto (\rho, \mathbf{u}, p)$，通过多层感知机（MLP）结合正弦位置编码捕捉流体复杂的湍流涡旋结构。光在不均匀折射率介质中的传播严格遵循哈密顿光线微分方程： $$ \frac{\mathrm{d}\mathbf{x}}{\mathrm{d}s} = \frac{\mathbf{v}(s)}{n(\mathbf{x}(s))}, \quad \frac{\mathrm{d}\mathbf{v}}{\mathrm{d}s} = \nabla n(\mathbf{x}(s)) $$ 其中 $s$ 为光线弧长，$\mathbf{v}(s) \triangleq n(\mathbf{x})\frac{\mathrm{d}\mathbf{x}}{\mathrm{d}s}$ 为光学动量。若在神经网络内部直接进行密集非线性数值步进积分，网络高频查询将导致显存暴涨与计算崩溃。为此，本文采用准线性光线追踪近似：将穿过相位物体的光路近似为入射光线的直线段基准 $\bar{\mathbf{x}}(\tau) = \mathbf{x}_0 + (\tau - t_n)\mathbf{v}_0$，仅在该直线上查询神经网络的折射率 $n$ 及其空间梯度 $\nabla n$，通过沿路径闭式积分累积光偏折角 $\boldsymbol{\varepsilon} = \frac{1}{n_0}\int \nabla_{\perp} n(\bar{\mathbf{x}}(s))\mathrm{d}s$。在此基础上，结合伴随非线性光线追踪（Adjoint Non-linear Ray Tracing）机制反向传播渲染误差梯度，无须留存全光线积分历史，显著降低了显存开销。

2. 事件对数亮度增量渲染：跳过显式 2D 位移估计的端到端对齐

事件相机的触发物理机制依赖于像元对数亮度的时域相对变化：当 $\Delta L(\boldsymbol{\xi}; t_k, t_{k-1}) = \log I(\boldsymbol{\xi}, t_k) - \log I(\boldsymbol{\xi}, t_{k-1})$ 超过阈值 $C_{\pm}$ 时异步释放脉冲。由于气流运动引起的纹影扰动常常极为微弱且伴随严重噪声，直接从事件流中用传统光流算法估计二维视差图会引入巨大误差，并在事件稀疏处产生大范围伪影。本文创新性地建立了从三维密度到二维累积事件流的直接可微正向映射。通过背景纹影成像几何，折射产生的像面位移 $\boldsymbol{\delta}(\boldsymbol{\xi}, t) = \frac{M z_{\text{D}}}{\psi_{\text{pix}}}\boldsymbol{\varepsilon}$ 与未畸变背景图 $I_{\text{ref}}$ 结合，生成任意瞬时时刻的畸变图像 $\hat{I}_{\text{def}}(\boldsymbol{\xi}, t) = I_{\text{ref}}(\boldsymbol{\xi} + \boldsymbol{\delta}(\boldsymbol{\xi}, t))$ 及其对数亮度 $\hat{L}(\boldsymbol{\xi}, t) = \log \hat{I}_{\text{def}}(\boldsymbol{\xi}, t)$。在任意时间区间 $(t_1, t_2]$ 内，合成的对数亮度变化与实际测量累积事件图 $E(\boldsymbol{\xi}; t_1, t_2) = \sum_{e_k} p_k C_{p_k} \delta_{\text{D}}(\boldsymbol{\xi} - \boldsymbol{\xi}_k)$ 直接建立 MSE 对齐： $$ \mathcal{L}{\text{render}} = \mathbb{E}; t_1, t_2) \right)^2 \right] $$ 这一设计彻底规避了中间位移场显式估算的病态性，使得网络能直接吸收微秒级事件流蕴含的高频动态信息。}, t_1, t_2)} \left[ \left( \big(\hat{L}(\boldsymbol{\xi}, t_2) - \hat{L}(\boldsymbol{\xi}, t_1)\big) - E(\boldsymbol{\xi

3. 热对流物理先验与环境边界正则化：化解稀疏视角的空间病态多义性

在极度稀疏的单视角或正交双视角配置下，纹影测量沿视线方向积分折射率梯度的特性决定了逆问题存在严重的三维多义性与标定漂移（只能感知梯度而无法直接确定密度绝对量）。针对这一痛点，本文设计了两重物理正则化：一是引入低马赫数常压热对流环境下的流体力学控制方程，包括质量连续性方程、动量守恒 Navier-Stokes 方程以及热传导方程： $$ r_{\text{mass}} \triangleq \partial_t \rho + \nabla \cdot (\rho \mathbf{u}), \quad r_{\text{mom}} \triangleq \rho (\partial_t \mathbf{u} + (\mathbf{u}\cdot\nabla)\mathbf{u}) + \nabla p - \mu \nabla^2 \mathbf{u} - (\rho - \rho_0)\mathbf{g} $$ 结合理想气体状态方程 $T(\rho) = \frac{P_0}{R\rho}$ 构建热对流能量残差 $r_{\text{heat}}$，并进行无量纲化处理以平衡各物理量量纲量级；二是通过远场环境边界约束消除密度基准零点漂移，假设计算域边界 $\partial\Omega$ 处于未扰动空气环境（具有已知绝对常数密度 $\rho_0$），强制施加环境边界损失 $\mathcal{L}_{\text{bnd}}^{\text{amb}} = \mathbb{E}_{(\mathbf{x}, t)} [(\rho(\mathbf{x}, t) - \rho_0)^2]$。物理守恒定律与环境基准的深度融合，为极稀疏视角下的三维深度定位提供了强有力的物理刚性支撑。

损失函数 / 训练策略¶

网络的总优化目标由渲染项、边界约束项、全变分平滑项以及物理守恒项加权构成： $$ \mathcal{L} = \lambda_{\text{render}}\mathcal{L}{\text{render}} + \lambda}}\mathcal{L{\text{bnd}} + \lambda}}\mathcal{L{\text{tv}} + \lambda $$ 其中，}}\mathcal{L}_{\text{phy}$\mathcal{L}_{\text{bnd}} = \mathcal{L}_{\text{bnd}}^{\text{amb}} + w_{\text{in}}\mathcal{L}_{\text{bnd}}^{\text{in}}$，在已知入口气流条件时可通过指示变量 $w_{\text{in}} \in \{0, 1\}$ 激活入口速度与密度监督。$\mathcal{L}_{\text{tv}} = \mathbb{E}[\|\nabla_\mathbf{x}\rho\|_1]$ 压制高频重建噪点。权重设定为 $\lambda_{\text{render}} = 500, \lambda_{\text{phy}} = 100, \lambda_{\text{bnd}} = 5, \lambda_{\text{tv}} = 1$。

网络架构由 8 层、每层 256 隐藏单元的全连接 MLP 构成，采用平滑且连续可微的 SiLU 激活函数以保证二阶导数计算稳定性。空间输入采用 7 个频带、时间输入采用 9 个频带的正弦位置编码，并引入时空频带渐进退火（Coarse-to-fine Annealing）机制，由粗到细逐步激活高频分量，防止网络过早收敛到局部高频噪声解。模型采用 Adam 优化器，学习率为 $5 \times 10^{-4}$，训练迭代 80,000 轮，每次迭代随机采样 16,384 条光线，每条光线均匀采样 160 个积分步长。单场景在单张 NVIDIA RTX 3090 GPU（约 12 GB 显存）上耗时约 5 小时完成收敛。

实验关键数据¶

主实验¶

在利用 OpenFOAM（采用 buoyantPimpleFoam 求解器与 LES 大涡模拟模型，时间步长 $5 \times 10^{-4}\text{ s}$）生成的真实物理尺度三维流场合成基准上进行定量评估。测试包含 4 种典型流动形态：加热空气射流（Heated air jet）、热气流（Hot airflow）、加热脉冲团（Heated air puff）以及冷气流（Cold airflow）。分别在单视角（1-view）与正交双视角（2-view）配置下，将本文方法与不同帧率的 FrameBOS 基线以及前沿神经层析基准 NeRIF*（扩展支持 4D 时空）进行对比，评价指标为均方根误差（RMSE $\downarrow$）与皮尔逊相关系数（PCC $\uparrow$）。

视角配置	方法	Heated air jet (RMSE↓ / PCC↑)	Hot airflow (RMSE↓ / PCC↑)	Heated air puff (RMSE↓ / PCC↑)	Cold airflow (RMSE↓ / PCC↑)
1 View	Frame (25 fps)	0.0243 / 0.912	0.0247 / 0.913	0.0361 / 0.716	0.0267 / 0.898
1 View	Frame (1000 fps)	0.0184 / 0.946	0.0234 / 0.921	0.0154 / 0.825	0.0251 / 0.913
1 View	Ours (Event)	0.0183 / 0.947	0.0229 / 0.928	0.0148 / 0.852	0.0236 / 0.924
2 Views	NeRIF* (1000 fps)	0.0209 / 0.937	0.0221 / 0.929	0.0133 / 0.884	0.0341 / 0.826
2 Views	Frame (25 fps)	0.0216 / 0.929	0.0199 / 0.940	0.0317 / 0.769	0.0194 / 0.944
2 Views	Frame (1000 fps)	0.0172 / 0.955	0.0152 / 0.967	0.0129 / 0.899	0.0143 / 0.971
2 Views	Ours (Event)	0.0149 / 0.967	0.0144 / 0.971	0.0126 / 0.917	0.0141 / 0.972

消融实验¶

在 Hot airflow 双视角序列上进行的各关键组件剥离消融实验结果如下表所示：

配置	RMSE ↓	PCC ↑	说明
Full model (Ours)	0.0144	0.971	完整模型（所有模块协同）
W/o TV	0.0152	0.967	去除全变分空间平滑项，微小高频噪点增加
W/o Phy	0.0171	0.958	去除 Navier-Stokes 物理方程正则化，空间多义性加剧
W/o In	0.0209	0.949	去除入口先验监督，对流源头约束减弱
W/o	0.0242	0.915	同时移除入口与流体物理约束，性能显著下滑
W/o Rend	0.0539	0.547	去除事件逆渲染数据损失，仅凭物理先验退化失真
W/o Bnd	0.5260	0.672	去除环境绝对密度标定，产生无法消除的整体密度偏移

关键发现¶

事件流对连续高速动态的重构能力显著超越离散帧：由于事件相机异步记录微秒级光强变化，本文方法不仅全面大幅战胜低帧率（25 fps）帧相机基线，且全面超越了 1000 fps 高速帧相机基线。25 fps 在帧间存在漫长盲区，导致模型被迫对时间维度做非物理平滑插值；而事件相机在屈光扰动区域高频触发，实现了极佳的时空连贯性与噪点抑制。
环境边界与物理先验在稀疏视角下具有不可替代性：消融实验揭示，去除环境边界条件（W/o Bnd）会导致 RMSE 剧烈飙升至 0.5260（误差放大超 36 倍），这是由于纹影只能感知光偏折梯度，必须依靠已知环境基准 $\rho_0$ 锚定直流偏置；而物理约束（W/o Phy）则有效弥补了沿视线方向不可观测的深度多义性。
重投影光流精度远超传统事件光流算法：在重投影二维光流测试中，本文重投影流场平均端点误差（AEE）在 Hot airflow 上仅为 0.075，离群像素率（%Out > 1 px）为 0.00%，远优于专为事件纹影设计的两阶段流场方法 EBOS（AEE 为 0.660，%Out 高达 20.35%），甚至逼近了使用真实无畸变参考图像进行理想计算的 Farnebäck 经典光流基线。

亮点与洞察¶

将事件流逆渲染与流体光折射哈密顿方程统一打通：避开了传统纹影光流估计中间环节的巨大累积误差，通过对数亮度变化与累积事件图像的直接对齐，使神经场参数能够直接从稀疏、异步的极性脉冲中端到端反向优化，构思精巧且数学闭环严密。
轻量伴随梯度与准线性光线追踪工程化兼得：通过沿着空间直线代理光线查询折射率梯度并累积偏折，结合伴随逆向梯度传播，成功将高昂的非线性光线积分显存开销压制在 12 GB 消费级显卡以内，极具工程借鉴价值。
用低开销物理正则化替代密集硬件阵列：证明了在计算摄影学与层析重构中，通过将流体力学 Navier-Stokes 守恒律与环境边界条件作为先验引入，能够将原本需要 6-30 个相机的致密环形阵列大幅压缩至仅需 1-2 个视角。

局限与展望¶

准稳态与微弱流场敏感度受限：事件相机的触发前提是时间维度上存在光强扰动，当流场处于完全稳态或变化极度缓慢时，产生的事件流将极其稀疏甚至消失，导致逆渲染数据项退化。
先验模型适用范围的特定性：当前物理方程正则化针对低马赫数常压空气热对流建模，若扩展至强激波超音速流、化学燃烧反应或多种气体混合对流，需重新推导非定常可压缩流体动力学与相变方程。
对初始环境标定存在先验依赖：重构绝对密度的能力高度依赖远场边界保持 undisturbed 常温常压空气的假设，若测量空间完全被热流充满导致边界未知，绝对数值可能存在全局偏差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出基于事件相机的稀疏视角背景纹影 4D 层析方法，开创了神经形态传感器用于连续流体三维重构的新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 OpenFOAM 大涡模拟 4 种流动基准、完备的模块消融、光流对比以及真实单视角与正交双视角物理实验，论证极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，物理公式推导与逆渲染架构阐述清晰，实验对比针对性强。
价值: ⭐⭐⭐⭐⭐ 为高速非定常流动（如超音速空气动力学、高速风洞、热工流体测试）提供了一种低成本、低带宽、免补光的三维定量测量方案。