ReynoldsFlow: Physics-Inspired Spatiotemporal Flow Representation for Video Understanding¶

会议: ECCV 2026
论文: ECCV 2026
领域: 视频理解 / 目标检测
关键词: 雷诺输运定理, 亥姆霍兹-霍奇分解, 物理先验, 光流估计, 视频表征

一句话总结¶

针对传统光流与深度时空模型受限于亮度恒定假设及高计算开销的难题，本文基于雷诺输运定理与亥姆霍兹-霍奇分解提出无监督无须训练的 ReynoldsFlow，将运动解耦为无旋散度场与无散旋度场并构建保留外观纹理的三通道表征，在位姿估计、动作识别及微小无人机检测等任务上兼具显著精度提升与高推理效率。

研究背景与动机¶

视频理解作为计算机视觉的基础核心，广泛支撑着动作识别、视频目标检测、多目标跟踪以及人体位姿估计等关键任务。长期以来，该领域主要依赖于以 3D 卷积、循环神经网络以及近期流行的 Spatiotemporal Transformer 和 Mamba 为代表的深度时空架构。尽管这些纯数据驱动模型在常规基准上取得了优异的经验性能，但其往往伴随着极高的计算与显存开销，高度依赖精细调校的启发式模块与海量全监督训练，且缺乏对底层物理运动规律的建模与内在可解释性。

另一方面，传统光流与经典运动估计方法虽然具备严谨的数学推导，却几乎无一例外地建立在严格的「局部亮度恒定假设（Brightness Constancy Assumption）」之上。在实际复杂的开放世界视频中，摄像机光轴缩放带来的几何发散、物体的非刚性形变、局部阴影与光照强度的连续剧烈变化，均会导致该假设直接崩溃，从而在运动场中引入严重的伪影与跟踪漂移。即便是现有的深度光流模型（如 RAFT、SEA-RAFT），也需要繁重的任务特定微调与跨域适配，且主流的 HSV 运动可视化方案在非线性转换至 RGB 时会造成感知失真与纹理丢失，极难直接作为下游微小物体感知的高质量输入。

本文的切入角度是跳出纯数据驱动与亮度恒定的双重桎梏，从经典流体力学第一性原理出发，将连续视频帧序列建模为时空控制体中的流体流动。核心 idea：基于雷诺输运定理（RTT）与亥姆霍兹-霍奇分解（HHD），将像素运动严谨解耦为表征局部缩放/光照变化的无旋分量与表征纯平移/旋转的无散分量，构建无须训练、补偿发散残差的时空流场表征，并在三通道中深度融合运动幅值与原图外观纹理。

方法详解¶

整体框架¶

ReynoldsFlow 的核心工作流包含从流体输运建模、速度场物理正交解耦、发散补偿求解到外观耦合表征构建的完整链条。输入为连续灰度或单通道视频帧，首先利用雷诺输运定理推导有限控制体下的面积雅可比变换，在局部时空窗口内通过变分积分与辛普森法则解析求解无旋（Curl-Free, CF）速度场；随后利用求解出的无旋场构造发散补偿残差图，通过高斯加权最小二乘求解无散（Divergence-Free, DF）速度场；最后将解耦的运动场模长与原始帧亮度映射为动态感知的三通道张量，即插即用地输送至下游视觉模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续视频帧输入<br/>f(p, t) 序列"] --> B["1. 基于雷诺输运定理的时空运动建模<br/>控制体积分与面积雅可比变换"]
    B --> C["2. 无旋场变分求解<br/>CF 分量分离几何发散与光照通量"]
    C --> D["3. 发散补偿与无散场求解<br/>残差图构建与加权最小二乘回归"]
    D --> E["4. 运动模长与外观纹理耦合表征<br/>构建三通道动态感知特征张量"]
    E --> F["下游视觉任务应用<br/>位姿估计 / 动作识别 / UAV检测"]

关键设计¶

1. 基于雷诺输运定理的时空运动建模：打破刚性亮度恒定限制 传统光流法假设像素亮度在运动轨迹上恒定不变（即全导数 $\frac{df}{dt} = 0$），这一理想假设在尺度缩放与光照变动下必然失效。本文将视频局部图像块视为时变二维控制体 $\omega(t)$，标量函数 $f(\bm{p}, t)$ 代表像素光强。根据流体力学中的雷诺输运定理（RTT），时变区域内总光强的变化率可展开为局部时间变率与穿过控制体边界的对流通量之和： $$\frac{d}{dt} \int_{\omega(t)} f \, dA = \int_{\omega(t)} \left( \frac{\partial f}{\partial t} + \nabla \cdot (f \bm{v}) \right) dA = \int_{\omega(t)} \left( \frac{\partial f}{\partial t} + \nabla f \cdot \bm{v} + f \nabla \cdot \bm{v} \right) dA$$ 在此基础上，引入微分形式的外积算子分析控制体从第 $n$ 帧 $\Omega^n$ 到第 $n+1$ 帧 $\Omega^{n+1}$ 的面积演化。采用显式欧拉步长 $\bm{p}^{n+1} \approx \bm{p}^n + \bm{v}^n \Delta t$，微分面积元的映射关系满足 $dx^{n+1} \wedge dy^{n+1} \approx (1 + \nabla \cdot \bm{v}^n \Delta t) dx^n \wedge dy^n$。这证明了 $(1 + \nabla \cdot \bm{v}^n \Delta t)$ 即为局部面积变形的雅可比行列式，使网络能够显式表征场景中目标因缩放引起的几何膨胀与收缩。

2. 无旋场变分求解：物理分离尺度形变与非刚性残差通量 根据亥姆霍兹-霍奇分解（HHD），任意平滑速度场可唯一正交分解为无旋（Curl-Free, CF）分量 $\bm{v}_c$ 与无散（Divergence-Free, DF）分量 $\bm{v}_d$，满足 $\bm{v} = \bm{v}_c + \bm{v}_d$，其中 $\nabla \times \bm{v}_c = 0$ 且 $\nabla \cdot \bm{v}_d = 0$。将该分解代入输运方程，并对左侧采用显式时间差分离散，展开后与右侧连续形式对齐，即可消去复杂的共同项，得到仅由帧差 $\delta f^n = f^{n+1} - f^n$ 与无旋散度决定的正交约束 $\int_{\omega^n} \delta f^n \nabla \cdot \bm{v}_c^n \, dA^n = 0$。通过分部积分，该问题转化为边界通量积分与区域梯度内积的变分形式： $$\int_{\partial \omega^n} \delta f^n (\bm{v}_c^n \cdot \bm{n}) \, dS^n - \int_{\omega^n} \nabla \delta f^n \cdot \bm{v}_c^n \, dA^n = 0$$ 在 $3 \times 3$ 局部窗口内，假设 $\bm{v}_c^n$ 为局部常数，边界积分通过辛普森法则采用卷积算子精确近似，内部积分通过差分梯度算子离散化。最后施加高斯平滑滤波核 $G$，直接解析计算出无旋速度场 $\bm{v}_c^n$。该分量成功将光照变动、物体形变与摄像机缩放引起的局部膨胀通量完全剥离，为精准估计实际平移运动铺平道路。

3. 发散补偿与无散场求解：残差补偿与鲁棒流场闭式回归 在分离出无旋速度场 $\bm{v}_c^n$ 后，针对承载主要刚性平移与旋转运动的无散分量 $\bm{v}_d^n$，本文通过对时间差分项进行高阶泰勒级数展开。由于二阶加速度项对高频噪声极度敏感，作者引入局部光强守恒先验 $\int_{\omega^n} f^{n+1} dA^n \approx \int_{\omega^n} f^n dA^n$ 与物理自洽性，将时间导数近似为一阶差分，构建出显式消除几何发散影响的残差映射图 $D$： $$D \equiv - \delta f^n - \nabla f^n \cdot \bm{v}_c^n - f^n \nabla \cdot \bm{v}_c^n = \nabla f^n \cdot \bm{v}_d^n$$ 该式表明，在无旋分量退化为零时，系统自然严格回退至经典光流的亮度恒定方程。为了求解二维向量 $\bm{v}_d^n = (u_d, v_d)^\top$，作者在空间邻域内建立高斯加权最小二乘目标函数 $\min_{\bm{v}_d^n} \sum_{\bm{x} \in \omega} W(\bm{x}) (\nabla f^n \cdot \bm{v}_d^n - D)^2$，由此导出对称正定的 $2 \times 2$ 线性方程组闭式解： $$\begin{bmatrix} \sum W (f_x^n)^2 & \sum W f_x^n f_y^n \\ \sum W f_x^n f_y^n & \sum W (f_y^n)^2 \end{bmatrix} \begin{bmatrix} u_d \\ v_d \end{bmatrix} = \begin{bmatrix} \sum W f_x^n D \\ \sum W f_y^n D \end{bmatrix}$$ 通过局部解析求逆，快速、无迭代地得到无散速度场，最终合成完整的 ReynoldsFlow 速度场 $\bm{v}_R^n = \bm{v}_c^n + \bm{v}_d^n$。

4. 运动模长与外观纹理耦合表征：告别 HSV 伪影的动态感知特征构建 传统光流可视化广泛采用 HSV 空间（色调表示运动方向，饱和度表示模长）。然而，HSV 到 RGB 的非线性投影极易产生剧烈色彩跳变与感知不一致，且完全剥离了原图中的高频轮廓与外观纹理，导致微小目标（如远距无人机）在纯光流图中几乎不可见。本文提出将运动场物理模长与外观强度紧密结合的三通道张量表征： $$\bm{F}_R^n = \left[ |\bm{v}_d^n|, \, |\bm{v}_c^n|, \, f^n \right]$$ 其中红色通道编码无散平移运动模长 $|\bm{v}_d^n|$，绿色通道编码无旋发散/光照变化模长 $|\bm{v}_c^n|$，蓝色通道完整保留当前帧原始像素强度 $f^n$。将无旋场模长分配至绿色通道的设计高度契合图像传感器 RGGB 拜耳阵列中绿色通道采样密度最高、人眼与网络感知亮度最为敏感的特性。该表征既提供了像素级物理动力学先验，又保留了丰富的外观轮廓，下游检测与识别模型无须修改主干即可直接接入。

损失函数 / 求解策略¶

ReynoldsFlow 属于完全无监督、基于物理机理推导的解析求解方法，全过程无须任何反向传播训练、预训练权重加载或任务特定损失函数。计算过程中仅涉及局部卷积核滤波、边界数值求和与 $2 \times 2$ 矩阵闭式求解，计算复杂度严格为 $O(HW)$，具备完全的确定性与纳秒级实时运行能力。

实验关键数据¶

主实验¶

论文首先在由高精度电动滑轨、旋转台与标定板构成的受控物理实验平台上，针对几何发散（Geometric Divergence）、光照剧烈变化（Varying Illumination）、水平平移（Horizontal Translation）以及纯旋转（Pure Rotation）四种极端场景，系统对比了 ReynoldsFlow 与经典及深度学习光流方法的估计精度。

场景 / 算法	径向相关度 $R_{sp} \uparrow$	角度余弦相似度 $\text{ACS} \uparrow$	平均端点误差 $\text{AEPE} \downarrow$	平均角度误差 $\text{AAE} (^\circ) \downarrow$
几何发散 (Geometric Div.)
Horn-Schunck	$0.9491 \pm 0.08$	$0.9695 \pm 0.01$	$0.1885 \pm 0.04$	$10.3510 \pm 1.02$
Farneback	$0.9452 \pm 0.11$	$0.9965 \pm 0.00$	$0.0635 \pm 0.01$	$3.3412 \pm 0.29$
SEA-RAFT (M)	$0.7625 \pm 0.25$	$0.9825 \pm 0.01$	$0.1652 \pm 0.02$	$9.1250 \pm 0.68$
ReynoldsFlow (本文)	$\mathbf{0.9654 \pm 0.06}$	$\mathbf{0.9975 \pm 0.00}$	$\mathbf{0.0582 \pm 0.01}$	$\mathbf{3.1045 \pm 0.21}$
光照变化 (Varying Illum.)
Horn-Schunck	$0.6251 \pm 0.12$	$0.9999 \pm 0.00$	$0.0026 \pm 0.00$	$0.1385 \pm 0.05$
Lucas-Kanade	$0.1245 \pm 0.02$	$0.9988 \pm 0.00$	$0.0105 \pm 0.00$	$0.4512 \pm 0.06$
SEA-RAFT (M)	$-0.0712 \pm 0.01$	$0.9991 \pm 0.00$	$0.0258 \pm 0.01$	$1.4150 \pm 0.28$
ReynoldsFlow (本文)	$\mathbf{0.6582 \pm 0.14}$	$\mathbf{0.9999 \pm 0.00}$	$\mathbf{0.0020 \pm 0.00}$	$\mathbf{0.1165 \pm 0.02}$
纯旋转 (Pure Rotation)
Horn-Schunck	$0.7021 \pm 0.09$	$0.7305 \pm 0.01$	$1.0852 \pm 0.01$	$42.0120 \pm 4.15$
Lucas-Kanade	$0.4589 \pm 0.14$	$0.9964 \pm 0.00$	$0.1235 \pm 0.01$	$3.7145 \pm 0.08$
Brox	$0.8582 \pm 0.08$	$0.9975 \pm 0.00$	$0.1271 \pm 0.01$	$3.4102 \pm 0.07$
SEA-RAFT (M)	$0.0415 \pm 0.09$	$0.9915 \pm 0.01$	$0.1925 \pm 0.02$	$6.1050 \pm 0.52$
ReynoldsFlow (本文)	$\mathbf{0.9015 \pm 0.03}$	$\mathbf{0.9993 \pm 0.00}$	$\mathbf{0.0615 \pm 0.01}$	$\mathbf{1.9840 \pm 0.07}$

在下游视觉任务的全面评测中，ReynoldsFlow 作为轻量输入通道接入不同检测与识别网络，在所有任务上均全面超越传统输入与各类光流基线。

输入表征 / 方法	GolfDB (PCE $\uparrow$)	HMDB51 (Acc $\uparrow$)	UCF101 (Acc $\uparrow$)	Anti-UAV ($\text{AP}_{50}$)	Anti-UAV ($\text{AP}_{50-95}$)	ARD100 ($\text{AP}_{50}$)	ARD100 ($\text{AP}_{50-95}$)	UAVDB ($\text{AP}_{50}$)	UAVDB ($\text{AP}_{50-95}$)
原始 RGB	0.705	0.372	0.698	—	—	0.554	0.304	0.811	0.518
灰度 / 红外原图	0.698	0.328	0.614	0.781	0.418	0.376	0.167	0.660	0.281
Farneback (HSV)	0.717	0.248	0.383	0.500	0.246	0.182	0.103	0.258	0.145
TV-L1 (HSV)	0.810	0.284	0.537	0.600	0.278	0.227	0.127	0.779	0.409
SEA-RAFT (M) (HSV)	0.782	0.419	0.722	0.357	0.188	0.089	0.048	0.486	0.243
DPFlow (HSV)	0.786	0.411	0.705	0.427	0.265	0.072	0.016	0.270	0.101
ReynoldsFlow (本文)	$\mathbf{0.812}$	0.402	0.714	$\mathbf{0.792}$	$\mathbf{0.446}$	$\mathbf{0.602}$	$\mathbf{0.326}$	$\mathbf{0.895}$	$\mathbf{0.547}$

消融实验¶

论文在 GolfDB、HMDB51、UCF101 以及三个无人机检测数据集上，针对输入表征方案（HSV 颜色空间 vs 模长-外观通道排列）以及各分解分量的贡献进行了系统消融。

表征配置	GolfDB (PCE)	HMDB51 (Acc)	UCF101 (Acc)	Anti-UAV ($\text{AP}_{50}$)	Anti-UAV ($\text{AP}_{50-95}$)	ARD100 ($\text{AP}_{50}$)	ARD100 ($\text{AP}_{50-95}$)	UAVDB ($\text{AP}_{50}$)	UAVDB ($\text{AP}_{50-95}$)	说明
HSV 编码 [30]	0.804	0.382	0.597	0.646	0.320	0.417	0.211	0.500	0.288	传统方向/模长色彩映射，高频纹理丢失
$[	\bm{v}_d^n	, f^n]$	0.788	0.375	0.684	0.765	0.407	0.478	0.262	0.803
$[	\bm{v}_c^n	,	\bm{v}_d^n	, f^n]$	0.791	0.367	0.699	0.784	0.386	0.509
**$[	\bm{v}_d^n	,	\bm{v}_c^n	, f^n]$ (完整模型)**	$\mathbf{0.812}$	$\mathbf{0.402}$	$\mathbf{0.714}$	$\mathbf{0.792}$	$\mathbf{0.446}$	$\mathbf{0.602}$

关键发现¶

无旋 CF 分量的关键抗扰价值：消融表明，去掉无旋分量 $|\bm{v}_c^n|$ 后，ARD100 上的 $\text{AP}_{50}$ 骤降 12.4%（从 0.602 跌至 0.478），UAVDB $\text{AP}_{50}$ 跌落 9.2%。这证实了在真实复杂场景中，显式剥离摄像机尺度伸缩和光照通量对稳定运动跟踪至关重要。
色彩通道排布与传感器机制的共鸣：将无旋分量 $|\bm{v}_c^n|$ 置于绿色通道相较于置于红色通道，在全部六个基准上均取得一致的精度增益。这一现象高度符合图像传感器 Bayer 滤镜分布与深度网络卷积核在绿色通道上保留最高空间频域信息的天然偏好。
微小目标检测中光流方向与模长的反直觉权衡：深度光流（如 SEA-RAFT）在纯运动评估中表现亮眼，但直接其 HSV 图输入 YOLOv11n 检测微小无人机时性能发生灾难性下滑（ARD100 $\text{AP}_{50}$ 仅 0.089，远低于原始 RGB 的 0.554）。原因在于微小物体仅占数个像素，方向伪影极其剧烈且彻底冲刷了原图边缘；而 ReynoldsFlow 保留原图强度并将平滑模长作为附加线索，实现了对微小目标最高 +14.7% 的大幅提升。

亮点与洞察¶

经典连续力学对计算机视觉底层瓶颈的反哺：跳出深度学习将运动视作单纯几何匹配置换的局限，巧妙借用雷诺输运定理与流体雅可比变换，从连续介质力学层面优雅解决了亮度变动与几何形变的历史难题。
无监督、即插即用的轻量工程价值：全套算法完全无须梯度更新或模型训练，纯闭式矩阵求逆使得计算延迟微乎其微；生成的三通道图像能够直接替换常规 RGB 输送进现成骨干网络（如 SwingNet、C3D、YOLOv11），极具工业落地优势。
跨领域通用视觉先验的迁移潜力：该正交运动解耦机制不仅适用于无人机检测与动作识别，更可直接泛化至显微细胞追踪、自动驾驶恶劣天气感知以及高帧率流体仿真等需要物理守恒先验的边缘计算场景。

局限与展望¶

作者承认的局限：当前的理论推导基于二维流体流动投影假设，未直接扩展至三维时空体素场；对于大尺度快速跨像素位移，未结合多尺度金字塔粗到精迭代，大位移捕获能力受限于局部窗口尺寸。
深层局限与假设边界：在处理严重运动模糊、极端低信噪比夜视或半透明反光材质时，空间差分算子退化会导致无旋场出现局部数值抖动；局部常数假设在强剪切形变边界处略显粗糙。
未来改进方向：可考虑将该物理输运先验作为显式几何物理损失或物理神经算子（PINN/FNO）嵌入现代大规模自监督视频基础模型中，在保证轻量高效的同时提升大位移泛化性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 创造性地将流体力学雷诺输运定理与亥姆霍兹-霍奇正交分解深度结合，为视频时空表征提供了极为典雅的物理基石。
实验充分度: ⭐⭐⭐⭐⭐ 从严谨的物理光学滑轨标定台到 GolfDB、HMDB51、UCF101 及三大无人机检测数据集，控制变量实验与下游评测扎实完备。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨清晰，物理机理图解透彻，逻辑层层递进。
价值: ⭐⭐⭐⭐⭐ 兼具高理论优雅度与极高工业工程落地的轻量即插即用特性，对物理先验融入通用视觉提供了极佳范例。

场景 / 算法	径向相关度 \(R_{sp} \uparrow\)	角度余弦相似度 \(\text{ACS} \uparrow\)	平均端点误差 \(\text{AEPE} \downarrow\)	平均角度误差 \(\text{AAE} (^\circ) \downarrow\)
几何发散 (Geometric Div.)
Horn-Schunck	\(0.9491 \pm 0.08\)	\(0.9695 \pm 0.01\)	\(0.1885 \pm 0.04\)	\(10.3510 \pm 1.02\)
Farneback	\(0.9452 \pm 0.11\)	\(0.9965 \pm 0.00\)	\(0.0635 \pm 0.01\)	\(3.3412 \pm 0.29\)
SEA-RAFT (M)	\(0.7625 \pm 0.25\)	\(0.9825 \pm 0.01\)	\(0.1652 \pm 0.02\)	\(9.1250 \pm 0.68\)
ReynoldsFlow (本文)	\(\mathbf{0.9654 \pm 0.06}\)	\(\mathbf{0.9975 \pm 0.00}\)	\(\mathbf{0.0582 \pm 0.01}\)	\(\mathbf{3.1045 \pm 0.21}\)
光照变化 (Varying Illum.)
Horn-Schunck	\(0.6251 \pm 0.12\)	\(0.9999 \pm 0.00\)	\(0.0026 \pm 0.00\)	\(0.1385 \pm 0.05\)
Lucas-Kanade	\(0.1245 \pm 0.02\)	\(0.9988 \pm 0.00\)	\(0.0105 \pm 0.00\)	\(0.4512 \pm 0.06\)
SEA-RAFT (M)	\(-0.0712 \pm 0.01\)	\(0.9991 \pm 0.00\)	\(0.0258 \pm 0.01\)	\(1.4150 \pm 0.28\)
ReynoldsFlow (本文)	\(\mathbf{0.6582 \pm 0.14}\)	\(\mathbf{0.9999 \pm 0.00}\)	\(\mathbf{0.0020 \pm 0.00}\)	\(\mathbf{0.1165 \pm 0.02}\)
纯旋转 (Pure Rotation)
Horn-Schunck	\(0.7021 \pm 0.09\)	\(0.7305 \pm 0.01\)	\(1.0852 \pm 0.01\)	\(42.0120 \pm 4.15\)
Lucas-Kanade	\(0.4589 \pm 0.14\)	\(0.9964 \pm 0.00\)	\(0.1235 \pm 0.01\)	\(3.7145 \pm 0.08\)
Brox	\(0.8582 \pm 0.08\)	\(0.9975 \pm 0.00\)	\(0.1271 \pm 0.01\)	\(3.4102 \pm 0.07\)
SEA-RAFT (M)	\(0.0415 \pm 0.09\)	\(0.9915 \pm 0.01\)	\(0.1925 \pm 0.02\)	\(6.1050 \pm 0.52\)
ReynoldsFlow (本文)	\(\mathbf{0.9015 \pm 0.03}\)	\(\mathbf{0.9993 \pm 0.00}\)	\(\mathbf{0.0615 \pm 0.01}\)	\(\mathbf{1.9840 \pm 0.07}\)