Estimating Velocity and Spin of Spherical Objects from Rolling-Shutter Image(s)¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D视觉
关键词: 卷帘快门相机 (Rolling Shutter), 球体运动重建 (Spherical Motion Reconstruction), 速度与旋转估计 (Velocity and Spin Estimation), 反投影几何一致性 (Back-projection Geometric Consistency)

一句话总结¶

针对高速飞行球体在低成本卷帘快门相机下的严重几何形变，本文抛弃传统的去畸变思路，提出一种免 2D-3D 匹配的反投影几何一致性框架，通过解耦平移与旋转的两阶段优化，仅凭单张卷帘快门图像即可高精度恢复球体的 3D 线速度与自旋角速度。

研究背景与动机¶

在体育竞技分析（如高尔夫、网球、棒球的弹道追踪）与工业高速分拣检测中，实时捕获高速运动球体的三维线速度（平移速度）与自旋角速度（旋转速度）具有至关重要的价值。当前工业界的主流解决方案高度依赖专用硬件，例如超高速全局快门（Global Shutter）相机组、高速雷达测速仪或高帧率事件相机（Event Camera），这些系统不仅设备昂贵、体积庞大且对触发同步有极高要求。相比之下，消费级与工业级视觉设备普遍采用 CMOS 卷帘快门（Rolling Shutter, RS）传感器，由于逐行曝光存在微小的时间延迟，当物体以数十米每秒的高速横切视场时，图像会产生强烈的果冻畸变（Wobble/Skew 效应）。绝大多数经典视觉算法仅将卷帘快门形变视作需要消除的图像伪影，或假设物体在曝光期间满足微小运动假设，这在高速球体场景中直接失效。

要直接利用卷帘快门图像解算球体六自由度运动，现有方法陷入了两难困境。其核心矛盾在于：一方面，传统卷帘快门运动估计算法（如 Ait-Aider 等人的经典工作）严重依赖精确的 3D-2D 特征点对应或人工直线几何基元，但高速旋转的球体表面往往缺乏高对比度纹理或布满高度重复的点阵图案，在剧烈运动模糊和逐行形变叠加下，根本无法建立可靠的特征对应；另一方面，若采用前向投影模型建立全参数联合优化，每条扫描线的曝光时刻隐式取决于投影后的像素纵坐标，导致目标函数呈现高度非凸、多变量强耦合且对初值极其敏感，求解极易陷入局部极小甚至发散。

本文的切入视角完全颠覆了将卷帘畸变视作缺陷的传统思维，将其重新诠释为蕴含高密度时间戳的宝贵运动线索。既然相机逐行曝光天然记录了物体在不同微秒时刻的空间切片，那么形变本身就是连续运动的投影轨迹。核心 idea：将观测到的图像特征反向投影至球体对象坐标系，利用球体几何对称性将平移与旋转解耦，构建无需显式 2D-3D 特征匹配的两阶段反投影几何一致性优化，从单帧卷帘快门形变中解析出完整的三维速度与自旋矢量。

方法详解¶

整体框架¶

本文算法将静止相机拍摄运动球体的物理过程，根据相对运动原理等价转化为对象局部坐标系 $\mathcal{F}_o$ 下静态球体与运动虚拟相机的视线求交问题。整体求解流程包含四个阶段：2D 轮廓与表面特征提取、基于外轮廓线束的反投影平移速度解算、基于正二十面体几何图案的自旋角速度估计，以及面向双相机或多帧配置的时间一致性精炼。

输入为单张或多张含卷帘快门畸变的图像。系统首先提取球体的外轮廓边缘点和表面特征点。对于平移运动，利用球体外轮廓与自旋完全无关的旋转不变性，仅通过轮廓反投影光线与球体表面的切线距离一致性优化三维位置和线速度；随后固定平移参数，将球体表面提取的特征点反投影至三维球面，通过保持成对特征间固有几何距离恒定来恢复三维角速度；在多帧或双目立体相机配置下，进一步通过截断 Chamfer 距离引入帧间时间重投影约束完成自旋精炼。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 卷帘快门图像 (单帧/立体双目)"] --> B["阶段 1: 反投影光线对齐<br/>像素坐标结合行读取延迟映射至对象坐标系"]
    B --> C["阶段 2: 轮廓约束平移解算<br/>利用球体旋转不变轮廓优化位置与线速度"]
    C --> D["阶段 3: 距离方差自旋估计<br/>球面特征点反投影与等距特征对几何方差极小化"]
    D -->|单目单帧完成| E["输出: 3D 线速度 v 与角速度 ω"]
    D -->|多帧/立体扩展| F["阶段 4: 截断 Chamfer 帧间精炼<br/>跨时序三维表面点集配准消除微小残差"]
    F --> E

关键设计¶

1. 反投影光线对齐：规避前向投影的时间坐标隐式耦合

传统前向投影方法中，空间三维点 $\mathbf{P}_o$ 投影至像平面的像素行坐标 $u_y$ 决定了其曝光时间 $\Delta t(u) = \Delta t_g + \tau u_y$（其中 $\tau$ 为逐行读出时间），而曝光时间反过来决定了相机的瞬时位姿，这种死锁导致复杂的隐式非线性。为打破耦合，本文采用反投影射线模型。将观测像素 $\mathbf{u} = [u_x, u_y]^\top$ 转换为相机中心发出的射线，并在已知该行绝对拍摄时刻 $k = k_s + \tau u_y$ 的前提下，通过李代数位姿积分将该射线统一逆变换至参考基准时刻 $k_0$ 下的对象坐标系 $\mathcal{F}_o$ 中。此时对准后的光线原点 $\mathbf{x}_{o,k_0}$ 与方向矢量 $\mathbf{d}_{o,k_0}$ 直接解析表达为物体运动参数的函数： $$\mathbf{x}_{o,k_0}(\mathbf{u}) = \exp\left(-\Delta t(\mathbf{u})(\mathbf{R}_{co}^\top \boldsymbol{\omega}_{co})^\wedge\right) \left(\mathbf{x}_o - \Delta t(\mathbf{u})\mathbf{R}_{co}^\top \mathbf{v}_{co}\right)$$ $$\mathbf{d}_{o,k_0}(\mathbf{u}) = \exp\left(-\Delta t(\mathbf{u})(\mathbf{R}_{co}^\top \boldsymbol{\omega}_{co})^\wedge\right) \mathbf{d}_o(\mathbf{u})$$ 这一逆向构建使得每个 2D 观测独立拥有确定性的时间基准，为后续无匹配优化奠定了基础。

2. 轮廓约束平移解算：基于球体旋转对称性的参数空间降维

任意球体的投影视线切合轮廓在几何上具有完美的旋转不变性，即球体自身绕球心的任意自旋 $\boldsymbol{\omega}_{co}$ 完全不会改变化轮廓外边缘在空间中与球面的相切关系。本文抓住这一独特的几何特质，彻底解耦平移与旋转。在求解平移参数时，令 $\boldsymbol{\omega}_{co} = \mathbf{0}$，仅使用检测到的 $N$ 个 2D 轮廓点 $\mathbf{u}_i$ 构建光线束。沿每条反投影射线，距离球心最近的三维点具有显式闭式解 $\hat{a}_i = \max(0, -\mathbf{d}_i^\top \mathbf{x}_i)$，对应点 $\mathbf{P}_i = \mathbf{x}_i + \hat{a}_i \mathbf{d}_i$。在正确的初始位置 $\mathbf{t}_{co}$ 与线速度 $\mathbf{v}_{co}$ 下，所有切线点必须落于半径为 $r$ 的球面上。为了防止射线优化退化收缩至球面局部单一簇，本文引入空间散布正则项 $\mathcal{R}_{\mathbf{v}}$，联合目标函数为： $$\mathcal{J}_{\mathbf{v}}(\mathbf{t}_{co},\mathbf{v}_{co}) = \frac{1}{N}\sum_{i=0}^{N-1} \big|\|\mathbf{P}_i\| - r\big|^2 + \max\left(0, \sigma r^2 - \frac{1}{N}\sum_{i=0}^{N-1} \|\mathbf{P}_i - \bar{\mathbf{P}}\|^2\right)$$ 通过 L-BFGS-B 仅需优化 6 个参数（取代以往 12 参数联合优化），计算效率提升数倍且极值收敛极其稳健，甚至能直接应用于完全无纹理的纯白光球。

3. 距离方差自旋估计：免对应点的正二十面体几何约束

在平移参数确定后，恢复球体自旋角速度 $\boldsymbol{\omega}_{co}$ 必须依赖表面图案。本文设计了一种基于正二十面体拓扑的球面图案系统（20 组由黑点构成的等边三角形，内嵌阴影中心用于鲁棒聚类与 Voronoi 分割）。该图案保证球体在任意三维朝向时均有若干等边三角形朝向相机。更关键的是，作者没有尝试追踪每一个点是图案库中的哪一个（避免高难度 2D-3D 匹配），而是提出成对等距约束：同属等边三角形各顶点的成对特征点其理论真实三维欧氏距离完全恒定。将检测特征点与已知半径球面相交，求解最近交点： $$\hat{a}_i = -\mathbf{d}_i^\top \mathbf{x}_i - \sqrt{(\mathbf{d}_i^\top \mathbf{x}_i)^2 - (\|\mathbf{x}_i\|^2 - r^2)}$$ 将反投影恢复的表面 3D 点集 $\mathbf{P}_i$ 组成等距点对集合 $\mathcal{E}$，直接最小化点对距离的样本方差： $$\mathcal{J}_{\boldsymbol{\omega}}(\boldsymbol{\omega}_{co}) = \frac{1}{|\mathcal{E}|}\sum_{(i,j)\in\mathcal{E}} \|\mathbf{P}_i - \mathbf{P}_j\|^2 - \left(\frac{1}{|\mathcal{E}|}\sum_{(i,j)\in\mathcal{E}} \|\mathbf{P}_i - \mathbf{P}_j\|\right)^2$$ 当且仅当自旋参数正确补偿了曝光期间各行读出时间的旋转分量时，恢复的表面三角形才不会被拉伸挤压，其边长方差达到极小值零。

4. 截断 Chamfer 帧间精炼：多相机与多帧时序基线增强

单目单帧在面对沿相机光轴深度（$z$ 轴）方向的高速运动或平行于扫描线的运动时可能存在形变弱敏感性。本文将框架自然泛化至立体视觉与多帧时序输入。当两帧图像之间存在极小的时间间隔（如 $\Delta t = 2\,\mathrm{ms}$）时，利用先前解算出的角速度粗值作为先验，采用对称单向截断平方 Chamfer 距离衡量两帧反投影三维表面点云集合 $\mathcal{P}_i$ 与 $\mathcal{P}_j$ 的重合度： $$d_{\mathrm{ch}}(\mathcal{P}_i, \mathcal{P}_j) = \frac{1}{|\mathcal{P}_i|} \sum_{\mathbf{a} \in \mathcal{P}_i} \min\left(D, \min_{\mathbf{b} \in \mathcal{P}_j} \|\mathbf{a} - \mathbf{b}\|^2\right)$$ 截断阈值 $D$ 自动剔除自旋遮挡离开视场的点，以此驱动非线性精炼损失 $\mathcal{J}_{\boldsymbol{\omega}, 2}$，消除了单帧透视弱纹理带来的微小残余误差，使展开叠加图像达到纹理亚像素级对齐。

损失函数 / 训练策略¶

本方法为纯物理与几何驱动的非线性优化算法，无需任何深度神经网络训练，具备零样本跨场景迁移能力。平移优化采用 L-BFGS-B 算法，平移初值通过对三轴候选速度 $\{-25, 0, 25\}\,\mathrm{m/s}$ 进行粗糙网格搜索选取最小初始损失点；角速度优化初值统一设为零向量 $\boldsymbol{\omega}_{co} = [0, 0, 0]^\top$。在多帧精炼阶段，利用单帧粗解作为初值直接梯度下降收敛。

实验关键数据¶

主实验¶

在 Blender 物理级卷帘快门仿真平台上（分辨率 $2048 \times 2048$，读出时间 $10\,\mu\mathrm{s/row}$，球体初速 $0 \sim 50\,\mathrm{m/s}$，自旋 $0 \sim 5000\,\mathrm{rpm}$，100 次独立试验），评估四种配置下平移线速度与旋转角速度的平均绝对误差（MAE）。对比方法包括：向其提供真实 3D-2D 对应关系的经典卷帘快门算法 Ait-Aider 等人方法，以及无视卷帘形变的传统全局快门 PnP 基线。

配置场景	方法类型	线速度 MAE (m/s) [x / y / z]	角速度 MAE (rad/s) [x / y / z]	说明
1. 单帧单目	全局快门 (PnP)	- / - / -	- / - / -	无法从单帧恢复速度
1. 单帧单目	Ait-Aider et al. [1] (带GT匹配)	3.24 / 10.14 / 14.33	164.16 / 172.60 / 138.25	对高速度强形变极易发散
1. 单帧单目	Ours (免匹配)	0.23 / 4.61 / 2.95	49.82 / 17.18 / 27.89	单目单帧即可稳定求解
2. 立体双目	Ait-Aider et al. [1] (带GT匹配)	3.25 / 7.80 / 10.87	163.96 / 188.64 / 137.85	多视点约束下误差依然巨大
2. 立体双目	Ours (免匹配)	0.12 / 0.23 / 0.19	33.11 / 20.60 / 10.13	空间视差大幅降低深度轴平移误差
3. 多帧单目 (2ms)	全局快门 (PnP)	11.57 / 8.03 / 30.58	131.00 / 126.50 / 120.88	忽视卷帘形变导致灾难性偏差
3. 多帧单目 (2ms)	Ait-Aider et al. [1] (带GT匹配)	1.44 / 1.12 / 12.40	142.31 / 133.22 / 81.99	深度轴平移与自旋依然存在大误差
3. 多帧单目 (2ms)	Ours (免匹配)	0.16 / 0.12 / 0.36	8.48 / 7.22 / 7.51	时序基线大幅提升旋转自旋精度
3. 多帧单目 (2ms)	Ours + Chamfer精炼	0.16 / 0.12 / 0.36	4.58 / 2.41 / 1.10	截断 Chamfer 消除自旋残差
4. 双目多帧	全局快门 (PnP)	38.42 / 8.55 / 39.21	132.52 / 123.50 / 119.31	忽略扫描线曝光时差完全失效
4. 双目多帧	Ait-Aider et al. [1] (带GT匹配)	2.76 / 1.16 / 9.84	153.16 / 151.77 / 114.63	复杂联合优化陷入次优极小
4. 双目多帧	Ours + Chamfer精炼	0.19 / 0.10 / 0.26	10.39 / 3.93 / 2.68	时空联合几何约束综合表现最佳

消融实验¶

针对单帧单目场景下球体先验半径误差与尺度变化进行的鲁棒性消融评估（半径设置为基准半径的 80%、100%、120%）：

球体半径配置	$e_{vx}$ (m/s)	$e_{vy}$ (m/s)	$e_{vz}$ (m/s)	$e_{\omega x}$ (rad/s)	$e_{\omega y}$ (rad/s)	$e_{\omega z}$ (rad/s)	关键观察与说明
80% 基准半径	0.32	3.46	4.90	45.32	31.54	44.02	像素分辨率较低时深度线速度与自旋误差稍大
100% 基准半径	0.23	4.61	2.95	49.82	17.18	27.89	默认物理尺寸配置，各项指标分布平稳
120% 基准半径	0.19	3.50	3.63	38.14	14.86	22.28	成像分辨率增大提供更多轮廓与特征点约束

真实世界高尔夫击球弹道测试（对比商业级高规格发射监测仪 SkyTrak，共测试 10 记击球）：

统计指标	球速 Speed (mph)	起飞仰角 Launch (deg)	偏角 Side Angle (deg)	后旋 Backspin (rpm)	侧旋 Sidespin (rpm)
全样本 MAE (10 记击球)	2.4	1.0	3.2	841	402
剔除异常 Shot 10 后 MAE	2.4	1.0	3.5	107	247
SkyTrak 官方公称允差	$\pm 1.0$	$\pm 1.0$	$\pm 2.0$	$\pm 250$	$\pm 250$

关键发现¶

传统联合优化算法在面对极高线速度与上千转角速度时，非凸能量曲面极其狭窄陡峭。Ait-Aider 等人即便灌入完美的真值 3D-2D 对应关系，其平移 MAE 依然高达 $10 \sim 14\,\mathrm{m/s}$，自旋误差超 $100\,\mathrm{rad/s}$；而本文通过将平移与旋转解耦，平移线速度误差在立体与多帧下稳定压低在 $0.2\,\mathrm{m/s}$ 以内。
单目单帧下主要误差集中于沿光轴的 $z$ 轴与纵向扫描 $y$ 轴（$e_{vy}=4.61\,\mathrm{m/s}, e_{vz}=2.95\,\mathrm{m/s}$），这是由于纯几何沿深度推进和扫描线时间挤压产生了一定程度的形变投影多义性；引入立体基线或仅 2 ms 的微小帧间隔后，误差立即下降一个数量级（立体双目下 $e_{vy}=0.23\,\mathrm{m/s}, e_{vz}=0.19\,\mathrm{m/s}$）。
在真实高尔夫击球实测中，Shot 10 出现显著分歧（SkyTrak 后旋报告为异常激增的 11,254 rpm，而本文估计为 3,805 rpm）。经图像反扭曲逆展开回放后（Fig. 7b），本文恢复的自旋参数在前后两帧间呈现出极高精度的图案像素重合，揭示了传统全局快门单帧特征匹配可能由于频闪周期与对称图案混叠而产生严重频域混叠误判，证实了卷帘快门连续时间戳在解析运动伪相上的独特鲁棒性。

亮点与洞察¶

将畸变反转为时间传感器：通常视觉管线竭力消除卷帘快门畸变，本文巧妙地将每一扫描行视作精确的时间采样切片，使单张静态二维图片具备了测量连续时间高阶运动导数的能力。
球体拓扑驱动的优雅降维：利用球形轮廓自旋无关的完美对称性，将原本高度交织的 12 维非凸非线性优化分解为 6 维平移和 3 维自旋的串行凸优化，彻底根除高维发散问题。
免显式匹配的几何距离方差设计：无需知道每个表面特征点对应的具体拓扑编号，仅依靠正二十面体等边图案固有间距方差为零的几何不变量完成自旋闭环，攻克了高速自旋物体无法建立点云配准的世界难题。
软硬件协同的旋转 90 度相机布局：在真实高尔夫监测仪硬件设计中，将卷帘快门相机旋转 90 度安装，使扫描方向与高尔夫球飞行主方向逆向迎击，极大放宽了音频触发的时间同步裕度，防止球体尚未扫完便飞出视场。

局限与展望¶

强依赖球体几何先验与已知半径：算法目前严格建立在理想球体假设与已知半径参数之上，对于非球形刚体（如橄榄球、飞盘或不规则工业零件）尚无法直接适用。
匀速线性运动假设：方法假设在数毫秒的单次或多次曝光时间内速度与角速度保持恒定，忽略了强空气动力学 Magnus 效应或瞬间碰撞剧烈加减速过程中的非线性速度变化。
自旋解算依赖特定定制图案：虽然平移估计完全适用于无纹理白球，但角速度恢复依然依赖球体表面印刷的正二十面体特征图案，无法直接迁移至任意自然纹理的高尔夫球或足球。
未来方向：作者团队指明将进一步放宽已知半径的强假设，将反投影光线模型推广至椭球体及任意已知 CAD 模型的旋转对称刚体，并在更通用的自然环境光照下探索无监督自旋恢复。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 逆向思维典范，将卷帘快门负面形变转化为运动速度测量线索，提出免特征匹配的球体几何解耦闭式与方差优化。
实验充分度: ⭐⭐⭐⭐⭐ 兼具 Blender 物理级光线追踪仿真与真实高尔夫击球实机硬件测试，从单目单帧递进至双目多帧，并深入剖析异常案例。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，几何物理图像清晰透彻，软硬件设计细节（如 90 度传感器旋转）阐述极其详实。
价值: ⭐⭐⭐⭐⭐ 在智能体育分析、低成本工业分拣与机器人高速动态抓取中具有极高的产业落地与工程参考价值。