Rolling Shutter Relative Pose Estimation Made Practical¶
会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/danini/rolling_shutter_made_practical
领域: 3D 视觉
关键词: 卷帘快门几何、相对位姿估计、仿射对应、极线几何、极小代数求解器
一句话总结¶
论文首次将仿射对应（AC）引入卷帘快门（RS）两视图相对位姿估计中，推导了计入行坐标扰动诱发本质矩阵变化的 RS 校正仿射约束，并构建了基于零空间消元与作用矩阵的 7-AC 极小代数求解器，将 RANSAC 采样点数从 20 锐减至 7，大幅降低迭代复杂度并有效消解了平移速度与基线间的退化耦合。
研究背景与动机¶
卷帘快门（Rolling Shutter, RS）CMOS 传感器几乎普及在智能手机、无人机及各类消费级运动相机中。不同于全局快门（Global Shutter, GS）一次性曝光整个画面，RS 传感器逐行扫描读出，读出过程通常需要 15–30 毫秒。当相机在读出期间发生运动时，图像中不同扫描行对应的相机视点各不相同，使得标准多视图几何中固定的针孔相机模型和常数本质矩阵失效。在三维重建（SfM）与视觉 SLAM 等管线中，若强行假设全局快门模型，相机位姿估计将产生显著系统偏差，导致光束法平差（BA）发散或重建严重畸变。
在经典一阶 RS 运动模型下，双视图系统具有 17 个自由度（5 个相对位姿参数以及两台相机各自的角速度与平移速度共 12 个未知量）。现有最先进的极小位姿求解器（如 Dai 等人的工作）至少需要 20 个纯点对应（Point Correspondences, PCs），在二次 RS 模型下甚至需要 44 个。而在 RANSAC 框架下，采样迭代次数随采样集合大小 \(k\) 呈指数级上升 \(\eta^{-k}\)。在 50% 内点率下，GS 的 5 点法只需数十次迭代，而 20 点法需要超过 100 万次迭代，这使得纯点 RS 位姿估计在工程实际中极其耗时甚至不可用；此外，纯点约束下平移速度与基线平移方向高度耦合，使得平移速度项极难准确收敛。
本文切入的角度是：局部仿射对应（Affine Correspondence, AC）能够提供局部特征块的几何形变梯度，在 GS 几何中一个 AC 即可贡献 3 个独立约束（1 个极线约束 + 2 个仿射微分约束）。核心 idea：将仿射对应引入卷帘快门两视图几何，严密推导考虑行扰动诱发本质矩阵行变化的 RS 校正仿射约束，并借助运动参数物理小量近似与零空间投影消去 12 个 RS 未知数，构建出仅需 7 个仿射对应的度数为 20 的紧凑代数求解器。
方法详解¶
整体框架¶
算法包含“RS 校正仿射约束推导”、“一阶微小运动近似与线性系统构建”、“零空间投影消元提取位姿多项式系统”、“作用矩阵代数求解 20 组候选解”以及“SupeRANSAC 与联合 LM 非线性优化”等环节。输入为两视图间的 7 对仿射对应 \((q_1, q_2, A_c)\) 与归一化扫描行坐标 \((\tau_1, \tau_2)\)，输出为两相机的相对位姿 \((R, t)\) 与各相机角速度和线速度 \((\omega_1, v_1, \omega_2, v_2)\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 7对仿射对应 (q1, q2, Ac)<br/>及归一化行坐标 (τ1, τ2)"] --> B["RS校正仿射微分约束<br/>极线约束+水平/垂直微分项"]
B --> C["物理小量线性化与零空间投影<br/>在固定参考位姿处消除12个RS未知量"]
C --> D["Cayley位姿参数化与子式消元<br/>构建5×3二次多项式矩阵并除以分母"]
D --> E["40×56 Macaulay作用矩阵求解<br/>提取20组候选解并回代恢复RS参数"]
E --> F["SupeRANSAC打分与联合LM精细优化<br/>最小化极线加仿射残差并施加平移阻尼"]
F --> G["输出: 相对位姿 (R, t)<br/>与相机运动参数 (ω, v)"]关键设计¶
1. RS 校正仿射微分约束：捕获行依赖本质矩阵的空间梯度
在全局快门模型中，本质矩阵 \(E\) 为常数，对极线约束 \(q_2^\top E q_1 = 0\) 分别对水平和垂直图像坐标求偏导即可得到经典仿射约束。然而在 RS 场景中，本质矩阵 \(\tilde{E}(\tau_1, \tau_2)\) 随读出扫描行坐标动态变化。当对 \(q_1\) 的图像坐标进行扰动时，不仅引起 \(q_1\) 和 \(q_2\) 的位置变化，还会通过投影和局部形变改变两者所在的扫描行：水平微移 \(q_{1,x}\) 不改变本图读出时间 \(\tau_1\)，但会经由仿射映射 \(A_c\) 的纵向分量改变第二幅图的行坐标 \(\tau_2\)；而垂直微移 \(q_{1,y}\) 则会同时改变 \(\tau_1\) 与 \(\tau_2\)。严密应用链式法则展开后，得到考虑本质矩阵行导数 \(\partial \tilde{E}/\partial \tau_k\) 的 RS 校正仿射约束：
其中 \(e_u, e_v\) 为标准正交基向量，\(a_u, a_v\) 为局部仿射映射矩阵 \(A_c\) 的两列，\(f_y\) 为焦距，\(h\) 为图像高度。每一对 AC 提供 1 个极线方程加 2 个仿射方程共 3 个独立约束，7 对 AC 恰好形成 21 个方程，完全超定于 17 个待求自由度。更关键的是，\(\partial \tilde{E}/\partial \tau_k\) 包含了沿行维度的运动空间导数，打破了纯点对应中平移速度 \(v\) 与基线方向 \(t\) 的混淆。
2. 物理小量线性化与零空间投影：消除 12 个 RS 运动参数
若直接联立非线性多项式，即使在位姿已知的情况下，单单求解 12 个 RS 参数就存在 254 个孤立解。论文发现，对于消费级相机的正常运动（即使剧烈机动下角位移也小于 0.3 rad），二阶运动项 \(\tau^2 \|\omega\|^2 \le 5 \times 10^{-3}\)，远小于图像特征测量噪声。因此将 21 个约束在静止参考点 \(\theta = 0\) 处对 12 个 RS 参数 \(\theta = (\omega_1, v_1, \omega_2, v_2)\) 进行一阶 Taylor 展开，整理为线性系统：
其中 \(J\) 为 \(21 \times 12\) 的雅可比矩阵，\(r_0\) 为 GS 残差。由于方程数（21）大于未知数（12），相容解存在的充要条件是右端项 \(r_0\) 落在 \(J\) 的列空间内，即正交于 \(J\) 的左零空间基 \(U_\perp \in \mathbb{R}^{21 \times 9}\)。为了避免 \(U_\perp\) 对位姿的非线性依赖，作者在参考旋转 \(R_{\text{ref}} = I\) 处固化并正交化该基底，得到仅约束 5 个位姿自由度的无参数消元条件 \(U_\perp^\top r_0(R, t) = 0\)。
3. Cayley 参数化与子式消元：构建度数为 20 的极小子系统
将平移向量设为 \(t = (1, u, v)^\top\)（以尺度归一化），利用 \(r_0\) 关于 \(t\) 的严格线性依赖性，将 9 个消元方程因式分解为 \(G_{\text{poly}}(s) (1, u, v)^\top = 0\)，其中旋转采用 Cayley 参数化 \(s = (s_1, s_2, s_3)\)，各矩阵元均为关于 \(s\) 的 2 次多项式。为了使非零平移向量存在，\(G_{\text{poly}}(s)\) 的秩必须不超过 2。
通过引入随机高斯组合将 9 行压缩至能保持解集零维的最小行数 5 行，获得 \(5 \times 3\) 矩阵 \(\hat{G}(s)\)。其全部 10 个 \(3 \times 3\) 子式（det）均为 6 次多项式。作者代数证明并数值验证了 Cayley 分母 \(d(s) = 1 + \|s\|^2\) 必整除这 10 个子式；将其除尽后，得到 10 个关于 \(s\) 的 4 次多项式方程。该代数理想的 Hilbert 函数在代数次数 20 处稳定，严格确立了该系统的孤立代数解个数为 20。
4. 作用矩阵本征求解与联合 LM 非线性精细化
在阶数 \(d_{\text{ext}} = 5\) 处构建 \(40 \times 56\) 的 Macaulay 矩阵，其奇异值在第 36 位处呈现大于 \(10^3\) 的明显谱间隙，给出 20 维商环基底空间 \(V_{\text{null}}\)。通过对交换变量构造作用矩阵 \(M_k = V_{\text{null}}^\top S_k V_{\text{null}} \in \mathbb{R}^{20 \times 20}\) 并联合对角化，快速提取 20 组解析解并在 1.2 毫秒内完成计算。随后利用最小二乘回代恢复平移 \((u, v)\) 与 12 个 RS 参数 \(\theta\)。
在 SupeRANSAC 筛选出最优假设后，利用内点集合进行全参数联合 Levenberg-Marquardt 优化，目标函数同时加权极线几何残差与仿射残差：
为克服极线几何中平移速度 \(v\) 与基线平移 \(t\) 的病态耦合，在 LM 优化的 \(v\) 模块上施加温和的吉洪诺夫阻尼 \(\lambda_v I\)。结合仿射残差所提供的行向变化梯度，算法能够极其稳定地解耦并恢复真实物理平移速度。
实验关键数据¶
主实验¶
在真实场景 TUM-RS 基准测试集（10 条卷帘快门鱼眼相机运动捕捉序列）上，分别在步长 stride=10 和 stride=20 下评测，评估指标包括姿态误差 \(\max(\epsilon_R, \epsilon_t)\) 在 5°、10°、20° 阈值下的累积曲线下面积（AUC），以及角速度 \(\epsilon_\omega\)（rad）和平移速度 \(\epsilon_v\)（m）的 \(L_2\) 误差。对比方案涵盖纯点 GS 求解器（GS-5PC）、仿射 GS 求解器（GS-2AC）以及经典纯点 RS 求解器（RS-20PC、RS-44PC）。
| 特征提取器 | 求解器方法 | stride=10 AUC@5°↑ | stride=10 AUC@10°↑ | stride=10 \(\epsilon_\omega\) (rad)↓ | stride=10 \(\epsilon_v\) (m)↓ | RANSAC耗时 (s)↓ |
|---|---|---|---|---|---|---|
| AffNet (稀疏) | RS-20PC [17] | 0.101 | 0.181 | 0.177 | 11.260 | 12.7 |
| AffNet (稀疏) | RS-44PC [17] | 0.267 | 0.366 | 0.097 | 13.110 | 25.2 |
| AffNet (稀疏) | GS-5PC [29] | 0.428 | 0.535 | – | – | 1.5 |
| AffNet (稀疏) | GS-2AC [7] | 0.309 | 0.490 | – | – | 0.3 |
| AffNet (稀疏) | RS-7AC (本文) | 0.502 | 0.609 | 0.047 | 0.056 | 3.7 |
| RoMa (稠密) | RS-20PC [17] | 0.769 | 0.869 | 0.063 | 8.011 | 20.9 |
| RoMa (稠密) | RS-44PC [17] | 0.870 | 0.929 | 0.050 | 9.537 | 46.3 |
| RoMa (稠密) | GS-5PC [29] | 0.861 | 0.908 | – | – | 5.3 |
| RoMa (稠密) | GS-2AC [7] | 0.859 | 0.926 | – | – | 1.3 |
| RoMa (稠密) | RS-7AC (本文) | 0.897 | 0.948 | 0.043 | 0.051 | 7.5 |
消融实验与快门通用性验证（EuRoC MAV 全局快门序列）¶
在纯全局快门相机（EuRoC MAV 数据集，6 条序列，无 RS 畸变）上验证算法的退化鲁棒性与参数估计特性。理想情况下 RS 参数应收敛至 0。
| 评估配置 / 方法 | stride=10 AUC@5°↑ | stride=10 AUC@10°↑ | \(\epsilon_\omega\) (rad)↓ | \(\epsilon_v\) (m)↓ | 说明 |
|---|---|---|---|---|---|
| RS-20PC (纯点基线) | 0.426 | 0.631 | 0.075 | 11.762 | 样本过大导致RANSAC抽样失效，速度严重发散 |
| RS-44PC (纯点高阶) | 0.499 | 0.687 | 0.041 | 19.296 | 平移与平移速度强耦合，出现极大虚假速度 |
| GS-5PC (专用全局快门) | 0.521 | 0.704 | – | – | 专为GS设计，不估计运动速度 |
| GS-2AC (仿射全局快门) | 0.517 | 0.702 | – | – | 2个AC的快速GS估计器 |
| RS-7AC (本文完整模型) | 0.512 | 0.701 | 0.016 | 0.035 | 位姿精度与专用GS持平，运动参数准确收敛至近零 |
关键发现¶
- 平移速度解耦突破：在 TUM-RS 真实场景下，纯点方法（RS-20PC / RS-44PC）的平移速度中位数误差高达 8–13 米，甚至差于全预测为零的朴素设定，直接证实了文献中长期存在的 \(v-t\) 退化耦合；而本文提出的 RS-7AC 借助仿射行向梯度与阻尼 LM，将平移速度误差降至 0.051–0.056 米，精度提升了两个数量级。
- RANSAC 采样效率剧增：由于点数从 20/44 骤降至 7，即使单次代数求解耗时 1.2 ms，真实带外点环境下的总耗时依然只有 3.7–7.5 秒，比 RS-44PC 快 6 倍以上，且内点抽样概率从 \(\sim 10^{-7}\) 提升至 \(0.08\)。
- 全局快门无缝泛化：在 EuRoC 全局快门测试中，RS-7AC 没有产生虚假的运动扰动，位姿 AUC@5° 达到 0.512，与原生 GS 求解器（0.521）几乎一致，且估计出的角速度误差仅 0.016 rad、线速度仅 0.035 m。
亮点与洞察¶
- 微分对偶消除时间耦合：首次明确推导出当匹配点沿图像垂直方向微移时，改变对应时间戳会引入 \(\partial \tilde{E}/\partial \tau\) 项。这一设计将时空形变物理耦合直接转化为显式的线性约束，填补了多视图微分几何在非经典快门下的理论空白。
- 物理小量驱动的代数消元：没有盲目硬解 17 维庞大多项式，而是抓住 \(\omega, v\) 在物理曝光时间内的微小量级进行一阶展开，巧妙利用固化在 \(R_{\text{ref}}=I\) 的零空间基底剔除全部 12 个扰动量，将极小子问题降维至仅含 20 组解的代数理想，既保证了代数刚性又确保了数值稳定性。
- 稠密光流的即插即用迁移：现代特征匹配器（如 RoMa）输出连续的变形场（warp field），利用中心有限差分对匹配坐标求导即可无缝获得高质量雅可比仿射阵，无需额外计算复杂仿射特征子，实现点数与仿射对的一对一极低成本转换。
局限与展望¶
- 极端自旋下的近似偏差：在相机自转速度极高（如读出时间内转动超过 15°–20°）的极端场景下，一阶 Taylor 展开的二阶残差将放大，此时固化在 \(R_{\text{ref}}=I\) 的零空间可能产生数值退化，需结合陀螺仪惯导先验或两阶段自适应迭代来补偿。
- 对局部形变噪声的敏感性：仿射对应需要可靠的局部纹理结构。在无纹理弱纹理区域、强烈动态遮挡或严重运动模糊边缘处，求导所得的仿射矩阵容易受到高频噪声污染，需配合高质量仿射滤波机制。
相关工作与启发¶
- vs Dai 等人 (CVPR 2016 RS-20PC / RS-44PC)：Dai 等人仅依赖点对应，需要多达 20 或 44 个对应点，RANSAC 迭代次数爆炸且平移速度因代数退化完全失真；本文通过仿射形变梯度补充几何约束，仅需 7 个 AC 且完美分离了平移速度。
- vs Barath & Hajder (TIP 2018 GS-2AC)：GS-2AC 假设全局快门而忽略了逐行时间漂移，在高速相机运动下位姿误差显著增大；本文是其在卷帘快门维度的严密泛化，同时完整向下兼容 GS 场景。
- vs Hruby & Pollefeys (ICCV 2025 单行线求解器)：线特征在无结构人工环境中难以提取且匹配繁琐；本文立足于普适的点与局部仿射对应，能直接复用现代稠密匹配网络，通用性更强。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立卷帘快门仿射几何约束并完成 7-AC 紧凑代数消元求解
- 实验充分度: ⭐⭐⭐⭐⭐ TUM-RS 真实数据集多特征评测，配合合成噪声扫描与 EuRoC GS 退化对比
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，代数消元与几何直觉结合紧密
- 价值: ⭐⭐⭐⭐⭐ 彻底攻克了 RS 相对位姿估计因采样点过多而无法实用化的核心工程瓶颈