Rolling Shutter Camera Self-Calibration¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Yongcong-Zhang/RSSC
领域: 几何匹配与定位
关键词: 卷帘快门相机、相机自标定、光束法平差、B样条连续轨迹、双重投影模型

一句话总结¶

首个无需标定板或辅助硬件的卷帘快门相机纯视觉自标定方法，将连续时间B样条轨迹估计与2D像素轨迹校正场估计统一为双重投影光束法平差模型，实现相机内参与行读出时间比率的高精度联合估计。

研究背景与动机¶

卷帘快门（Rolling Shutter, RS）相机因低制造成本、低功耗和高帧率特性，被广泛装备于智能手机、无人机、移动机器人及消费级智能设备中。与全局快门（Global Shutter, GS）相机在单一瞬间曝光整幅图像不同，RS 相机采用按行逐次曝光与读出的物理机制，使得图像中不同行对应不同的采集时间戳。当相机或场景处于运动状态时，这种逐行读出机制会导致画面产生倾斜、拉伸、摇晃以及著名的果冻效应（jello effect）。这些非刚性几何畸变严重破坏了经典对极几何与透视投影假设，对相机标定、位姿估计以及 SfM 和 SLAM 中的光束法平差（Bundle Adjustment, BA）构成了严峻挑战。

在几何三维视觉任务中，精确的相机模型是实现高质量 3D 重建与姿态估计的前提。对于 RS 相机而言，准确投影不仅依赖焦距和主点等传统内参，还高度取决于行读出时间比率 $\gamma$（即总读出时间与帧间间隔时间的比值）。$\gamma$ 直接控制了几何畸变的剧烈程度，在 RS 图像去畸变与运动位姿解算中不可或缺。然而，现有的 RS 相机标定方法高度依赖专用的外部标定物（如高频闪烁 LED 面板、特定棋盘格）或紧耦合的惯性测量单元（IMU）辅助硬件。在开放的真实场景及无约束视频采集中，标定靶标或精确同步的传感器往往无法获取；而现有的全局快门自标定方法因缺乏对行延迟时间的建模，在 RS 视频上会出现严重的内参漂移与尺度失真。

解决该问题的核心矛盾在于：如何在无标定物、无额外硬件辅助的通用视频序列中，仅凭图像特征匹配联合解耦相机内参、相机连续动态位姿与行读出时间比率。本文的切入角度是打破将连续位姿轨迹建模与图像校正场估计割裂的传统视角，将二者深度统一。核心 idea：将基于李群 B 样条的连续时间相机轨迹估计与基于 2D 特征轨迹拟合的全局快门校正场融合为统一的双重投影（Dual-Projection）光束法平差框架，使每个 3D 点在共享的连续轨迹上同时受到行依赖 RS 观测与参考时刻 GS 校正观测的双重几何约束。

方法详解¶

整体框架¶

整个自标定框架接收一段无约束的连续 RS 视频序列作为输入。系统首先利用传统的全局快门 SfM（如 COLMAP）进行粗略初始化，获得初始相机内参矩阵 $K$、粗略相机位姿集合以及稀疏 3D 点云坐标，同时将行读出时间比率 $\gamma$ 默认初始化为 0.5。在此基础上，论文构建了两种互补的 RS 投影视角，并将其升华整合为统一的双重投影光束法平差优化系统：

连续时间轨迹估计视角（RSSC-TE）：将单张 RS 图像解构为 $H$ 帧独立曝光的单行 GS 图像，利用李群连续三次累积 B 样条拟合相机平滑运动轨迹，实现每个图像行独立位姿的显式解析计算；
校正场估计视角（RSSC-CE）：将 RS 图像视为时间畸变作用下的单一 GS 图像，通过拟合 2D 像素的时间演变轨迹，将特征点投影矫正至统一的整帧参考时间戳；
双重投影模型（RSSC-DP）：将校正场估计中的参考 GS 位姿显式约束至同一个 B 样条连续轨迹上，对每个 3D 特征点同时计算原始 RS 行重投影残差与矫正 GS 重投影残差，形成加权联合优化闭环，最终非线性迭代解算出高精度内参 $K$、读出时间比率 $\gamma$、连续轨迹控制点与 3D 点坐标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续 RS 图像序列输入"] --> B["全局快门 SfM 初始化<br/>粗位姿 / 初始内参 K / 初始 γ=0.5"]
    B --> C["连续时间轨迹估计<br/>李群累积三次 B 样条参数化"]
    B --> D["2D 观测轨迹拟合校正<br/>多项式 / Hermite 像素插值至参考时间"]
    C --> E["双重投影联合优化<br/>共享连续轨迹的双重投影几何闭环"]
    D --> E
    E --> F["输出高精度标定结果<br/>内参 K、读出时间比率 γ 与精确位姿轨迹"]

关键设计¶

1. 连续时间轨迹估计：以行级时间戳解耦动态位姿 针对逐行曝光带来的时间异步痛点，传统单帧单刚体位姿表示彻底失效。RSSC-TE 引入连续时间位姿参数化，将总曝光读出时间记为 $T_{\text{readout}}$，帧间非曝光延迟记为 $T_{\text{delay}}$，相邻帧起始时间间隔为 $T_f = T_{\text{readout}} + T_{\text{delay}}$。对于高度为 $H$ 的图像，第 $i$ 帧中位于行坐标 $v_i^j$ 处的特征点 $m_i^j=[u_i^j, v_i^j]^\top$，其真实的物理曝光时间戳被精确建模为： $$t(\gamma, v_i^j) = \left(i + \gamma \frac{v_i^j}{H}\right) T_f$$ 整个运动轨迹由时间间隔为 $T_f$ 的控制位姿集合 $\{T_i \in SE(3)\}$ 构成李群累积三次 B 样条连续曲线。对于时间点 $t \in [t_i, t_{i+1})$，其位姿受相邻 4 个控制点影响，通过李代数增量矩阵 $\Omega_{i-1+k} = \log(T_{i-1+k-1}^{-1} T_{i-1+k}) \in \mathfrak{se}(3)$ 及累积基函数向量 $B_k(s)$ 获得解析位姿 $T(t)$。由此，3D 点 $P^j$ 到第 $i$ 帧第 $v_i^j$ 行的重投影残差定义为： $$e_i^{j, \text{TE}} = m_i^j - \pi\left(T(t(\gamma, v_i^j)) P^j\right)$$ 通过最小化全图特征的重投影误差，直接将读出时间比率 $\gamma$ 转化为沿轨迹运动插值权重的敏感梯度，实现了对传感器时间参数的显式约束。

2. 2D 观测轨迹拟合校正：将 RS 观测对齐到全局快门参考时刻 针对连续位姿拟合在剧烈非平滑高频抖动下容易陷入局部极小的问题，RSSC-CE 从观测空间出发，将 RS 图像视作全局快门图像叠加了一个未知的局部 2D 运动校正场。该设计沿时间维度追踪同一个 3D 点在相邻帧之间的 2D 投影轨迹，将其插值推断到第 $i$ 帧首行的统一参考基准时刻 $t_i = i T_f$。论文提出了两种插值方案： - 二次多项式拉格朗日插值（RSSC-CEQ）：利用 $i-1, i, i+1$ 三帧中具有不同时间戳的 2D 观测，通过拉格朗日基函数解析拟合二次轨迹，计算得到对应参考时刻 $t_i$ 的矫正全局快门观测 $m_i^{j, \text{GS}}(t_i)$； - 三次 Hermite 样条插值（RSSC-CEH）：利用 $i-1, i, i+1, i+2$ 四帧观测，以中心差分近似计算切向量，构建更高阶光滑的像素运动轨迹。矫正后的全局快门观测消除了行扫描引起的时滞形变，能够直接代入标准全局快门重投影模型中构造残差： $$e_i^{j, \text{CE}} = m_i^{j, \text{GS}}(t_i) - \pi\left({}^{\text{GS}}T_i P^j\right)$$ 该机制完全在图像像素空间提供直接的观测校正信号，对初始位姿依赖度低且收敛速度极快。

3. 双重投影联合优化：轨迹连续性与观测一致性的时空闭环 单一的 RSSC-TE 依赖强轨迹平滑假设，若相机存在高频颠簸则误差迅速增大；而单一的 RSSC-CE 仅依赖离散特征点轨迹拟合，对图像测量噪声极其敏感，且在弱视差下对 $\gamma$ 的约束力衰减。RSSC-DP 将二者升华融合，消除了 RSSC-CE 中独立的全局快门参考位姿参数 ${}^{\text{GS}}T_i$，强制其严格由共享的李群 B 样条轨迹在时间点 $t_i$ 处计算生成，即 ${}^{\text{GS}}T_i = T(t_i)$。由此，同一个空间点 $P^j$ 在第 $i$ 帧中被投影两次：一次是对应实际采样时刻 $t(\gamma, v_i^j)$ 的行依赖 RS 投影，另一次是对应参考基准时刻 $t_i$ 的矫正 GS 投影。联合目标函数构建为加权最小二乘问题： $$\min_{\theta_{\text{DP}}} \sum_{i \in \mathcal{F}} \sum_{j \in \mathcal{P}_i} \left( \|e_i^{j, \text{TE}}\|^2 + \lambda \|e_i^{j, \text{CE}}\|^2 \right)$$ 其中待优化的变量集为 $\theta_{\text{DP}} = \{\gamma, K, \{T_i\}, \{P^j\}\}$，$\lambda$ 为平衡两类投影残差的权重系数（实测中设为 0.5）。当 3D 相机运动出现局部非平滑时，2D 像素轨迹投影依然保持局部平滑，RSSC-CE 项能纠正轨迹拟合偏差；反之，当图像特征点存在观测噪声或局部漂移时，RSSC-TE 的李群流形连续先验为系统提供强正则化支撑，两者形成互补且自洽的时空闭环。

损失函数 / 训练策略¶

该框架采用非线性最小二乘求解器（基于阻尼高斯-牛顿或 Levenberg-Marquardt 算法）进行迭代求解。优化初始状态由 COLMAP 提供初始相机内参 $K$、控制点位姿集合 $\{T_i\}$ 与空间点 $\{P^j\}$，$\gamma$ 初始化为 0.5。收敛判断准则设置为：参数更新量小于 $10^{-8}$，梯度的无穷范数小于 $10^{-10}$，或者目标函数相对变化量低于 $10^{-8}$。得益于双重投影的凸性改善，模型通常在 9 至 14 次迭代内即可达到高精度收敛。

实验关键数据¶

主实验¶

在真实公开卷帘快门基准数据集 WHU-RSVI 与 TUM-RSVI 上，选取无标定靶标的通用运动序列，以 50 帧连续视频进行纯视觉自标定评测。对比基准包括代表性工业级全局快门 SfM 框架 COLMAP、基于深度学习几何感知的视频自标定方法 DroidCalib 以及自监督视频自标定网络 SelfSup-Calib。由于学术界此前不存在任何开源的纯视觉卷帘快门相机自标定算法，因此所有对比基线均为顶尖的全局快门标定算法。评估指标包括内参中位数绝对误差（MAE）以及轨迹对齐后的中位数绝对轨迹误差（MATE）。

数据集	方法	MAE($f_x$) (pix)	MAE($f_y$) (pix)	MAE($c_x$) (pix)	MAE($c_y$) (pix)	MAE($\gamma$)	MATE (m)
WHU-RSVI	COLMAP	3.05	11.26	4.36	8.17	—	0.0453
	DroidCalib	0.56	22.33	3.13	13.80	—	0.0317
	SelfSup-Calib	195.98	129.28	13.85	23.78	—	0.4585
	RSSC-TE	0.07	0.31	0.23	0.60	0.0485	0.0170
	RSSC-CEQ	0.16	2.82	0.27	1.04	0.0814	0.0131
	RSSC-CEH	0.67	2.43	0.71	1.60	0.1789	0.0238
	RSSC-DPQ (本文)	0.03	0.44	0.19	0.65	0.0483	0.0101
	RSSC-DPH	0.30	0.31	0.24	1.50	0.0945	0.0126
TUM-RSVI	COLMAP	33.58	14.82	16.01	28.50	—	0.0374
	DroidCalib	71.96	67.56	17.54	41.76	—	0.0963
	SelfSup-Calib	359.77	338.17	59.89	9.85	—	0.1432
	RSSC-TE	3.16	1.48	1.76	1.12	0.1144	0.0063
	RSSC-CEQ	3.79	2.67	1.71	1.25	0.0609	0.0066
	RSSC-CEH	3.71	3.31	1.40	1.52	0.0852	0.0081
	RSSC-DPQ (本文)	3.10	2.39	1.93	1.16	0.0814	0.0055
	RSSC-DPH	4.17	3.06	2.16	2.14	0.1374	0.0072

消融实验¶

论文在合成仿真环境中系统对比了各衍生模块在不同轨迹平滑度（截止频率 $f_c \in \{0, 2, 4, 6\}$ Hz）、读出时间比率（$\gamma \in \{0.2, 0.4, 0.6, 0.8\}$）与观测噪声水平（$\sigma \in \{0.5, 1.0, 1.5, 2.0\}$ 像素）下的鲁棒性，并在 50 次独立实验下测试了优化收敛效率。

方法变体	核心建模机制	单次迭代耗时 (s)	收敛迭代轮数	总优化时间 (s)	综合精度与鲁棒性特性
RSSC-TE	仅连续时间李群 B 样条	0.5142	32	5.8657	平滑轨迹下精度极高，但迭代轮数多，高频抖动下易退化
RSSC-CEQ	仅二次拉格朗日多项式校正	0.0841	5	0.2321	极度快速高效，但对图像测量噪声极其敏感
RSSC-CEH	仅三次 Hermite 样条校正	0.0851	6	0.2765	计算高效，插值阶数稍高但在高噪声下波动增加
RSSC-DPQ	连续轨迹 + 二次校正联合优化	0.7668	9	2.6048	最佳折中：高抗噪性与强鲁棒性，内参与 $\gamma$ 估计最准
RSSC-DPH	连续轨迹 + Hermite校正联合优化	0.7735	14	3.9185	精度优秀，但收敛轮数与计算开销略高于二次多项式版

关键发现¶

双重投影消除内参漂移：在 WHU-RSVI 上，传统 COLMAP 的主点 $c_y$ 误差高达 8.17 像素，焦距 $f_y$ 误差达 11.26 像素，而 RSSC-DPQ 将焦距与主点误差压低至 0.03 到 0.65 像素以内，精度提升超过一个数量级；
读出比率 $\gamma$ 的高精收敛：各 RSSC 变体均能在无任何物理靶标的情况下准确恢复未知的读出时间比率 $\gamma$，在 WHU 数据集上 MAE 低至 0.0483，验证了时序形变反解的可行性；
模块互补性与抗噪能力：仿真实验表明，当测量噪声增加至 2.0 像素时，纯校正场方法 RSSC-CE 的误差呈指数级上升；而引入连续轨迹后，RSSC-DP 表现出与 RSSC-TE 相当的极强正则化抗噪能力，同时在轨迹高频扰动下的误差显著低于单一的 RSSC-TE；
优化收敛加速：相比单一轨迹估计（RSSC-TE 需 32 轮迭代、耗时 5.87 秒），RSSC-DPQ 借助 2D 校正场提供的梯度导向，仅需 9 轮迭代（2.60 秒）即可收敛，优化速度提升超过 2 倍。

亮点与洞察¶

开创性填补领域空白：首次实现了无标定板、无专用传感器（IMU）辅助的卷帘快门相机纯视觉自标定，使消费级设备在无约束野外环境中直接恢复传感器读出参数成为可能；
时空互补的双重投影闭环：巧妙地将学术界此前相互对立的两种建模范式（连续位姿积分流 vs 图像空间重投影矫正）结合在一起，通过共享底层 B 样条轨迹实现几何与时序的完全一致性；
即插即用的工程实用价值：无需复杂的深度神经网络预训练或域适配，直接以传统 SfM 输出为初始值，仅耗费约 2.6 秒非线性优化即可输出度量级精准参数，可直接无缝嵌入 COLMAP、ORB-SLAM 等主流管线。

局限与展望¶

临界运动退化（Degenerate Motions）：在相机静止、纯匀速旋转或纯沿传感器行读出方向平移的特定运动下，卷帘快门引起的形变退化为仿射或不可观测量，此时 $\gamma$ 的估计可能产生多义性，未来需从理论上系统刻画其奇异运动流形；
稀疏特征依赖性：当前流程依赖前端特征点匹配的准确性，在低纹理、强光照突变或存在大面积动态前景遮挡的场景下，2D 像素轨迹拟合可能产生离群噪点，降低校正场精度；
与稠密 3D 表征结合的潜力：作者在展望中指出，未来工作可将该自标定机制进一步拓展至端到端神经辐射场（NeRF）与 3D 高斯泼溅（3DGS）的联合几何优化中，实现动态未标定视频的实时高质量新视角合成。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出纯视觉免靶标免传感器的 RS 相机自标定方案，双重投影理论设计严密优雅]
实验充分度: ⭐⭐⭐⭐⭐ [包含多维度合成仿真扰动分析、优化效率对比以及两个真实公开 RS 数据集的全指标评测]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰规范，问题陈述明确，逻辑环环相扣]
价值: ⭐⭐⭐⭐⭐ [攻克了机器人与消费视觉中长期存在的传感器标定门槛问题，对实用 SfM 与 SLAM 具有高实用价值]