General Self-Calibration with Varying Intrinsics¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Rowing0914/Self-Calibration-Varying-Intrinsics
领域: 3D 视觉
关键词: 相机自标定, 变内参, Kruppa 方程, 绝对二次曲线对偶像 (DIAC), 极小松弛

一句话总结¶

本文提出了一种通用的变内参多视图相机自标定代数框架，通过将内参空间中的结构化多项式先验前推映射为绝对二次曲线对偶像（DIAC）空间中的代数约束，并结合雅可比分析采样局部独立的极小松弛子系统，成功解决了包括变焦与主点偏移在内的多种复杂变内参自标定问题。

研究背景与动机¶

多视图相机自标定是无结构多视图三维重建管线中的基石技术，其核心任务是直接利用图像间的几何对应关系将射影重建升级为具有物理尺度一致性的度量重建，从而为运动恢复结构（SfM）、同时定位与建图（SLAM）、增强现实以及精密测量等下游任务提供不可或缺的度量基准。经典的自标定理论大多建立在固定内参相机的强假设之上，或者依赖于对偶绝对二次曲面（DAQ）与 Kruppa 方程在完全交（complete intersection）条件下的自由度计数。然而在现代实际拍摄管线中，变焦、自动重新对焦以及视频电子防抖（EIS，通过动态裁剪与平移画面引入主点偏移）等操作极其普遍，各视角间的内参呈现出强烈的动态变化特性。

在变内参自标定设定下，经典方法的假设面临双重失效。首先，实际中的相机先验（如零倾斜、固定宽高比、跨视角共享主点或部分参数共享）自然地建立在内参矩阵 $K$ 的参数空间中，而经典的 Kruppa 方程却作用在绝对二次曲线对偶像（DIAC，$\omega^* \sim K K^\top$）的射影矩阵空间中，两者之间存在天然的代数表征割裂；其次，在变内参多视图系统下，简单的自由度相加往往会导致多项式方程组出现复杂的代数相关性，盲目的多项式求解在代数过约束或退化时极易因组合爆炸或数值病态而崩溃。以往研究大多只能针对某些特殊手工设定的退化场景（如共享焦距、已知主点在图像中心等）设计启发式两步法，缺乏处理任意结构化内参先验的统一代数框架。

针对上述难题，本文的核心切入点是将参数空间中的任意代数内参先验系统性地推入到 DIAC 空间中，与双视角 Kruppa 射影约束统一在同一多项式理想中，并通过雅可比局部独立性分析自适应抽取适定方系统。核心 idea：将内参空间中的任意结构化先验通过有理映射前推至 DIAC 空间导出显式代数簇，并结合雅可比秩挑选局部独立的极小松弛子系统，化解代数相关性并统一求解通用变内参自标定。

方法详解¶

整体框架¶

本文方法的输入为多视图图像匹配估计得到的两两基础矩阵 $F_{ji}$ 及对应对极点 $e'_{ji}$，以及用户指定的相机内参先验任务定义；输出为所有相机的独立内参矩阵 $K_i$。系统整体流程分为三个核心阶段：首先在内参 $K$ 空间建立多项式先验集合，并通过二次前推映射将其转换为 DIAC 空间中的显式代数约束簇；接着将各视角对之间的无标定 Kruppa 二次多项式约束与前推先验联立，形成高维过约束多项式系统；最后通过基于雅可比矩阵的 QR 分解挑选局部独立的极小松弛子系统，借助多项式数值延拓或代数求解器恢复精确的 DIAC 并分解出各相机的内参。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视图输入<br/>基础矩阵 Fij 与对应极点"] --> B["内参先验前推映射<br/>K 空间先验映射至 DIAC 代数簇"]
    B --> C["Kruppa 多项式系统联立<br/>跨视角极线约束与 DIAC 先验整合"]
    C --> D["雅可比极小松弛采样<br/>QR 列主元分解提取独立方系统"]
    D --> E["数值代数求解与内参分解<br/>输出各视角内参矩阵 Ki"]

关键设计¶

1. 内参先验的前推映射：消解参数空间与 DIAC 空间的表征隔阂

为了消除先验定义与 Kruppa 约束在不同空间中的表征脱节，本文将内参先验形式化为 $m$ 个相机内参空间 $(\mathbb{C}^5)^m$ 上的代数集 $\mathcal{P}_{\mathcal{K}} = \{ K=(K_1, \dots, K_m) \mid \mathcal{F}_{\mathrm{task}}(K) = 0 \}$。由于 DIAC 是内参矩阵的二次对称积 $\pi_{\omega^*}: K_i \mapsto \omega_i^* \sim K_i K_i^\top$，本文定义前推簇 $\mathcal{P}_{\mathcal{W}} := \overline{\pi_{\omega^*}(\mathcal{P}_{\mathcal{K}})} \subset (\mathbb{P}^5)^m$ 为该映射的 Zariski 闭包。通过符号代数中的 Gröbner 基消元法，可以系统性地推导消去参数 $K$ 后的隐式多项式关系。例如，当先验假设跨视角主点一致 $(u_1, v_1) = (u_2, v_2)$ 且零倾斜 $s_i=0$ 时，映射到归一化 DIAC 变量（固定 $\omega_{33}^*=1$）后会导出直接约束 $\omega_{13}^*$ 与 $\omega_{23}^*$ 的高次多项式链。前推簇的维数 $d = \dim(\mathcal{P}_{\mathcal{W}})$ 精确刻画了在满足内参先验后系统剩余的纯粹几何自由度，从代数几何根源上明确了获得 0 维孤立解所需的独立几何方程数。

2. 变内参 Kruppa 射影约束代数化：避免共享内参假设

传统 Kruppa 方法通常强制假定所有视角具有恒定的单一 DIAC $\omega^*$，而本文将每个视角 $i$ 的对偶像 $\omega_i^*$ 均视为独立未知的对称 $3 \times 3$ 射影变量（参数化为 5 个独立标量自由度）。对于视角对 $(i, j)$，Kruppa 关系表达为射影等价： $$ F_{ji} \omega_i^ F_{ji}^\top \;\sim\; [e'{ji}]\times \omega_j^ [e'{ji}]\times $$ 记两端对称矩阵分别为 $A_{ji}$ 与 $B_{ji}$，分别提取其 6 个独立元素展开为 6 维向量 $\mathbf{a}_{ji}, \mathbf{b}_{ji} \in \mathbb{R}^6$。射影等价等价于两向量共线，即构造 $6 \times 2$ 矩阵 $C_{ji} = [\mathbf{a}_{ji}, \mathbf{b}_{ji}]$ 并强制其所有 $2 \times 2$ 子式均为零： $$ f_{ji}^{(p,q)} = a_{ji,p} b_{ji,q} - a_{ji,q} b_{ji,p} = 0, \quad 1 \le p < q \le 6 $$ 每对图像由此贡献 $\binom{6}{2}=15$ 个二次齐次多项式约束。对于任意选取的视角集合对 $\mathcal{V}$，联立全部 Kruppa 约束族与前推先验约束族，得到关于未知数 $(\omega_1^*, \dots, \omega_m^*)$ 的全局代数多项式系统。

3. 雅可比秩极大松弛采样：系统性提取良态独立方系统

对于 $m$ 个视角，Kruppa 约束加上先验约束总方程数达到数十乃至数百个，存在严重的代数冗余与相关性。本文引入极小松弛理论，在通用场景点 $(\mathbf{p}_0, \mathbf{x}_0)$ 处评估全局多项式方程组 $\mathcal{G}$ 的雅可比矩阵 $J = \left. \frac{\partial \mathcal{G}}{\partial \mathbf{x}} \right|_{(\mathbf{p}_0, \mathbf{x}_0)}$。为了自适应选取能够使系统达到极小且 0 维的子集，算法对 $J^\top$ 执行带列主元的降秩 QR 分解（rank-revealing QR），提取数值有效秩为 $n = \dim(\mathcal{X})$ 的线性无关主元行，生成恰好包含 $n$ 个独立多项式的方系统 $\mathcal{F} \subset \mathcal{G}$。为了避免局部几何奇异并增强数值鲁棒性，算法通过对方程顺序随机置换及施加正随机行尺度变换，多样化采样 $N=10$ 组独立的极小松弛候选子系统，并监控雅可比条件数 $\kappa(J_{\mathcal{F}}) = \sigma_{\max} / \sigma_{\min}$。实验表明采样的子系统条件数普遍稳定在 $10^3 \sim 10^4$ 的温和良态区间，随后调用同伦单值延拓或多项式消元求解，最后通过 Cholesky/RQ 分解恢复各视角的物理内参矩阵。

损失函数 / 训练策略¶

作为多视图几何自标定代数初始化方法，本算法不涉及深度学习权重训练。在鲁棒估计流程中，算法被嵌入至 MSAC 框架中迭代运行：每次迭代中抽取 8 对匹配点计算基础矩阵并构建松弛方程求解候选内参，在多组极小松弛解集与多轮抽样中，选取在全图对极重投影及内参物理先验约束下代数残差最小且最自洽的解。估计出的内参可直接作为通用 SfM（如 COLMAP）光束法平差（Bundle Adjustment）的强基准初始值。

实验关键数据¶

主实验¶

论文在受控合成噪声实验以及 InFlux 真实动态变焦视频数据集上进行了全方位评测，涵盖了多种内参变化配置（ff000-f: 仅焦距未知且跨视角共享；ff000-none: 仅焦距未知且独立变化；ffuv0-uv: 固定宽高比与零倾斜，主点共享；fguv0-uv: 宽高比可变、焦距完全独立变化，主点共享）。

表 1 摘录合成噪声下（$\sigma = 1.0$ px）各方法的焦距相对误差 $\Delta_{fg}$ 与主点相对误差 $\Delta_{uv}$ 对比：

任务配置	方法	视角数 $m$	焦距误差 $\Delta_{fg}$ ($\sigma=1.0$ px)	主点误差 $\Delta_{uv}$ ($\sigma=1.0$ px)	说明
ff000-f	Linear DAQ (Pollefeys)	2	0.457	−	经典共享焦距基线
ff000-f	Ours (Kruppa-DIAC)	2	0.511	−	与经典 DAQ 性能持平
ff000-none	Pairwise SVD (Lourakis)	2	>1.00 (显著退化)	−	两两启发式求解缺乏多视全局约束
ff000-none	Ours (Kruppa-DIAC)	2	0.485	−	变焦双视角稳定解算
ffuv0-uv	Pairwise (Lourakis)	3	0.805	0.797	中心主点假设导致较大主点误差
ffuv0-uv	Ours (Kruppa-DIAC)	3	1.737	1.507	弱约束配置下代数多义性高
fguv0-uv	Ours (Kruppa-DIAC)	4	0.547	0.413	强先验结合多视松弛，精度与鲁棒性优异

表 2 汇总真实视频序列（InFlux 数据集中的 5 个代表性变焦场景，原论文 Table 2）的序列级无加权中位数统计（Mean $\pm$ Std）：

任务 / 方法配置	焦距误差 $\Delta_{fg}$ (Mean $\pm$ Std) ↓	主点误差 $\Delta_{uv}$ (Mean $\pm$ Std) ↓	核心特征说明
ff000-f (Kruppa, Ours)	0.725 ± 0.169	−	经典静态焦距，表现与专用算法一致
ff000-f (Pollefeys DAQ)	0.857 ± 0.116	−	经典 DAQ 线性基线
ff000-none (Ours)	0.604 ± 0.162	−	真实连续变焦视频下表现稳健
ffuv0-uv (Kruppa, Ours)	0.790 ± 0.104	0.312 ± 0.086	主点漂移时比中心假设更准
ffuv0-uv (Lourakis)	0.805 ± 0.140	0.797 ± 0.001	依赖中心主点初值导致主点估计偏差大
fguv0-uv (Ours)	0.748 ± 0.105	0.464 ± 0.133	完全变内参实用配置，误差收敛良好

消融实验¶

为系统评估代数复杂度与不同先验约束的关系，论文通过代数单值延拓与 BKK 多面体界对不同配置下的极小松弛子系统解空间大小进行了穷举解析（原论文 Table 1）：

任务 (Task)	共享变量 (Shared)	视角数 $m$	前推簇维数 $\dim(\mathcal{P}_{\mathcal{W}})$	候选子系统数 #Subsys	解数量估计 (Max / Min #sol.)	复杂度来源 / 性质
ff000	f	2	1	15	2 / 1	单值延拓精确根数，代数结构极简单
ff000	none	2	2	105	1 / 1	完全解耦变焦双视，唯一单根
ffuv0	fuv	3	3	$1.42 \times 10^4$	16 / 16	共享主点与焦距，根数为 16
ffuv0	none	5	15	$1.62 \times 10^{20}$	372,918 / 372,191	无共享时解空间急剧爆炸 (BKK 界)
ffuv0	uv	3	5	$1.22 \times 10^6$	40 / 40	变焦共享主点，仅 40 组孤立复根
fguv0	uv	4	10	$5.72 \times 10^{12}$	144 / 98	实际 4 视角通用变焦，复杂度温和受控

在电子防抖裁剪（EIS 偏移图像中心，原论文 Table 3）真实对比中，针对偏心图像，COLMAP-guess 出现系统性主点崩溃（$\Delta_{uv} = 2.483 \pm 0.608$），而本文方法通过代数求解 DIAC 分别取得了 $\Delta_{uv} = 0.395 \pm 0.475$ (ffuv0-uv) 与 $0.665 \pm 0.106$ (fguv0-uv)，显示出对非对齐光轴的极高几何稳健性。

关键发现¶

跨视角内参先验的耦合强度是决定代数系统复杂度的首要因素：一旦缺乏对内参的合理跨视先验约束（如 ffuv0-none），系统的代数根数和 BKK 上界会呈超多项式爆炸至数十万量级，导致几何求解极端敏感；而引入共享主点先验后，解的个数迅速骤降至 40~144，数值鲁棒性成倍提升。
经典的自由度计数（DoF counting）法则在变内参自标定中不再完全可靠：由于 Kruppa 约束的射影性质以及前推映射在二次流形上的代数依赖性，约束方程并非完全相交，盲目按自由度凑方程极易陷入退化陷阱。
雅可比秩选取的极小松弛具有良好的数值稳定性：在 $N=10$ 的少量独立采样下，矩阵条件数稳定在 $10^3 \sim 10^4$，足以抵抗高达 1.0 px 的对极匹配高斯噪声。

亮点与洞察¶

先验前推映射的代数构造：首次以代数几何视角将内参物理空间的任意多项式先验严格前推至 DIAC 射影空间，建立了连续先验与对极多项式方程之间的精确理论桥梁。
基于雅可比分析的极小松弛采样机制：利用 QR 分解列主元法自动在庞大的代数过约束集合中抽取良态、局部独立的极小正定方子系统，化解了多视几何中长久存在的过约束与代数相关性矛盾。
破解变焦与电子防抖的标定盲区：打破了过去必须依赖静态镜头或中心主点猜测的工程经验限制，为手持视频设备在复杂运动、连续变焦和动态防抖裁剪下的真实几何重建提供了严谨的初值解算器。

局限与展望¶

临界运动序列与特异性退化问题：论文重点研究通用位姿配置下的极小松弛，尚未对三维空间中类似纯旋转、光轴共线等退化运动序列（Critical Motion Sequences）进行完全的代数分类与保护机制设计。
对初始基础矩阵精度的依赖：系统依赖两两视角的 8 点法基础矩阵与对极点计算，若初始特征匹配存在严重粗差或大范围视差退化，极线几何误差会直接污染多项式系数。
后续扩展方向：可进一步将极小松弛框架与端到端非线性光束法平差进行更紧密的局部延拓耦合，或拓展至鱼眼与全景等非针孔非线性相机畸变自标定中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立变内参先验前推至 DIAC 的代数体系，并引入极小松弛解决代数相关性。
实验充分度: ⭐⭐⭐⭐☆ 涵盖从代数根数/BKK界推演、合成噪声扰动到真实 InFlux 动态变焦视频及防抖裁剪的严密评估。
写作质量: ⭐⭐⭐⭐⭐ 数学严密，代数几何概念叙述清晰，实验对比针对性强。
价值: ⭐⭐⭐⭐☆ 解决了长期困扰多视图几何与 SfM 的变内参鲁棒初始化问题，具备极高的理论与工程实用价值。