CSS-BA: Gate Guided Column Space Search for Bundle Adjustment¶
会议: ECCV 2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 光束法平差, 列空间搜索, 舒尔补, 低视差退化, 信任域优化
一句话总结¶
针对低视差与近纯旋转场景下舒尔补相机系统极度病态导致经典LM位姿与标定估计失真的难题，CSS-BA在完全保留原始BA目标函数、测量残差与全量参数的前提下，通过几何门控筛选高可靠相机子集并结合列空间搜索（CSS）构建紧凑的Lanczos/Ritz低维更新子空间，实现了无需外加先验的稳健位姿求解。
研究背景与动机¶
光束法平差（Bundle Adjustment, BA）作为多视图三维重建管线中经典的非线性最小二乘精炼模块，即便在当前基于深度学习的重建系统（如 DUSt3R、MASt3R）中，依然是决定最终相机位姿与几何标定精度的核心支柱。标准求解流程依赖将三维路标点通过舒尔补（Schur complement）消元，在降维后的相机参数增量上执行 Levenberg–Marquardt（LM）阻尼步求解。然而，这一经典框架在面对低视差（low-parallax）或近纯旋转（near-rotational）运动模式（例如手机环拍 PhoneSweep 数据集、远景绕飞等场景）时，暴露出深层的数值病态脆弱性。
在基线趋近于零的几何退化场景下，图像视差对场景深度的偏导敏感度 \(\partial d_{\text{disp}}/\partial Z \approx -fB/Z^2\) 迅速衰减，导致平移量、点深度和相机焦距在观测方程中发生高度缠绕。这种缠绕在舒尔消元后，直接在相机 Hessian 矩阵中诱发大量接近零特征值的奇异或近零空间方向（near-null directions）。此时，经典的 Schur-LM 算法极易滑入这些受约束极弱的方向，即使重投影误差下降到了极低水平，输出的相对位姿却严重畸变、轨迹碎裂甚至塌陷，焦距标定也产生数十倍乃至上百倍的荒谬漂移。现有的加速或鲁棒方案，如 Power BA、Square Root BA 或针对球形轨迹定制的先验正则，要么仅关注线性代数计算效率，要么需要改变优化目标或强加运动约束。
本文从求解器更新方向的几何约束切入，提出了一种完全兼容传统信任域框架的解法。作者认为无须修改 BA 的重投影残差或人工删减优化变量，关键在于阻止求解步在缺乏约束的病态空间内漫游。核心 idea：在经典舒尔补 LM 框架内引入门控引导的列空间搜索（CSS-BA），利用跨视角视差与旋转一致性滤除退化相机，并按舒尔局部预测下降增益挑选高贡献相机块构建 Lanczos/Ritz 紧凑基底，将每步 LM 增量限制在良态低维子空间内求解后再全维回抬，从更新方向源头消解几何病态。
方法详解¶
整体框架¶
CSS-BA 整体嵌入在标准的舒尔补 Levenberg–Marquardt 阻尼迭代循环中。在输入含相机参数 \(\mathbf{c}\) 与三维点参数 \(\mathbf{p}\) 的待优化状态后，算法首先在线下基于多视图拓扑图计算几何可靠性指标，建立几何感知支持集 \(\mathcal{S}\)。在每次 LM 迭代中，算法对当前状态进行线性化并建立阻尼舒尔补系统 \(\tilde{H}_\lambda \Delta \mathbf{c} = -\tilde{\mathbf{g}}_\lambda\)。随后，算法并不直接求解整个全维线性系统，而是对 \(\mathcal{S}\) 中的相机块进行舒尔预测增益打分，选出 Top-\(k\) 个关键相机块构建局域化舒尔算子；接着通过 Lanczos 算法提炼出主曲率 Ritz 基底并补充正交化梯度的残差方向，张成低维搜索子空间 \(V_t\)；最后在子空间中求解小规模投影线性方程组，将增量回抬至全维相机空间并反代求出三维点增量，由标准信任域比率决定接受与否并更新阻尼因子 \(\lambda\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入相机与路标点参数 (c, p)"] --> B["几何感知门控支持集构建<br/>基于视差与旋转一致性确定 S"]
B --> C["线性化与阻尼舒尔消元<br/>构建 Schur 系统 (H̃_λ, g̃_λ)"]
C --> D["舒尔一致列空间搜索打分<br/>评估 S 中各块预测下降选取 Top-k Kt"]
D --> E["局域化算子与 Lanczos/Ritz 基底生成<br/>提取主曲率基底 VK 并补入梯度补向 vg 构成 Vt"]
E --> F["投影 LM 子问题求解与全维度增量回抬<br/>求解 Vtᵀ H̃_λ Vt y = -Vtᵀ g̃_λ, Δc = Vt y"]
F --> G["反代求解路标点增量 Δp<br/>信任域测试 ρ 与阻尼更新"]关键设计¶
1. 几何感知门控支持集构建：以视差与旋转一致性剔除退化相机 在低视差退化配置中，盲目利用所有相机的数值梯度可能引入病态甚至虚假的几何更新方向。为了在源头划定良态子空间候选池，CSS-BA 在优化前通过两视图几何诊断指标建立可靠相机索引集合 \(\mathcal{S}\)。对于任意两相机 \(i, j\)，若其共享特征匹配轨迹集合 \(|\mathcal{P}_{ij}| \ge \tau_{\text{shared}}\)，则构成有效观测边 \((i, j) \in \mathcal{E}\)。针对每条共享射线计算夹角得到两视图中位数视差 \(\mathrm{Par}_{ij}\)，并据此过滤邻域得出有效视差邻域 \(\mathcal{N}_E(i) = \{j \in \mathcal{N}(i) \mid \mathrm{Par}_{ij} \ge \tau_{\text{par}}^{\text{edge}}\}\)，从而得出相机级的视差评分 \(\mathrm{Par}_i = \mathrm{median}_{j \in \mathcal{N}_E(i)} \mathrm{Par}_{ij}\)。同时，定义局部旋转一致性评分 \(\mathrm{RA}_i\) 为相机姿态 \(R_i\) 与其邻域平均旋转 \(\bar{R}_i\) 之间的测地线旋转角距离： $$ \mathrm{RA}_i = \arccos\left(\operatorname{clamp}\left(\frac{\mathrm{tr}(R_i^\top \bar{R}_i) - 1}{2}, -1, 1\right)\right) $$ 最终门控支持集 \(\mathcal{S}\) 由满足有效视差邻居数 \(|\mathcal{N}_E(i)| \ge \tau_{\text{nbr}}\)、高旋转一致性 \(\mathrm{RA}_i \le \tau_{\text{ra}}\) 以及相机视差门限 \(\mathrm{Par}_i \ge \tau_{\text{par}}^{\text{cam}}\) 的相机组成。该门控仅用于界定后续基底选取的合法支持池，绝不从优化问题中剔除未入选相机。
2. 舒尔一致的列空间搜索打分：以局部预测下降量自适应选取 Top-\(k\) 块 在确定几何有效池 \(\mathcal{S}\) 后，必须在每一次迭代 \(t\) 针对当前线性化工作点识别哪些相机坐标维度的更新最具全局下降性价比。CSS-BA 将列空间搜索（CSS）理论拓展至阻尼舒尔补相机空间。将全量相机增量向量 \(\Delta \mathbf{c} \in \mathbb{R}^{n_c}\) 划分为 \(B\) 个相机块，对应块投影矩阵为 \(P_i \in \mathbb{R}^{n_c \times d_i}\)。对于集合 \(\mathcal{S}\) 中的每一个相机块 \(i\)，提取其对应的舒尔梯度块 \(\tilde{\mathbf{g}}_{\lambda, i} = P_i^\top \tilde{\mathbf{g}}_\lambda\) 以及对角 Hessian 块 \(\tilde{H}_{\lambda, ii} = P_i^\top \tilde{H}_\lambda P_i\)。该相机块若单独激活，在二阶局部模型下带来的预测残差下降量为： $$ s_i = \frac{1}{2} \tilde{\mathbf{g}}{\lambda, i}^\top \tilde{H} $$ 该打分直接复用舒尔消元后的梯度与对角块，计算代价极低（仅需对各相机的 }^{-1} \tilde{\mathbf{g}}_{\lambda, i\(6 \times 6\) 或 \(9 \times 9\) 小矩阵求逆）。算法按 \(s_i\) 从大到小降序排列，自适应提取前 \(k = \min(k_{\text{max}}, |\mathcal{S}|)\) 个最具增益潜力的相机块构成当轮活跃支持集合 \(K_t \subseteq \mathcal{S}\)。
3. 局域化算子与 Lanczos/Ritz 基底生成：从离散块支持提炼平滑协同更新方向 单纯在离散选中的 \(K_t\) 块内独立更新容易割裂场景中各相机的共视几何约束。为此，CSS-BA 定义块投影算子 \(P_{K_t} = \sum_{i \in K_t} P_i P_i^\top\)，并将舒尔 Hessian 算子双侧局域化为 \(\tilde{H}_{\lambda, K_t} = P_{K_t} \tilde{H}_\lambda P_{K_t}\)。以局域化负梯度为初始向量，在 \(\tilde{H}_{\lambda, K_t}\) 上执行 \(m\) 步 Lanczos 迭代，生成 Krylov 正交基 \(Q_m \in \mathbb{R}^{n_c \times m}\) 与三对角矩阵 \(T_m \in \mathbb{R}^{m \times m}\)。通过计算 \(T_m\) 对应的前 \(k\) 个特征向量 \(C_k\)，合成低维 Ritz 基底： $$ V_K = Q_m C_k \in \mathbb{R}^{n_c \times k} $$ \(V_K\) 精确捕捉了 \(K_t\) 支持块内的最显著曲率主方向，将原本离散的相机块激活转化为跨相机的协同连续运动基。为了防止非支持集相机的梯度信息完全被切断，算法进一步计算未选块的梯度残差 \(z_g = (I - P_{K_t})(-\tilde{\mathbf{g}}_\lambda)\)，若其二范数超过阈值 \(\epsilon_g\)，则将其相对于 \(V_K\) 进行 Gram-Schmidt 正交归一化得到方向 \(v_g\)，拼装得到最终的紧凑搜索基底 \(V_t = [V_K, v_g] \in \mathbb{R}^{n_c \times (k+1)}\)。
4. 投影 LM 子问题求解与全维度增量回抬：参数全保留的良态方向约束 获得基底 \(V_t\) 后，算法将待求相机增量参数化为子空间坐标 \(\Delta \mathbf{c} = V_t \mathbf{y}_t\)，其中未知向量 \(\mathbf{y}_t \in \mathbb{R}^{r_t}\)（维数仅为 \(k\) 或 \(k+1\)，实验中通常取 \(10 \sim 11\)）。将该参数化代入舒尔正规方程，得到小规模投影线性方程： $$ \left(V_t^\top \tilde{H}\lambda V_t\right) \mathbf{y}_t = -V_t^\top \tilde{\mathbf{g}}\lambda $$ 由于 \(V_t\) 滤除了近零奇异空间，极小维度的投影矩阵 \(V_t^\top \tilde{H}_\lambda V_t\) 展现出优异的数值良态性，直接求解即可获得平滑且稳健的低维坐标解 \(\mathbf{y}_t\)。随后，通过回抬矩阵计算全维相机增量 \(\Delta \mathbf{c} = V_t \mathbf{y}_t\)。值得注意的是，\(V_t\) 虽由 \(K_t\) 引导生成，但其列向量以及补充方向 \(v_g\) 映射出的 \(\Delta \mathbf{c}\) 覆盖了全部相机变量；随后利用标准舒尔补回代关系 \(\Delta \mathbf{p} = H_{pp, \lambda}^{-1}(-\mathbf{g}_{p} - H_{pc} \Delta \mathbf{c})\) 恢复所有三维点更新，最后在李代数流形上应用试探步，并使用标准信任域比率 \(\rho\) 控制步长接受与阻尼更新。整个过程既严格锁死在良态子空间内，又对全模型变量实施了无损联合优化。
实验关键数据¶
主实验¶
论文在两类对比鲜明的基准上展开评估：其一是极度挑战性的低视差近纯旋转实拍基准 PhoneSweep（包含 iPhone13Mini 与 Nexus5X 子集，使用通用全局 SfM 算法 GLOMAP 初始化，测试无共享内参设置）；其二是大规模通用网络图库 SfM 数据集 BAL（Bundle Adjustment in the Large）。对比方法包括标准未受限 Schur-LM（Normal-LM）与快速逆展开方法 Power BA（PoBA），同时列出享有强先验约束（共享内参+球形运动假设）的 SphericalSfM+BA 作为参考上限。
评估指标包括：相对旋转精度（RRA@\(\tau\)）、相对平移角精度（RTA@\(\tau\)）、AUC@\(30^\circ\)（越高越好），以及绝对焦距误差 AFE（\(|\hat{f} - f_{\text{gt}}|/f_{\text{gt}}\)，越低越好）。
| 数据集 | 优化求解器 | RRA@\(5^\circ\) ↑ | RRA@\(15^\circ\) ↑ | RRA@\(30^\circ\) ↑ | RTA@\(5^\circ\) ↑ | RTA@\(15^\circ\) ↑ | RTA@\(30^\circ\) ↑ | AUC@\(30^\circ\) ↑ | 焦距误差 AFE ↓ |
|---|---|---|---|---|---|---|---|---|---|
| iPhone13Mini | Normal-LM | 17.40 | 53.49 | 81.38 | 6.24 | 28.73 | 51.26 | 13.34 | 115.56 |
| PoBA | 41.58 | 73.98 | 87.62 | 17.22 | 52.99 | 62.13 | 42.62 | 169.43 | |
| CSS-BA (本文) | 85.79 | 86.55 | 87.82 | 77.24 | 86.32 | 89.68 | 79.97 | 158.01 | |
| SphericalSfM (参考) | 100.00 | 100.00 | 100.00 | 86.65 | 98.77 | 99.77 | 91.45 | 0.25 | |
| Nexus5X | Normal-LM | 8.06 | 44.32 | 76.29 | 5.10 | 21.38 | 43.32 | 12.06 | 265.35 |
| PoBA | 14.15 | 66.90 | 88.10 | 16.14 | 52.90 | 75.04 | 33.01 | 121.18 | |
| CSS-BA (本文) | 86.32 | 91.09 | 95.98 | 81.12 | 94.79 | 98.41 | 83.78 | 0.89 | |
| SphericalSfM (参考) | 100.00 | 100.00 | 100.00 | 83.48 | 96.56 | 98.83 | 90.43 | 0.97 |
在良态的 BAL 通用大规模场景中，评估优化目标残差改善比率 \(r_i = f_i^{\text{final}} / f_i^0\)（越小越好）和对数下降量 \(\Delta_i = \log_{10}(f_i^0 / f_i^{\text{final}})\)（越大越好）：
| 场景族群 | 算例数 | Normal-LM (mean \(r\) ↓ / \(\Delta\) ↑) | PoBA (mean \(r\) ↓ / \(\Delta\) ↑) | CSS-BA 本文 (mean \(r\) ↓ / \(\Delta\) ↑) | 说明 |
|---|---|---|---|---|---|
| ladybug | 20 | 0.01556 / 1.8713 | 0.01634 / 1.8604 | 0.01720 / 1.8089 | 车载全景环拍，视差充裕，各求解器相当 |
| trafalgar | 14 | 0.00484 / 2.3542 | 0.00471 / 2.3383 | 0.00460 / 2.3400 | 网络照片多视角，CSS-BA 残差略微占优 |
| dubrovnik | 16 | 0.00484 / 2.3254 | 0.00491 / 2.3194 | 0.00530 / 2.2919 | 大规模城市场景，残差收敛量级高度一致 |
消融实验与分析¶
1. 几何门控模块消融（PhoneSweep 数据集，GLOMAP 初始化） 验证几何感知门控（旋转一致性 RA 与视差 Par）对稳定性的过滤作用：
| 门控策略配置 | iPhone13Mini AUC@\(30^\circ\) ↑ | iPhone13Mini AFE ↓ | Nexus5X AUC@\(30^\circ\) ↑ | Nexus5X AFE ↓ | 说明 |
|---|---|---|---|---|---|
| 完整门控 (Full gate) | 79.97 | 158.01 | 83.78 | 0.89 | 困难配置下精度最佳且焦距估计完全恢复正常 |
| 去除门控 (No gate) | 79.98 | 157.82 | 79.56 | 1.06 | 在高度退化的 Nexus5X 上 AUC 明显下跌 |
| 仅保留旋转门控 (RA only) | 79.91 | 157.30 | 79.65 | 0.88 | 缺乏视差筛选，位姿精度有微小波动 |
| 仅保留视差门控 (Par only) | 79.94 | 158.25 | 79.61 | 0.94 | 缺乏位姿朝向平滑保护，指标略弱于全门控 |
2. 核心超参数 Top-\(k\) 敏感度分析 在 PhoneSweep 的三个典型序列（Nexus5X/engineering_west、iPhone13Mini/scott_shand、iPhone13Mini/plaza）上测试不同子空间基底数 \(k \in \{4, 6, 8, 10, 12, 16\}\)：
| 超参数 \(k\) | N5X/eng (AUC@30 / AFE) | i13/scott (AUC@30 / AFE) | i13/plaza (AUC@30 / AFE) | 行为规律 |
|---|---|---|---|---|
| \(k=4\) | 97.747 / 0.503 | 95.365 / 0.601 | 94.327 / 0.692 | 极低维度基底即表现出很强的稳定性 |
| \(k=6\) | 97.746 / 0.128 | 95.394 / 0.299 | 93.872 / 0.586 | 焦距估计误差显著压低 |
| \(k=8\) | 97.762 / 0.430 | 95.365 / 0.601 | 93.426 / 0.576 | 指标保持高位平稳 |
| \(k=10\) (默认值) | 97.753 / 0.447 | 95.363 / 0.601 | 94.249 / 0.654 | 全局综合性能与通用性平衡最好 |
| \(k=12\) | 97.754 / 0.447 | 95.365 / 0.601 | 93.294 / 0.580 | 维度增加收益迅速趋于饱和 |
| \(k=16\) | 97.757 / 0.467 | 95.391 / 0.379 | 93.367 / 0.578 | 引入更多块并未带来性能进一步飞跃 |
3. 运行耗时对比分析 在 PhoneSweep 两个序列上统计 150 次迭代上限内的端到端 Wall-clock 优化耗时：Normal-LM 总耗时为 6495s，PoBA 为 1930s，CSS-BA 为 13142s。CSS-BA 的耗时约为 Normal-LM 的 2.02 倍、PoBA 的 6.81 倍。主要开销源于每轮迭代中基于 Lanczos 的 Ritz 基底投影分解。这表明 CSS-BA 实质上是在严苛几何退化区以适度的算力换取了至关重要的求解稳定性。
关键发现¶
- 退化区位姿精度跃升：在极度缺乏平移视差的 PhoneSweep 评测中，传统 LM 与 PoBA 优化出的相机轨迹发生严重卷曲或塌缩，AUC@\(30^\circ\) 仅为 \(12\% \sim 42\%\)；CSS-BA 成功抑制了沿退化零空间的更新偏移，使 AUC 直跃至 \(80\% \sim 84\%\)，在无外加运动先验的前提下逼近了强约束基线。
- 焦距标定解耦效应突出：在 Nexus5X 算例中，基线求解器焦距误差普遍在 120%~265% 的离谱量级，而 CSS-BA 一举将其压回 0.89%，证实了限制更新子空间可从源头上阻止平移与焦距参数之间的恶性补偿吸收。
- 基底维数鲁棒性强：消融表明只要选取的 Top-\(k\) 基底数量在 6 到 16 之间，系统的收敛表现几乎一致，完全不需要针对特定序列精心调参，默认 \(k=10\) 展现出强适应性。
亮点与洞察¶
- 求解器侧更新空间约束的精巧设计：不同于常规通过增加正则项、改换变量表示或筛选关键帧过滤状态的侵入式做法，CSS-BA 将控制点放在阻尼舒尔补步长的搜索子空间内。它保持了原本精确的残差定义和所有的相机与三维点参数，既做到了即插即用（drop-in replacement），又从根本上避免了人为改写物理约束带来的次生偏差。
- 离散块选取向连续协同运动的升华：单纯在坐标系中冻结某些相机参数容易破坏整体刚体一致性。论文通过在局域化舒尔矩阵 \(\tilde{H}_{\lambda, K_t}\) 上执行 Lanczos 迭代提取 Ritz 向量，巧妙将挑选出的 \(k\) 个离散相机块的势能转化为全局连续协同位姿基底，构成了多视图系统降维更新的高质量数学范例。
局限与展望¶
- 计算吞吐量存在额外开销：由于每轮迭代都需要针对局域化矩阵执行 32 步 Lanczos 投影分解与向量正交化，CSS-BA 在时间开销上大约是经典 LM 的 2 倍，在良态的大规模场景（如 BAL）中该子空间约束并无显著几何增益，却带来了多余的计算负担。
- 门控与基底维数目前为静态配置：当前算法中的门控阈值与 \(k=10\) 基底大小均为全局固定值，未来如果能根据 Hessian 矩阵的瞬时条件数（condition number）实现自适应动态子空间维度调整与门控松弛，将进一步兼顾良态场景下的求解效率。
相关工作与启发¶
- 对比 Power BA / Variable Projection：PoBA 等方法致力于利用幂级数近似逆舒尔补以规避大规模稀疏线性分解，重点在加速；而 CSS-BA 聚焦在弱视差退化下舒尔补零空间的危害，通过构建 Lanczos/Ritz 子空间来保证几何更新方向的纯净度，两者定位互补。
- 对比 Keyframe / Sliding Window 状态过滤：传统 SLAM/SfM 遇到小视差时常直接剔除冗余帧（减少活动变量）。CSS-BA 的深刻启示在于：即使在小视差下，所有视角的观测值依然携带宝贵的几何精炼信息，不应在变量端丢弃，而应在增量求解的搜索方向端加以良态约束。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将列空间搜索（CSS）与 Lanczos/Ritz 投影优雅地结合到 BA 舒尔补相机系统中，在求解器搜索子空间维度实现创新。
- 实验充分度: ⭐⭐⭐⭐☆ 在经典 PhoneSweep 几何退化基准与通用 BAL 数据集上进行了细致评测与消融，数值论证有力。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨连贯，从两视图退化物理机制到投影正规方程逻辑闭环清晰。
- 价值: ⭐⭐⭐⭐☆ 为低视差、无人机绕飞与手持视频 SfM 提供了即插即用的后端几何优化加固工具，工程实用前景明朗。