Stable and Scalable Bundle Adjustment of Holistic 3D Structures¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/cvg/holistic-ba ⚠️ 待开源确认（以原文为准）
领域: 几何匹配与定位
关键词: 光束法平差, 结构化三维重建, 舒尔补消元, 线框结构, 几何基元约束

一句话总结¶

提出统一的高阶几何光束法平差框架，将高阶几何组置于非消元相机块并将约束重构为像素重投影误差，既保留经典舒尔补的块对角稀疏性与极速消元，又实现包含点、线、面及线框的整体3D结构联合优化。

研究背景与动机¶

光束法平差（Bundle Adjustment, BA）是多视角三维几何重建与视觉定位的核心支柱。数十年来，BA 之所以能够扩展至包含数百万个三维空间点的超大规模重建，完全依赖于其法方程（Normal Equations）中由二部图可见性决定的特殊稀疏性结构：由于三维空间点仅与观测它的相机产生几何残差，路标点与路标点之间不存在直接耦合，从而使得三维点对应的海森矩阵（Hessian）呈现严格的块对角形式。利用舒尔补（Schur Complement）消元法，求解器能够以极低代价对各个三维点独立求逆，将庞大的整体线性方程系统压缩为一个仅关于相机位姿的紧凑低维方程组。

然而，真实物理世界（尤其是人造建筑、室内空间与城市场景）中蕴含着远比孤立三维点云丰富的高阶几何规律。例如，边缘与物体轮廓构成空间直线并往往交汇于消失点，表面汇聚成几何平面或参数化基元，而点和线在端点连接处构成描述场景几何骨架的线框（Wireframe）结构。若要将这类丰富的结构约束引入光束法平差，经典方法面临两大致命困境：一是结构耦合破坏稀疏性。在传统形式下，共面、平行、垂直或线框连接等多特征直接约束会产生交叉残差，在特征海森矩阵中引入非对角填充块，使得舒尔补消元完全退化为高复杂度的稠密矩阵求逆，计算开销激增甚至崩溃。二是三维度量正则化与二维重投影的尺度失配。既有方法若采用三维空间点面距离等几何惩罚，不仅在无绝对尺度先验的单目系统下破坏了 BA 的规范尺度不变性（诱使优化器倾向于缩小整体尺度以降低损失），而且混淆了三维度量残差与像素空间残差，缺乏合理的概率噪声模型与自适应加权机制。

本文的切入角度是重新解耦几何基元在优化图中的拓扑角色，并把高阶约束统一映射回像素观测空间。核心 idea：将高阶几何组定义为与相机平级的非消元参数块以吸纳特征耦合、维持特征海森块对角稀疏性，同时将组约束与线框约束重构为像素空间重投影误差，使几何基元在无须调参的前提下依据各视角的 Fisher 信息量实现天然的不确定性锚定。

方法详解¶

整体框架¶

算法流水线接收多视角图像以及从中检测得到的 2D 点、线段与几何分割/消失点关联，联合求解相机内外参、三维特征（点、线）以及高阶空间几何组（平面、消失点、二次曲面基元等）。系统首先依据计算拓扑属性将优化变量划分为特征集合 $\mathcal{F}$ 与增强集合 $\mathcal{A} = \mathcal{C} \cup \mathcal{G}$；接着构建两类新型像素级重投影残差；最后在 Ceres 框架下通过舒尔补消去所有特征，仅保留紧凑的相机与几何组系统进行高效迭代求解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像输入<br/>检测提取点、线、消失点与平面基元"] --> B["特征与组分类拓扑<br/>F=点/线，A=相机C+高阶几何组G"]
    B --> C["组诱导重投影误差<br/>3D投影至曲面后再投影至图像测像素位移"]
    B --> D["跨特征线框重投影误差<br/>固定 partner 观测单向解耦点线耦合"]
    C --> E["增广正规方程构建<br/>H_ff 严格保持块对角结构"]
    D --> E
    E --> F["舒尔补消元与整体结构求解<br/>边际化特征后求解紧凑 S 矩阵"]

关键设计¶

1. 特征与组分类拓扑：重构舒尔补参数布局 针对高阶几何关系直接耦合特征破坏海森矩阵块对角性的问题，本文基于计算复杂度视角提出一套清晰的二元分类拓扑。直接拥有各图像二维独立观测测量的低阶基元被划分为特征集合 $\mathcal{F}$（三维点 $\mathbf{X}_j$ 与 Plücker 坐标空间线 $\mathbf{L}_k$），数量庞大（通常在数千至数万级）；而编码平行、共面或曲面流形约束的高阶实体被划分为几何组 $\mathcal{G}$（平面参数 $\mathbf{n}, d$、消失点方向 $\mathbf{v}_g$、球体、圆柱体等），数量相对稀疏（通常几十至几百个）。关键设计在于将组参数 $\mathcal{G}$ 并入相机参数 $\mathcal{C}$ 构成增广集合 $\mathcal{A} = \mathcal{C} \cup \mathcal{G}$，作为正规方程中不被消元的块 $\mathbf{H}_{aa}$。每个特征-组约束仅连接单个特征与单个组实体，结构如同相机与特征的关联，因而特征块 $\mathbf{H}_{ff}$ 内部完全不出现跨特征的非对角填充块，继续保留严格的块对角结构，使得高维矩阵逆 $\mathbf{H}_{ff}^{-1}$ 仍能分解为互不相干的独立小块求逆。

2. 组诱导重投影误差：规避尺度漂移与自适应 Fisher 锚定 针对三维度量正则项在单目 SfM 中破坏尺度不变性且权重极度敏感的问题，本文将空间位置组（如平面）约束转化为纯像素重投影差值。对于关联在平面组 $G_g = (\mathbf{n}, d)$ 上的三维空间点 $\mathbf{X}_j$，首先将其通过正交投影算子映射到平面上 $\mathrm{Proj}_{G_g}(\mathbf{X}_j) = \mathbf{X}_j - \frac{\mathbf{n}^\top \mathbf{X}_j - d}{\|\mathbf{n}\|^2}\mathbf{n}$，进而计算该点在相机 $C_i$ 下的真实投影与平面投影之间的像素位移残差： $$ \mathbf{r}_g^{(p)} = \pi_p(C_i, \mathbf{X}j) - \pi_p(C_i, \mathrm{Proj}^2 $$ 同理，对属于平面的三维线段，残差取为原始观测线段距离与平面投影线段距离的差值向量 }(\mathbf{X}_j)) \in \mathbb{R$\mathbf{r}_g^{(l)} \in \mathbb{R}^4$。一阶泰勒展开表明，设空间偏移向量 $\boldsymbol{\delta} = \mathbf{X}_j - \mathrm{Proj}_{G_g}(\mathbf{X}_j)$，该残差线性化为 $\mathbf{r}_g^{(p)} \approx \mathbf{J}_i \boldsymbol{\delta}$，其在所有观测视角下的累积损失等价于 $\boldsymbol{\delta}^\top (\sum_i \mathbf{J}_i^\top \mathbf{J}_i) \boldsymbol{\delta}$。其中 $\sum_i \mathbf{J}_i^\top \mathbf{J}_i$ 恰好为三维特征点的 Fisher 信息矩阵（即协方差逆 $\boldsymbol{\Sigma}_X^{-1}$）。这一数学等价性带来了极其优美的统计特性：组参数会被视角充足、视差大、观测置信度高（Fisher 信息大）的可靠特征牢固锚定，而观测退化的特征即便偏离平面也不会对平面参数造成错误拉扯，完全消除了经验调参困扰并保持尺度规范自洽。

3. 跨特征线框重投影误差：通过单向固定测量解耦点线耦合 针对空间点线在交界结点（Junction）处构成的线框约束（点在直线上）导致两特征在海森矩阵中直接耦合的问题，本文提出非对称的跨特征重投影公式。在包含线框边 $(\mathbf{X}_j, \mathbf{L}_k)$ 的多视角图像中，优化器并非建立三维点到三维线的空间欧氏距离，而是将其解耦为两组互相补偿的像素投影残差：若某图像 $i$ 中观测到直线段 $\boldsymbol{\ell}_{ik}$ 但特征点 $\mathbf{X}_j$ 未被直接检测提取，系统将二维线段 $\boldsymbol{\ell}_{ik}$ 视为固定已知常量测量，仅将三维点 $\mathbf{X}_j$ 与相机 $C_i$ 视作变量，计算投影点到测量线的垂向像素距离： $$ r_{p \to l} = d(\pi_p(C_i, \mathbf{X}j), \boldsymbol{\ell}) $$ 反之，若某图像中观测到了特征点 $\mathbf{x}_{ij}$ 而直线 $\mathbf{L}_k$ 缺失，则将点测量 $\mathbf{x}_{ij}$ 作为固定目标，定义线到点的反向像素残差 $r_{l \to p} = d(\mathbf{x}_{ij}, \pi_l(C_i, \mathbf{L}_k))$。在两个特征均直接可见的图像中，由于各自独立的标准重投影误差已提供足够约束，故直接省略跨特征项。由此，雅可比矩阵中绝不出现点变量与线变量同时非零的耦合项，彻底保留了特征集合的独立性，成功化解了传统线框 SfM 舒尔补矩阵稠密化的算力瓶颈。

一个完整示例¶

以一间包含大白墙和桌子边界的室内场景为例：系统在视图 1、2、3 中观测到桌角交点 $X$ 与桌边缘直线 $L$。视图 1 中 $X$ 因高光未能检出角点，但 $L$ 被清晰提取为线段 $\ell_1$；视图 2 中提取出 $X$ 的像点 $x_2$，而边缘 $L$ 被遮挡；视图 3 中两者均成功检测。在传统方法中，直接设置 3D 距离 $d(X, L) = 0$ 导致 Hessian 阵在 $(X, L)$ 交叉位置产生非零块，破坏消元结构。而在本文方案中：视图 1 生成 $r_{p \to l}(C_1, X; \boldsymbol{\ell}_1)$，仅约束 $X$ 的光束射线必须落在 $\ell_1$ 对应的反投影视平面内；视图 2 生成 $r_{l \to p}(C_2, L; \mathbf{x}_2)$，仅约束直线 $L$ 的反投影平面必须穿过像点 $x_2$ 的视线；视图 3 则仅激活标准点线重投影误差。整个求解过程中，$X$ 与 $L$ 的参数在法方程中互不直接耦合，特征边际化过程保持 $O(N)$ 独立线性开销，同时利用不完整视角的线框几何交叉补齐了三维空间定位精度。

损失函数 / 训练策略¶

整个平差系统的总优化目标函数包含四个互补的像素/几何残差项： $$ E(\mathcal{C}, \mathcal{G}, \mathcal{X}, \mathcal{L}) = \sum_{\mathcal{O}p} \rho(\mathbf{r}}}) + \sum_{\mathcal{Ol} \rho(\mathbf{r}}}) + \sum_{\mathcal{O{g}} \rho(\mathbf{r}}}) + \sum_{\mathcal{O{wf}} \rho(\mathbf{r}}}) + \sum_{\mathcal{O{inter}} \rho(\mathbf{r}) $$ 其中，}$\rho(\cdot)$ 统一采用 Cauchy 鲁棒损失核函数以抵抗误匹配。对于特征-组与跨特征线框约束，系统采用跨多视角投票过滤机制，仅当关联关系在 $\ge 3$ 张图像中得到几何一致性验证时才实例化构建三维约束。在收敛判定上，得益于所有主要项均归一化在像素物理量纲下，系统采用相对成本改变准则 $\frac{|\Delta E|}{E} < \epsilon$，摆脱了传统混合三维损失对梯度范数经验阈值的脆弱依赖。

实验关键数据¶

主实验¶

在 Hypersim 合成数据集（8个室内场景，以真实高精度网格为真值）以及 ETH3D、ScanNet++ 等真实世界数据集上，对比了经典点 SfM（COLMAP）、点线 SfM 以及本文整体结构 SfM（Holistic SfM）。

表1：Hypersim 数据集重建几何精度（点内点率与中位数误差，线召回长度与精度）

优化配置	点内点率 @1mm (%) ↑	点内点率 @5mm (%) ↑	点中位误差 (mm) ↓	线召回长 @1mm (m) ↑	线精度 @1mm (%) ↑	线精度 @10mm (%) ↑
Per-point/line 独立优化	9.3	31.7	15.10	72.1	21.3	77.3
+ Group 约束（面/消失点）	11.5	35.6	13.80	93.2	27.3	81.0
+ Group & Wireframe 约束 (本文完整)	11.9	36.3	13.55	93.3	27.3	81.0

表2：ScanNet++、Hypersim、ETH3D 与 7Scenes 上的完整 SfM 相机位姿估计精度 (相对位姿 AUC)

数据集	指标	COLMAP (Point)	Point-Line SfM	Holistic SfM (本文)	相对增益 / 优势
Hypersim (8 scenes)	AUC@3° / AUC@5° / AUC@10°	89.3 / 90.4 / 92.2	92.2 / 93.2 / 94.0	92.5 / 93.4 / 94.2	相比 COLMAP 3° 精度提升 +3.2°
ScanNet++ (20 scenes)	AUC@3° / AUC@5° / AUC@10°	84.0 / 86.0 / 87.5	84.7 / 86.7 / 89.2	87.4 / 89.4 / 90.6	室内丰富平面场景显著提升 +3.4°
ETH3D (11 scenes)	AUC@3° / AUC@5° / AUC@10°	50.2 / 66.4 / 77.6	49.4 / 67.1 / 79.6	50.4 / 68.1 / 80.4	户外大场景姿态各指标均达最优
7Scenes (7 scenes)	AUC@3° / AUC@5° / AUC@10°	22.9 / 48.7 / 75.5	23.1 / 48.9 / 76.8	24.3 / 50.8 / 78.4	低纹理挑战室内位姿全方位领跑

消融实验¶

在 ETH3D 几何精度与 ScanNet++ 位姿精度上，对比本文提出的二维组诱导重投影误差与传统直接三维点面距离正则化项在不同权重设置下的表现。

表3：2D 组诱导重投影误差 vs 传统 3D 刚性距离正则项消融对比

配置方案	ETH3D Acc. @1cm (%) ↑	ETH3D Acc. @5cm (%) ↑	ScanNet++ AUC@1° ↑	ScanNet++ AUC@3° ↑	ScanNet++ AUC@10° ↑
Point BA 基线	45.17	75.53	66.1	84.0	87.5
3D 组正则 ($w=1$)	45.17	75.55	67.4	85.0	89.1
3D 组正则 ($w=10$)	45.24	75.61	68.1	85.0	90.5
3D 组正则 ($w=100$)	45.72	76.12	68.3	87.8	91.1
3D 组正则 ($w=1000$)	46.69	76.71	67.1	85.1	88.3
Holistic BA (本文 2D 误差，无须加权)	47.05	76.84	69.4	87.4	90.6

关键发现¶

3D 正则化对权重的极端敏感性与退化问题：传统 3D 点面惩罚项当权重过小（$w=1, 10$）时，几何结构约束几乎不起作用；当权重激增至 $w=1000$ 时，虽然强制贴合使 3D 几何点距指标上升，但严重的尺度失配严重破坏了图像重投影对相机参数的约束，导致 ScanNet++ 上的相机姿态 AUC@1° 急剧衰退至 67.1。相比之下，本文无需任何手工调参，即可在几何精度（47.05% vs 46.69%）与姿态估计（AUC@1° 达到 69.4）上全面超越 3D 方案。
渐进平差时间与扩展性：在大规模 1DSfM 数据集（如 Tower of London 963 张注册图像）实测中，本文方法端到端耗时仅为传统点基线的 1.3 倍左右（59.2 分钟 vs 46.4 分钟），显著优于以往混合结构 SfM 方案动辄 2-4 倍的沉重开销。在 DENSE_SCHUR 与 SPARSE_SCHUR 求解器下，本文方法与点基线呈现几乎完全相同的渐进复杂度曲线（分别为 $\sim n^{2.6-2.8}$ 与 $\sim n^{1.6-1.9}$）。

亮点与洞察¶

将组放入相机级参数块的代数洞见：通过将低数量的高阶组变量与相机放在同一个非边际化分块中，从根本上维持了特征海森矩阵严格的块对角结构，破解了结构化平差数十年来的矩阵填充难题。
重投影差值与 Fisher 信息的数学统一：揭示了将空间点投影到几何流形后的二维像点漂移在一阶展开下天然等于投影雅可比乘空间偏差，数学本质上恰好是观测协方差的逆矩阵加权，实现了无需经验置信度的贝叶斯式自然锚定。
跨特征单向固定观测的解耦技巧：在线框约束中将未检出特征的关联视作常数测量值，巧妙避开了变量间的直接交叉项，这一思想能够无缝推广至点-网格、线-面等多类型混合几何优化。

局限与展望¶

依赖上游特征与几何组关联的准确率：本框架专注于结构几何优化求解，若前序阶段（如平面分割、消失点聚类）出现大范围错误匹配，易造成局部几何畸变；目前依赖保守的投票阈值策略，牺牲了一部分低频结构召回率。
退化视角的平面几何不可恢复性：由于依赖像平面残差驱动，对于视线几乎与平面平行的极端退化视角，系统无法依靠该几何项将离群点拉回平面，仍需依赖全局鲁棒先验。
未来方向：结合 VLM（如 SAM3）进行开放世界语义几何基元建模，并将基于学习的不确定性置信度引入平差系统，构建从单图大模型先验到多图几何平差的端到端闭环。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙重构了特征与组的优化图拓扑并提出 2D 结构重投影形式，极具理论优美性与实用价值。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大真实基准与合成实验，对舒尔补耗时、稀疏性、消融与下游位姿几何做了严谨评估。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学推导清晰且与视觉几何本质紧密呼应。
价值: ⭐⭐⭐⭐⭐ 为新一代结合大模型先验与经典几何度量优化的通用 3D 重建系统提供了标杆级平差基础设施。