TopoGS: Planar Reconstruction via Topology-Aware 3D Gaussian Splatting¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D视觉
关键词: 3D高斯泼溅、平面重建、拓扑约束、室内场景重建、多视角立体视觉

一句话总结¶

TopoGS 首次将 2D 拓扑图与 3D 高斯泼溅联合优化深度绑定，提出融合光度、几何与拓扑的三重一致性约束与不确定度加权机制，自适应滤除视点依赖的伪邻接，从多视角图像中端到端重建出边界精准、物理连通的结构化平面模型。

研究背景与动机¶

从多视角图像中恢复高精度、可参数化编辑的 3D 结构化表示，是计算机视觉、图形学、机器人仿真与 AR/VR 的核心基石。在人造建筑与室内环境中，最理想的场景表达是由一组参数化平面、交线段及角点顶点组成的紧凑连通模型。然而，传统三维重建技术多依赖两阶段多视角立体视觉（MVS）范式——先从密集图像中估计点云或网格，再通过 RANSAC 聚类与二元/动态空间剖分提取平面。在纹理匮乏的白墙、强反光地板或复杂光照条件下，前阶段 MVS 极易生成严重含有噪声、离群点或缺失的中间几何体；而由于两阶段单向解耦，后阶段的平面拟合不仅无法回传修正前端几何，更完全丢弃了原始图像中丰富的光度纹理与多视角约束，导致累积误差严重。

近年来，以 3D 高斯泼溅（3DGS）为代表的神经辐射场渲染范式展现出优异的几何恢复与实时渲染能力，结合单目几何大模型（如 Metric3D）先验的端到端平面重建方法（如 PlanarSplatting、PlanarGS、PGS）相继涌现。这些方法通过引入法向平滑或平面高斯基元，极大改善了弱纹理区域的局部表面平整度。然而，现有 3DGS 平面重建方法仍将每个平面视为离散、孤立的几何实体，完全缺失空间拓扑连通性先验。在真实物理世界中，相邻墙面、天花板与地板之间存在严苛的交角对齐与接触边界约束；一旦缺乏全局拓扑感知，算法在弱纹理区域易陷入尺度漂移的局部极小值，从而重建出大量边界错位、悬浮破损或重叠割裂的平面碎片。

直接将 2D 图像分割的邻接关系抬升至 3D 同样面临严峻挑战：受透视投影遮挡与深度不连续性影响，大量在图像空间中相邻或重叠的区域在三维空间中并不存在真实的物理接触。若不加甄别地施加拓扑绑定，必然导致错误的几何形变。本文的切入角度是：将高斯基元锚定至多视角 2D 分割区域，并构建由光度渲染、几何先验与拓扑对齐组成的三重一致性联合优化闭环，利用不确定度感知衰减机制自驱动鉴别真实物理连接与视点遮挡伪邻接。核心 idea：将 2D 分割拓扑先验与 3DGS 渲染框架深度耦合，通过光度-几何-拓扑三重一致性与不确定度自过滤机制，在联合优化中对齐三维交线投影与二维共享边界，最终装配成全局连通且边界闭合的结构化平面网格。

方法详解¶

整体框架¶

TopoGS 的目标是从已知相机位姿的图像集合中，恢复由顶点集合 $\mathcal{V} \subset \mathbb{R}^3$、交线段集合 $\mathcal{E}$ 以及有界平面集合 $\mathcal{P} = \{(\pi_k, \mathcal{E}_k)\}$ 组成的连通平面模型，其中 $\pi_k = (\mathbf{n}_k, d_k)$ 为平面参数。整个系统由三个递进阶段构成：首先进行层次化几何与拓扑初始化，提取 2D 平面区域并构建候选邻接图；其次在 3DGS 框架下执行三重一致性联合优化，利用光度、几何与拓扑损失联合优化高斯基元与平面参数；最后进行拓扑验证与结构化装配，剔除误检连接并生成具有精确角点与交线的连通模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像与位姿输入<br/>Metric3D 预测深度与法向"] --> B["层次化几何与拓扑初始化<br/>SAM 分割 + 法向均值漂移 + 2D 边界直线拟合"]
    B --> C["平面锚定与三重一致性优化<br/>网格采样反投影初始化高斯 + 阶段式损失调度"]
    C --> D["不确定度感知拓扑约束<br/>解析 3D 交线投影 + 距离方差自适应加权"]
    D --> E["多视角边界融合与结构化装配<br/>邻接验证剪枝 + 交线求交截断 + 闭合网格构建"]
    E --> F["输出连通结构化平面模型<br/>参数化平面、交线段与角点顶点"]

关键设计¶

1. 层次化几何与拓扑初始化：结合语义边界与法向聚类构建候选拓扑 针对传统方法在弱纹理区域平面划分不清及边缘锯齿的问题，初始化阶段采用两级分割策略。首先利用 Segment Anything Model (SAM) 获取高质量的语义掩码，精确定位墙角与结构转折；随后在每个语义区域内部，基于 Metric3D 预测的法向图执行均值漂移聚类（Mean-shift clustering），将包含多个平面的物体细分为独立的平面子区域 $s_i \in \mathcal{S}$。随后，利用预测深度将区域像素反投影至世界坐标系，通过 RANSAC 鲁棒拟合出初始三维平面参数 $\pi_i = (\mathbf{n}_i, d_i)$。在拓扑构建层面，提取每对相邻区域 $(s_i, s_j)$ 的二维共享边界像素集合 $B_{ij}$ 并拟合直线，剔除具有显著非线性残差或接触长度不足的曲线边界，从而构建出高可靠性的二维初始邻接图 $\mathcal{A}_{2D}$。

2. 平面锚定与三重一致性优化：光度、几何与尺度损失的阶段递进协同 为了将离散平面参数引入可微渲染管线，系统对每张视点图像按 $(H/4, W/4)$ 均匀网格步长采样像素，并通过深度反投影得到三维坐标以初始化 3D 高斯基元的位置均值，使高斯分布紧密贴合初始几何。在优化过程中，除常规的光度损失 $\mathcal{L}_{rgb}$ 和高斯尺度正则损失 $\mathcal{L}_{scale}$ 外，引入专门的几何一致性损失 $\mathcal{L}_{geo}$。该损失强制高斯泼溅渲染出的深度 $\hat{D}(p)$ 与法向 $\hat{\mathbf{N}}(p)$ 对齐于其归属平面的解析投影深度 $D_{\pi}(p)$ 与法向 $\mathbf{N}_{\pi}(p)$： $$\mathcal{L}_{geo} = \sum_{p \in \mathcal{I}_k} \left( \lambda_1 |\hat{D}(p) - D_{\pi}(p)| + \lambda_2 \|\hat{\mathbf{N}}(p) - \mathbf{N}_{\pi}(p)\|_2 \right)$$ 为了保证优化平稳收敛，系统设计了分阶段优化策略：前 4,000 次迭代执行粗优化（Stage 1），仅启用光度、尺度与几何损失，筑牢底层三维几何与辐射场基础；在 4,000 至 6,000 次迭代阶段（Stage 2），正式引入拓扑损失进行精细优化；同时每隔 2,000 次迭代触发自适应平面管理，对法向与截距高度接近且重叠的平面进行合并，并修剪低置信度孤立平面。

3. 不确定度感知拓扑约束：自适应滤除遮挡伪邻接与交线投影对齐 针对 2D 投影邻接中大量由遮挡引发的假阳性连接（例如前景物体与背景墙面在图像中接触但 3D 深度相距甚远），本文提出了不确定度加权的拓扑对齐机制。对于邻接图中的任意平面对 $(s_i, s_j) \in \mathcal{A}_{2D}$，其解析 3D 交线 $L_{ij}$ 由联立方程 $\mathbf{n}_i \cdot \mathbf{X} + d_i = 0$ 和 $\mathbf{n}_j \cdot \mathbf{X} + d_j = 0$ 精确确定。将该交线投影到图像平面得到二维直线 $l_{ij}$，并计算共享边界像素集合 $B_{ij}$ 到该投影直线的平均欧氏距离 $\mu_{ij} = \frac{1}{|B_{ij}|} \sum_{p \in B_{ij}} d(p, l_{ij})$。为了防止错误的遮挡边界拉扯破坏正确的几何形状，定义指数衰减权重： $$w_{ij} = \exp\left( - \frac{\mu_{ij} \sigma_{ij}^2}{\tau} \right)$$ 其中 $\sigma_{ij}^2$ 为边界像素到投影直线距离的方差，$\tau$ 为温度超参数（论文设定为 50.0）。加权拓扑损失定义为： $$\mathcal{L}_{topo} = \sum_{(s_i, s_j) \in \mathcal{A}_{2D}} w_{ij} \cdot \mu_{ij}$$ 当两平面在 3D 空间中实际分离（$\mu_{ij}$ 显著偏大）或接触边缘弯曲离散（$\sigma_{ij}^2$ 偏大）时，$w_{ij}$ 迅速衰减趋零，使得优化管线能够自然过滤伪邻接，仅对物理真实的共边平面施加刚性吸附约束。

4. 多视角边界融合与结构化装配：从无限交线到封闭连通实体 在完成联合优化后，系统将离散的优化基元转化为严格连通的结构化三维多边形网格。首先，根据收敛后的平均边界残差 $\mu_{ij}$ 实施刚性阈值过滤，生成经三维物理验证的真实邻接图 $\mathcal{A}_{verified}$。其次，在图像空间分析边界段的公共角点；当两段边界在图像中共享端点时，对应的两条 3D 交线判定为空间相邻相交，二者的三维交点即确定为场景角点顶点，用于将无限延展的交线 $L_{ij}$ 截断为有限线段。最后，聚合各视角下平面的可见轮廓边界，并以验证后的 3D 交线与角点作为强几何锚点对多视角边界进行修剪与闭合缝合，彻底消除相邻表面间的裂缝与重叠，输出高质量的结构化多边形模型。

损失函数 / 训练策略¶

整个管线的联合优化目标函数随迭代阶段平滑演进： $$\mathcal{L} = \begin{cases} \lambda_{rgb} \mathcal{L}_{rgb} + \lambda_{scale} \mathcal{L}_{scale} + \mathcal{L}_{geo}, & t < 4000 \\ \mathcal{L}_{\text{Stage1}} + \lambda_{topo} \mathcal{L}_{topo}, & 4000 \le t \le 6000 \end{cases}$$ 其中光度损失结合了 $L_1$ 颜色误差与 D-SSIM 结构相似度，尺度损失 $\mathcal{L}_{scale}$ 惩罚高斯椭球的最大轴长以抑制半空中漂浮的庞大斑块。在优化过程中，自适应平面控制每 2,000 次迭代计算平面法向夹角余弦与平面距离偏移，将共面重叠片段融为单一实体，并在 Stage 2 结束前剔除高斯密度不足的假平面，确保进入结构化装配的平面基元具备高度紧凑性与几何纯度。

实验关键数据¶

主实验¶

在 ScanNet++ 真实室内高保真数据集（25 个包含卧室、厨房、客厅等复杂场景的官方基准）上，与两阶段 SOTA 方法（PlanarGS、Depth-Anything-V3 结合 AirPlanes 提取）以及直接平面重建 SOTA 方法（NeuralPlane、PlanarSplatting）进行了全面定量对比。

方法	几何 CD $\downarrow$	几何 F-score $\uparrow$	平面 Fidelity $\downarrow$	平面 Acc $\downarrow$	平面 CD $\downarrow$	分割 VOI $\downarrow$	分割 RI $\uparrow$	分割 SC $\uparrow$
PlanarGS + AirPlanes	14.02	23.77	24.74	19.25	22.00	3.400	0.926	0.379
DA3 + AirPlanes	8.49	74.40	20.35	12.85	16.60	3.041	0.919	0.431
NeuralPlane	7.56	53.83	14.50	11.83	13.17	2.872	0.944	0.464
PlanarSplatting	9.06	53.83	15.07	14.06	14.56	2.869	0.933	0.463
TopoGS (Ours)	6.01	70.18	12.34	9.96	11.15	2.933	0.946	0.463
TopoGS (+ Assembly)	6.09	69.80	12.96	10.91	11.94	2.867	0.946	0.472

消融实验¶

为了验证三重一致性约束中几何损失与拓扑损失的必要性及协同效应，论文在 ScanNet++ 上进行了剥离实验，评测了几何误差、平面质量及拓扑连通度（顶点 V、边 E、平面 P 的 F-score 拓扑召回率）：

配置	几何 CD $\downarrow$	几何 F-score $\uparrow$	平面 Fidelity $\downarrow$	平面 Acc $\downarrow$	平面 CD $\downarrow$	拓扑 V F-score $\uparrow$	拓扑 E F-score $\uparrow$	拓扑 P F-score $\uparrow$	说明
w/o Topo	6.54	64.98	13.98	10.96	12.47	19.62	32.05	34.22	移除拓扑损失，平面交线出现错位，边角连通性显著下降
w/o Geom	7.56	62.32	16.50	10.66	13.58	12.72	21.28	33.38	移除几何损失，出现伪对齐与浮动平面，3D 深度漂移严重
Full loss (完整模型)	6.01	70.18	12.34	9.96	11.15	21.52	35.18	36.55	几何与拓扑协同收敛，全维度指标达到最优

关键发现¶

拓扑约束的正则化纠偏效应：在移除拓扑约束（w/o Topo）后，虽然底层深度看起来平滑，但在结构转折处出现显著交线投影偏差，拓扑边 F-score 从 35.18% 剧降至 32.05%，顶点 F-score 下降 1.9 个百分点。这证明显式拓扑拉齐不仅约束了交线，还能通过多视图梯度反传修正弱纹理平面的法向和尺度漂移。
几何损失防止 2D 拓扑过拟合：移除几何损失（w/o Geom）时，虽然 2D 图像平面上的交线重合度尚可，但三维绝对几何严重恶化（平面 Fidelity 恶化至 16.50，拓扑顶点 F-score 暴跌至 12.72%）。这表明纯 2D 拓扑约束易使未针定深度基准的平面在 3D 空间中错位漂移，几何损失是拓扑优化的物理基准。
与前沿基线对比：相比目前最好的直接平面重建方法 NeuralPlane，TopoGS 在平面保真度（Fidelity 12.34 vs 14.50）和准确率（Acc 9.96 vs 11.83）上取得明显突破；相比两阶段前馈深度模型 DA3，TopoGS 彻底消除了分步解耦带来的误差累积，重构出闭合结构化的完整室内平面。

亮点与洞察¶

不确定度指数衰减权重化解遮挡歧义：利用共享边界像素到投影交线的距离均值与方差构建联合指数权重，使优化器在早期便能无监督、自驱动地将视线遮挡边界与真实物理相交边界解耦，避免了错将前景轮廓吸附到背景墙面的经典伪拓扑灾难。
几何与拓扑的双向促进闭环：不仅用几何约束为拓扑投影提供三维尺度锚定，更用拓扑对齐作为强结构先验打破大面积无纹理区域的测度歧义，为 3DGS 解决大面积白墙弱纹理场景下的局部极小解提供了全新思路。
有限装配算法解决高斯泼溅几何破损问题：通过由 2D 共享角点截断 3D 无限直线、再以交线对齐多视角融合轮廓的两步装配法，将 3DGS 离散软点团升华为建筑 CAD 级参数化闭合几何，可直接无缝桥接至三维打印、游戏资产烘焙与室内物理仿真。

局限与展望¶

严苛视角遮挡导致的非完全水密性（Non-watertight）：作者承认，若室内某些墙角或隐蔽接缝在所有输入视角中均因严重遮挡而缺乏可见观测，系统将无法提取有效边界，导致装配出的网格在未观测区域留下细微缝隙。未来可结合生成式先验或三维几何补全大模型填补盲区。
上游分割质量对局部拓扑敏感：当 SAM 分割掩码或法向聚类在复杂细节（如繁复橱柜、装饰线脚）出现漏检或粘连时，可能引入局部的冗余交线或锯齿，需要更鲁棒的开放词表三维几何感知分割模型。
曲面与异形结构支持不足：当前框架建立在严格的局部平面假设之上，对于弧形墙面、圆柱或自由曲面家具无法直接参数化表示，有待向高阶样条曲面或混合隐式表示拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多视角拓扑图与 3D 高斯泼溅可微渲染框架融合，解决了平面重建长期缺乏拓扑约束的难题。
实验充分度: ⭐⭐⭐⭐⭐ 在 ScanNet++ 上多维度对比了两阶段与直接法基线，提供了完整的几何、平面、分割与拓扑指标及详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，数学推导严密自洽，图表与消融逻辑环环相扣。
价值: ⭐⭐⭐⭐⭐ 为室内场景数字化、建筑 CAD 逆向工程及机器人物理具身环境构建提供了高保真、带连通结构的坚实解决方案。