StructureGS: Structure-aware Gaussian Splatting for Articulated Object Reconstruction¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D视觉
关键词: 铰接物体重建, 3D高斯泼溅, 有向包围盒, 结构感知损失, 分离轴定理

一句话总结¶

StructureGS 针对现有铰接物体隐式与显式重建中纯光度监督导致的几何-运动纠缠与边界模糊问题，为各部件引入显式有向包围盒（OBB）表示与规范化 3D 高斯泼溅，借助基于分离轴定理的接触损失与部件贴合损失引入结构约束，实现了清晰的部件分解、精确的运动参数估计与鲁棒的稀疏视角重建。

研究背景与动机¶

具有多个可动部件的铰接物体（Articulated Objects）在人类日常生活与工程环境中广泛存在。精确重建铰接物体的几何形状、外观以及底层运动学结构（Kinematic Structure），对于具身智能体（Embodied AI）理解物体功能布局并规划物理交互至关重要。然而，与传统的静态 3D 重建不同，铰接物体重建需要在不同运动状态下联合优化相互纠缠的多个变量：每个部件的局部几何、全局外观以及部件间的刚性运动参数。这种强耦合导致优化极易陷入病态解。

现有的神经辐射场（NeRF）或 3D 高斯泼溅（3DGS）铰接重建方法大多严重依赖纯光度重投影损失（Photometric Loss）。由于物体表面外观的变化既可能源于部件的相对运动，也可能源于局部几何形变，缺乏结构先验的光度监督无法明确解耦这种对应关系。优化器往往倾向于通过扭曲或泄露高斯点几何来强行补偿运动误差，进而导致部件分割边界模糊、产生严重伪影与漂浮物（Ghosting Artifacts），甚至在多部件场景下出现部件合并坍缩。

为了打破光度监督的几何-运动歧义性，本文提出显式引入物体的宏观结构约束。物体的物理合理性本质上由两项结构性质决定：一是部件内部的“空间凝聚性”（部件几何应紧凑收敛在其物理边界内），二是部件之间的“结构连通性”（相邻部件在运动中维持物理接触而不发生悬空离散）。核心 idea：为每个铰接部件引入显式有向包围盒（OBB）与规范化 3D 高斯参数化，利用部件贴合损失约束空间凝聚性，并通过基于分离轴定理（SAT）的可微接触损失保证部件间物理连通性，以结构引导正则化 3DGS 联合优化。

方法详解¶

整体框架¶

StructureGS 接收铰接物体在初始状态（\(t=0\)）和铰接变形状态（\(t=1\)）下的多视角 RGB 图像序列及其相机参数，联合重建 \(K\) 个刚性部件 \(\mathcal{P} = \{P_0, P_1, \dots, P_{K-1}\}\) 的规范几何与运动参数（其中 \(P_0\) 为静态底座，其余为可动部件）。每个部件的几何由定义在规范立方体内的 3D 高斯基元集合表示，并通过部件级仿射变换映射至世界坐标系，建立起高斯几何与部件 OBB 尺寸的显式绑定。在优化过程中，整体框架结合多视角光度损失、OBB 部件贴合损失、基于 SAT 的部件接触损失以及尺度正则项，推动部件高斯点逐步收敛至紧凑物理边界，消解形状与运动参数的耦合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["双状态多视角图像输入<br/>t=0 初始态 & t=1 铰接态"] --> B["规范化高斯基元参数化<br/>[-1, 1]^3 局部坐标 + OBB尺度映射"]
    B --> C["双状态位姿变换<br/>初始仿射变换 T0 & 刚性运动 T1"]
    C --> D["双路损失联合驱动优化<br/>光度渲染损失 + 结构引导损失"]
    D --> E["部件贴合约束<br/>覆盖损失 + 边缘冗余惩罚"]
    D --> F["SAT 部件接触约束<br/>15 候选分离轴有向投影间距"]
    D --> G["自适应范围正则化<br/>Softmax 轴向加权膨胀"]
    E & F & G --> H["输出解耦 3DGS 与运动参数<br/>清晰部件边界 + 准确关节轴与旋量"]

关键设计¶

1. 规范化高斯与 OBB 几何解耦表示：统一内在形貌与外在位姿 传统 3DGS 直接在世界坐标系下优化高斯点的位置与方差，容易使不同部件的高斯点相互交融弥散。StructureGS 将每个部件 \(P_k\) 解耦为规范空间内的局部高斯点集 \(\mathcal{G}_k = \{(\mathbf{x}_j, \alpha_j, \mathbf{q}_j, \mathbf{c}_j)\}_{j=1}^{N_k}\) 与两个状态变换矩阵 \(\{T_0^k, T_1^k\}\)。高斯位置通过双曲正切函数 \(\boldsymbol{\mu}_j = \tanh(\mathbf{x}_j) \in [-1, 1]^3\) 严格约束在规范立方体内。映射至 \(t=0\) 世界坐标系时，通过仿射参数 \(T_0^k = (\mathbf{s}_0^k, R_0^k, \mathbf{t}_0^k)\) 实现缩放、旋转与平移：

\[\boldsymbol{\mu}_j^{k,0} = \mathbf{s}_0^k \odot (R_0^k \boldsymbol{\mu}_j) + \mathbf{t}_0^k\]

其中 \(\mathbf{s}_0^k \in \mathbb{R}_{>0}^3\) 直接对应部件 \(P_k\) 有向包围盒（OBB）的半轴长度，\(R_0^k \in SO(3)\) 为朝向，\(\mathbf{t}_0^k \in \mathbb{R}^3\) 为中心。在铰接状态 \(t=1\)，则进一步叠加刚性变换 \(T_1^k = (R_1^k, \mathbf{t}_1^k)\)。此设计使得 OBB 的尺寸与位姿完全由变换参数显式表达，高斯点仅负责刻画局部表面几何细节，从而将高维几何与低维运动学骨架结构完全解耦。

2. 基于渲染投影的部件贴合约束：促使 OBB 紧贴真实部件几何 为防止部件的 OBB 无节制膨胀或几何点漂移出部件范围，StructureGS 提出了可微的部件贴合损失（Part Fitting Loss）。首先在规范立方体内均匀采样点，通过变换矩阵投影渲染出各部件 OBB 的二值占有掩膜 \(\mathbf{I}_{\text{struct}}^k\) 以及所有部件的并集掩膜 \(\mathbf{I}_{\text{struct}}^{\text{all}}\)。部件贴合损失由两项构成：

\[\mathcal{L}_{\text{fit}} = \lambda_{\text{coverage}} \mathcal{L}_{\text{coverage}} + \lambda_{\text{margin}} \mathcal{L}_{\text{margin}}\]

其中覆盖损失 \(\mathcal{L}_{\text{coverage}} = \mathbf{I}_{\text{struct}}^{\text{all}} \odot (1 - \mathbf{M})\) 强迫所有 OBB 的并集完全包络物体的真实渲染前景掩膜 \(\mathbf{M}\)，惩罚欠覆盖区域；边缘余量损失 \(\mathcal{L}_{\text{margin}} = \frac{1}{K}\sum_{k=0}^{K-1} \mathbf{I}_{\text{struct}}^k \odot (1 - \mathbf{M})\) 则惩罚 OBB 内部未被物体占据的空白冗余区域。两者相互博弈，推动 OBB 自适应收缩至紧贴部件表面，消除了非结构性的飞点与弥散几何。

3. 基于分离轴定理（SAT）的部件接触约束：物理合理的连通性建模 真实铰接机构中相邻部件必定存在物理铰接点或滑动导轨面，不应出现脱节悬空。StructureGS 借助 OBB 的凸包性质，利用碰撞检测中的分离轴定理（Separating Axis Theorem, SAT）高效计算部件间的有向间距。对于两个部件 \(P_i\) 与 \(P_j\) 的 OBB，候选分离轴集合包含 15 个方向（两 OBB 的 6 个面法向及 9 个边方向两两外积）。将两 OBB 沿归一化轴 \(\hat{\mathbf{a}}\) 投影，得中心投影间距 \(|c_i - c_j|\) 与投影半径和 \((r_i + r_j)\)，其沿该轴的有向间距为 \(d_{\mathbf{a}} = |c_i - c_j| - (r_i + r_j)\)。两部件的实际间距定义为所有候选轴投影间距的最大值：

\[d(P_i, P_j) = \max_{\mathbf{a} \in \mathcal{A}} d_{\mathbf{a}}\]

当 \(d(P_i, P_j) > 0\) 时表示两 OBB 完全分离；\(\le 0\) 则表示接触或穿透。部件接触损失定义为相邻部件间分离间距的平方惩罚：

\[\mathcal{L}_{\text{contact}} = \lambda_{\text{contact}} \sum_{(i,j) \in \mathcal{E}} (\max(0, d(P_i, P_j)))^2\]

由于抽屉嵌套于柜体等合法铰接状态天然允许 OBB 发生体积交叠，因此该损失只惩罚分离（\(d > 0\)）而不惩罚穿透，为多部件铰接提供了平滑可微的连通性梯度。

4. 自适应轴向范围正则化：防止局部极值导致的欠覆盖 为了防止 OBB 缩放参数在各向异性尺度收缩过程中陷入局部最优（例如仅覆盖特征显著的边缘），论文引入了可学习加权的尺度正则项：

\[\mathcal{L}_{\text{ext}} = -\lambda_{\text{ext}} \sum_{k=0}^{K-1} \sum_{i=1}^{3} w_k^{(i)} s_{0,i}^k, \quad \text{其中 } \mathbf{w}_k = \text{softmax}(\boldsymbol{\beta}_k)\]

可学习参数 \(\boldsymbol{\beta}_k \in \mathbb{R}^3\) 使权重自适应聚焦于扩展不会增加整体损失的未覆盖轴向，引导 OBB 在弱纹理或细长部件方向充分展开。

损失函数 / 训练策略¶

总体训练目标为多状态下的光度损失、结构感知损失与尺度正则化的加权和：

\[\mathcal{L}_{\text{total}} = \sum_{t \in \{0, 1\}} \left( \mathcal{L}_{\text{image}}^t + \mathcal{L}_{\text{fit}}^t + \mathcal{L}_{\text{contact}}^t \right) + \mathcal{L}_{\text{ext}}\]

优化共进行 10,000 次迭代。采用渐进式调度策略：初始阶段（0~400 次迭代）仅由结构损失（\(\mathcal{L}_{\text{fit}}, \mathcal{L}_{\text{contact}}, \mathcal{L}_{\text{ext}}\)）主导，迅速建立粗略且物理合理的部件分解框架；从第 400 次迭代起引入光度损失 \(\mathcal{L}_{\text{image}}\) 进行高精几何与纹理渲染雕刻；在第 1500 次迭代后关闭接触损失与尺度正则化，避免强结构刚性约束干扰细微非凸几何的收敛。

实验关键数据¶

主实验¶

在铰接物体基准数据集 PARIS（单动部件，含 8 个旋转轴与 2 个平移轴场景）的密集视角（100 视角）与稀疏视角（10 视角）设定下，StructureGS 与 PARIS、ScrewSplat、ArticulatedGS 进行了全面对比（原论文 Table 2）：

数据集设定	评估指标	PARIS (ICCV'23)	ScrewSplat (2025)	ArticulatedGS (CVPR'25)	本文 (StructureGS)
PARIS 密集视角 (100 views)	关节轴角度误差 Ang Err (°) ↓	5.635	7.787	0.091	0.088
	旋转轴位置误差 Pos Err ↓	0.385	0.139	0.018	0.001
	旋转测地距离误差 Geo Dist (°) ↓	85.52	32.20	0.761	0.066
	平移运动误差 Geo Dist (m) ↓	1.062	0.200	0.200	0.001
	静态部分倒角距离 CD-s (\(\times 10^3\)) ↓	5.528	38.948	2.119	1.558
	可动部件倒角距离 CD-m (\(\times 10^3\)) ↓	67.935	32.202	1.585	1.400
	全物体倒角距离 CD-w (\(\times 10^3\)) ↓	5.895	13.935	1.908	0.919
	新视角合成 PSNR (dB) ↑	29.324	31.377	37.336	43.390
	新视角合成 SSIM ↑	0.948	0.965	0.985	0.995
	新视角合成 LPIPS ↓	0.097	0.046	0.039	0.014
PARIS 稀疏视角 (10 views)	关节轴角度误差 Ang Err (°) ↓	32.840	11.537	8.553	0.701
	旋转轴位置误差 Pos Err ↓	0.162	0.181	0.126	0.007
	可动部件倒角距离 CD-m (\(\times 10^3\)) ↓	164.93	133.50	62.700	1.982
	全物体倒角距离 CD-w (\(\times 10^3\)) ↓	84.632	31.892	19.847	1.320
	新视角合成 PSNR (dB) ↑	22.363	28.135	23.320	33.264

在复杂多动部件数据集 DTA-Multi（包含 Fridge 与 Storage 双动部件物体）上的定量结果（原论文 Table 3）同样显示出结构约束的显著优势： - 在 Fridge 场景中，全物体几何误差 CD-w 从 ScrewSplat 的 8.369 降至 StructureGS 的 4.699，动部件 0 角度误差从 15.12° 降至 0.445°； - 在 Storage 场景中，ScrewSplat 无法区分两个动部件导致动部件 1 角度误差高达 89.86°，而 StructureGS 仅为 0.542°，且 CD-s 几何误差从 136.1 骤降至 3.336。

消融实验¶

在 PARIS 数据集上对所提结构感知损失各组件的消融分析（原论文 Fig. 8）：

配置	Ang Err (°) ↓	Pos Err ↓	Geo Dist (Rot) ↓	CD-s (\(\times 10^3\)) ↓	CD-m (\(\times 10^3\)) ↓	CD-w (\(\times 10^3\)) ↓	说明
纯光度监督 \(\mathcal{L}_{\text{image}}\)	5.60	0.11	7.65	6.08	31.80	3.90	严重的几何形变与运动歧义
\(+ \mathcal{L}_{\text{fit}} + \mathcal{L}_{\text{contact}}\)	1.71	0.00	0.06	1.89	31.40	0.98	大幅降低关节定位与静态形变误差
\(+ \mathcal{L}_{\text{ext}}\) (Full model)	0.08	0.00	0.06	1.56	1.40	0.91	扩展 Blade 等部件欠估计区域，CD-m 降至 1.40

关键发现¶

稀疏视角的极端鲁棒性：当训练视角从 100 张锐减到 10 张时，SOTA 方法 ArticulatedGS 的全物体 CD-w 从 1.908 恶化至 19.847（扩大 10 倍以上），动部件 CD-m 暴增至 62.700；而 StructureGS 凭借 OBB 的刚性结构支撑，CD-w 仅轻微上升至 1.320，CD-m 维持在 1.982，展现出强大的先验正则化能力。
全物体指标掩盖局部部件错误：基线方法在光度优化下经常将可动部件的几何“借调”给静态底座，虽然全物体 CD-w 看似尚可，但部件级 CD-m 极大（如 PARIS Sparse 下 ScrewSplat 的 CD-m 高达 133.50），动画回放时出现严重重影。
训练开销平衡：单场景全视角优化耗时约 13 分钟，与 ArticulatedGS（13分钟）相当，明显优于神经辐射场 PARIS（40分钟）。

亮点与洞察¶

OBB 作为几何与运动学的中介表征：直接使用复杂 Mesh 或 SDF 计算物理接触开销巨大且难以微分，而 OBB 具备紧凑的参数化（中心、旋转、尺寸），既能作为 3D 高斯的局部空间硬边界，又能利用 SAT 定理实现常数级复杂度的可微连通性判定。
非立方体物体的包容性：虽然约束载体为凸立方体 OBB，但高斯基元分布在 OBB 内部自由优化。即使在折叠椅（foldchair）等 OBB 空白率（empty space ratio）高达 97% 的极薄非立方体结构上，高斯点依然精准拟合出复杂几何细节，证明了 OBB 作为引导代理而非几何硬模板的灵活性。
解决稀疏视角下的病态问题：在具身机器人单次扫描场景中往往无法采集百张密集照片。StructureGS 证明了几何结构约束（贴合 + 接触）能有效填补稀疏视角下的信息空缺，避免高斯点沿视线方向过度拉伸弥散。

局限与展望¶

弱外观运动线索下的坍缩现象：当可动部件在运动前后引起的轮廓与外观变化极度微弱（如论文展示的嵌入式微波炉烤箱门顶端微小转动），且初始点云质量较差时，可动部件容易被邻近的静态底座吞噬合并，发生几何坍缩。
凹多面体或复杂拓扑接触的近似误差：SAT 仅严格适用于凸体碰撞检测。对于具有复杂深凹槽或环状互锁结构的铰接部件，单个 OBB 难以精确描述多处局部接触面，未来可引入部件级凸分解（Convex Decomposition）或分层 OBB 树。
语义先验的结合前景：作者指出未来可结合大模型视觉特征（如 DINOv2 特征场或 SAM 3D 掩膜），利用语义一致性进一步防止微弱运动下的部件误合并。

评分¶

新颖性: ⭐⭐⭐⭐ [将图形学经典 SAT 分离轴定理与 OBB 引入 3DGS 铰接物体优化，构造了简洁优雅的可微接触与贴合损失]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 PARIS、DTA-Multi、真实采集数据集，全面评测 100 视角与 10 视角稀疏设定，消融与失败案例分析透彻]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨清晰，问题定义准确，图表制作精美规范]
价值: ⭐⭐⭐⭐⭐ [为具身智能中基于稀疏 RGB 交互视频的真实物体数字孪生构建提供了极具实用价值的稳健范式]