Penetration-Free Compositional 3D Generation via Gaussian Surface Offset¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D视觉
关键词: 组合式3D生成、3D高斯泼溅、表面防穿透、符号距离函数、分数蒸馏采样

一句话总结¶

针对组合式文本到 3D 场景生成中物体间严重几何重叠与物理穿透问题，CompSAG 提出利用轻量隐式代理表面计算法向排斥力以驱动 3D 高斯离散基元产生表面偏移，并结合关系感知分数蒸馏与法向对齐矫正，实现了几何无穿透、外观高保真的多物体场景生成。

研究背景与动机¶

组合式文本到 3D 场景生成（Compositional Text-to-3D Generation）旨在从包含复杂空间关系和多实体交互的文本描述中合成多物体 3D 场景，在虚拟现实、具身机器人环境构建和空间智能模拟中具有重要应用。近年来，基于 3D 高斯泼溅（3DGS）的显式表征凭借其实时可微分渲染和灵活的物体级操作特性，迅速成为替代神经辐射场（NeRF）的新主流。然而，3DGS 本质上是通过离散的三维高斯体积密度与球谐颜色场来拟合外观，缺乏显式的实体几何边界定义。

在现有的多物体联合优化范式中，无约束的优化极易引发物体间严重的相互穿透与体积重叠。早期的排斥策略大多依赖粗粒度的物体包围球约束（如包围球容忍碰撞损失）或简单的点集空间排斥损失，这些方法只能抑制物体内部采样点的聚集密度，无法精确定位物体几何表面到底在何处发生接触与碰撞。结果往往造成两难困境：要么物体间依然严重嵌入穿透（例如花朵嵌在日记本内部、花洒穿透植物花盆），要么将物体粗暴地推向远距离或引发非自然的角度倾斜，破坏了文本指定的空间接触关系。与此同时，传统分数蒸馏采样（SDS）在多物体全局监督下极易引发语义属性泄漏（如桌子的木纹蔓延至地球仪表面）并产生凹凸尖刺伪影。

解决这一困境的关键在于赋予离散 3D 高斯显式的“表面感知”能力，建立具备物理意义的接触与防穿透推力机制。核心 idea：为每个实体维护连续的符号距离函数（SDF）代理表面以精准定位穿透基元并正交投射到伪接触面，通过聚合沿分离轴的法向物理排斥力执行动量表面位移，同时联合关系感知 SDS 与高斯法向对齐矫正，在根除物体穿透的同时消除几何尖刺与属性混淆。

方法详解¶

整体框架¶

CompSAG 整体分为三个流水线阶段：首先是基于微调大语言模型（LLM）的 2D 布局生成与 3D 场景初始化，通过参考深度校准（RDC）修正初始位姿重叠；接着是高斯表面偏移（GSO）阶段，利用学习的轻量隐式代理表面精确定位穿透高斯基元，沿接触面法向聚合物体级排斥力并施加动量更新；最后在几何约束的外观细化阶段，将场景解耦为交互三元组执行关系感知 SDS 蒸馏，并借助代理表面对高斯中心与旋转法向进行几何矫正。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["场景文本提示词"] --> B["参考深度校准与场景初始化<br/>微调LLM布局 + SAM3D前向提升 + PnP/深度对齐"]
    B --> C["代理表面碰撞定位与法向投影<br/>轻量SDF表征 + 零水平集穿透判定 + 沿法向正交投射"]
    C --> D["动量表面偏移与排斥力聚合<br/>伪接触面排斥力 + 分离轴滤波 + 动量平滑位移更新"]
    D --> E["关系感知蒸馏与高斯表面矫正<br/>交互实体对SDS + 中心拉回SDF + 薄轴法向对齐正则"]
    E --> F["无穿透高质量组合式3D高斯场景"]

关键设计¶

1. 参考深度校准与场景初始化：建立对齐参考蓝图的无重合几何起点

直接从文本进行纯 3D 盲优化极易导致多头（Janus）伪影与空间尺度错乱，因此本文采用 2D 视觉蓝图锚定策略。针对现有大语言模型在多物体空间定位精度上的不足，系统在合成视觉基因组（Synthetic Visual Genome, SVG）数据集上微调 Qwen2.5-3B 模型，使其输出严格的 CSS 格式 2D 边界框，进而驱动区域控制图像扩散模型生成 2D 场景参考图像 $I_{ref}$。随后利用前向模型 SAM3D 将各物体提取并提升为初始 3D 高斯集合 $\mathcal{G}_i = \{\mathbf{p}_k, \mathbf{s}_k, \mathbf{q}_k, \mathbf{c}_k, \alpha_k\}$。

然而直接前向预测的各物体位姿存在累积深度误差。系统在粗场景中围绕初始相机均匀采样视角，利用 SuperGlue 特征匹配结合透视 n 点（PnP）精修相机外参 $(R, \mathbf{t})$。在精修视角下渲染各物体深度图 $D_{ren}$，并与由 $I_{ref}$ 估计的单目度量深度 $D_{ref}$ 对齐。通过计算目标分割掩码内的加权深度差异： $$\delta_i = \frac{1}{|\mathcal{M}_i^s|} \sum_{\mathbf{u} \in \mathcal{M}_i^s} s_{d,i} \cdot D_{ref}(\mathbf{u}) - \frac{1}{|\mathcal{M}_i^r|} \sum_{\mathbf{u} \in \mathcal{M}_i^r} D_{ren}(\mathbf{u})$$ 将物体高斯沿视线方向平移 $\delta_i$ 并根据掩码面积比缩放，最后将承载基底物体的 $+Z$ 轴对齐世界坐标系并将全局缩放至 $[-1, 1]^3$ 立方体中，为后续微观碰撞消除奠定了宏观深度正确的初始结构。

2. 代理表面碰撞定位与法向投影：消除高斯离散噪声的连续几何锚定

离散 3D 高斯基元仅具有连续密度场而无清晰外表面，若直接在离散高斯中心点上计算碰撞力，会因点云高频噪声和密度分布不均而产生数值震荡与错误发散。为此，CompSAG 为每个物体 $o_i$ 引入一个由轻量 MLP 参数化的隐式符号距离函数（SDF）$f_{\phi_i}: \mathbb{R}^3 \to \mathbb{R}$ 作为几何代理表面。SDF 网络由 SAM3D 提取的初始网格监督并施加 Eikonal 正则化，其零水平集 $\mathcal{S}_i = \{\mathbf{x} \mid f_{\phi_i}(\mathbf{x}) = 0\}$ 即刻画了该物体的连续外形边界。

在两两物体接触检测中，将侵入物体 $o_i$ 中侵入障碍物 $o_j$ 内部的高斯基元定义为碰撞集合 $\mathcal{C}_{i \to j} = \{\mathbf{p}_i^{(m)} \in \mathcal{G}_i \mid f_{\phi_j}(\mathbf{p}_i^{(m)}) < 0\}$。为了消除点云噪声对接触判定的干扰，算法将侵入高斯中心 $\mathbf{p}_i^{(m)}$ 沿其自身表面的外法向正交投射到平滑的零水平集上： $$\hat{\mathbf{p}}_i^{(m)} = \mathbf{p}_i^{(m)} - f_{\phi_i}(\mathbf{p}_i^{(m)}) \frac{\nabla f_{\phi_i}(\mathbf{p}_i^{(m)})}{\|\nabla f_{\phi_i}(\mathbf{p}_i^{(m)})\|}$$ 这一连续投影步骤将无规则离散高斯点精准映射到连续代理曲面，形成了明确稳定的虚拟几何接触区域，为排斥力的可靠计算提供了几何基准。

3. 动量表面偏移与排斥力聚合：模拟真实物理斥力驱动平滑解耦

在投影形成的接触区域上，对于每个侵入高斯在障碍物代理表面 $\mathcal{S}_j$ 上的最近点 $\hat{\mathbf{p}}_{ij}^{(m)}$，其受到的微观排斥力大小由穿透矢量在障碍物表面法向上的投影决定，在数学上严格等价于障碍物在该投影点的 SDF 绝对值 $|\mathbf{F}_i^{(m)}| = |f_{\phi_j}(\hat{\mathbf{p}}_i^{(m)})|$。这种机制自然赋予了物理意义：侵入深度越深，反向推力越大。

排斥力的施力方向设定为侵入物体在该点的内法向 $\mathbf{v}_i^{(m)} = -\mathbf{n}_i^{(m)}$。为防止非凸结构局部的误推力将物体推向更深处，系统引入质心分离轴 $\mathbf{d}_{ij} = \boldsymbol{\mu}_i - \boldsymbol{\mu}_j$ 进行方向滤波，仅保留与分离轴正向对齐的力，得到物体级综合排斥力： $$\mathbf{F}_i = \frac{1}{|\mathcal{C}_{i \to j}|} \sum_{\mathbf{p}_i^{(m)} \in \mathcal{C}_{i \to j}} \mathbf{1}\left(\mathbf{v}_i^{(m)} \cdot \mathbf{d}_{ij} > 0\right) |\mathbf{F}_i^{(m)}| \mathbf{v}_i^{(m)}$$ 为避免刚性步进引发振荡，算法维护动量缓冲区 $\Delta \boldsymbol{\mu}_i = \beta \mathbf{F}_{prev, i} + (1 - \beta) \mathbf{F}_i$（$\beta = 0.3$），并配合缓入缓出学习率衰减更新物体位置。由于排斥力随穿透消失自动衰减至零，优化过程天然收敛；同时算法将贴地物体的 Z 轴受力强制归零以避免浮空，并滤除场景边界处的向外发散力。

4. 关系感知蒸馏与高斯表面矫正：解耦语义属性并消除 SDS 几何尖刺

在物体空间关系解耦后，必须进一步精细化外观纹理与微观几何。如果直接对整个复杂场景进行全局 SDS 优化，由于多物体语义在扩散隐空间的混杂，容易产生严重的属性泄漏。系统利用微调后的 LLM 将输入提示词解析为场景图，提取“主语-关系-宾语”的交互物体对，并将每对实体隔离后居中，在均匀采样的多视角下利用提示词 $y_{rel}$ 独立进行关系感知分数蒸馏 $\mathcal{L}_{\text{SDS}_{rel}}$。

针对 SDS 蒸馏常诱发的表面凹陷、孔洞与尖刺伪影，CompSAG 设计了高斯表面矫正（GSR）机制。该机制将显式高斯与隐式代理表面强制对齐：一方面最小化高斯中心到当前冻结 SDF 零水平集的距离 $\mathcal{L}_{GS}^i = \sum_k |f_{\phi_i}(\mathbf{p}_i^{(k)})|$；另一方面约束高斯椭球体的扁平方向（即协方差矩阵中对应最小尺度的特征轴 $\mathbf{n}_{p_i}^{(k)}$）与 SDF 表面法向平行： $$\mathcal{L}_{norm}^i = \sum_{k=1}^{N_i} \left\| \frac{\nabla f_{\phi_i}(\mathbf{p}_i^{(k)})}{\|\nabla f_{\phi_i}(\mathbf{p}_i^{(k)})\|} \cdot \mathbf{n}_{p_i}^{(k)} - 1 \right\|^2$$ 该平方余弦形式不受法向内指或外指的影响。在优化过程中，交替迭代执行关系感知 SDS（400步）、SDF 表征更新（200步）与高斯几何矫正（400步），使 3D 高斯基元紧致贴附于平滑表面，既消除了粗糙尖刺，又稳固了 SDS 蒸馏的几何结构。

实验关键数据¶

主实验¶

在多物体组合式 3D 生成测试集上，CompSAG 与当前代表性的非组合式方法（ProlificDreamer, MVDream, GaussianDreamer）以及先进的组合式方法（Set-the-Scene, GraphDreamer, CG3D, GALA3D, CompGS, Layout-your-3D）展开了全面定量对比。评估指标包括生成耗时、CLIP 语义对齐分、评估多物体完整性与细节的 B-VQA、评测空间逻辑的 GPT-CoT，以及通过 $256^3$ 空间体素网格量化穿透体积占比的碰撞体积比（Colliding Volume Ratio, CVR）。

方法	3D 表征	耗时	CLIP	B-VQA	GPT-CoT	CVR ↓
ProlificDreamer	NeRF	240min	28.91	42.16	27.27	N/A
MVDream	NeRF	30min	31.05	28.29	30.98	N/A
GaussianDreamer	3DGS	15min	28.24	31.87	31.06	N/A
Set-the-Scene	NeRF	50min	29.43	41.20	37.74	0.265
GraphDreamer	NeRF	120min	32.11	40.29	45.69	0.278
CG3D	3DGS	60min	31.56	46.19	43.25	0.147
GALA3D	3DGS	60min	32.63	50.48	52.03	0.205
CompGS	3DGS	70min	31.67	53.62	51.23	0.186
Layout-your-3D	3DGS	30min	31.79	52.57	50.93	0.103
CompSAG (Q)	3DGS	30min	32.72	56.17	53.69	0.042
*CompSAG (Q)**	3DGS	30min	33.64	57.28	54.38	0.034
*CompSAG (Q+U)**	3DGS	30min	33.87	58.11	56.64	0.038

注：Q 表示原始 Qwen2.5-3B 模型，Q* 表示在 SVG 数据集上微调后的布局模型，U 表示人工交互调整的 2D 布局参考。CVR 指标中微小的残余值（如 0.034）反映离散体素网格在接触边界处不可避免的共用体素，并不代表可见的实体内部穿透。

在 T3Bench 多物体基准测试上的质量与用户打分对比中，CompSAG 同样取得了最佳表现：

方法	质量得分 (Quality) ↑	对齐得分 (Alignment) ↑	平均分 (Average) ↑	用户研究得分 (1-5) ↑
Fantasia3D	22.7	14.3	18.5	2.42
LatentNeRF	21.7	19.5	20.6	3.17
Magic3D	26.6	24.8	25.7	3.46
ProlificDreamer	45.7	25.8	35.8	3.65
DreamGaussian	12.3	9.5	10.9	2.54
GaussianDreamer	38.8	30.2	34.5	3.21
VP3D	49.1	31.5	40.3	2.93
Set-the-Scene	20.8	29.9	25.4	3.82
CompGS	54.2	37.9	46.1	4.15
CompSAG (本文)	55.5	41.9	48.7	4.42

消融实验¶

为验证各核心模块对消除碰撞的独立贡献，论文在不同物体数量（$M=2, 3, 5$）场景下对表面偏移算法进行了递进式消融评估（指标为 CVR）：

配置	$M=2$	$M=3$	$M=5$	平均 CVR ↓	说明
初始基线 (Baseline)	0.214	0.291	0.317	0.276	仅依赖 SAM3D 前向提升初始场景
+ 参考深度校准 (+ RDC)	0.172	0.260	0.278	0.239	消除粗粒度相机与视角深度误差
+ 容忍碰撞损失 (+ TCL)	0.085	0.109	0.113	0.103	采用 Layout-your-3D 的粗包围球排斥
+ 高斯表面偏移 (+ GSO)	0.028	0.033	0.040	0.034	基于代理表面 SDF 计算连续法向推力

针对外观与感知质量的各模块消融（B-VQA 指标）：

实验配置	B-VQA ↑	影响机制与分析
完整模型 (Full setting)	57.28	结合完整 GSO、GSR 与关系感知 SDS
移除 GSO ($-$GSO)	50.33	掉点 6.95 分；物体陷入穿透导致联合蒸馏时语义与外观互相缠绕严重
移除 GSR ($-$GSR)	52.19	掉点 5.09 分；缺乏法向约束使 3DGS 在 SDS 优化下滋生凹陷与发散尖刺
移除 $\text{SDS}_{rel}$ ($-$SDSrel)	54.47	掉点 2.81 分；采用无结构全局 SDS 蒸馏引发不同实体间显著的颜色与材质泄漏

关键发现¶

表面推力是根除穿透的最强驱动力：相比传统的包围球排斥（TCL 的 0.103 CVR），基于连续代理表面法向的 GSO 将碰撞率骤降至 0.034，直接消除了物体相互嵌合导致的几何结构畸变，使 B-VQA 获得最高达 6.95 分的质量增益。
阶段解耦带来极高的运行时效率：碰撞消除阶段（前向生成、SAM3D 提升、RDC 与 GSO）全程仅需约 8 分钟即可产出无穿透的几何结构；剩余 22 分钟主要用于 SDS 质感提炼。由于基元数量设有硬性上限，即使物体数由 2 增至 5，总耗时仅从 27 分钟温和微增至 34 分钟。
微调布局大模型显著弥合跨模态空间先验：使用在 SVG 上微调的 Q* 使 GPT-CoT 空间对齐分从 53.69 跃升至 54.38，CLIP 分数提升近 1.0，证明显式 CSS 边界框结构化微调有效消除了大语言模型在多物体三维排布上的幻觉。

亮点与洞察¶

将离散高斯投影至连续隐式曲面的排斥力建模：离散高斯直接求斥力存在噪声与不适定性，本文创新性地借用轻量 SDF 代理表面，将穿透高斯投影至零水平集，巧妙地将斥力大小转化为 SDF 的绝对值，以连续可微的物理模拟思路解决了显式基元的防穿透难题。
高斯扁平轴与表面法向的一致性对齐：针对 SDS 优化高斯泼溅时常见的“毛刺/尖刺”现象，约束高斯协方差极小轴与曲面法向平行的正则项设计极具几何启发性，能强制让高斯基元呈片状紧密贴合外形曲面，大幅提升了表面光滑度与网格重建友好度。
两阶段灵活运作模式：在算力受限或需要快速预览的工业管线中，可直接截断在 GSO 步（耗时约 8 分钟），此时已获得完全无穿透且具备良好粗糙外观的 3D 场景，为后续动画或物理模拟提供了稳健支撑。

局限与展望¶

复杂密集场景下的基元上限瓶颈：为严格控制显存占用，系统将全场景高斯总数上限设定为 800k，在包含 5 个以上密集小物体的高复杂度场景中，单实体的几何细节与纹理保真度会受到分配基元配额的制约。
对称几何碰撞配置的受力抵消退化：GSO 依赖侵入物体表面法向聚合推力。当两个对称物体从完全相反的两侧挤压夹击中间物体时，作用于中间物体的排斥矢量将相互抵消，导致中间实体的穿透无法通过单纯法向偏移解决。
刚体假设与物理动态欠缺：当前模型假设所有物体均为理想刚体，无法处理软体接触压缩形变（如泰迪熊深陷软沙发内部的弹性凹陷），亦可能由于缺乏重力模拟导致部分悬空。未来可将无穿透几何输出对接至可微物理引擎（如 MPM / FEM），为 4D 动态仿真构建高质量碰撞无关初始态。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙融合连续隐式 SDF 代理与离散高斯，构建了具有真实物理意义的表面防穿透偏移机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多物体 CVR、T3Bench、B-VQA、GPT-CoT 及深度消融和运行耗时分解，定量数据充实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照自洽，公式与机制表述严谨清晰。
价值: ⭐⭐⭐⭐⭐ 为 3DGS 组合式场景生成提供了标准的防穿透范式，并为下游物理引擎驱动与 4D 具身场景生成提供了理想基石。