Scene Generation at Absolute Scale: Utilizing Semantic and Geometric Guidance From Text for Accurate and Interpretable 3D Indoor Scene Generation¶

会议: ECCV 2026
论文: ECCV 原文
项目主页: https://d3ixi.github.io/GuidedSceneGen/
领域: 重建与渲染
关键词: 3D室内场景生成 / 绝对度量尺度 / 全景扩散模型 / 3D高斯泼溅 / 相机轨迹优化

一句话总结¶

本文提出 GuidedSceneGen，首创将 3D 全局度量代理布局引入文本到 3D 室内场景生成管线，结合几何与语义双重引导的全景扩散模型与避障相机轨迹优化，实现了绝对度量尺度下具有 9D 物体位姿与语义可解释性的连贯 3D 高斯泼溅场景重建。

研究背景与动机¶

从自然语言文本直接生成高质量、可自由漫游的 3D 室内场景，是计算机视觉、图形学与具身智能（Embodied AI）领域的关键前沿任务。然而，现有的文本到 3D 场景生成范式存在严峻的尺度模糊性与几何漂移问题。主流方法多依赖迭代式单视角修复与 2D-to-3D 几何提升（如 Text2Room、SceneScape），或者基于全景图的展开与分层分离（如 LayerPano3D、DreamScene360、WorldExplorer）。这些方法在缺乏全局度量约束的相对坐标系下进行局部修补与相机推进，随着场景尺寸增大或探索路径延长，极易累积严重的几何形变、漂移与伪影；更重要的是，生成的世界缺乏物理意义上的绝对度量尺寸，导致物体间相对尺度失真，无法直接应用于机器人导航与交互规划。

造成这种困境的核心矛盾在于：2D 与视频扩散模型擅长合成纹理与局部视角先验，但模型内部处于归一化或未知的相对隐空间，本身缺乏绝对物理尺寸感知；而下游具身场景理解、CAD 交互和物理交互任务却强依赖全局统一的米制坐标系（Metric Scale）以及带明确类别与 9D 位姿（位置、朝向、尺寸）的语义实体结构。先前尝试引入 3D 代理（如 SceneCraft、ControlRoom3D）的方法通常依赖用户给定的轴对齐包围盒（AABB）或检索预置 CAD 资产，无法实现全自动且细粒度可泛化的几何与位姿端到端传递。

本文的切入角度是：不再在未约束的生成图像上被动估计几何，而是从输入文本出发首先建立一个显式的全局 3D 空间代理布局，将绝对度量坐标系确立为统领全流程的基底，并将其渲染的深度与语义图作为显式条件持续约束全景生成与相机轨迹合成。核心 idea：以文本预测的绝对米制 3D 代理布局为全局几何与语义锚点，通过语义和深度双分支控制的全景多视角扩散模型与避障对齐的视频轨迹采样，在统一世界坐标系下直接完成 3D 高斯泼溅融合，实现尺寸保真、支持物体位姿迁移与无缝扩展的 3D 场景生成。

方法详解¶

整体框架¶

GuidedSceneGen 采取自粗至细（Coarse-to-fine）的生成框架，全流程保持在绝对世界坐标系中运行。输入文本提示后，系统首先调用文本到 3D 布局模型生成包含房间边界和带 9D 位姿物体实体的全局 3D 代理布局；接着从代理中心渲染绝对深度与 NYUv2-40 语义的六面立方体贴图（Cubemap），驱动多视角全景扩散模型合成与代理严格对齐的高保真 RGB 全景图；随后，利用代理几何结构规划覆盖盲区且避免碰撞的网格四象限环形轨迹，并通过深度一致性二分查找校准视频扩散模型的相机尺度，生成补全未观测区域的高质量新视角帧；最终，基于全部对齐且具备已知米制真值位姿的视角帧，联合深度、几何平坦度与结构正则化，优化重建得到完全可漫游的 3D 高斯泼溅（3DGS）场景。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文本提示词输入"] --> B["文本到 3D 全局度量代理布局估计<br/>建立米制世界坐标系与 9D 物体先验"]
    B --> C["语义与几何双重引导的全景扩散生成<br/>Multi-ControlNet 驱动六视角 Cubemap"]
    C --> D["避障与覆盖感知的相机轨迹规划<br/>网格四象限采样与 0.3m 深度安全过滤"]
    D --> E["深度对齐的二分搜索视频新视角合成<br/>最小化 L1 深度误差对齐 SVC 相机尺度"]
    E --> F["绝对度量坐标系下的全局 3DGS 场景重建<br/>融合 338 帧真值位姿进行高斯辐射场优化"]

关键设计¶

1. 文本到 3D 全局度量代理布局估计：从源头确立绝对世界坐标系与物体位姿 以往方法在未校准的隐空间或相对尺度下逐步生成 3D 场景，导致不可逆的几何累积漂移。本文引入 Holodeck 作为先验引擎，根据文本描述直接生成具有真实物理米制尺度的 3D 房间布局与家具排列。该代理不仅明确了墙体、地面等房间包围边界，还为每个物体实例提供了绝对世界坐标系下的 9D 位姿参数（3D 位置、三轴尺寸、3D 旋转）。以场景中心为原点，系统渲染出 \(360^\circ \times 180^\circ\) 的立方体六面贴图，输出严格对齐的绝对米制深度图和采用 NYUv2-40 分类体系的稠密语义标签图。这一全局代理作为全管线的几何与语义骨架，从根本上消除了后续视点融合时的尺度不确定性。

2. 语义与几何双重引导的多视角全景扩散生成：消除球面畸变并锁定空间对应 传统的等距柱状投影（Equirectangular ERP）在两极区域存在严重的拉伸畸变，直接生成全景图像往往导致物体结构变形。本文采用立方体贴图（Cubemap）表征全景，将 360° 视场离散为 6 个正交的透视面。基础生成网络以 Stable Diffusion 2 为骨干，引入跨视角的膨胀自注意力与交叉注意力（Inflated Attention），将 token 序列形状从 \(b \times (hw) \times l\) 重排为 \(b \times (t \cdot hw) \times l\)（其中 \(t=6\) 个视角），使得预训练权重能够无缝复用并在各面之间共享上下文；同时在各面的像素级特征上注入 3D 空间坐标（xyz-positional encoding），使网络感知立方体各面的几何邻接关系。在此之上，模型扩展了 Multi-ControlNet 架构，分别初始化深度与语义两个适配器分支，注入代理渲染的绝对深度与语义图，在去噪过程中硬性约束物体的空间几何轮廓与语义类别分布，生成与代理布局高度契合的 360° 全景图。

3. 避障与覆盖感知的相机轨迹规划与深度二分对齐：兼顾盲区补全与尺度统一 单张全景图重投影形成的初始点云存在大量物体背面与死角阴影盲区，若盲目增加生成视角会带来极高的计算负担（如 WorldExplorer 需数小时）并引入时序冲突。本文设计了一种基于网格分区的四象限环形探索路径：将房间划分为四个均等象限，在各象限内设置朝向象限中心的稀疏环形视轨；通过查询 3D 代理渲染深度，自动剔除与墙面、天花板碰撞或距离物体表面小于 0.3 米的视点，避免相机穿模导致扩散模型退化产生黑屏或虚焦帧。针对视频扩散模型（Stable Virtual Camera, SVC）运行在固有的归一化立方体坐标 \([-2, 2]^3\) 中所带来的尺度失配问题，本文提出基于代理深度的二分查找算法，在 \([0.1, 2.0]\) 区间内自适应求解最佳相机缩放参数 \(\theta^*_{cs}\)：

\[\theta^*_{cs} = \arg\min_{\theta_{cs}} \mathcal{L}_{\text{dpt}}, \quad \mathcal{L}_{\text{dpt}} = \frac{1}{N} \sum_{i=1}^N \| D^i_{\text{gt}} - D^i_{\theta_{cs}} \|_1\]

其中 \(D^i_{\theta_{cs}}\) 为视频模型在特定缩放参数下生成帧经单目度量深度估计器（Depth Anything v2）预测的米制深度，\(D^i_{\text{gt}}\) 为 3D 代理在第 \(i\) 视点处渲染的真实度量深度。该方法替代了效率低下的穷举线性搜索，使得合成的视角视频在空间轨迹和绝对尺寸上与全局坐标系完全吻合。

4. 绝对度量坐标系下的全局 3DGS 场景重建：免位姿估计与高保真辐射场优化 得益于各阶段视角与全局代理的几何对齐，重建阶段完全无需运行 COLMAP 等误差累积严重的外部位姿估计或 NeRF 式尺度校准，所有相机内外参和度量深度直接继承自主控坐标系。系统从 4 条轨迹各提取 42 帧（共 168 帧 NVS 视角），并从初始全景图中均匀采样 170 帧，合计 338 帧高质量多视角图像。采用 3D 高斯泼溅进行快速辐射场重建，总优化损失函数为：

\[\mathcal{L} = \mathcal{L}_{\text{3DGS}} + \mathcal{L}_{\text{geom}} + \mathcal{L}_{\text{NN}} + \mathcal{L}_{\text{depth}}\]

其中 \(\mathcal{L}_{\text{3DGS}}\) 为基础光度损失（\(\ell_1\) 与 D-SSIM 组合），\(\mathcal{L}_{\text{geom}}\) 引入法向量、几何与多视角光度平坦一致性约束，\(\mathcal{L}_{\text{NN}}\) 约束高斯中心点与其近邻初始代理点云之间的距离以保持结构平滑，\(\mathcal{L}_{\text{depth}}\) 利用度量真值深度图实施强几何监督。最终重建的 3DGS 场景天然保留了 9D 目标边界框与 3D 语义标签，并支持通过在门/连接墙等连接体处裁剪高斯点云，实现无缝、低计算开销的多房间增量场景扩展。

损失函数 / 训练策略¶

全景图生成器的训练分为两阶段：第一阶段在公开全景数据集（Structured3D、Matterport3D 等）上训练膨胀多视角扩散模型，迭代 120k 次，batch size 为 2，使用 AdamW 优化器（\(\beta_1 = 0.9, \beta_2 = 0.999, \text{weight decay} = 0.01\)），初始学习率 1e-5 并在线性预热 10k 步后保持，梯度裁剪阈值为 1，配合 1000 步 DDPM 调度器采用 v-prediction；第二阶段接入 Depth 与 Semantic ControlNet 分支，在 Structured3D 上微调 90k 次，batch size 为 1。测试推断时，全景采样采用 50 步 DDIM，无分类器引导（CFG）强度设为 8.0。3DGS 重建优化直接利用预设的 338 帧视角与绝对深度监督进行端到端辐射场收敛。

实验关键数据¶

主实验¶

在 Structured3D 测试集生成的文本描述上，评估新视角合成（NVS）质量与 3D 重建一致性。评测指标包括图像质量 IS、多视角几何一致性 MEt3R（越低越好）、用户主观调研（包括感知质量 PQ、3D 一致性 3DC、整体场景质量 SQ，满分 5 分）以及平均单场景运行时间。

方法	IS ↑	MEt3R ↓	PQ ↑	3DC ↑	SQ ↑	平均耗时
DreamScene360 (ECCV 2024)	1.91	0.026	2.34	2.44	2.38	0.5h
LayerPano3D (SIGGRAPH 2025)	2.00	0.031	2.08	1.79	1.94	0.2h
WorldExplorer (SIGGRAPH Asia 2025)	2.27	0.033	1.42	1.51	1.35	7.0h
GuidedSceneGen (本文)	2.22	0.024	3.03	3.05	3.01	0.75h

消融实验¶

全景图生成器引导信号消融（在 Structured3D 文本提示上评测全景图质量与文本对齐度）：

配置	CLIP Score ↑	Q-Align ↑	CLIP-IQA+ ↑	IS ↑	说明
纯文本引导 (Ours text only)	31.17	4.45	0.69	3.33	基础多视角膨胀 U-Net
文本 + 深度控制 (text + Depth-ControlNet)	31.85	4.49	0.70	3.33	引入绝对深度约束几何一致性
文本 + 语义控制 (text + Semantic-ControlNet)	32.23	4.49	0.70	3.41	显著增强局部实体与语义结构
完整模型 (full, text + Multi-ControlNet)	32.48	4.54	0.71	3.26	深度与语义双分支联合控制，图文匹配最佳

绝对尺度与几何对齐精度定量验证（评估代理与重建 3DGS 场景之间的外参和深度漂移）：

评估项目	平移误差 RMSE [m] ↓	平移误差 Median [m] ↓	旋转误差 RMSE [°] ↓	旋转误差 Median [°] ↓	深度误差 RMSE [m] ↓	深度误差 AbsRel ↓
3D 代理与 3DGS 场景对齐	0.036	0.032	1.05	0.77	0.117	0.014

关键发现¶

3D 一致性与用户偏好显著领先：GuidedSceneGen 的 MEt3R 达到 0.024，在所有基线中几何漂移最小；用户调研中 3DC（3.05）与 PQ（3.03）大幅超过 DreamScene360（2.44 / 2.34）和 LayerPano3D（1.79 / 2.08）。WorldExplorer 因长轨迹累积误差导致重建崩塌，SQ 仅 1.35。
采样效率提升近 10 倍：相比 WorldExplorer 穷举探索所需的 7 小时单场景耗时，本文通过避障网格轨迹规划与二分深度对齐，仅用 338 帧高质量关键帧即完成重建，平均耗时缩短至 0.75 小时（加速约 9.3×），计算效率与轻量方法相当。
绝对尺度的毫米/厘米级对齐精密度：真实尺度相机平移误差中位数仅 3.2cm，旋转误差中位数仅 0.77°，深度相对误差（AbsRel）仅 1.4%，证明从 3D 代理到最终 3DGS 场景的度量尺度保持高度一致，打破了以往 text-to-3D 相对尺度模糊的瓶颈。

亮点与洞察¶

将 3D 代理升格为全流程统一度量锚点：改变了以往仅在后处理中进行点云粗糙配准的思路，从文本直接预测绝对尺度的 9D 物体布局与深度，使得整个生成管线无需依赖易漂移的无监督相机位姿估计。
深度驱动的视频生成尺度自适应校准：敏锐地发现了现存可控视频扩散模型内部归一化空间与真实物理世界尺度的脱节问题，利用单目度量深度估计与二分搜索直接求解相机尺度因子 \(\theta_{cs}\)，解决了轨迹穿模与视角脱靶的难题。
天然支持解耦的多房间无缝递增扩展：由于所有场景均生成于绝对世界坐标系中，扩展新房间时仅需根据门的位置拼接新的代理布局独立生成，再通过 9D 语义掩码裁剪连接体处的高斯粒子，消除了多房间生成中计算量随面积爆炸式增长的痛点。

局限与展望¶

受限于室内结构化环境先验：当前方法依赖 Holodeck 与 Structured3D 等室内数据集，四象限网格轨迹与立方体全景投影假设场景有平整地面与规则墙体，尚难以直接泛化到无边界的大规模室外自然环境。
极小物体与细粒度几何缺失：3D 代理布局仅提供家具级别的粗粒度 CAD 块和 9D 框，对于桌面小摆件、复杂线缆等细微物体的几何监督较弱，细节处的高斯泼溅偶尔依赖无约束的图像生成补充。
代理生成器对极罕见提示词的容错率：若前端文本到布局模型未能正确理解冷门室内风格或极端房间结构，错误或碰撞的初始代理会导致后续深度约束与轨迹产生偏差。未来可探索更强大的多模态 Agent 协同细化代理布局。

评分¶

新颖性: ⭐⭐⭐⭐ [首次在文本生成 3D 场景中实现全流程绝对米制尺度统一，提出基于代理深度二分对齐视频尺度的创新思路]
实验充分度: ⭐⭐⭐⭐⭐ [全景图质量、新视角合成、3D 一致性、几何位姿对齐精度及用户调研完备，指标扎实详尽]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密，动机具体明晰，框架图与数学公式精炼自洽]
价值: ⭐⭐⭐⭐⭐ [为具身智能导航与虚拟场景可解释性生成打通了从文本到可交互绝对尺度 3DGS 的关键通路]