Scale3D: Autoregressive Modeling for Large Outdoor Scene Generation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D生成与编辑
关键词: 无边界3D场景生成, 分层自回归模型, 3D分块VAE, 直接偏好优化, 文本空间控制

一句话总结¶

Scale3D 提出一种解耦全局布局规划与局部几何合成的分层自回归室外 3D 场景生成框架，结合高保真分块 VAE 与 DPO 偏好对齐，实现了跨大尺度空间无接缝的高质量连续几何生成与文本空间交互控制。

研究背景与动机¶

构建城市街区级别的大规模室外 3D 场景需要同时兼顾精准的局部几何结构与长程全局空间连贯性。现存主流方案大多存在明显的割裂：一方面，依赖 2D 扩散先验并通过多视角重建提升到 3D 的方法虽能生成逼真的多视角纹理，但容易受到累积深度误差与视角不一致性的困扰，导致底层几何形变严重；另一方面，直接基于 3D 扩散模型（如分块生成或体素去噪）的方法受限于固定的局部上下文窗口，在扩展到无边界开阔场景时，基于重采样的补全或外推策略不可避免地在分块边界处产生明显的接缝与断裂，难以维持远距离结构的一致性。

将这一挑战转移到自回归模型是解决长程空间依赖的自然思路，然而在 3D 几何领域直接采用单阶段因果序列建模通常难以奏效。若强行让单个因果 Transformer 同时承担宏观场景布局规划和高频局部表面细节合成，极易因表示负荷过重而陷入模式崩溃，退化为过度平滑且缺乏几何细节的低质网格。此外，现有 3D 分块 VAE 受到全场景 SDF 体素分辨率上限的约束，无法重构出锐利的建筑轮廓与地表特征，且缺乏直接通过自然语言精确调控 3D 空间相对方位的交互能力。

本文的切入角度是将全局宏观规划与局部高频细节生成明确解耦，用宏观因果自回归建立大范围的全局骨架，再利用双向掩码自回归配合扩散头精细雕琢块内几何，并从数据管线底层突破 VAE 的分辨率与特征表达瓶颈。核心 idea：构建分层自回归生成范式，首先通过 Z 序因果自回归 Transformer 预测全局分块布局嵌入，再通过结合相邻分块边界上下文的双向掩码自回归与连续扩散头合成块内高保真几何，配合锐利几何引导的 3D 分块 VAE 与 DPO 偏好对齐，实现兼具全局连贯与微观细节的大规模室外 3D 场景生成。

方法详解¶

整体框架¶

Scale3D 将整幅室外大场景离散化为 $H \times W$ 的空间分块（chunk）网格，每个分块由 3D 分块 VAE 编码为 $l$ 个连续潜在 token 构成的向量集合。在宏观层面上，模型遵循保持 2D 空间局部相关性的 Z 序遍历轨迹，利用因果自回归 Transformer 逐块规划全局潜在嵌入；在微观层面上，针对各个局部几何分块，利用双向掩码自回归模型以全局嵌入与相邻分块边缘为条件，由扩散预测头迭代恢复块内被掩码的连续几何 token，最后经由 VAE 解码器重建为无缝连贯的精细 3D 几何网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入网格与场景文本提示词"] --> B["增强型3D分块VAE<br/>网格直接分块SDF与锐利边缘几何特征提取"]
    B --> C["Z序因果自回归全局规划<br/>2D RoPE空间编码规划宏观网格分块嵌入"]
    C --> D["双向掩码局部细节生成<br/>结合上下邻域与全局引导的连续扩散去噪"]
    D --> E["协同优化策略<br/>相干性正则化与DPO偏好优化"]
    E --> F["输出无边界大规模3D几何网格"]

关键设计¶

1. 增强型3D分块VAE：网格直接分块SDF与锐利边缘几何特征提取 针对传统分块 VAE 受制于工具链 32 位表示限制导致全场景 SDF 体素分辨率上限仅能提供低保真占用网格（如单轴仅 50 体素）的痛点，本文提出灵活分辨率控制（Flexible Resolution Control, FRC）数据管线。该方案不再从整场景 SDF 截取分块，而是先在原始场景网格上执行网格切分提取分块网格，再独立转化为分块局部 SDF，使分块占用网格的单轴分辨率直接提升至 256乃至 1000 体素。同时引入显著几何引导（Salient Geometry Guidance, SGG），除均匀表面采样点 $P_u$ 与法向量 $N_u$ 外，额外采样锐利边缘点 $P_s$ 与法向量 $N_s$，通过交叉注意力分别提取潜在表示并求和汇聚： $$Z = Z_u + Z_s = \text{CrossAttn}(L, [P_u, N_u]) + \text{CrossAttn}(L, [P_s, N_s])$$ 其中 $L$ 为可学习查询向量集。这种高分辨率占用场与边缘法向特征的双重增强，使几何边缘与微小构件的重构保真度大幅提升。

2. Z序因果自回归全局规划：2D RoPE空间编码规划宏观网格分块嵌入 针对大场景生成易出现结构破碎、缺乏长程协调性的问题，全局阶段将每个分块视为一个宏观单元。为在保持严格因果序列性的同时兼顾二维平面的空间邻近性，模型采用空间填充曲线中的 Z 序（Morton 顺序）遍历网格。全局因果 Transformer 接收已生成分块的表征，结合 2D 旋转位置编码（RoPE）以及可选的文本提示词特征 $c$，自回归地预测当前第 $i$ 块的全局嵌入向量 $\mathbf{z}_i^{\text{global}}$： $$p(\mathbf{z}_i^{\text{global}} \mid \mathbf{z}_{<i}^{\text{global}}, \texttt{[BEGIN]}, c, \text{RoPE}(x,y))$$ 利用 2D RoPE 能自适应外推空间几何坐标相对关系的特性，模型能够在跨越数倍基准尺度的网格下依然稳定捕捉宏观地形起伏与街区布局分布。

3. 双向掩码局部细节生成：结合上下邻域与全局引导的连续扩散去噪 由于分块内的点云或隐式几何结构本质上无序，硬性施加因果序会导致累积误差，因此局部细节生成采用双向掩码自回归（MAR）配合扩散去噪头。针对块内 token 随机选取掩码子集 $\mathcal{M}_i$，模型以未掩码 token $\mathbf{z}_i^{\mathcal{U}_i}$、宏观全局嵌入 $\mathbf{z}_i^{\text{global}}$ 以及空间相邻的上方分块 $\mathbf{z}_{\text{top}}$ 和左侧分块 $\mathbf{z}_{\text{left}}$ 拼接构成的分层上下文向量为条件： $$\mathbf{c}_i^{\text{hierarchical}} = \text{Concat}([\mathbf{z}_{\text{top}}, \mathbf{z}_{\text{left}}, \mathbf{z}_i^{\text{global}}])$$ 双向 Transformer 提取各掩码位置的隐状态后，由轻量 12 层连续扩散头执行 DDPM 去噪采样，直接在连续潜在空间生成未量化的几何 token。显式的顶邻和左邻边界注入彻底消除了传统分块生成在拼接处常见的高低落差与边缘接缝。

4. 协同优化策略：相干性正则化与DPO偏好优化 室外大场景无条件生成最容易陷入单调平原或空旷荒地的模式崩溃。为促使模型生成富有层次的地貌与建筑群，训练目标引入了邻域相干性正则项（$\mathcal{L}_{\text{coherency}}$）与直接偏好优化（$\mathcal{L}_{\text{DPO}}$）。相干性损失约束相邻分块的全局嵌入保持适度余弦差异度，避免几何特征死锁在单一基元上。更关键的是，基于约 400 个人类标注与筛选的 $8 \times 8$ 分块场景质量排序对构建偏好集，利用 DPO 损失微调策略网络： $$\mathcal{L}_{\text{DPO}} = -\mathbb{E}_{(\mathbf{Z}_w, \mathbf{Z}_l)} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(\mathbf{Z}_w \mid c)}{\pi_{\text{ref}}(\mathbf{Z}_w \mid c)} - \beta \log \frac{\pi_\theta(\mathbf{Z}_l \mid c)}{\pi_{\text{ref}}(\mathbf{Z}_l \mid c)} \right) \right]$$ DPO 显著惩罚了空旷、重复拼接与结构混乱的低质量样本，使无条件自回归模型更倾向于产出地表纹理错落有致、符合物理常识的大型室外地貌。

损失函数 / 训练策略¶

模型分阶段独立优化。分块 VAE 的优化目标为高分辨率占用场的二值交叉熵损失 $\mathcal{L}_{bce}$、潜在空间 KL 散度约束 $\mathcal{L}_{kl}$、特征嵌入重构均方误差 $\mathcal{L}_{emb}$ 以及分块表面高度预测均方误差 $\mathcal{L}_{height}$： $$\mathcal{L}_{\text{VAE}} = \lambda_{bce}\mathcal{L}_{bce} + \lambda_{kl}\mathcal{L}_{kl} + \lambda_{emb}\mathcal{L}_{emb} + \lambda_{height}\mathcal{L}_{height}$$ 分层自回归生成网络的整体联合损失函数包含掩码连续扩散去噪损失、相邻分块相干性正则损失以及 DPO 偏好损失： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{diffusion}} + \lambda_{\text{coh}}\mathcal{L}_{\text{coherency}} + \lambda_{\text{dpo}}\mathcal{L}_{\text{DPO}}$$ 超参数设定为 $\lambda_{\text{coh}} = 0.1$，$\lambda_{\text{dpo}} = 0.05$，DPO 温度系数 $\beta = 0.1$。对于文本条件生成分支，在训练阶段引入条件丢弃概率 $p_{drop} = 0.1$ 以支持无分类器引导（Classifier-Free Guidance, CFG）采样。

实验关键数据¶

主实验¶

在单场景（1 scene）与 13 场景（13 scenes）数据集上，对无条件场景生成性能进行多尺度测试（$2 \times 2$、$8 \times 8$ 与 $32 \times 32$ 网格，评估指标采用 PointNet++ 提取特征计算的 FPD 与 $\text{KPD}^* = \text{KPD} \times 10^3$，数值越低越好）：

数据集	方法	2×2 FPD (↓)	2×2 KPD* (↓)	8×8 FPD (↓)	8×8 KPD* (↓)	32×32 FPD (↓)	32×32 KPD* (↓)
1 scene	NuiScene (2×2)	0.07	0.21	0.32	0.57	0.87	1.92
1 scene	NuiScene (16×16)	0.06	0.22	0.29	0.54	0.76	1.38
1 scene	Scale3D (本文)	0.07	0.24	0.24	0.52	0.71	0.91
13 scenes	NuiScene (2×2)	0.11	0.34	0.43	0.67	0.97	2.65
13 scenes	NuiScene (16×16)	0.12	0.34	0.34	0.63	0.82	2.36
13 scenes	Scale3D (本文)	0.12	0.33	0.27	0.59	0.75	1.97

在可控空间文本生成任务中，Scale3D 在 $2 \times 2$ 至 $16 \times 16$ 尺度上保持了高水平的图文匹配与 3D 几何质量（CLIP 分数自 0.98 渐变至 0.91，Uni3D 相似度自 0.36 渐变至 0.29）；在 50 条测试指令的空间相对关系准确率测试中，Scale3D 在 $8 \times 8$ 尺度上的方位关系与高度等级准确率分别达到 0.78 与 0.71（随机基线仅为 0.25 与 0.17）。

消融实验¶

针对 Scale3D VAE 核心模块（高分辨率占用网格 FRC 与显著几何引导 SGG）以及无条件自回归架构设计的消融评估结果如下：

表 1: Scale3D VAE 关键模块消融（单场景数据集）

配置	FRC (高分辨率)	SGG (显著几何)	体积 IoU (↑)	Chamfer-p (↓)	Chamfer-n (↓)	F-Score (↑)	说明
基线 (NuiScene VAE)	✗	✗	0.4690	0.0062	0.0212	0.8314	原始低分辨率占用场输入
仅加入 FRC	✓	✗	0.6631	0.0009	0.0090	0.9657	分辨率自 50 提升至 256
仅加入 SGG	✗	✓	0.4692	0.0059	0.0225	0.8362	增加锐利边缘点采样
完整模型	✓	✓	0.6686	0.0009	0.0087	0.9696	全指标显著优于原始基准

表 2: 无条件自回归生成框架消融（单场景数据集）

| 变体 / 配置 | 2×2 FPD (↓) | 2×2 KPD (↓) | 8×8 FPD (↓) | 8×8 KPD (↓) | 32×32 FPD (↓) | 32×32 KPD (↓) | 说明 | |---|---|---|---|---|---|---| | 块级因果自回归 | 0.13743 | 12.34 | 0.17264 | 14.57 | 0.21043 | 17.42 | 单一序列单步预测整块，几何严重粗糙 | | 纯双向掩码自回归 | 0.00022 | 0.05 | 0.00038 | 0.13 | 0.00265 | 0.68 | 缺乏宏观规划，大尺度结构崩溃重复 | | 去掉 DPO (w/o DPO) | 0.00031 | 0.07 | 0.00072 | 0.16 | 0.00132 | 0.47 | 易退化为空白或简单平坦地形 | | 去掉相干性损失 (w/o CA Loss) | 0.00026 | 0.05 | 0.00043 | 0.13 | 0.00098 | 0.38 | 块交界处过渡不自然，局部桥梁结构断裂 | | Scale3D (完整模型) | 0.00025 | 0.05 | 0.00039 | 0.13 | 0.00095 | 0.36 | 大尺度下保持极优结构连贯度 |

关键发现¶

在大尺度场景扩展（从 $8 \times 8$ 到 $32 \times 32$）中，Scale3D 相比 NuiScene 的相对优势单调递增，尤其在 $32 \times 32$ 尺度下，单场景 $\text{KPD}^*$ 自 1.92/1.38 骤降至 0.91，13 场景 $\text{KPD}^*$ 自 2.65/2.36 降至 1.97，证实分层宏观-微观因果建模能有效避免传统基于外推和局部滑窗方法的误差扩散。
VAE 模块中提升占用网格分辨率（FRC）对指标的跃升起到决定性作用（IoU 自 0.4690 跳升至 0.6631），而显著几何法向量引导（SGG）进一步修复了棱角锐利度，使法线 Chamfer 距离降至最低（0.0087）。
架构消融表明，纯粹的块级因果自回归模型性能极度劣化（各尺度 KPD 均在 10 以上），而纯粹的双向掩码模型在 $32 \times 32$ 尺度发生严重退化（FPD 劣化 10 倍以上）。二者解耦的分层设计兼具因果规划的宏观连贯性与掩码扩散的局部高保真度。

亮点与洞察¶

宏观因果与微观掩码的解耦设计：巧妙规避了传统自回归模型在连续空间 3D 复杂几何上的表征容量过载问题，让全局因果关注大尺度地形地势流向，局部掩码扩散专精于细微多边形起伏与边界对齐。
直接网格分块的高分辨率 VAE 流程：敏锐指出了 mesh2sdf 软件在超大场景下受 32 位数值精度限制的工程痛点，通过先离散化分块网格再局部计算高分辨率 SDF，一举将有效占用率监督精度释放了数十倍。
DPO 偏好对齐攻克 3D 模式坍塌：在 3D 大场景生成中引入微量（约 400 对）人类质量偏好数据进行直接偏好优化，不仅消除了无条件生成常见的空旷平地与重复几何构件，还显著提升了宏观布局的地貌丰富度。

局限与展望¶

推理耗时随着场景分块规模线性累积：由于全局阶段采用逐块因果自回归，局部细节又依托扩散去噪头（T 步去噪），在生成超大规模（如 $32 \times 32 = 1024$ 块）全场景网格时整体端到端推理耗时较为漫长，未来可探索非自回归并行推断或一致性模型加速去噪。
语义控制精细度受限于高程分水岭分割管线：文本控制依赖于基于高度图的分水岭分割与 LLM 逆向字幕合成，对于重叠悬挑结构（如立交桥下方、隧道、凹陷洞穴等复杂拓扑）的描述与控制精度有限，未来亟需引入全三维空间语义场标签联合训练。
纹理着色与材料物理属性的集成缺失：当前 Scale3D 专注于无边界高保真未着色几何网格生成，后续工作可进一步将材质、PBR 贴图或神经辐射场与分块自回归架构深度融合。

评分¶

新颖性: ⭐⭐⭐⭐☆ 分层解耦因果布局与掩码扩散局部细节，结合高保真分块 VAE 与 DPO，为无边界室外 3D 几何生成提供了清晰可靠的范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1 场景与 13 场景基准，覆盖 $2 \times 2$ 到 $32 \times 32$ 跨尺度指标对比、细致的组件与架构消融、以及文本控制精度评测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图表清晰，针对传统方法的痛点分析切中要害，方法拆解完整连贯。
价值: ⭐⭐⭐⭐☆ 对游戏大世界程序化构建、自动驾驶仿真场景生成以及数字孪生地理合成等具身与虚拟现实领域具有重要参考价值。