Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow¶

会议: ECCV 2026
论文: ECCV 2026
项目主页: https://quan-meng.github.io/projects/seen2scene/
领域: 3D生成与编辑
关键词: 3D场景补全、真实场景生成、流匹配、可见性引导、稀疏Transformer

一句话总结¶

Seen2Scene 是首个直接在不完整真实 3D 扫描数据上训练的流匹配场景补全与生成方法，通过显式掩码未知不可见区域的可见性引导流匹配（Visibility-Guided Flow Matching）与稀疏 VAE，在保留观测表面几何的同时高质量补全复杂现实室内场景。

研究背景与动机¶

现代 3D 内容创作正从合成、孤立的物体生成迅速向真实感强、沉浸式且可交互的世界模型演进。在这一转变过程中，如何从不完整或稀疏的部分观测中恢复完整的 3D 室内场景几何，成为了场景感知、机器人规划与虚拟仿真中的关键痛点。现有的 3D 场景生成与补全模型大多基于扩散模型或流匹配框架，但它们高度依赖 3D-FRONT 等合成 3D 数据集。合成数据集提供了完整无缺的真值场景几何与干净的轴对齐布局，使得模型只需学习规则几何的分布。然而，真实世界 RGB-D 传感器（如 ScanNet++、ARKitScenes）采集的扫描数据不可避免地受限于遮挡、视场角截断以及镜面/高反射材质，存在大量未观测区域与非轴对齐杂乱摆放。

这种依赖合成真值与真实场景采集特性的脱节导致了严重的核心矛盾：直接用现有生成模型拟合真实扫描数据时，由于未观测区域缺乏有效几何标签，模型往往会将相机的视线遮挡区域（如桌底、床底或柜体后方）错误地当作“空旷区域（Empty Space）”进行监督训练，从而在生成和补全时把这种传感器带来的残缺伪影作为真实分布习得，导致补全结果千疮百孔；反之，若强行依赖合成数据训练，又会因领域鸿沟而无法泛化到真实世界多样的物体姿态、杂乱度与几何细节。

本文的切入角度在于：真实扫描重建采用的截断符号距离场（TSDF）体素栅格中，天然蕴含着相机的视线追踪信息——不仅能够区分表面与自由空间，还明确记录了未被相机触及的未知不可见体素。因此，无需预先补全真值，只要在生成模型的整个生命周期中显式解耦“已知观测”与“未知空间”，即可直接从真实残缺扫描中学习场景几何先验。核心 idea：提出基于 TSDF 的可见性引导流匹配机制，在稀疏 VAE 潜空间压缩与稀疏 Transformer 生成扩散过程中将未观测体素严格掩码并排除在损失监督之外，结合 ControlNet 分支注入部分观测几何，实现首个直接在真实残缺扫描上端到端训练的高保真 3D 场景补全与自由生成。

方法详解¶

整体框架¶

Seen2Scene 的核心目标是从不完整、带有噪声与遮挡的真实 3D 扫描中恢复结构完整、几何连续且语义一致的三维室内场景。输入为一个分辨率为 \(256^3\) 的局部 TSDF 体素块（Voxel Size 为 1.1 cm），每个体素明确标定为表面、自由空间或未观测未知空间。整个流程主要包含四个协同模块：首先，通过可见性感知掩码稀疏 VAE 将高分辨率 TSDF 体素压缩为紧凑的几何隐变量网格；其次，利用 3D 边界框与 CLIP 文本语义编码构建场景布局条件嵌入；随后，使用稀疏 Transformer 骨干网络（SparseDiT）在隐变量上执行可见性引导的流匹配生成；最后，在下游补全任务中，冻结流匹配主干并借助 ControlNet 侧支注入更低覆盖率的部分扫描条件，实现观测保留与不可见区域的几何脑补。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["不完整真实 3D 扫描<br/>TSDF 体素块 (256³)"] --> B["可见性感知掩码稀疏 VAE<br/>保留表面与空旷，掩码未知体素"]
    B --> C["紧凑几何隐变量 (z)"]
    D["3D 语义布局边界框 B<br/>CLIP 语义编码 + 空间映射"] --> E["布局条件嵌入序列"]
    C & E --> F["可见性引导流匹配主干 (Gψ)<br/>SparseDiT 速度场建模 (排除未知 token)"]
    G["部分输入扫描 vp"] --> H["ControlNet 几何引导分支 (Cϕ)<br/>冻结主干，多尺度特征注入"]
    F & H --> I["高保真完整 3D 场景几何<br/>无缝衔接观测与补全区域"]

关键设计¶

1. 可见性感知结构化场景表示与掩码稀疏 VAE：在潜空间中斩断未知区域的负面监督
真实深度传感器融合生成的 TSDF 栅格天然带有传感器可见性（Visibility）的哨兵标记：体素距离大于负截断阈值的为有效观测几何，而距离固定为 \(-3 \times \text{voxel\_size}\) 的体素则代表相机视线从未穿透或到达的未知区域。为了在降低空间计算复杂度的同时避免未知空间污染潜在表示，作者设计了掩码稀疏 VAE（Masked Sparse VAE）。编码器 \(E_\tau\) 和解码器 \(D_\tau\) 均基于残差稀疏卷积块构建，下采样倍率为 8 倍，输出 8 通道的几何隐变量 \(z\)。解码器设立双预测头：分类头负责判断体素是表面（距离在截断带内，标注为 1）还是空旷自由空间（距离等于正截断值，标注为 0）；TSDF 回归头则仅针对表面体素回归精确的连续 SDF 标量值。在计算损失时，所有未知体素被掩码显式剔除：

\[L_{\text{vae}} = L_{\text{tsdf}} + L_{\text{cat}} + \lambda_{\text{KL}} D_{\text{KL}}(q(z|v) \parallel p(z))\]

其中表面回归损失 \(L_{\text{tsdf}} = \frac{1}{|m_s|} \sum_{j \in m_s} |\hat{v}_j - v_j|\) 仅在表面体素集 \(m_s\) 上计算，分类二元交叉熵损失 \(L_{\text{cat}}\) 仅在已知体素全集 \(m = m_s \cup m_e\)（表面加空旷）上计算。这样既防止了将未观测空间误判为真空间隙，又保证了隐空间学习到纯净的有效场景几何分布。

2. 开放词表 3D 语义布局条件注入：打通多数据集与真实非轴对齐物体的泛化桥梁
无约束场景补全需要全局语义结构的锚定，尤其在桌下、墙角或远离相机的死角。作者采用 3D 语义布局边界框集合 \(B = \{b_k = (c_k, s_k, l_k)\}_{k=1}^K\) 作为顶层控制信号，其中包含中心坐标 \(c_k\)、尺寸 \(s_k\) 与文本标签 \(l_k\)。为了克服多源数据集（3D-FRONT、ScanNet++、ARKitScenes）中离散类别定义重叠且死板的问题（例如“TV”与“Screen/Monitor/Television”在不同标注中冲突），放弃了传统的 One-hot 编码，改用预训练 CLIP ViT-B/32 文本编码器提取标签特征，并引入 LLM（如 GPT-4）为每个类别扩增同义词、缩写、复数、连字符及拼写容错形式（每个词生成 20 种变体）。将语义特征按空间范围绘制到 3D 布局网格后，与几何隐变量网格在空间上完美对齐并展平为条件 Token 序列。此外，采用分类器自由引导（CFG）策略在训练时随机丢弃布局条件 \(B\)，使得模型在测试阶段脱离人工标注时仍具备独立补全和无条件生成的能力。

3. 可见性引导流匹配（Visibility-Aware Flow Matching）：学习真实局部分布以推断全局几何
针对传统 3D 扩散模型反向扩散步数多且在稀疏数据上轨迹弯曲的瓶颈，生成主干采用流匹配（Flow Matching）与 28 层旋转位置编码（RoPE）稀疏 Transformer（SparseDiT）。流匹配模型 \(G_\psi\) 学习一个速度场，将标准高斯分布 \(p_0\) 线性平滑地推移到目标几何分布 \(p_{\text{geo}}\)。在时间步 \(t \in [0, 1]\) 处，插值状态定义为 \(z_t = (1 - t)z_0 + t z_1\)，目标速度矢量为 \(z_1 - z_0\)。该阶段最关键的设计在于可见性掩码机制：在计算流匹配速度场均方误差时，根据稀疏 VAE 传来的有效几何掩码，将所有落在未观测未知区域的几何 Token 全部排除在损失函数之外：

\[L_{\text{gen}} = \mathbb{E}_{z_0 \sim p_0, z_1 \sim p_{\text{geo}}, t \sim U(0,1)} \left[ \| G_\psi(z_t, t, B) - (z_1 - z_0) \|_2^2 \right]\]

通过这种方式，SparseDiT 仅对见过的几何区域承担预测责任，而无需强行猜测被遮挡的黑洞。由于在多样化的真实场景中，相同类别的物体（如办公椅、茶几）在不同扫描中呈现互补的可见角度，模型通过跨场景海量样本的可见性聚合，自然习得了物体与场景的真实流形，进而拥有对遮挡盲区的补全泛化力。

4. 基于 ControlNet 的自监督残差补全与 MultiDiffusion 大场景平铺推断
在实际应用中，输入往往是一个极不完整的单次或短轨迹扫描 \(v_p\)。为了既能充分复用预训练流匹配学到的强先验，又杜绝对已有可靠几何的重绘破坏，作者引入 ControlNet 分支 \(C_\phi\)。利用自监督模拟退化（自扫描中随机剔除部分深度帧构建残差配对 \((v_p, v)\)），在微调阶段完全冻结生成主干 \(G_\psi\) 的权重，只训练 ControlNet 分支参数 \(\phi\)。此外，为支持任意大尺度多房间环境，系统结合 MultiDiffusion 思想采用重叠率为 0.2 的滑动体素块平铺生成策略（Tiled Generation），在每步去噪中并行处理所有相邻块，并在重叠区域执行平均融合，最终逆变换解码为无缝、统一的全局大场景网格。

损失函数 / 训练策略¶

训练分为两阶段：第一阶段训练掩码稀疏 VAE，使用 AdamW 优化器、初始学习率 \(10^{-4}\)、余弦退火学习率调度并搭配 1000 步 Warmup；第二阶段联合训练流匹配生成主干及下游 ControlNet 补全。所有训练在 4 张 NVIDIA H100 GPU 上采用 BF16 混合精度完成，Batch Size 设置为 64。推断时，使用 50 步欧拉数值积分器（Euler Sampling）求解常微分方程（ODE），CFG 引导尺度设置为 3.0。

实验关键数据¶

主实验¶

在 3D 场景补全任务上，论文在 ScanNet++、ARKitScenes 以及 3D-FRONT 上综合测试了 4,000 个场景切片，与几何补全代表性基线 SG-NN 和表面重建代表性方法 NKSR 进行了系统性对比。测试指标包括点云 Chamfer Distance（CD，仅在具备完整真值网格的 3D-FRONT 上评测）、观测区域重构 \(L_2\) 误差、衡量补全多样性的互方差（Total Mutual Difference, TMD）以及 Uni3D 提出的点云 Fréchet 距离（U3D-FPD）。

方法	CD \(\times 10^{-2}\) ↓	\(L_2 \times 10^{-4}\) ↓	TMD \(\times 10^{-2}\) ↑	U3D-FPD \(\times 10^{-2}\) ↓
SG-NN (CVPR 2020)	10.77	1.90	0.00	15.41
NKSR (CVPR 2023)	5.22	2.55	0.00	21.78
Seen2Scene (w/o bbox)	1.92	0.53	1.69	9.57
Seen2Scene (Full)	2.05	0.51	3.33	7.79

在 3D 场景生成任务上，论文在 3D-FRONT 测试集上与 BlockFusion、LT3SD 以及 WorldGrow 进行了对比，报告了渲染视角感知距离 DINOv2-FID、特征分布对齐度 U3D-FPD 以及基于 Qwen3-VL-8B-Instruct 的多维度综合感知评分（0-10 分）：

方法	DINOv2-FID \(\times 10^2\) ↓	U3D-FPD \(\times 10^2\) ↓	VLM 质量评分 ↑
BlockFusion (ToG 2024)	12.92	28.30	3.51
LT3SD (CVPR 2025)	3.51	28.55	5.20
WorldGrow (2025)	4.44	50.83	4.69
Seen2Scene (Synthetic only)	2.73	11.55	5.61
Seen2Scene (Full)	1.90	14.56	5.70

消融实验¶

为验证可见性掩码训练与各核心设计模块的必要性，论文对掩码机制及关键技术组件进行了精细消融：

表 1：掩码训练机制消融（重建指标针对 VAE，生成指标针对流匹配模型）

配置	重建 \(L_1 \times 10^{-4}\) ↓	重建 \(L_2 \times 10^{-6}\) ↓	重建 CD \(\times 10^{-3}\) ↓	生成 U3D-FPD \(\times 10^2\) ↓	生成 VLM 评分 ↑
去除掩码训练 (w/o Masked)	3.24	7.1	10.64	20.28	5.66
Seen2Scene 完整模型	2.01	2.0	9.04	14.56	5.70

表 2：生成阶段核心设计选择消融（跨 ScanNet++、ARKitScenes、3D-FRONT 评估）

配置	DINOv2-FID \(\times 10^2\) ↓	U3D-FPD \(\times 10^2\) ↓	VLM 质量评分 ↑	说明
仅合成数据训练 (Synthetic only)	2.90	21.49	5.61	缺乏真实场景杂乱分布与非轴对齐物体泛化力
离散类别编码 (Discrete Category)	3.17	21.46	5.64	类别对齐断裂，无法处理细粒度跨域标签
无同义词增强 (w/o Label Synonym)	2.14	18.77	5.62	缺失 LLM 文本扩增，对文本 prompt 鲁棒性下降
Seen2Scene 完整模型	1.90	14.56	5.70	全模块集成，取得最佳视觉保真度与几何质量

关键发现¶

掩码机制是真实残缺数据学习的决定性基石：消融数据显示，若不加可见性掩码，重建 \(L_2\) 误差剧烈恶化超过 3.5 倍（由 \(2.0 \times 10^{-6}\) 上升至 \(7.1 \times 10^{-6}\)），生成的 U3D-FPD 也大幅劣化至 20.28。定性实验清晰证实，去除掩码会迫使模型将桌下未扫描空间误当作真实空洞，生成结果出现严重的“镂空空洞”。
3D 边界框条件的互补与权衡：无边界框条件的 Seen2Scene 取得了更佳的 Chamfer Distance（\(1.92 \times 10^{-2}\) vs \(2.05 \times 10^{-2}\)），因为在微小缺失（如物体局部孔洞）场景下，粗糙的 Box 边界反而可能带来过度约束或干扰；但在大型盲区（如整张办公椅完全不可见），3D Box 条件能稳定挽救几何拓扑，并大幅激增生成的结构多样性（TMD 由 1.69 跃升至 3.33）。
真实数据参与训练带来跨域降维打击：相比仅在 3D-FRONT 合成数据上训练的模型，引入 ScanNet++ 与 ARKitScenes 真实数据后，U3D-FPD 指标从 21.49 大幅降至 14.56，DINOv2-FID 从 2.90 优化至 1.90，有效克服了传统合成生成模型对非轴对齐几何和杂乱物体（如椅子上的衣物堆叠）建模崩溃的问题。

亮点与洞察¶

将可见性融入生成损失的优雅降维：不同于以往方法需要繁琐的伪真值修复或先验猜补，Seen2Scene 巧妙利用 TSDF 本身携带的 \(-3 \times \text{voxel\_size}\) 哨兵标记将不可见体素在训练损失中直接屏蔽。这既保证了监督信号 100% 真实干净，又让生成网络在海量互补残缺视图中自发学到全局连续结构。
ControlNet 架构在 3D 流匹配中的迁移实践：将 2D 文本生成图像中广泛成功的 ControlNet 结构迁移至 3D 稀疏 Transformer 领域，冻结预训练生成大底座、仅微调轻量侧支注入残缺扫描条件，成功做到了“既保真观测表面细节，又自然想象盲区结构”。
大语言模型赋能的开放词表条件生成链条：通过 CLIP 文本嵌入加上 GPT-4 的多维同义词/拼写变体扩展，打破了 3D 场景生成长期以来只能处理数十个预设粗糙类别的封闭限制，无缝打通了 Text-to-3D-Scene 的下游应用。

局限与展望¶

依赖可靠的全局传感器位姿与体素融合质量：该方法的前置输入强依赖于高质量的深度序列姿态估计与 TSDF 体素融合。当手持设备扫描发生严重位姿漂移或深度图存在大面积多路径反光畸变时，错误体素会被当作已知有效观测，导致几何扭曲。
外观与纹理材质的缺失：当前模型专注于三维几何结构（TSDF）的补全与生成，尚未直接输出辐射场、RGB 颜色贴图或 PBR 材质属性，生成结果需要额外的神经渲染或材质纹理扩散模型配合。
边界框粗语义的先验依赖：在完全无条件补全大面积空白时，虽然 CFG 允许丢弃边界框，但在缺乏语义 Box 引导且极度残缺的情况下，场景推断容易退化为模糊平滑几何。未来结合 3D 具身基础大模型（Embodied Foundation Models）进行交互式、自适应粗布局提议将极具潜力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向真实残缺扫描的可见性引导流匹配机制与掩码稀疏 VAE，概念清晰且设计极其精妙。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖真实扫描与合成数据、补全与文本生成两大任务，消融对比深入扎实，主客观评测指标丰富。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密，图表清晰直观，从物理传感器可见性原理到流匹配数学表述一气呵成。
价值: ⭐⭐⭐⭐⭐ 彻底解决了 3D 场景生成模型对合成数据集强依赖的行业卡脖子痛点，对具身智能仿真环境构建与 3D 物理世界模型研发具有重要借鉴价值。