WorldMesh: Generating Navigable Multi-Room 3D Scenes via Mesh-Conditioned Image Diffusion¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 多房间场景生成、网格条件生成、多视图一致性、纹理回投影、高斯泼溅

一句话总结¶

WorldMesh 先构建带物体的多房间网格，再把逐步积累的纹理与深度作为图像生成条件，最后以网格深度约束 3D Gaussian Splatting（3DGS）重建，在 31 人感知研究中获得对基线平均 96.2% 的偏好；其核心是持久几何约束，而不是仅生成一条看起来连贯的视频。

研究背景与动机¶

图像和视频生成模型能提供逼真的材质、光照与室内陈设，但把这些能力变成可自由浏览的多房间三维场景并不直接。单张图像可以合理补全不可见区域，连续生成时却可能在另一个视角重新解释同一件家具；近距离绕物体旋转、穿过门洞或回到旧房间时，这种变化会显露为重复物体、几何漂移或不一致的墙面。沿固定轨迹看起来连贯，不等于任意视角都对应同一个世界。

已有方法分别用逐帧补画、全景图、相机条件视频或粗布局缓解这一问题。前几类容易积累深度与外观误差，包围盒布局虽能固定物体大致位置，却不能决定床沿、椅背等细节在不同角度下的形状。另一方面，直接用语言模型列家具清单和坐标，又容易得到单调或不充分的陈设。本文因此让语言模型处理建筑布局，让图像生成模型提出丰富的物体配置，再将这些物体重建为持久网格，而不是让每个视角独立想象它们。

核心 idea：把建筑与物体几何写入一个可反复渲染的网格，并把已经生成的墙面外观回写到同一网格，让后续图像生成和最终 3DGS 优化都受这份共享空间状态约束。

方法详解¶

整体框架¶

输入是描述风格和环境的自然语言，输出是可渲染新视角的多房间 3DGS 场景。几何优先的网格构建先得到墙、地板、天花板、门窗和重建物体；网格锚定的外观生成再按照相机顺序合成图像，将墙面颜色逐步回投影到网格。通过结构验证的图像与网格深度共同用于几何正则化 3DGS 重建。

这里的网格不只是一次性条件图，而是跨视角、跨房间共享的中间表示。墙纹理在图像生成循环中积累，并非提前生成完整贴图；最终也不是直接把粗网格作为照片级输出，而是用它约束高斯表示。流程仍包括交互式分割，不能把“文本输入”理解为本文实验已实现完全无人工介入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    T["文本描述"] --> M["几何优先的网格构建<br/>建筑布局与物体重建"]
    M --> A["网格锚定的外观生成<br/>混合条件与相邻视角参考"]
    H["SAM3 交互式点提示"] -.-> M
    A --> V["深度边缘结构验证"]
    V -->|未通过：换种子| A
    V -->|通过：图像与相机| G["几何正则化 3DGS 重建"]
    A -->|墙纹理回投影| M
    M -->|初始化点云与监督深度| G
    G --> O["可浏览的多房间场景"]

关键设计¶

1. 几何优先的网格构建：用建筑约束与图像中的陈设共同确定空间

语言模型 Claude Opus 4.6 将描述转换成 JSON 平面布局，包含墙厚、层高、房间地板多边形以及门和通道。候选布局通过粗空间规则检查，例如房间之间不能出现窗户；不满足就重新采样。随后按地板边界构造墙截面并竖直拉伸，共享墙按半厚度处理，以 0.01 m 容差检测相邻房间匹配边，并对门窗做布尔切除、同步到共墙邻室。薄层几何补齐地板和天花板，从而先固定房间连通关系。

家具不是直接由语言模型逐件指定。系统从房间短边墙中点的初始相机渲染结构深度，交给 Flux2-Klein，并提供房间类型、整体风格和可见门窗的位置说明。建筑上下文很重要：单看深度洞口，图像模型可能把门洞误解为电视等物体。生成图像同时给出陈设布局和外观，随后用 SAM3 分割各物体，再由 SAM-3D-Objects 重建网格及其相机坐标变换。

实际分割使用每件物体少量交互式点提示，正文仅提到补充材料讨论文本提示自动分割的替代方案。各物体独立重建后，将定向包围盒对齐重力，再投到下方最近支撑面；灯具等则可寻找上方支撑。这样能纠正一部分悬浮与姿态问题，但不是完整的碰撞、承重或物理可行性求解器。最终网格保留物体重建得到的纹理和几何，建筑表面纹理则留给后续循环积累。

相机集合在物体实例化与最终外观阶段复用：两个视平高度的相向启动视角覆盖四面墙，约 16 个周边相机加 8 个俯视相机扩展覆盖；与启动方向相差不足 10° 的冗余周边视角会被剪除，相机也会避让已放置物体。初始陈设图只用第一个覆盖视角，最终重建才使用完整视角集合。

2. 网格锚定的外观生成：把几何、已有纹理与风格参考一起交给图像模型

即便所有图像都带网格条件，独立采样仍可能改变墙色、光照和材质。因此每个房间先生成两个相向启动视角，建立大范围外观，再从剩余相机里选择与任一已生成相机旋转最接近的视角。相似度依据单位四元数内积的绝对值；生成当前图时，同样取旋转最接近的已生成图作为风格参考。该规则强调姿态连续，不应误读为显式优化所有图像之间的像素对应。

条件图并非简单叠加 RGB 和深度通道：物体区域使用自身纹理，已经有墙纹理的结构区域使用 alpha 混合后的颜色，其他像素使用灰度深度。生成图像随后通过已知相机投影回可见墙面，更新网格纹理，供后续视角乃至其他房间使用。这样，共享网格既存结构，也存外观记忆；启动视角先覆盖大片墙面，后续视角补足剩余区域。遮挡和投影接缝仍存在，精细外观由图像模型补充，而不是假设回投影贴图本身已经完美。

为过滤违背结构的图像，系统用 Depth Pro 估计生成图深度，对它及网格渲染深度提取 Canny 边缘，然后计算“网格结构边缘有多少能被生成图的深度边缘覆盖”。以下是按正文集合定义整理的解释式，不作为损坏原式的逐字符复原：

\[ R_{\mathrm{edge}}=\frac{|E_{\mathrm{mesh}}\cap\operatorname{dilate}(E_{\mathrm{generated}},\delta)|}{|E_{\mathrm{mesh}}|}. \]

容差为 10 px，Canny 使用归一化深度范围的 0.1/0.3 滞后阈值及 3×3 Sobel 核。分数超过验收阈值才通过，否则换随机种子重新生成。只用召回率是有意选择：它惩罚建筑边缘缺失，却允许模型增加网格中没有的合理物体边缘。因此这不是双向几何一致性的保证；正文也未给出验收阈值的具体数值。

3. 几何正则化 3DGS 重建：避免好看的训练视图被拟合成错误空间

多视图生成仍不是最终可浏览场景。系统用网格深度反投影得到点云，初始化高斯，再用通过验证的合成图像、相机姿态和网格深度优化 3DGS。图像项包含 L1 与 DSSIM，深度项要求高斯渲染深度接近网格深度；前者学习细节与外观，后者阻止稀疏视角下高斯为了拟合图片而漂离建筑表面。

缓存中的损失公式存在权重和运算符提取缺失，因此这里不补造作者的完整公式。正文明确给出 λs=0.2、λd=0.7，并定义 DSSIM 为 1−SSIM。理解机制时更关键的是区分两种几何作用：初始化决定高斯从哪里开始，深度正则在后续优化中持续约束它们。消融表明只做图像拟合无法替代这种持续约束，二维外观仍可较好，但三维重投影误差会明显恶化。

损失函数 / 训练策略¶

本文主要组合现成生成、分割、物体重建和深度模型，并为每个场景优化 3DGS，而不是训练一个新的端到端多房间扩散模型。物体配置图使用 90° 视场，其他图像用 60°；物体放置后每个房间生成约 24 张 1376×768 图像。前述相机数是生成与剪枝方案，不能把各项机械相加后认定最终视图数固定。

实验默认用本地 Flux2-Klein 生成物体配置图和首张外观图，后续图像调用 Nano Banana Pro API，因为作者认为它更忠实于网格条件。正文也声明可用 Flux2-klein（9B）全本地运行，并可替换布局语言模型，但相关比较在补充材料，不能直接把默认实验数字归给全本地变体。

本地硬件为单张 RTX A5000、24 GB 显存；这不包含外部 API 的服务器计算资源。正文没有展开每场景时间、调用成本、3DGS 优化轮数和可导航性评估细节，只将其指向补充材料。本任务提供的缓存止于参考文献，不能据此补写未读到的成本数字。

实验关键数据¶

主实验¶

图像质量由最终 3DGS 轨迹渲染帧上的 CLIP-IQA+ 和 CLIP Aesthetic 评估；它们不直接衡量三维一致性。感知研究包含 31 名参与者，用 1–5 分评价总体质量、跨视角物体一致性和房间结构一致性，并随机呈现成对比较。测试包含靠近物体和绕物旋转的困难轨迹。

方法	CLIP-IQA+ ↑	Aesthetic ↑	总体质量 ↑	3D 物体 ↑	3D 结构 ↑
WonderWorld	0.4872	4.7795	1.94	2.19	1.84
FlexWorld	0.4097	4.9453	2.05	2.00	2.34
LayerPano3D	0.3949	4.7312	2.27	2.21	2.44
WorldExplorer	0.4053	5.5476	2.58	2.47	2.76
SpatialGen	0.4648	5.0633	2.61	3.00	3.00
DreamScene360	0.3565	4.7270	3.19	3.10	3.37
WorldMesh	0.5114	5.5799	4.48	4.40	4.35

数据来自原文表 1。平均成对偏好为 96.2%；对 SpatialGen 和 WonderWorld 分别为 100.0%，对 WorldExplorer 为 96.8%，对其余三个方法均为 93.5%。这是该感知研究中的偏好，不是成功生成或导航完成率。

基线输入并不完全相同：SpatialGen 获得本文生成的布局、物体位置和初始图像；视频基线使用相同文本；WonderWorld 接受由相同文本生成的一张图像。由于多数基线面向单房间，定性比较展示的是多房间结果中的一个房间，不能据此宣称所有方法都在同等规模的多房间设置下比较。

消融实验¶

表 2(a) 在五个多房间场景上评估跨视图深度重投影与最终 3DGS 对网格的对齐。MAE-norm 和 AbsRel 是重投影误差；M-MAE 是网格深度对齐误差。下表选择这三个结构指标及 IQA+，不把对自身网格的贴合当成外部真值几何精度。

配置	MAE-norm ↓	AbsRel ↓	M-MAE ↓	IQA+ ↑
完整模型，NB Pro	0.1615	0.0761	0.0383	0.5529
深度 + 物体，无墙纹理	0.2229	0.0997	0.1167	0.3870
深度 + 墙纹理 + 物体框	0.2722	0.1988	0.3335	0.3735
仅深度	0.1970	0.0888	0.2777	0.3818
去除边缘召回验证	0.1660	0.0784	0.0478	0.5237
去除网格点云初始化	0.1706	0.0803	0.0479	0.5204
去除网格深度损失	0.3009	0.1641	0.1904	0.5312
同时去除网格初始化与深度损失	1.8804	0.6730	2.2549	0.4393

表 2 的图像评估集与表 1 不同，所以完整模型 IQA+ 的 0.5529 与 0.5114 不能视为数值冲突。表 2(b) 的感知消融则只针对一个六房间哥特复兴场景，不应把它解释成五个场景的参与者平均。

关键发现¶

持续深度约束比单纯初始化更关键。 去掉深度损失时 MAE-norm 从 0.1615 升到 0.3009，去掉初始化则为 0.1706；两者一起去掉达到 1.8804。三维结构退化远比 IQA+ 的变化明显，验证了二维好看与三维正确可以分离。
物体网格不能用框轻易替代。 深度 + 墙纹理 + 物体框的 M-MAE 为 0.3335，高于完整模型 0.0383；包围盒只约束粗位置，不能规定细物体表面。
不同误差指标不总同序。 仅深度的重投影 MAE-norm 0.1970 反而低于深度 + 物体的 0.2229，但网格对齐更差。不能把某一项消融分数单独等同于总体一致性结论。

亮点与洞察¶

网格把建筑规则与视觉生成先验连接起来：语言负责墙和连通关系，图像提出陈设，物体重建把这些陈设固定下来。它避免要求单个生成模型同时解决布局、细节和全局记忆。
墙纹理回投影是可重复读取的外观状态，而不只是上一张图片的隐式参考。下一视角能从同一个三维表面获得颜色证据，特别适合跨房间与返回旧区域的场景。
以深度边缘召回而非原始深度差过滤图像，降低了单目尺度误差的影响，但也明确选择容忍额外细节。这是结构遵循与生成自由度之间可解释的折中。

局限与展望¶

作者承认当前只支持单层布局，无法直接处理多层建筑；SAM-3D-Objects 可能留下背面不完整或遮挡区细节缺失。
实验流程使用交互式分割，默认后续外观生成依赖 API。完全自动化与全本地版本的质量、成本不能直接由主表推断。
支撑面投影和边缘召回只是启发式约束，不保证所有新增物体的跨视角一致、物理可行或机器人可通行。正文提及补充材料有可导航性分析，但当前缓存不含该分析。
五场景自动消融与单场景感知消融支撑的是有限测试范围；“任意大小”和随房间数线性扩展仍需结合未提供的规模与成本证据评估。
可研究自动化物体分割、遮挡面补全和具备不确定度的结构验收；应分别衡量省去人工后的质量变化，以及 API 替换后的性能变化。

评分¶

新颖性：4/5。将显式建筑与物体网格、在线纹理积累和几何约束重建串成清晰的多房间方案。
实验充分度：4/5。覆盖多类基线、结构消融和感知研究，但正文中的规模、成本及导航细节有限。
写作质量：4/5。几何与外观的分工明确；部分实现细节依赖补充材料，缓存公式损坏需谨慎处理。
价值：4/5。为多房间生成提供持久空间表示的实用路线，离全自动且物理可信的环境生成仍有距离。