VolFill: Single-View Amodal 3D Scene Reconstruction with Volumetric Flow Matching¶

会议: NeurIPS 2026
arXiv: 2605.31466
代码: https://github.com/VolFill
领域: 重建与渲染
关键词: 非遮挡三维重建, 体积流匹配, 截断无符号距离场, 混合3D VAE, 几何基础模型先验

一句话总结¶

VolFill 提出了首个基于体积流匹配的单视角全场景非遮挡（Amodal）3D 重建框架，通过混合 3D VAE 高效压缩高分辨率截断无符号距离场（TUDF），并结合几何基础模型 MoGe-2 的显式可见几何与视觉上下文双重条件，实现了高精度、拓扑一致且无分层伪影的完整场景几何合成。

研究背景与动机¶

单视角三维场景重建是具身智能导航、空间计算和机器人环境交互的基础核心。然而，真实室内场景中普遍存在严重的物体遮挡与视锥截断，要从单张 RGB 图像恢复完整的场景几何，不仅面临单目深度固有的几何欠定问题，更要求算法在完全缺失直接视觉线索的盲区推断出物理合理、结构连贯的隐蔽表面。传统单目几何估计算法（如 DUSt3R、DepthPro、MoGe-2 等）虽然推理迅速且泛化能力强，但其核心机理受限于“像素对齐”硬约束，所有预测点严格束缚在可见光线投射表面上，本质上仅能重建物体朝向相机的 2.5D 壳层，无法穿透前景感知被遮挡的背景结构。

为了突破可见表面限制，近期非遮挡（Amodal）重建方法做出了初步探索。LaRI 提出了分层光线相交（Layered Ray Intersection）范式，沿每条光线回归固定层数的表面交点，但这在开阔区域浪费容量，在深度遮挡区域容量不足，且在投影视角下极易产生不自然的“重影叠墙”分层伪影；而 NOVA3R 采用非像素对齐的点云流匹配生成完整点云，但无结构的点集扩散极易退化，输出往往伴随严重的散乱噪点、表面断裂和孔洞，后续泊松重建难以提取出连续平滑的三维网格。此外，针对单个物体的生成模型（如 TRELLIS、TripoSG）在无界或复杂多物体的场景级空间中无法有效泛化。

导致上述困境的核心矛盾在于：离散无结构点云缺乏空间拓扑先验，而基于光线投射的表示又强绑定了相机视角，无法表达任意复杂度的遮挡拓扑。本文的切入角度是采用空间连续且结构规则的体素场表示，将非遮挡几何重建重新建模为三维隐空间中的生成流匹配过程。核心 idea：将全场景非遮挡几何表征为截断无符号距离场（TUDF），通过端到端训练的混合稀疏-密集 3D VAE 将其高度压缩为规则隐空间，并利用 Diffusion Transformer（DiT）在几何基础模型（MoGe-2）的双重几何与视觉先验引导下进行体积流匹配去噪，直接实现任意拓扑闭合/开流形完整场景的高保真重建。

方法详解¶

核心机制¶

VolFill 的核心在于将单图非遮挡重建定义为在条件概率分布 $P(V|I)$ 上的生成式采样，而非传统均方误差回归。标准点估计优化 $L_1$ 或 $L_2$ 损失在不可见区域会趋向于条件期望 $\mathbb{E}[V|I]$，导致几何平滑甚至结构坍缩；生成扩散则能在真实三维结构流形上采样出锐利的物理合理结构。为了兼顾计算效率与几何表征能力，模型采用截断无符号距离场（TUDF）作为几何基元。设视锥截断内的真实物理表面集合为 $\mathcal{S} \subset \mathbb{R}^3$，体素中心 $p$ 的场值截断至最大阈值 $\tau$： $$V(p) = \min(\text{dist}(p, \mathcal{S}), \tau)$$ 室内场景充斥着单侧墙体、开放地板与复杂家具等非水密（non-watertight）开曲面，传统有符号距离场（TSDF）要求的内外朝向在开曲面处未定义，而 TUDF 的距离量在任意拓扑下均良定义，且支持通过 MeshUDF 算法直接等值面提取出高质量网格。

整体框架与流程¶

整个系统包含数据体素化、混合 3D VAE 压缩编码、几何引导的双重条件流匹配去噪以及几何提取四个核心阶段。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    subgraph Input["输入与先验提取"]
        I["单张 RGB 图像 I"] --> GFM["冻结几何基础模型 (MoGe-2)"]
        GFM --> F_GFM["全局几何/视觉特征 F_GFM"]
        GFM --> P_vis["可见表面点图 P_vis"]
        P_vis --> V_vis["可见 TUDF 网格"]
    end

    subgraph VAE_Enc["混合 3D VAE 编码"]
        V_vis --> E_sparse["稀疏 3D 卷积编码器 E"]
        E_sparse --> z_vis["可见几何隐变量 z_vis"]
    end

    subgraph DiT_Flow["体积流匹配 Diffusion Transformer (DiT)"]
        z0["高斯噪声 z_0 ~ N(0, I)"] --> Fuse["加性融合: z_t + MLP_zero(z_vis)"]
        z_vis --> Fuse
        Fuse --> DiT_Block["12层 DiT Blocks<br/>(Cross-Attention 注入 F_GFM, AdaLN 时间步)"]
        F_GFM --> DiT_Block
        DiT_Block --> ODE["Euler ODE 积分求解器 (50步)"]
        ODE --> z1["去噪完整场景隐变量 z_1"]
    end

    subgraph VAE_Dec["混合 3D VAE 解码与重建"]
        z1 --> Dense_Up["密集 3D 反卷积 (16³ → 64³)"]
        Dense_Up --> Occ_Pred["占用预测头: 估计掩码 O_hat 动态剪枝"]
        Occ_Pred --> Sparse_Up["稀疏 3D 卷积 (64³ → 256³)"]
        Sparse_Up --> V_pred["预测完整场景 TUDF 网格 (256³)"]
        V_pred --> Mesh["MeshUDF 等值面提取 / 点云阈值化"]
    end

关键设计（带序号的紧凑段落）¶

1. 视锥对齐的动态尺度 TUDF 体素化：打破固定范围与水密性假设限制
为适配具有不同纵深与尺度的复杂室内场景，算法首先利用可见点云 $P_{\text{vis}}$ 拟合视锥局部轴对齐包围盒 $\mathcal{B}$，剔除包围盒外的冗余背景。不同于传统固定空间范围的体素网格，VolFill 根据包围盒的最大维度与预设分辨率 $N=256$ 动态计算各向同性体素间距，将连续空间离散化为视锥对齐的 $256^3$ 规则网格。体素截断距离设为 $\tau = 3.0$ 个体素格。这一动态离散化策略确保了近景与深远景场景均能自适应分配最优空间采样率，同时通过无符号距离场规避了室内薄板家具与墙体的法向朝向歧义。

2. 混合稀疏-密集 3D VAE：解决高分辨率体素存储与密集去噪维度的矛盾
直接在 $256^3$ 分辨率的三维网格上运行扩散模型在显存与算力上不可承受，而真实场景的表面体素占比仅为 3–5%。为此，模型设计了“稀疏编码-瓶颈密集-混合解码”的 3D VAE。编码器采用多阶段跨步稀疏 3D 卷积对活跃体素进行 16 倍下采样，仅在瓶颈层转换为紧凑的密集张量 $z \in \mathbb{R}^{16 \times 16 \times 16 \times 16}$，并引入 KL 散度进行高斯正则化；解码阶段面对未知的稀疏分布，设计了自适应两级解码策略：前段通过标准 3D 转置卷积密集上采样至 $64^3$（约 26.2 万体素，密集显存可承受），随后由轻量占用分类头预测二值活跃掩码 $\hat{O}$，对非表面区域强制剪枝置零，后段则完全切换为流形稀疏 3D 卷积直达 $256^3$。该混合设计使高分辨率解码显存复杂度由体积立方级降为表面积平方级，以极低的延迟高保真恢复出清晰边界。

3. 双重几何条件流匹配与零初始化可见隐变量注入：平衡全景生成与局部锚定
在潜变量 DiT 中，为了克服单目 3D 数据量有限导致的泛化瓶颈，模型引入双重条件机制：一方面，利用冻结的单目几何大模型 MoGe-2 提取全局多模态特征 $F_{\text{GFM}}$，经线性投影作为 Key/Value 嵌入 DiT 各层的交叉注意力机制，为场景结构提供强语义与相对深度先验；另一方面，将 MoGe-2 预测的可见点云转换为可见 TUDF 并经 VAE 编码器提取为可见隐变量 $z_{\text{vis}}$，通过零初始化多层感知机直接与加噪隐变量逐元素相加： $$\tilde{z}_t = z_t + \text{MLP}_{\text{zero}}(z_{\text{vis}})$$ 零初始化投影确保了模型在训练初始阶段不会因先验突变破坏标准高斯流场轨迹，随着网络迭代自适应学习将已知可见表面作为物理锚点，显著减少了非遮挡区域的幻觉与结构漂移。

理论分析与设计权衡¶

在生成动力学方面，VolFill 采用线性整流流（Rectified Flow）目标建立高斯分布 $\epsilon \sim \mathcal{N}(0, \mathbf{I})$ 到干净潜变量 $z_1$ 之间的常速度传输轨道：$z_t = (1-t)\epsilon + t z_1$。网络参数化目标速度场 $u_\Phi$，最小化均方回归误差： $$\mathcal{L}_{\text{gen}} = \mathbb{E}_{t, \epsilon, z_1} \left[ \| u_\Phi(\tilde{z}_t, t, F_{\text{GFM}}) - (z_1 - \epsilon) \|^2 \right]$$ 时间步 $t \in [0, 1]$ 采用 logit-normal 分布采样，更侧重高噪声阶段的学习。相比传统曲率较大的非线性扩散路径，整流流对应的常微分方程（ODE）轨迹更为平直，仅需 50 步欧拉积分即可达到极高几何精度。

在 VAE 训练层面，总损失由距离场精度与表面占用分类联合驱动： $$\mathcal{L}_{\text{VAE}} = \mathcal{L}_1(\hat{V}, V_{\text{gt}}) + \lambda_{\text{bce}}\text{BCE}(\hat{O}, O_{\text{gt}}) + \lambda_{\text{dice}}\text{Dice}(\hat{O}, O_{\text{gt}}) + \lambda_{\text{kl}}\mathcal{L}_{\text{KL}}$$ 权衡权重分别设为 $\lambda_{\text{bce}}=0.2, \lambda_{\text{dice}}=0.2, \lambda_{\text{kl}}=1\times 10^{-6}$。BCE 与 Dice 损失的组合有效缓解了三维体素空间中前景表面与背景空旷区域极端不平衡（3% vs 97%）的样本梯度主导问题，确保 $64^3$ 空间剪枝的召回率。

实验关键数据¶

主实验¶

模型在 3D-FRONT（1.8 万室内场景，9.6 万对）与 ScanNet++（4.6 万多视角融合样本）上训练，并在基准测试集 SCRREAM（460 个高质量高精度扫描室内场景）和经筛选高非遮挡复杂度的 Neural RGB-D（NRGB-D）上进行严格评估。评估采用对齐后的倒角距离（Chamfer Distance, $CD \downarrow \times 10^2$）、不同容差阈值下的精确覆盖率（$APD_\gamma \uparrow \times 10^2$）和整体 F-Score（$FS_\gamma \uparrow \times 10^2$）。

1. SCRREAM 数据集主对比实验（数值缩放 $\times 10^2$）¶

方法	可见区域 CD $\downarrow$	可见 APD$_{0.02}$ $\uparrow$	遮挡区域 CD $\downarrow$	遮挡 APD$_{0.02}$ $\uparrow$	完整场景 CD $\downarrow$	完整 FS$_{0.1}$ $\uparrow$	完整 FS$_{0.02}$ $\uparrow$
TripoSG (物体级)	13.75	10.08	10.73	13.37	11.10	53.56	13.30
TRELLIS (物体级)	11.63	15.00	9.65	17.52	10.72	56.69	15.59
DUSt3R (像素对齐)	4.46	30.81	23.21	8.40	10.85	69.90	24.17
VGGT (像素对齐)	3.04	45.62	17.40	10.04	6.77	80.45	36.77
DepthPro (像素对齐)	3.85	33.30	15.31	9.71	6.90	80.36	28.44
MoGe-2 (像素对齐)	2.28	57.42	15.29	10.30	5.74	83.96	45.84
LaRI (分层光线)	3.43	41.61	5.23	29.31	5.19	85.43	30.85
NOVA3R (点云流匹配)	3.20	43.75	3.56	41.21	3.43	95.26	45.12
VolFill (本文)	2.84	56.73	3.46	55.53	3.03	95.03	54.83

2. Neural RGB-D (NRGB-D) 数据集对比实验（数值缩放 $\times 10^2$）¶

方法	可见区域 CD $\downarrow$	可见 APD$_{0.05}$ $\uparrow$	遮挡区域 CD $\downarrow$	遮挡 APD$_{0.05}$ $\uparrow$	完整场景 CD $\downarrow$	完整 FS$_{0.1}$ $\uparrow$	完整 FS$_{0.05}$ $\uparrow$
DUSt3R	4.46	69.08	23.21	22.18	10.85	69.90	51.61
MoGe-2	2.62	89.55	21.12	28.43	9.31	75.35	61.93
LaRI	4.09	73.51	13.04	45.82	9.79	68.37	43.47
NOVA3R	5.05	64.44	8.31	58.55	8.19	73.99	49.92
VolFill (本文)	4.52	69.22	6.97	62.48	6.44	84.35	63.92

3. 绝对尺度刚体对齐与生成分布质量评测 (SCRREAM)¶

方法	绝对尺度 CD $\downarrow$	FS$_{0.02}$ $\uparrow$	FPD (Uni3D 隐空间) $\downarrow$
LaRI	11.43	11.47	–
NOVA3R	6.56	22.23	16.50
VolFill (本文)	3.88	44.90	4.86

消融实验¶

1. 3D VAE 解码器架构设计消融¶

解码器设计方案	L1 距离 $\downarrow$	占用 IoU (%) $\uparrow$	解码耗时 (s) $\downarrow$	显存占用 (GB) $\downarrow$
纯密集解码 (Dense-only)	0.49	93.2	0.63	9.2
纯稀疏解码 (Sparse-only)	0.48	93.0	0.09	2.5
混合两阶段解码 (Hybrid, 本文)	0.43	93.5	0.07	1.7

2. 条件注入机制与基础模型先验消融 (SCRREAM 完整场景)¶

条件配置	视觉特征先验 $F_{\text{GFM}}$	可见几何隐变量 $z_{\text{vis}}$ 融合方式	CD $\downarrow$	FS$_{0.02}$ $\uparrow$
仅可见先验 (Single)	无	加性嵌入 (Add)	6.80	31.72
仅图像特征 (Single)	DINOv2	无	5.46	35.98
仅图像特征 (Single)	VGGT	无	4.32	42.30
仅图像特征 (Single)	MoGe-2	无	3.81	46.80
双重条件 (Dual)	MoGe-2	拼接 (Concat)	3.66	48.94
双重条件 (Dual, 完整模型)	MoGe-2	加性嵌入 (Add, MLP$_{\text{zero}}$)	3.03	54.83

关键发现¶

遮挡区域高保真几何突破：在最为严苛的 $\text{FS}_{0.02}$ 指标下，VolFill 在 SCRREAM 上达到了 54.83，较前代最优非遮挡方案 NOVA3R（45.12）大幅提升近 10 个绝对百分点；在遮挡区域的 $APD_{0.02}$ 上更是达到了 55.53（对比 NOVA3R 的 41.21 和 LaRI 的 29.31），这表明连续无符号距离场彻底消除了散乱点云的无序噪声与分层光线的断裂空洞。
混合 VAE 解码效率与精度双优：混合解码器不仅在显存上仅需 1.7 GB（比全密集节约 81.5%），耗时由 0.63s 降至 0.07s，且得益于结构预测分类头滤除了空间背景噪声，L1 距离与 IoU 均显著优于纯密集和纯稀疏结构。
几何基础模型先验的不可替代性：消融表明，纯语义特征 DINOv2（FS 35.98）严重落后于具备显式 3D 空间结构的几何大模型 MoGe-2（FS 46.80），证明单目非遮挡补全高度依赖稳固的 3D 几何先验而非单纯的语义推断；零初始化加性融合使得可见表面锚定误差最低。

亮点与洞察¶

TUDF 连续表征突破非水密开曲面限制：利用无符号距离场避开室内开放单面几何内外法向歧义，同时为表面边界提供了连续可导的梯度引导，原生支持等值面提取，告别点云后处理中极易溃散的泊松表面重建。
隐空间两级自适应稀疏化：在 $64^3$ 尺度利用显存可承受的密集卷积预测几何轮廓掩码，而后切换为稀疏卷积进行高分辨率扩展，巧妙平衡了结构未知性与高维体素的显存爆炸问题。
零初始化加性残差引导：通过 $\text{MLP}_{\text{zero}}$ 将可见几何以无偏方式注入加噪流，使得扩散网络在初始状态能够平滑收敛，既保证了可见区域的几何强锚定，又赋予盲区充分的物理流形生成自由度。

局限与展望¶

极端遮挡区域拓扑孔洞：作者指出，当背景完全缺乏先验参照且处于深层盲区时，生成的几何体表面偶尔仍会出现细小拓扑孔洞，表明在完全无视觉证据区域的复杂外推仍受制于模型容量。
迭代去噪推理延迟瓶颈：作为基于 ODE 的流匹配模型，在 RTX 4090 上采用 50 步积分和 CFG 推理需要约 1.4 秒，虽然质量大幅超越前作，但仍无法满足移动端或低延迟实时 SLAM 的即时回归需求。
改进方向：探索基于流匹配的一步或少步一致性蒸馏（Flow Consistency Distillation），并融合跨场景室内外多尺度数据以提升开放域泛化能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将体积流匹配与截断无符号距离场引入单视角全场景非遮挡三维重建，混合 VAE 与双重条件设计极具创新。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 SCRREAM 与 NRGB-D 两个基准，细致评测可见、遮挡及完整几何，指标包含 CD、F-score、APD 及 FPD，消融全面严谨。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰、数学表述严密、对比实验详实、附录工程细节完备。
价值: ⭐⭐⭐⭐⭐ 为具身智能空间理解与非遮挡场景重建树立了新的技术路线范式，开源代码与评估工具具有极高学术价值。

VolFill: Single-View Amodal 3D Scene Reconstruction with Volumetric Flow Matching¶

一句话总结¶

研究背景与动机¶

方法详解¶

核心机制¶

整体框架与流程¶

关键设计（带序号的紧凑段落）¶

理论分析与设计权衡¶

实验关键数据¶

主实验¶

1. SCRREAM 数据集主对比实验（数值缩放 \(\times 10^2\)）¶

2. Neural RGB-D (NRGB-D) 数据集对比实验（数值缩放 \(\times 10^2\)）¶

3. 绝对尺度刚体对齐与生成分布质量评测 (SCRREAM)¶

消融实验¶

1. 3D VAE 解码器架构设计消融¶

2. 条件注入机制与基础模型先验消融 (SCRREAM 完整场景)¶

关键发现¶

亮点与洞察¶

局限与展望¶

相关工作与启发¶

评分¶

VolFill: Single-View Amodal 3D Scene Reconstruction with Volumetric Flow Matching¶

一句话总结¶

研究背景与动机¶

方法详解¶

核心机制¶

整体框架与流程¶

关键设计（带序号的紧凑段落）¶

理论分析与设计权衡¶

实验关键数据¶

主实验¶

1. SCRREAM 数据集主对比实验（数值缩放 \(\times 10^2\)）¶

2. Neural RGB-D (NRGB-D) 数据集对比实验（数值缩放 \(\times 10^2\)）¶

3. 绝对尺度刚体对齐与生成分布质量评测 (SCRREAM)¶

消融实验¶

1. 3D VAE 解码器架构设计消融¶

2. 条件注入机制与基础模型先验消融 (SCRREAM 完整场景)¶

关键发现¶

亮点与洞察¶

局限与展望¶

相关工作与启发¶

评分¶

相关论文¶