Perceive-then-Plan: Layout-as-Policy for Monocular 3D Scene Layout Estimation¶

会议: NeurIPS 2026
arXiv: 2605.25326
OpenReview: https://openreview.net/forum?id=k75EREQHoh
论文: https://arxiv.org/abs/2605.25326
代码: https://colezwhy.github.io/perceivethenplan/
领域: 3D表示与场景理解
关键词: 单目3D布局估计, 视觉语言模型, 策略学习, 直接偏好优化, 空间物理约束

一句话总结¶

将单目 3D 场景布局估计重构为“先感知后规划”的两阶段序列决策过程，利用几何增强的感知器获取初始 3D 定位，并通过基于直接偏好优化（DPO）训练的布局策略规划器（LaP Planner）迭代生成平移、缩放与旋转动作，有效消除物体悬空与穿透冲突。

研究背景与动机¶

从单张 RGB 图像重建具有结构化几何与物理合理性的室内 3D 场景布局，是具身机器人、三维场景重建与空间智能的核心基础任务。由于单目视锥固有的尺度与深度模糊性，模型不仅需要从图像中识别物体类别与 2D 范围，还必须逆向推断物体在 3D 空间中的精确位置、物理尺度与朝向。传统基于卷积或注意力机制的单阶段单目 3D 检测方法，通常采用单次前向网络直接回归物体的 3D 边界框参数。然而，真实室内场景具有强烈的空间依存性与结构先验（如地面支撑、非碰撞穿透、重叠接触等），单阶段直接回归网络往往受限于局部视觉特征，极易因单个物体的深度预测偏差引发全局布局崩溃，导致物体大面积穿模、反重力悬空等严重物理违规。

近期视觉语言模型（VLM）在开放词表视觉定位与高层空间推理中展现出巨大潜力，部分工作尝试利用大模型生成场景代码或文本化 3D 坐标。但现有 VLM 方法普遍将视觉定位与物理规划割裂开来：纯文本大模型缺乏底层显式几何线索的引导，在估计精确相机空间深度与细粒度位姿时误差显著；同时，直接让 VLM 生成完整 3D 布局的单步输出方式使得模型无法对中间预测误差进行修正与回溯，多物体相互依赖的高维组合动作空间使得传统端到端回归陷入局部极值。

本文的核心洞见在于：3D 场景布局估计不应被视为脆弱的单步回归任务，而是一个闭环的“感知-假设-规划调整”动态过程。人类在判断复杂室内布局时，通常先形成粗略的空间感知锚点，再通过观察物理干涉（例如椅子腿是否陷于地面以下、桌面水杯是否悬空）进行多轮迭代微调。核心 idea：提出 Layout-as-Policy（LaP）框架，将单目 3D 布局推断建模为离散动作空间上的序列决策策略，先由几何调制的感知器提供与视线对齐的规范化 3D 锚点，再由经直接偏好优化（DPO）训练的规划器通过移动、旋转和重缩放等动作自校正全局几何与物理约束。

方法详解¶

核心机制¶

Layout-as-Policy（LaP）的核心机制是将 3D 场景布局抽象为结构化的离散状态空间，并将布局优化表述为一个由策略控制的马尔可夫决策过程。每个状态对应重力对齐坐标系下的规范化 3D 物体集合 $\mathcal{L}_{3d} = \{l_i\}_{i=1}^M$。规划阶段的动作空间由高度精简且可解释的离散原子指令构成（SELECT、MOVE、RESIZE、ROTATE_Y、STOP），策略模型（LaP Planner）以当前状态和输入图像为条件，预测一组针对特定物体的修正动作序列。通过将布局修正过程与离散动作序列解耦，模型无需在连续空间中盲目回归梯度，而是通过对比不同动作序列对物理指标的改善程度，以偏好驱动的方式自适应收敛至物理合法且图像一致的稳定态。

整体框架与流程¶

整个系统分为两大串联阶段：Perceive 阶段（感知与初始化）和 Plan 阶段（策略驱动的迭代微调），并在下游配合场景装配（Scene Assembly）模块完成物理落盘。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    A["单张 RGB 图像 + 2D 目标检测框"] --> B["几何增强感知器 Perceiver<br/>VGGT 几何特征 FiLM 调制 + 局部轴参数化"]
    B --> C["网格规范化离散表示<br/>SVD 重力对齐坐标系 + 空间网格化"]
    C --> D["初始 3D 布局状态 ℒ⁰"]
    D --> E["LaP Planner 策略规划器<br/>观察图像与当前布局，生成离散动作序列"]
    E --> F{"动作判断与状态更新"}
    F -->|输出非 STOP 动作| G["执行微调动作<br/>MOVE / RESIZE / ROTATE_Y"]
    G -->|更新布局状态 ℒᵗ⁺¹| E
    F -->|输出 STOP 或达最大轮次| H["收敛的高保真 3D 布局 ℒ*"]
    H --> I["场景装配与物理沉降<br/>无 LoRA 接触图提取 + 刚性关系束重力模拟"]
    I --> J["最终 3D 场景数字孪生 / 交互式编辑"]

在感知阶段，输入图像经由冻结的视觉编码器与预训练几何编码器提取特征，通过几何感知调制模块注入深度与法线先验，利用 VLM 解码出各物体的局部坐标轴与 3D 边界框。随后通过 SVD 估计地面法向，构建重力对齐的规范化网格坐标。进入规划阶段后，LaP Planner 接收网格化文本状态与图像，多轮次预测修正动作序列，直到输出 STOP 终止符。最终在装配阶段，规划器抽取无 LoRA 的接触场景图，将多物体划分为刚性支持关系束（Relational Bundles），经由单步刚体物理模拟消除微小几何缝隙。

关键设计¶

1. 几何增强感知器与局部轴参数化：消除相机姿态偏差与深度模糊 直接用 VLM 回归连续顶点坐标不仅不符合自回归语言模型的概率空间分布，而且极易受相机俯仰角和滚动角波动的干扰。本文设计了局部坐标轴表示法：针对每个 3D 边界框，仅预测底部平面的两个正交局部轴矢量 $ax_x$ 与 $ax_z$，而垂直方向的局部轴则通过外积自动确定： $$ax_y = ax_x \times ax_z$$ 由此构成紧凑的参数化目标 $Box_{3d} = \{(x_i, y_i, z_i, w_i, h_i, l_i, ax_x, ax_z, cls_i)\}_{i=1}^N$。为了解决视觉模型在绝对深度线索上的先天不足，模型引入冻结的几何大模型 VGGT-1B 提取三维几何特征 $F_{3d}$，经 LayerNorm 后通过轻量 MLP 预测 FiLM 仿射调制参数 $\Delta\gamma, \beta$ 与空间门控掩码 $g$，对 2D 视觉特征 $F_{2d}$ 进行自适应调制： $$F_{\mathrm{fused}} = g \odot \big[(1 + \Delta\gamma) \odot F_{3d} + \beta\big] + (1 - g) \odot F_{2d}$$ 残差形式确保初始化阶段模型平滑过渡，门控 $g$ 动态平衡高层语义与底层几何线索。

2. 语言空间的网格规范化：构建重力对齐的离散状态空间 为了使连续的 3D 空间能够被离散符号化的语言策略模型稳定消费，系统通过对所有底面法向量进行奇异值分解（SVD）提取主轴，建立重力对齐标准正交基 $y = \mathbf{g}$、$x = \operatorname{proj}_{\perp y}(\mathbf{e}_x)$、$z = x \times y$。旋转平移后，连续空间坐标与偏航角被离散量化为网格索引： $$g = \operatorname{round}\left(\frac{v - o}{\delta}\right), \quad g_{\theta} = \operatorname{round}\left(\frac{\theta + \pi}{2\pi / N_{\theta}}\right)$$ 其中分辨率网格步长取 $\delta = 0.1\text{ m}$，偏航角划分为 $N_\theta$ 个量化桶。此项离散化将连续几何搜索转换为可控的有限符号规划空间，转换误差小至 $10^{-4}$ 量级。

3. 动作空间与扰动轨迹合成：自监督逆向数据工程 策略规划器使用五个形式化动作元语言构成的动作空间：SELECT(i) 选定目标；MOVE(dx, dy, dz) 实现网格级平移；RESIZE(ds) 按比例 $(1 + ds \times 0.1)$ 缩放包围盒；ROTATE_Y(dθ) 调节偏航角；STOP 结束轮次。为克服真实成对人工微调数据缺乏的瓶颈，本文提出逆向扰动合成管道：以标注真值布局为起点，随机对目标物体施加位移、尺度和旋转扰动；将扰动后的错误布局作为训练输入，而将扰动的数学逆操作序列作为标准纠偏动作。同时在扰动数据中混入 20% 的无扰动真实样本（标准动作为仅包含 STOP），强制模型学会“何时无需介入”。

4. 基于直接偏好优化（DPO）的策略学习：摆脱手工奖励工程束缚 单靠监督微调（SFT）容易导致模型对动作幅度的预测欠拟合或过冲，且单步动作难以衡量长期累积收益。直接使用强化学习需要设计复杂的几何惩罚权重，极易产生非预期的局部最优点。本文引入 DPO，将优化目标转化为候选轨迹对的比较学习。正样本 $y^+$ 来自能够将扰动恢复为真值的正确轨迹，负样本 $y^-$ 通过对正样本进行四大退化操作系统生成：数值偏移（幅度欠拟合或过拟合）、冗余空操作（反复选择或位移相消）、关键动作遗漏（提前输出 STOP）以及错误动作类型（平移错置为旋转）。模型通过最小化 DPO 损失，隐式掌握物理合法性与视觉一致性的相对优劣判断。

5. 接触图场景装配与刚体沉降：物理后处理消解资产几何失配 布局预测输出的几何包围盒在填充具体 3D CAD 模型或生成式资产时，由于网格表面凸凹不平，往往会在物体接触面产生微小的悬空或穿模缝隙。系统关闭微调 LoRA 权重，激活底座 VLM 固有的常识推理能力，从输入图像解析出接触场景图 $\mathcal{G}_{\text{contact}}$（标注 FLOOR、ON obj_i 或 FREE）。根据层级关系将承载物与其上的被支撑物体绑定为刚体“关系束（Relational Bundles）”，在固定地面 $y=0$ 下施加单次单步物理重力模拟，在严格保持相对相对几何构型的前提下快速完成静态平衡落盘。

理论分析与设计权衡¶

将单目 3D 布局重塑为策略决策具有坚实的数学与几何依据： 1. 组合状态空间 vs. 单步梯度爆炸：若采用单步连续回归，多目标相互碰撞的损失函数极其非凸，且梯度常在深度不确定性高的物体处振荡。离散动作策略学习将求解轨迹分解为有限步序列修正，每一轮次仅需降低当前局部最显著的物理冲突，大幅降低了单次搜索复杂度。 2. 符号离散化 vs. 几何连续性：连续数值在生成式大语言模型中易出现文本 tokenization 切分引起的数值扰动（如将 "1.234" 切分为多个子词导致高位敏感度失真）。网格化量化将空间位置映射为统一语义空间的索引整数，在保留 0.1m 工程精度的同时，天然与语言模型的交叉熵优化及 DPO 对齐目标契合。 3. DPO 相对对齐 vs. PPO 显式奖励设计：在 3D 视觉场景中，视觉投影对齐度与物理无碰撞之间存在内在张力（过于迁就 2D 轮廓可能引发深度穿模，而强行拉开距离又破坏投影 IoU）。显式标量奖励极难平衡二者的超参数权重。DPO 利用成对比较机制，直接优化隐式隐状态偏好分布，有效规避了策略退化和奖励坍塌。

实验关键数据¶

主实验：感知器 3D 定位性能与规划器微调收益¶

在室内基准数据集 SUN RGB-D 与 Hypersim 上进行了系统实验评测。感知器与主流开源及闭源大模型在 3D 定位（3D Grounding）精度上的对比如下表所示：

模型类型	模型	重投影 IoU ↑	Prec.@(IoU=0.25) ↑	Prec.@(IoU=0.50) ↑	平均深度误差 (m) ↓
闭源模型	Gemini-2.5-Flash †	0.24	0.19	0.07	0.47
闭源模型	GPT-4o †	0.27	0.19	0.08	0.55
开源模型	LLaMA3.2-Vision 11B	0.14	0.18	0.09	0.54
开源模型	Qwen3-VL 8B	0.18	0.31	0.13	0.43
开源模型	Qwen3-VL 8B ‡	0.44	0.84	0.46	0.18
开源模型	Qwen3-VL 8B †	0.31	0.54	0.28	0.25
开源模型	Qwen3-VL 32B	0.26	0.32	0.18	0.37
开源模型	Qwen3-VL 32B †	0.33	0.57	0.29	0.21
开源模型	InternVL3.5 8B	0.13	0.24	0.11	0.58
开源模型	Gemma3 27B	0.24	0.23	0.14	0.47
开源模型	Gemma3 27B †	0.30	0.22	0.15	0.55
开源模型	GLM-4.6V-Flash 9B	0.21	0.28	0.13	0.36
开源模型	N3D-VLM 7B †	0.33	0.53	0.35	0.19
本文方法	Perceiver 2B	0.54	0.91	0.62	0.09
本文方法	Perceiver 8B	0.58	0.90	0.64	0.08

(注：† 表示直接 3D 定位设置，‡ 表示仅采用简单监督微调 SFT)

下表进一步验证了 LaP Planner 对初始布局进行策略微调后的几何与物理约束改善（以 Perceiver 2B 的输出作为微调输入基线）：

微调方法	状态阶段	重投影 IoU ↑	支撑违规率 SVR (%) ↓	物体碰撞数 (#) ↓	旋转误差 (°) ↓	平均深度误差 (m) ↓
Perceiver 基础模型	微调前基线	0.54	11.63	3.62	17.74	0.09
单步 VLM 直接回归微调	微调后	0.55 (+0.01)	10.48 (-1.15)	3.54 (-0.08)	14.83 (-2.91)	0.11 (+0.02)
基于启发式规则几何微调	微调后	0.26 (-0.28)	0.00 (-11.63)	0.00 (-3.62)	17.74 (+0.00)	0.24 (+0.15)
GPT-4o 迭代提示词优化	微调后 (收敛)	0.49 (-0.05)	9.96 (-1.67)	3.89 (+0.27)	13.35 (-4.39)	0.13 (+0.04)
LaP Planner (2B)	1 轮迭代	0.57 (+0.03)	8.81 (-2.82)	3.21 (-0.41)	15.25 (-2.49)	0.09 (+0.00)
LaP Planner (2B)	多轮收敛	0.65 (+0.11)	4.85 (-6.78)	1.46 (-2.16)	9.05 (-8.69)	0.07 (-0.02)
LaP Planner (8B)	1 轮迭代	0.57 (+0.03)	8.62 (-3.02)	3.23 (-0.39)	14.37 (-3.37)	0.09 (+0.00)
LaP Planner (8B)	多轮收敛	0.67 (+0.13)	4.12 (-7.52)	1.44 (-2.18)	8.62 (-9.12)	0.07 (-0.02)

消融实验：组件贡献拆解¶

针对感知器架构与第二阶段策略优化管线，分别进行了逐步剔除的消融实验分析：

模块配置 (Perceiver 2B)	重投影 IoU ↑	Prec.@(IoU=0.25) ↑	Prec.@(IoU=0.50) ↑	平均深度误差 (m) ↓
完整模型 (Perceiver 2B)	0.54	0.91	0.62	0.09
去除局部轴表示 (累积移除)	0.41 (-0.13)	0.79 (-0.12)	0.48 (-0.14)	0.10 (+0.01)
去除几何特征调制 (累积移除)	0.36 (-0.05)	0.65 (-0.14)	0.46 (-0.02)	0.18 (+0.08)

模块配置 (LaP Planner 2B)	重投影 IoU ↑	SVR (%) ↓	物体碰撞数 (#) ↓	旋转误差 (°) ↓	平均动作步数
完整模型 (LaP Planner 2B)	0.65	4.85	1.46	9.05	3.67
去除网格规范化表示	0.58 (-0.07)	5.29 (+0.42)	2.43 (+0.97)	15.94 (+6.89)	3.53
去除 SFT 轨迹预热	0.56 (-0.09)	5.12 (+0.27)	2.18 (+0.72)	13.43 (+4.38)	3.96
去除 DPO 偏好学习 (仅保留 SFT)	0.60 (-0.05)	8.77 (+3.88)	3.02 (+1.56)	13.98 (+4.93)	4.73

关键发现¶

几何调制的关键作用：在 Perceiver 中，移除来自 VGGT 的几何特征调制会导致深度误差从 0.09m 急剧上升至 0.18m，严格重投影精度 [email protected] 下降 16 个百分点，表明仅凭 2D 文本视觉特征无法可靠重构三维空间几何深度。
纯规则微调的脱节风险：基于规则的后处理尽管可暴力消除碰撞（碰撞数降为 0），但由于缺乏图像语义驱动，重投影 IoU 断崖式下跌至 0.26，深度误差大幅恶化至 0.24m，完全背离了真实视觉观测。
单步回归与偏好微调的鸿沟：直接提示 VLM 生成修复布局不仅物理约束改善极其有限，甚至会导致深度误差升高（从 0.09m 恶化到 0.11m）。而 LaP 规划器收敛时将碰撞数降低 59.7%（3.62 降至 1.46），支撑违背率降低 58.3%（11.63% 降至 4.85%），同时重投影 IoU 反向提高 0.11，实现了物理有效性与视觉对齐度的双赢。
DPO 对动作冗余的约束：消融显示若剔除 DPO 仅使用 SFT，每轮平均动作步数从 3.67 膨胀至 4.73 步，碰撞数与旋转误差显著反弹，证明 DPO 的偏好对齐能有效惩罚无效冗余操作。

亮点与洞察¶

将单阶段几何预测升维为动态策略决策：打破了传统 3D 布局估计将所有物体属性压缩在单次前向传递中强行回归的范式，巧妙借助大模型在序列决策与指令执行上的优势，将几何约束求解转化为易于纠错的离散策略博弈。
无需真实人工标注的高效自监督偏好数据闭环：通过对真值标注添加随机空间扰动，并取其逆运算作为最优示范，再施加语义级退化构造负样本，构建了自洽的 DPO 数据引擎，完全摆脱了强化学习复杂的奖励设计陷阱。
开箱即用的自然交互与场景编辑扩展力：由于规划器是以语言动作序列（MOVE、RESIZE、ROTATE_Y）作为控制接口，系统无需任何架构改动即可直接支持自然语言指令指导下的 3D 场景编辑和具身场景交互重排。

局限与展望¶

前置 2D 检测框的级联误差依赖：当前流水线依赖外部现成的 2D 目标检测器作为输入，若存在严重遮挡下的漏检或虚警，感知器无法自主补全或剔除物体，上游误差会不可逆地传递至 3D 布局阶段。
单视角固有的不可见区域盲区：目前仅面向单张单目 RGB 图像设计，在复杂大场景中无法观测被遮挡物体的完整后侧支撑环境；未来扩展到多视角输入或视频流输入是解决遮挡歧义的自然路径。
感知与规划模块的分离训练：目前 Perceiver 与 LaP Planner 是独立训练的两阶段架构，虽然保证了解耦与模块化调试，但缺乏端到端联合优化的反向反馈机制，感知特征无法直接从后续物理规划损失中获益。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将单目 3D 室内布局估计形式化为基于 VLM 与 DPO 偏好学习的“感知-规划”动作策略问题，框架设计极其巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 全面覆盖主流开源及闭源大模型基线对比，提供详尽的消融实验、收敛步数统计与下游场景装配验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，方法图示直观，参数化与动作空间的形式化定义清晰完备。
价值: ⭐⭐⭐⭐⭐ 为大模型在 3D 场景理解、具身环境生成与数字孪生交互编辑领域的落地应用提供了极具启发性的技术路线。