TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation¶

会议: ECCV 2026
论文: ECCV 官方页面
项目: https://d-robotics-ai-lab.github.io/TabletopGen.project/
领域: 机器人
关键词: 3D场景生成, 桌面环境, 交互式仿真, 具身智能操作, 虚实迁移

一句话总结¶

TabletopGen 提出了一个免训练、端到端的交互式桌面场景生成与物理仿真引擎，通过生成式实例抽取与解耦的姿态尺度对齐策略（DRO 旋转优化与 TSA 顶视空间对齐），从单张图像或文本生成无穿透、带碰撞几何的物理可交互桌面场景，支撑高质量机器人操作数据合成及零样本 Sim-to-Real 策略迁移。

研究背景与动机¶

桌面环境是机器人操作的“最后一米”，涵盖抓取、放置、工具使用及微细装配等绝大多数精细交互任务。随着具身智能与视觉-语言-动作（VLA）大模型的飞速发展，策略学习极度依赖海量、高多样性的交互数据。然而，在真实物理世界中采集桌面交互演示代价高昂、扩展缓慢且难以遍历各种边界情况；利用物理仿真引擎合成交互数据成为低成本扩展具身基座模型的必由之路。

然而，现有的 3D 场景生成方法难以直接产生可供机器人仿真的桌面环境。基于检索的方法受限于有限的静态 CAD 资产库，往往导致几何失真与风格不匹配；基于大语言模型的房间级场景生成主要针对大尺度稀疏布局，难以处理桌面特有的小物体高密度功能化排列与强语义物理约束；现有的单视角 3D 重建或端到端生成方案受单视角遮挡影响，生成的网格物体往往拓扑粘连或残缺，且普遍缺乏桌面承托与边界物理先验，导致物体严重悬空、相互穿透或跌落桌外。这类存在几何与物理缺陷的场景一旦导入物理仿真器，会导致碰撞检测失效与轨迹规划受阻，根本无法用于自动化生成可执行的机械臂操作轨迹。

面对单视角不完整观测与桌面高密度物理约束之间的核心矛盾，本文提出摒弃脆弱的端到端单视角深度反投影，将场景构建解耦为“独立资产抽取”与“视觉-物理协同对齐”两个阶段。核心 idea：将桌面 3D 场景生成解耦为生成式实例重建与两阶段姿态尺度对齐，利用可微渲染优化器（DRO）从多模态视觉特征精准恢复物体旋转，并引入生成式顶视图与层叠先验（TSA）联合 RMA-Score 锚点反推全局一致的无碰撞公制尺度与空间平移，构建出开箱即用的高保真交互式桌面仿真数据引擎。

方法详解¶

整体框架¶

TabletopGen 接收文本描述或单张单视角图像作为输入。对于文本输入，首先通过大语言模型扩写为包含物体语义、功能布局与桌面材质的细化提示词，并经文本到图像生成模型合成为高保真参考图像 $I_{ref}$；单张图像输入则直接作为 $I_{ref}$。整个系统分为三个串联阶段： 1. 生成式实例抽取与规范化：从参考图像中分割出独立实例，利用生成模型对严重遮挡的单视角物体进行补全重绘，并通过单图 3D 重建与朝向校准输出 Z 轴朝上的规范化 3D 资产； 2. 两阶段姿态与尺度对齐：将物体位姿估计解耦为旋转与尺度-平移两部分，先通过可微渲染优化器（DRO）基于多模态视觉特征优化实例旋转角度，再通过顶视空间对齐机制（TSA）结合生成的俯视图几何约束、堆叠接触先验与 RMA-Score 锚点推理全局公制尺度与三维平移； 3. 交互式物理仿真与数据合成：将实例网格导入物理引擎（Isaac Sim），自动计算凸分解碰撞体并配置重力与摩擦系数，驱动运动规划器自动执行交互任务，低成本合成多模态操作轨迹数据集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：文本描述 / 单视角图像"] --> B["阶段 1：生成式实例抽取与规范化<br/>MLLM 检测 + 遮挡补全 + Image-to-3D + Z-up 对齐"]
    B --> C["阶段 2.1：可微旋转优化器 (DRO)<br/>可微渲染 + 轮廓/边缘/DINOv2 三模态损失优化旋转"]
    C --> D["阶段 2.2：顶视空间对齐机制 (TSA)<br/>合成顶视图 + 堆叠先验 + RMA-Score 锚点反推平移与尺度"]
    D --> E["阶段 3：交互式物理仿真与数据引擎<br/>凸分解碰撞网格 + 物理参数绑定 + 轨迹生成与 Sim-to-Real"]

关键设计¶

1. 生成式实例抽取与规范化：消除遮挡缺陷并统一空间基准 单视角输入中桌面物体常存在严重的相互遮挡与截断。传统修复算法（Inpainting）在重叠严重时极易丢失纹理细节并产生模糊几何。本文采用多模态大模型进行开域语义识别与物体盘点，联合 GroundedSAM-v2 提取精细的实例级分割掩码；针对被遮挡物体，利用多模态生成模型进行实例级重绘与结构补全，确保输入给 3D 生成器的每张实例图都具备闭合完备的轮廓。随后，调用 Image-to-3D 模型（如混元 3D）为各实例独立生成高质量 3D 网格 $m'_i$。为解决单体生成模型输出坐标系任意、导入场景容易倒伏或悬空的问题，系统结合参考图像中的视觉线索与 MLLM 的空间语义先验，自动校准各网格的局部旋转，将物体支撑面强制对齐至世界坐标系 Z-up 方向，得到可直接放置的规范化 3D 资产 $m_i$。

2. 可微旋转优化器（DRO）：三模态梯度回传锁定精细航向角 在桌面上，物体绕竖直 Z 轴的旋转角 $r_i$ 虽不改变物体中心位置，但直接影响剪影形态、纹理可见性以及局部机械臂抓取点。为避免传统深度反投影累积的旋转误差，DRO 将旋转估计转化为可微渲染优化问题。在 MLLM 初始估计的相机视角下，利用 PyTorch3D 对当前网格进行可微渲染，获得纹理渲染图 $I_{render}(r_i)$、软剪影 $\hat{S}(r_i)$ 以及通过 Sobel 滤波派生的软边缘图 $\hat{E}(r_i)$。针对目标单图实例 $I_{instance}$ 和真实分割掩码 $S$，构建三模态匹配损失： $$\mathcal{L}_{rot}(r_i) = \lambda_s \mathcal{L}_{sil}(r_i) + \lambda_e \mathcal{L}_{edge}(r_i) + \lambda_a \mathcal{L}_{app}(r_i)$$ 其中软轮廓损失 $\mathcal{L}_{sil}(r_i) = 1 - \frac{\sum (\hat{S}(r_i) \cdot S)}{\sum (S + \hat{S}(r_i) - \hat{S}(r_i) \cdot S)}$ 负责宏观重合度；边缘损失 $\mathcal{L}_{edge}(r_i)$ 采用单向倒角距离惩罚渲染边缘像素到真实 Canny 边缘距离场 $D_S$ 的偏离；外观损失 $\mathcal{L}_{app}(r_i)$ 计算渲染图与目标实例图在预训练 DINOv2 特征空间 $\Phi$ 中的 $L_2$ 距离。优化过程中先在 $[0^\circ, 360^\circ)$ 内以 $5^\circ$ 步长进行粗筛，选取损失最小的 8 个候选解，再通过 Adam 优化器沿损失梯度迭代 140 步精准收敛。

3. 顶视空间对齐机制（TSA）：融合空间生成先验与 RMA-Score 锚点反推公制布局 单视角透视投影存在天然的尺度与深度模糊，深向物体的微小误差会被大幅放大。为此，TSA 引入物理先验与视点几何补偿：首先调用多模态生成模型合成场景的正射俯视图 $I_{top}$，并利用 MLLM 解析物体在桌面边界内的 2D 真实包围盒，同时从语义层确定物体间的垂直堆叠与层级支承关系，彻底消除垂直穿透与浮空。为建立图像像素与真实物理公制世界的尺度映射，系统从 MLLM 获取物体的常识物理尺寸，结合前面解出的旋转角 $r_i$ 计算其在水平面上的物理宽高比 $r_{phys}$。由于小物体或圆柱状物体的高宽比容差敏感，本文提出“高宽比匹配与面积加权得分”（RMA-Score）： $$\varepsilon_{ratio} = |\log r_{phys} - \log r_{img}|, \quad \text{RMA-Score}(i) = \frac{A_{px}(i)}{1 + (\varepsilon_{ratio}/\tau)^2}$$ 其中 $A_{px}(i)$ 为顶视包围盒像素面积，$\tau = 0.25$ 为容差阈值。系统自动选取得分最高的物体（通常为面积大且几何比例高度契合的基准物，如托盘、砧板或笔记本）作为基准锚点，计算出全局的像素-米转换比例尺 $\alpha$，进而解析出所有物体的公制 3D 尺度 $s_i$ 与水平面坐标 $(t_{i,x}, t_{i,y})$，最后根据支承层级确定垂直高度 $t_{i,z}$，产生无碰撞的物理几何。

一个完整示例¶

以文本输入 "A hobby desk with some model cars and tools" 为例： 1. 生成参考图与实例资产：LLM 细化场景并经 T2I 渲染出包含工作台、车模、放大镜、工具盒的图像；通过 GroundedSAM-v2 分割提取各物件。针对车模底部被工具遮挡的边缘，生成模型补全其车轮与底盘，Hunyuan3D 输出网格后，自动检测支撑底面并校正为 Z-up 朝向。 2. 两阶段位姿对齐：DRO 对放大镜和车模在可微渲染器中计算 DINOv2 与边缘匹配损失，在数十步梯度更新内将车身朝向与放大镜手柄倾角锁定在真实视角；接着合成俯视图 $I_{top}$，工作台面被自动识别为主承托平面。RMA-Score 计算发现工具盒的顶视像素面积大且物理高宽比误差仅为 0.03，被选为锚点物体，反推出比例尺 $\alpha$。其余工具以工具盒为尺度基准计算绝对尺寸，放大镜基于层叠先验判定位于工具盒上方，计算得出无干涉接触高度。 3. 仿真装配与操作合成：所有 3D 网格通过凸分解转化为刚体碰撞体装配入 Isaac Sim，LLM 生成任务指令“将放大镜放入工具盒中”，运动规划器计算机械臂避障轨迹并抓取，全程记录多视角 RGB、关节角与末端位姿数据。

实验关键数据¶

主实验¶

论文构建了包含 78 个多样化样本的基准测试集，涵盖方形、圆形、多边形桌面以及办公、餐饮、实验工作台等典型功能场景。评测指标涵盖视觉感知质量（LPIPS、DINOv2、CLIP）、多维度 GPT-4o 评估（视觉保真度 VF、图像对齐度 IA、物理合理性 PP 及综合排名 OR），以及物理仿真器中的物体级碰撞率（Col_O）与场景级碰撞率（Col_S）。

方法	LPIPS ↓	DINOv2 ↑	CLIP ↑	GPT VF ↑	GPT IA ↑	GPT PP ↑	GPT 均分 ↑	GPT 排名 OR ↓	物体碰撞 Col_O (%) ↓	场景碰撞 Col_S (%) ↓
ACDC (检索式)	0.5124	0.3775	0.6696	2.38	1.90	2.57	2.28	3.55	8.23	67.95
Gen3DSR (单图生成)	0.4891	0.5602	0.8636	2.92	4.17	3.32	3.47	3.02	16.88	85.90
MIDI (扩散整体生成)	0.4559	0.7070	0.8867	4.22	4.48	4.30	4.33	2.32	17.39	98.72
TabletopGen (本文)	0.4483	0.8383	0.9077	6.06	6.30	6.22	6.19	1.08	0.42	7.69

在文本生成场景测试（30 组提示词）中，与 MesaTask 和 Holodeck-table 对比，TabletopGen 在文本一致性（CwT: 6.63 vs 3.63）、物体质量（OQR: 6.10 vs 4.23）、布局合理性（LCR: 6.07 vs 4.07）与物理合理性（PP: 6.27 vs 4.57）上均大幅领先；同时在 128 人参与的人类主观偏好评估（User Study）中，TabletopGen 获得了 83.13% 的压倒性偏好率（MIDI 仅为 11.61%）。

消融实验¶

为验证核心组件对姿态与尺度估计的独立贡献，论文对 DRO 与 TSA 进行消融对比，基线使用常规大语言模型单步直接猜测参数：

配置	LPIPS ↓	DINOv2 ↑	CLIP ↑	物体碰撞 Col_O (%) ↓	场景碰撞 Col_S (%) ↓	说明
Full Model (DRO + TSA)	0.4483	0.8383	0.9077	0.42	7.69	完整模型：视觉感知最佳且极少碰撞
w/o DRO (移除可微旋转优化)	0.4523	0.8261	0.9012	1.27	16.67	失去精准角度对齐，物体方向偏转引发碰撞增加
w/o TSA (移除顶视空间对齐)	0.4799	0.8041	0.8954	5.50	61.54	缺乏边界与尺度先验，场景碰撞率骤增至 61.54%
w/o both (移除二者，仅依靠 MLLM)	0.4811	0.7897	0.8922	5.41	62.82	视觉表现最差，物体深度漂移与堆叠穿透严重

关键发现¶

TSA 空间顶视约束是消除碰撞的决定性防线：一旦移除 TSA，场景级碰撞率由 7.69% 剧烈跃升至 61.54%（激增近 8 倍），说明单视角透视直接推断距离存在系统性误差，而引入生成式顶视图相当于为优化系统引入正交物理约束平面。
DRO 是保证实例精细外观保真度的核心：虽然去除 DRO 后碰撞率上升相对温和（16.67%），但物体的把手、朝向与轮廓纹理会出现明显错位，DINOv2 特征一致性明显劣化。
零样本 Sim-to-Real 闭环验证了仿真有效性：在真实桌面上布置水果、容器等物品，拍摄单张真实照片并利用 TabletopGen 重建仿真孪生环境，利用域随机化技术合成了各 2,000 条轨迹微调 $\pi_{0.5}$ 动作大模型。零样本部署到实体 AgileX PiPER 机械臂后，放置芒果入盘任务真机成功率达 84%（仿真 98%），放置草莓入杯达 80%（仿真 92%），搭积木任务达 68%（仿真 90%），证实了合成数据对实体机器人操纵的直接指导价值。

亮点与洞察¶

将 3D 布局估计重构为两阶段正交约束优化：巧妙地将旋转（由视觉外观驱动、对全局布局扰动小）与平移/尺度（由空间几何与支撑拓扑驱动、决定碰撞与物理真伪）正交分离，分别用可微渲染与正射投影几何求解，避开了直接在高维混合空间优化位姿易陷入局部极小与穿透的困境。
RMA-Score 自适应锚点选择策略：避免了传统方法随机选取参照物导致误差放大的弊端，通过几何高宽比匹配度与投影面积双重约束，自动筛选场景中最具尺度稳定性的物体作为绝对公制尺度的“度量衡”，显著抑制尺度漂移。
高度模块化支持低成本场景拓扑编辑（In-scene Editing）：由于场景中各个 3D 资产具有独立完备的网格拓扑与物理碰撞体，用户无需重跑整个流程即可自由进行物体的增添（Add）、删除（Remove）、替换（Replace）与重排（Rearrange），以极低计算开销衍生海量高变异性环境。

局限与展望¶

复杂承托结构与多层收纳场景受限：目前框架针对扁平单层桌面进行了深度先验设计，对于多层置物架、半开式抽屉或立面橱柜等具有遮挡复杂深度分层的容器结构，顶视先验建模难度加大，容易出现竖直遮挡盲区。
铰接物体与柔性形变支持不足：当前生成的实例资产主要依赖刚体网格与凸分解，对于铰接物体（如可开合笔记本、带盖水杯）以及非刚体柔性物体（如毛巾、线缆、布料）的物理属性参数尚无法全自动赋能。
真实动力学参数的精准辨识瓶颈：仿真中摩擦力、质量分布与恢复系数主要基于语义类别匹配预设，在复杂接触动力学任务（如精密插拔、叠积木接触滑动）中仍存在一定的 Sim-to-Real 动力学间隙，未来可引入微调交互触觉或视频动力学反演技术。

评分¶

新颖性: ⭐⭐⭐⭐☆ [巧妙利用生成式顶视先验和可微渲染解耦姿态估计，克服了单视角 3D 场景碰撞严重的长期瓶颈]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖 78 组多形态数据集、大模型自动评测、消融实验、128 人用户调研以及真实的机械臂真机 Sim-to-Real 验证]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严密，从痛点剖析到两阶段数学公式建模推导连贯自然，图表翔实规范]
价值: ⭐⭐⭐⭐⭐ [为具身智能与 VLA 模型提供了亟需的免训练、自动化桌面操作合成数据引擎，具备广阔应用前景]