DeformGen: Dynamics-Based Topology Augmentation for Deformable Manipulation Policy Learning¶
会议: NeurIPS 2026
arXiv: 2606.25939
代码: https://github.com/Zili2002/DeformGen
领域: 机器人
关键词: 柔性物体操作, 动力学数据增强, 拓扑多样性, 变形场轨迹扭曲, 模仿学习
一句话总结¶
针对刚体几何增强假设在柔性物体操作中失效的问题，DeformGen提出基于物理动力学的前向扰动与变形场轨迹扭曲框架，从单条示教生成物理自洽且具拓扑多样性的合成数据，显著提升具身策略泛化能力。
研究背景与动机¶
基于模仿学习与视觉动作策略（Visuomotor Policy）的机器人操作在多种刚体任务中取得了突破性进展，但这高度依赖昂贵且耗时的大规模高质量人类示范采集。在刚体操作中，数据增强方法通常借助刚体运动学的等变性（Equivariant Assumption）假设——即任意两个质点之间的欧几里得距离在位移和接触力作用下严格保持不变，只需对末端执行器施加统一的 \(SE(3)\) 刚体变换即可生成海量有效的几何变体。然而，将这种低维位姿扰动直接套用到柔性物体（Deformable Objects）操作时会彻底失效，面临不可逾越的物理与表征屏障。
这一失败的核心矛盾体现在两个层面：其一是状态空间挑战，刚体仅需 6-DoF 位姿即可完成完整抽象，而柔性物体具有极高维度的粒子构型空间 \(\mathcal{S}=\mathbb{R}^{3N}\)，其真实合法的物理流形 \(\mathcal{S}_{\text{real}}\) 受到极其复杂的内部动力学约束（如弹性恢复力、抗自穿透与环境接触支持），单纯在粒子空间施加几何高斯噪声或运动学形变场会破坏局部拓扑连接或产生无物理意义的虚假应力，导致状态完全脱离合法流形且无法通过后验优化修复；其二是轨迹迁移挑战，柔性形变使得质点之间不再具备等变性，若对轨迹执行全局刚体变换，末端夹爪不仅会因局部几何畸变而脱离有效抓取部位，也无法补偿柔性形变导致的整体结构位移。
本文的切入角度是：与其在脱离物理的前提下做几何扰动再试图修复，不如直接让物体在物理仿真器的内部动力学规则下合法演化，并将质点位移升维为连续的空间变形场来协同重定向末端位姿。核心 idea：通过对初始合法柔性状态施加局部随机接触外力并进行动力学前向仿真，直接在物理合法流形内探索拓扑多样性状态；随后利用质点形变场构建 KNN 反距离加权与局部雅可比估计，以闭式解完成末端执行器抓取位姿与操作轨迹的自适应变形扭曲。
方法详解¶
整体框架¶
DeformGen 旨在从单个任务的稀疏示范出发，联合生成具有丰富拓扑多样性的物理自洽初始状态及其相匹配的有效机械臂操作轨迹。整个系统由两个核心阶段构成：第一阶段为基于动力学的拓扑状态生成（Dynamic Topological State Augmentation），利用物理仿真环境将随机局部接触扰动力前向推演为准静态平衡构型；第二阶段为基于形变场扭曲的轨迹迁移（Deformation-Field Trajectory Warping），通过原状态与目标状态之间的质点位移构建连续的末端位置平移与局部姿态雅可比重定向，生成包含趋近、抓取和操作全阶段的合成示教。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["单条源演示轨迹与初始柔性状态"] --> B["基于物理动力学的局部力扰动前向仿真"]
B --> C["物理合法流形内的拓扑多样性状态采样"]
C --> D["KNN反距离加权位置变形场插值"]
D --> E["局部相对坐标最小二乘雅可比姿态估计"]
E --> F["时间衰减调控与SLERP位姿混合"]
F --> G["多架构具身策略模仿学习与闭环评测"]关键设计¶
1. 基于动力学的拓扑状态变换：保持物理合法流形的自洽采样 传统方法若采用各质点独立微扰会破坏物体的表面连续性，而运动学参数化形变虽能维持拓扑连续却忽略了材料本构与动力学约束，生成的状态脱离了物理可能流形 \(\mathcal{S}_{\text{real}}\)。DeformGen 基于物理仿真器 \(\Phi_{\text{sim}}\) 从合法初始状态出发能够保持物理自洽的先验假设，直接在仿真世界中通过末端执行器与柔性物体的接触施加局部随机笛卡尔力扰动： $\(\mathbf{s}_{\text{aug}} = \Phi_{\text{sim}}(\mathbf{s}_0, \mathbf{f}, \Delta t), \quad \mathbf{s}_0 \in \mathcal{S}_{\text{real}}\)$ 在实施中，机械臂夹爪在与物体接触时执行一系列随机离散平面平移与 \(z\) 轴旋转，随后释放外力并进行 30–40 步的准静态稳定化（Quasi-static Stabilization）。由于状态演化全程由物理求解器内部的多体接触、弹性张力与重力约束协同驱动，生成的绳索弯折、衣物折叠与玩偶挤压状态天然处于 \(\mathcal{S}_{\text{real}}\) 流形之内，从机制上消除了先破坏拓扑再启发式修复带来的伪影。
2. 质点位移升维位置扭曲：自适应局部几何与全局大变形 面对柔性体非等变迁移的痛点，针对初始点云 \(\mathbf{p}_{\text{orig}} \in \mathbb{R}^{N \times 3}\) 和形变后点云 \(\mathbf{p}_{\text{def}} \in \mathbb{R}^{N \times 3}\)，每个质点的位移量定义为 \(\boldsymbol{\delta}_i = \mathbf{p}_{\text{def},i} - \mathbf{p}_{\text{orig},i}\)。对于轨迹中任一时间步 \(t\) 的末端执行器位置 \(\mathbf{x}_t\)，系统检索其在原始点云中的 \(k\) 近邻粒子，利用反距离加权将离散位移升维为连续工作空间内的位移场： $\(w_{t,j} = \frac{1}{\|\mathbf{x}_t - \mathbf{p}_{\text{orig},\mathrm{nn}_j(\mathbf{x}_t)}\| + \varepsilon}, \quad \tilde{w}_{t,j} = \frac{w_{t,j}}{\sum_j w_{t,j}}, \quad \mathbf{d}(\mathbf{x}_t) = \sum_j \tilde{w}_{t,j} \boldsymbol{\delta}_{\mathrm{nn}_j(\mathbf{x}_t)}\)$ 为使机械臂在抓取阶段紧密贴合局部变形而在后续操作阶段逐步回归全局目标，位置扭曲引入了时间衰减系数 \(\alpha_t = \mathrm{decay}(t)\)： $\(\mathbf{x}_t^{\text{warp}} = \mathbf{x}_t + \alpha_t \cdot \mathbf{d}(\mathbf{x}_t)\)$ 在超参数设置上，抓取阶段选取极少近邻粒子（\(K=5 \sim 10\)）精确对齐局部接触表面；而在操作阶段将近邻扩展至全部质点（\(K=N\)），使得末端能够随物体整体形心位移自适应补偿。
3. 局部雅可比估计与姿态流形投影：保持局部对齐与桌面约束 仅调整末端位置无法保证夹爪以正确朝向接触形变表面。DeformGen 在每个轨迹点 \(\mathbf{x}_t\) 的 KNN 邻域内构建局部相对坐标向量 \(\boldsymbol{\ell}_{t,j}^{\text{orig}} = \mathbf{p}_{\text{orig},\mathrm{nn}_j(\mathbf{x}_t)} - \mathbf{x}_t\) 及形变后向量 \(\boldsymbol{\ell}_{t,j}^{\text{def}} = \boldsymbol{\ell}_{t,j}^{\text{orig}} + \boldsymbol{\delta}_{\mathrm{nn}_j(\mathbf{x}_t)}\)。通过最小二乘拟合估计局部变形雅可比矩阵 \(\mathbf{J}_t\)，映射局部向量形变： $\(\mathbf{J}_t = \mathbf{X}_{\text{def}} \mathbf{X}_{\text{orig}}^\top (\mathbf{X}_{\text{orig}} \mathbf{X}_{\text{orig}}^\top)^+\)$ 其中 \((\cdot)^+\) 为摩尔-彭罗斯伪逆。为消除数值估计中的非刚性剪切成分并约束在合法旋转群，将 \(\mathbf{J}_t \mathbf{R}_t\) 通过奇异值分解（SVD）正交投影到 \(SO(3)\) 流形获得诱导旋转 \(\mathbf{R}_t'\)。由于桌面操作的主要自由度受限，进一步将旋转严格投影至垂直于桌面的 \(z\) 轴分量，最终通过四元数球面线性插值（SLERP）完成时间平滑的姿态过渡： $\(\mathbf{R}_t^{\text{warp}} = \mathrm{SLERP}(\mathbf{R}_t, \mathbf{R}_t', \alpha_t)\)$ 该机制完全采用解析闭式解计算，避免了迭代优化，确保了合成轨迹在抓取瞬间夹爪垂直法向与接触面局部切向的精准贴合。
损失函数 / 训练策略¶
所合成的数据集经仿真验证筛选后，划分为 1,000 条训练轨迹和 200 个保留评估状态。策略评测覆盖了四种主流架构：基于 Transformer 的 ACT、基于去噪扩散模型的 Diffusion Policy (DP)、轻量级多模态视觉动作模型 SmolVLA，以及基于流匹配的大规模模型 \(\pi_0\)（采用 LoRA 进行微调）。输入包含第三人称视角与腕部相机的双路 RGB 图像（分辨率 \(848 \times 480\)）及本体感受状态，统一在单个 NVIDIA A100 GPU 上按标准模仿学习目标联合训练 10 个 epoch。
实验关键数据¶
主实验¶
在绳索穿孔（Rope Routing）、玩偶装盒（Toy Packing）与布料折叠（Cloth Folding）三个高保真仿真任务上评测策略成功率。对比基线包括：仅使用 1 条源示教（1 Src.）、刚体状态扰动搭配形变场扭曲的 SoftMimicGen（SMG）、拓扑状态增强但仅使用局部刚体变换的消融版本 DeformGen（DG），以及完整的 DeformGen（DG）。
| 策略架构 | 任务 | 1 Src. | SMG* | DG* (局部刚体) | DG (本文完整版) |
|---|---|---|---|---|---|
| ACT | Rope Routing | 0.00% | 68.00% | 90.00% | 90.50% |
| ACT | Toy Packing | 0.00% | 73.00% | 49.00% | 75.50% |
| ACT | Cloth Folding | 4.00% | 3.50% | 1.50% | 11.00% |
| ACT | 平均表现 | 1.33% | 48.17% | 46.83% | 59.00% |
| Diffusion Policy | Rope Routing | 0.00% | 64.00% | 64.00% | 57.50% |
| Diffusion Policy | Toy Packing | 0.00% | 49.50% | 56.50% | 54.00% |
| Diffusion Policy | Cloth Folding | 7.00% | 0.50% | 2.50% | 0.50% |
| Diffusion Policy | 平均表现 | 2.33% | 38.00% | 41.00% | 37.33% |
| SmolVLA | Rope Routing | 0.00% | 62.50% | 88.00% | 92.00% |
| SmolVLA | Toy Packing | 0.00% | 42.00% | 49.50% | 53.50% |
| SmolVLA | Cloth Folding | 7.50% | 16.50% | 27.50% | 24.00% |
| SmolVLA | 平均表现 | 2.50% | 40.33% | 55.00% | 56.50% |
| \(\pi_0\) | Rope Routing | 0.00% | 56.00% | 98.50% | 99.00% |
| \(\pi_0\) | Toy Packing | 0.00% | 10.00% | 32.50% | 58.00% |
| \(\pi_0\) | Cloth Folding | 7.00% | 17.50% | 24.00% | 13.00% |
| \(\pi_0\) | 平均表现 | 2.33% | 27.83% | 51.67% | 56.67% |
消融实验¶
消融重点探讨了三个关键问题：刚体测试集上的泛化代偿、合成数据缩放定律以及对轨迹合成失败困难样本的零样本泛化能力。
1. 合成数据规模敏感性消融（ACT 与 SmolVLA 平均成功率）
| 样本量规模 \(N\) | ACT 平均成功率 | SmolVLA 平均成功率 | 说明 |
|---|---|---|---|
| \(N = 100\) | 19.50% | 36.83% | 小样本合成数据已大幅超越单条示教 |
| \(N = 250\) | 51.50% | 38.00% | 成功率随样本量增加显著提升 |
| \(N = 500\) | 58.67% | 55.83% | 拓扑覆盖广度进一步释放模型表征潜力 |
| \(N = 750\) | 61.50% | 63.17% | 相比 \(N=100\) 分别绝对提升 +42.00% 与 +26.34% |
2. 轨迹合成失败状态（Hard Samples）上的泛化能力测试 在由于极端拓扑变异导致形变场扭曲无法直接生成成功轨迹的困难样本上，评估策略是否学习到了可迁移的闭环操作常识：
| 任务 | 评估配置 | ACT | DP | SmolVLA | \(\pi_0\) |
|---|---|---|---|---|---|
| Toy Packing (Hard) | SMG* (刚体状态基准) | 45.50% | 37.50% | 15.00% | 7.50% |
| Toy Packing (Hard) | DG* (拓扑状态+局部刚体) | 37.50% | 55.00% | 15.00% | 18.50% |
| Toy Packing (Hard) | DG (完整 DeformGen) | 55.50% | 47.00% | 18.50% | 36.50% |
| Cloth Folding (Hard) | SMG* (刚体状态基准) | 11.00% | 6.00% | 17.50% | 11.50% |
| Cloth Folding (Hard) | DG* (拓扑状态+局部刚体) | 6.00% | 5.00% | 16.50% | 19.00% |
| Cloth Folding (Hard) | DG (完整 DeformGen) | 5.50% | 5.00% | 10.00% | 4.00% |
关键发现¶
- 拓扑状态多样性是跨越柔性泛化鸿沟的决定性因素：对比 SMG* 与 DG 可以发现，两者均采用变形场轨迹扭曲，但 SMG* 仅在 \(SE(3)\) 空间对物体做刚体平移与旋转。在 ACT、SmolVLA 与 \(\pi_0\) 架构上，DG 较 SMG* 平均成功率分别实现了 +10.83%、+16.17% 和 +28.84% 的跃升；普氏分析（Procrustes Alignment）进一步证实刚体扰动的非刚性残差几乎为零，而 DeformGen 生成的状态非刚性残差均方根极大，覆盖了真实且丰富的形变空间。
- 闭式形变场扭曲显著优于局部刚体迁移：对比 DG* 与 DG 可以隔离轨迹迁移技术的影响。在绳索与玩偶任务中，连续变形场有效适应了局部几何法向与全局位移补偿，使 \(\pi_0\) 在玩偶任务上由 32.50% 激增至 58.00%。
- 突破开环示范瓶颈的闭环泛化：在形变场扭曲本身执行失败的硬样本上，经过 DeformGen 训练的策略依然展现出非平凡的泛化成功率（如 ACT 达到 55.50%），说明基于多样性物理状态的大规模模仿学习能够使策略内化柔性操作动力学，而非死板记忆轨迹点。
亮点与洞察¶
- 动力学闭包先验的设计智慧：打破了过去“几何微扰+后验松弛修复”的惯性思维，认识到高维柔性空间中离开物理合法流形后几乎不可能稳定投影回归。利用仿真器自身作为隐式正则化器施加接触扰动，从机制上保证了 100% 物理有效性。
- KNN 局部到全局自适应空间扭曲：将离散点云变形解析升维为三维欧几里得空间的连续映射场，配合时间衰减机制与雅可比 \(SO(3)\) 投影，提供了一种无须非线性优化的闭式轨迹迁移方法，单条轨迹生成毫秒级完成。
- 为柔性具身基座模型提供低成本扩展范式：验证了当前 VLA（如 SmolVLA、\(\pi_0\)）在柔性操作上同样遵循数据扩展定律（Scaling Law），仅凭单条人类遥操示范即可扩增出千条高成功率训练集，为低成本具身智能探索出极具潜力的技术路线。
局限与展望¶
- 单臂操作局限与双臂协同挑战：当前评测全部局限在单台 xArm7 机械臂上，未涉及双臂协同抓取、拉伸与双手翻折等需要复杂时空约束协调的双臂柔性任务。
- 任务广度与不可逆大塑性形变未覆盖：论文验证的绳索、布料与玩偶主要表现为弹性或准刚性变形，对于面团捏塑、流体、软组织切除等具有不可逆拓扑撕裂或粘弹性的大变形场景尚未验证。
- 真实硬件落地仍存 Sim-to-Real 鸿沟：所有实验均在 PhysTwin 高保真仿真中完成。现实世界中的真实光照变化、微小接触摩擦系数差异以及传感器深度噪声可能降低形变场对齐精度，未来需要探索与域自适应或小样本真机微调结合。
相关工作与启发¶
- vs MimicGen / DemoGen: 传统刚体轨迹增强方法深度依赖 \(SE(3)\) 等变性，只能产生空间平移与旋转多样性。本文指出该假设在柔性物体中彻底破裂，构建了首个涵盖动力学校准状态合成与空间变形场扭曲的统一框架。
- vs SoftMimicGen: SoftMimicGen 意识到柔性轨迹需要几何自适应，但其初始状态合成仍然停留在刚体摆放位姿的简单扰动。DeformGen 通过动力学前向仿真拓展了拓扑状态多样性，实验证明状态流形覆盖是决定策略泛化上限的主导因素。
- vs 基于非刚性配准的示范迁移 (Non-Rigid Registration): 早期方法依赖薄板样条（TPS）等复杂的迭代优化求解空间非刚性变换，计算耗时大且易陷入局部极值。DeformGen 采用 KNN 反距离加权与局部雅可比闭式解，计算效率显著提升且天然适用于大规模生成流水线。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示柔性数据增强中状态流形破坏与轨迹非等变性的双重瓶颈，提出了完全基于物理闭环的动力学增广范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 项复杂柔性任务、4 种前沿策略架构、详细的状态流形分析、缩放定律消融及硬样本外推评测。
- 写作质量: ⭐⭐⭐⭐⭐ 数学建模严谨优雅，问题剖析一针见血，图表传达清晰直观。
- 价值: ⭐⭐⭐⭐⭐ 为极其昂贵和困难的柔性物体机器人示教采集提供了极具实用价值的低成本数据扩增基础设施。