ClothTransformer: Unified Latent-Space Transformers for Scalable Cloth Simulation¶

会议: NeurIPS 2026
arXiv: 2605.27852
论文: https://arxiv.org/abs/2605.27852
代码: https://yucrazing.github.io/clothtransformer/
领域: 物理/科学计算
关键词: 织物仿真, Transformer, 隐空间序列建模, 连续碰撞检测, 可扩展动力学

一句话总结¶

ClothTransformer 将织物仿真重构为学习隐空间中的自回归序列建模，通过交叉注意力将任意分辨率网格压缩为固定数量的隐式 token，并结合可微连续碰撞检测（CCD）与高质量无穿透数据集，实现了单一模型在人体服饰、机器人操作及自由落体碰撞三种异构场景下的统一且高保真物理仿真。

研究背景与动机¶

逼真的织物仿真在影视特效、游戏交互、虚拟试衣以及具身智能物理交互中具有不可替代的核心价值。传统的基于物理的仿真方法（PBS）虽然能通过隐式积分和增量势接触（IPC/GIPC）求解器保证严格的物理真实感与无穿透约束，但高保真网格下单帧求解耗时动辄数秒乃至数十秒，根本无法满足实时系统的高吞吐需求。近年来兴起的数据驱动神经网络仿真器主要以图神经网络（GNN）为主流，通过网格拓扑上的消息传递预测顶点动力学；部分工作尝试引入 Transformer 架构，但在实际部署中依然受限于三个根本瓶颈。

首先是跨场景泛化能力的缺失。现有的神经织物仿真器高度特化于单一场景（绝大多数局限于人体骨骼动画驱动的服装穿着），一旦面对机器人末端夹爪对布料的局部接触悬挑操作，或是布料自由下落砸向几何极度复杂的任意刚体对象时，往往直接崩溃，必须为每个场景单独设计架构并重训模型。其次是网格分辨率带来的计算复杂度瓶颈。无论 GNN 的多分辨率图传递还是以往流形 Transformer 的面片分词，其时间复杂度均与网格的顶点或面片规模强绑定，导致渲染保真度（需要高密网格）与推理实时性（需要轻量低延迟）产生不可调和的矛盾。最后是严重的几何穿透与隧道效应。以往方法多基于离散碰撞检测（DCD）实施惩罚，对跨帧高速运动引起的物体穿透完全盲目；而引入连续碰撞检测（CCD）又受制于公开数据集本身存在大量近似求解带来的残留交错，使得严格的碰撞梯度与训练真值产生矛盾。

针对上述难题，本文认为 Transformer 所具备的极简归纳偏置非常适合统一异构物理环境的复杂规律。本文的核心 idea 是：将织物动力学彻底解耦为「网格几何到固定维度隐空间的双向映射」与「隐空间纯自回归时间序列建模」，并在包含三大异构场景的近 50 万帧无穿透数据监督下，引入可微连续碰撞检测（CCD）损失与后处理，使动力学前向演化完全摆脱网格分辨率的约束。

方法详解¶

整体框架¶

ClothTransformer 的核心管线分为三个协同运作的组件：空间编码器（Spatial Encoder）、时间变换器（Temporal Transformer）和空间解码器（Spatial Decoder）。在每个时间步，模型接收历史时刻 $T$ 的布料顶点位置与瞬时速度状态，以及目标时刻 $T+1$ 前瞻的碰撞体网格几何；通过编码器利用一组可学习查询向量与输入状态做交叉注意力，将变长网格压缩为固定尺寸 $K$ 的隐式物理 token 集合；接着由多层自回归 Transformer 在隐空间中建模时间维度的动力学推进，预测下一时刻的隐状态；最后解码器以布料在无应变静止状态（Rest Shape）下的顶点坐标为查询向量，从预测的隐状态中反查细粒度动力学特征，配合轻量级图卷积网络（GNN）消除高频几何噪声，输出最终无穿透的三维预测网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入历史布料状态 (X_t, V_t)<br/>与目标碰撞几何 C_t+1"] --> B["1. 拓扑感知几何嵌入与跨注意力隐空间压缩<br/>提取顶点/三角形特征并压缩为固定尺寸隐式 Token Z_t"]
    B --> C["2. 块因果隐空间自回归动力学变换器<br/>在固定长度 Token 序列上建模多帧时间物理依赖"]
    C --> D["3. 静止形状引导的细粒度空间解码与拓扑精炼<br/>Rest-Shape 查询检索局部特征 + GNN 消除高频几何畸变"]
    D --> E["4. 两阶段训练与可微连续碰撞检测 (CCD) 损失<br/>基于三次多项式求根判定碰撞并向安全临界位置回归"]
    E --> F["输出预测布料网格 X_t+1"]

关键设计¶

1. 拓扑感知几何嵌入与跨注意力隐空间压缩：彻底解耦时间复杂度与网格几何分辨率
针对传统 GNN 仿真器随着网格顶点与面片数量激增导致推理延迟线性或超线性增长的问题，模型设计了一种两阶段空间编码策略。首先，布料网格的顶点三维坐标和速度向量分别经过正弦位置编码后融合，由一个 2 层、隐藏维度为 1024 的局部 GNN 处理，使每个顶点能够感知一阶局域邻域的拓扑连接性；同时，目标时刻 $T+1$ 的环境碰撞体被统一拆解为三角形单元，结合顶点位置速度、面法向量以及三角形面积构筑统一的三角形几何 token。接着，系统初始化 $K=1024$ 个可学习的查询向量 $\mathbf{Q}_{learn}$，通过跨注意力（Cross-Attention）机制对布料顶点 token 与碰撞体三角形 token 拼接而成的序列进行全局聚合。无论输入是数千还是数万顶点的复杂衣物或不同形态的碰撞障碍物，都被压缩映射为固定维度的隐式状态矩阵 $\mathbf{Z}_T \in \mathbb{R}^{K \times D}$。这种设计不仅消除了对特定骨骼绑定或固定 UV 展开拓扑的先验依赖，使同一架构能通配人体着装、机械臂夹持与刚体碰撞，更确保后续时间演化的复杂度严格收敛在 $\mathcal{O}(K^2)$。

2. 块因果隐空间自回归动力学变换器：在紧凑语义空间中稳定捕获长程物理演化
动力学推演的核心是在紧凑隐状态上进行时序外推。时间变换器包含 12 层 Transformer Block，隐藏层维度为 768，注意力头数为 12，前馈网络采用 SwiGLU 激活函数且扩展维度为 3072。在自回归推演时，模型堆叠多帧历史时刻的隐式状态，利用块因果掩码（Block-Causal Masking）切断跨时步的未来信息泄露，同时利用帧内全自注意力建模各个隐式物理模式之间的相互作用。由于避免了在数万个原始几何顶点构成的稀疏图结构上进行长程消息传递，隐空间内的全局全连接注意力能够以极低代价捕获由于布料大范围摆动、褶皱级联挤压引发的长程非局部动态相互作用，有效缓解了误差在数十帧累积展开过程中的高频耗散。

3. 静止形状引导的细粒度空间解码与拓扑精炼：以不变材料本构坐标检索局部形变
隐式状态只包含压缩的宏观动力学能量与位移特征，无法直接用于渲染渲染管线，需要高精度逆映射回真实顶点。空间解码器直接引入布料的本征静止形状（Rest Shape）$\mathbf{X}_{rest}$ 作为几何锚点。模型首先对无变形初始网格的顶点计算正弦位置嵌入，将得到的 rest 顶点 token 作为查询向量 $\mathbf{Q}$，以时间变换器输出的下一时刻隐式状态 $\mathbf{Z}_{T+1}$ 作为键 $\mathbf{K}$ 与值 $\mathbf{V}$ 执行跨注意力反查，提取每个特定拓扑节点对应的动力学响应。为了避免纯注意力重构引入的局部高频网格撕裂或阶跃伪影，解码粗特征紧接着输入一个轻量级 2 层 GNN。该 GNN 在原始布料三角网格拓扑上执行边缘特征平滑与流形一致性微调，最终通过简单的多层感知机（MLP）投影为目标时刻的三维物理绝对坐标 $\hat{\mathbf{X}}_{T+1}$。

4. 轨迹级可微连续碰撞检测（CCD）与安全临界回归：杜绝高速离散穿透与隧道效应
传统的离散碰撞检测（DCD）仅在离散帧步长上检测重叠，当布料薄片或摆动速度较快时，网格顶点极易直接穿透碰撞壁面造成隧道效应。本文构建了兼具轨迹检测与可微梯度的连续碰撞求解机制。在时序步长内，假设质点遵循线性插值运动，任何面-顶或边-边接触检测均可等价于求解一个关于归一化碰撞发生时间 $t \in [0, 1]$ 的三次多项式方程实根。非可微几何引擎首先定位出发生碰撞的原语集合 $\mathcal{P}_{col}$ 及其碰撞发生临界时间 $t_c \in [0, 1]$。为构建平滑有效的向后优化梯度，算法定义安全接触阈值时间 $t_{safe} = \max(0, t_c - \epsilon)$，并将碰撞涉及顶点的安全避碰目标位置映射为： $$ \mathbf{x}{safe} = \mathbf{x}} + t_{safe} (\mathbf{x{end} - \mathbf{x}) $$ 进而定义可微 CCD 损失： $$ \mathcal{L}{\text{CCD}} = \frac{1}{|\mathcal{P}}|} \sum_{i \in \mathcal{P{col}} \frac{1}{4} \sum}^{4} |\mathbf{x{end}^{(i, j)} - \mathbf{x}|^2 $$ 由于位移差平方项展开后满足 }^{(i, j)$\|\mathbf{x}_{end} - \mathbf{x}_{safe}\|^2 = (1 - t_{safe})^2 \|\mathbf{x}_{end} - \mathbf{x}_{start}\|^2$，发生越早的致命穿透（$t_c \approx 0$）将自动获得越大的回归梯度权重，使得优化过程自然聚焦于破坏性最大的深层穿透现象。

损失函数 / 训练策略¶

模型的全流程优化由两阶段策略组成： 1. 基础动力学预训练：前 160k 步采用绝对重建均方误差 $\mathcal{L}_{mse} = \frac{1}{N_v} \sum_{i=1}^{N_v} \|\hat{\mathbf{x}}_i - \mathbf{x}_i\|_2^2$ 与基于三次方惩罚的浅层接触损失 $\mathcal{L}_{contact} = \frac{1}{N_v} \sum_{i=1}^{N_v} |\min(0, s_i)|^3$（其中 $s_i$ 为沿最近碰撞三角形法向的有向距离）。三次形式对浅层接触保持容忍，对深层穿透产生陡峭排斥。 2. 高保真抗穿透微调：在模型已学得基本合理的大尺度形变后，后续 40k 步引入可微 CCD 损失 $\mathcal{L}_{finetune} = \mathcal{L}_{pretrain} + \lambda_{ccd} \mathcal{L}_{ccd}$。此举规避了网络初期杂乱预测导致虚假碰撞求根与梯度发散的问题。 3. 训练推进课程：在前 180k 步中，采用展开时域课程学习（Rollout Curriculum），将单步自回归时序外推步长由 1 步线性增至 5 步，大幅抑制自回归滚雪球式的误差累积。

实验关键数据¶

主实验¶

实验基于基于 GPU 严格无穿透求解器 GIPC 生成的高保真数据集（包含人体着装 13.4k 帧、机械臂操作 240k 帧、自由落体复杂刚体碰撞 240k 帧，共计 493.4k 帧）。所有对比基准均在同一划分下训练并在未知测试集上评测，评价指标为平均顶点位置误差（MVE, cm）、环境物体碰撞穿透率（Coll., %）以及自交错率（Self-C., %）。

数据集场景	模型	MVE (cm) ↓	物体碰撞率 (%) ↓	自碰撞率 (%) ↓
人体服装 (Human Garment)	SOTA GNN (HOOD/ContourCraft)	59.13	27.14	57.43
	MAT (Manifold-aware Transformer)	31.13	22.00	1.00
	LayersNet (UV-patch Transformer)	149.09	13.07	79.12
	Ours (CCD Loss)	6.53	16.32	9.12
机器人夹持 (Robotic Manip.)	SOTA GNN (HOOD/ContourCraft)	59.42	17.42	50.02
	MAT (Manifold-aware Transformer)	66.63	16.63	1.40
	LayersNet (UV-patch Transformer)	69.54	13.01	77.91
	Ours (CCD Loss)	15.03	17.32	10.65
复杂刚体下落 (Diverse Object)	SOTA GNN (HOOD/ContourCraft)	142.67	16.92	9.67
	MAT (Manifold-aware Transformer)	77.15	10.15	2.18
	LayersNet (UV-patch Transformer)	154.02	18.87	71.31
	Ours (CCD Loss)	8.91	17.44	2.01

(注：MAT 在测试中退化为缺乏局部形变的准刚体状态，因此出现虚假偏低的碰撞率；SOTA GNN 与 LayersNet 在长程展开中完全漂移脱离碰撞体；Ours 在保持极高几何精度的同时实现了非退化模型中最优的碰撞表现。)

消融实验¶

消融实验重点验证了隐空间压缩率 $K$ 的取值以及空间解码端局部拓扑 GNN 的必要性（在 Human Garment 数据集上微调 50k 步评测）。

配置 / 变体	MVE (cm) ↓	物体碰撞率 (%) ↓	推理耗时 (ms/frame) ↓	训练时长 (小时) ↓
隐式 Token $K = 512$	9.79	22.55	4.88	9.78
隐式 Token $K = 1024$ (默认)	7.14	19.98	4.90	10.87
隐式 Token $K = 2048$	6.01	15.19	10.75	15.68
无压缩 (直接全网格顶点操作)	10.01	18.56	90.07	18.01
去除空间 GNN (仅 MLP 解码)	7.18	22.98	5.12	11.20

跨分辨率可扩展性测试（在单一 RTX 4090 上，训练基准网格为 3.6k 顶点，零样本直接泛化到更高分辨率网格）：

测试网格分辨率	SOTA GNN (MVE / 耗时)	MAT (MVE / 耗时)	LayersNet (MVE / 耗时)	Ours (MVE / 耗时)
5k 顶点	55.34 cm / 130.01 ms	32.68 cm / 66.10 ms	149.27 cm / 59.67 ms	7.21 cm / 22.24 ms
10k 顶点	74.24 cm / 147.12 ms	54.12 cm / 294.00 ms	79.15 cm / 90.64 ms	5.81 cm / 43.03 ms
20k 顶点	73.98 cm / 231.57 ms	67.10 cm / 634.32 ms	69.24 cm / 138.08 ms	34.91 cm / 90.87 ms
40k 顶点	201.46 cm / 471.78 ms	72.36 cm / 1449.27 ms	显存溢出 (OOM)	57.32 cm / 275.27 ms

关键发现¶

隐空间压缩实现精度与速度双赢：压缩至 1024 个 token 时不仅推理延迟仅需约 4.9 ms/帧（达 200 FPS 超实时效率），比无压缩方案提速 18 倍以上，而且 MVE（7.14 cm）显著优于无压缩版本（10.01 cm），证明在海量全顶点上直接训练大模型存在严重的局部极小与收敛阻碍，隐空间有效过滤了高频噪声并强化了宏观物理主成分。
跨分辨率超强鲁棒性：在扩大至 11 倍训练密度的 40k 顶点压力测试下，LayersNet 直接 OOM，MAT 单帧耗时骤增至 1.45 秒，而 ClothTransformer 依然保持了 275 ms 的高效推理与最低的几何度量误差，展现了全局跨注意力与隐空间解耦的通用可扩展优势。
CCD 损失是自碰撞抑制的基石：在快速翻滚等极限大变形测试中，单纯 DCD 监督会留下大量前后布面折叠穿透，而增加可微 CCD 损失并在推理时附加极轻量的 CCD 投影步，即可彻底消除穿透瑕疵。

亮点与洞察¶

多场景极简大一统架构：以往工作为人体穿衣设计复杂的 SMPL 骨骼对齐、为机械夹爪单独建模受力图、为下落碰撞构建特化边界；本文仅凭三角形几何元原语与无偏置 Transformer 序列建模，在单个权重模型下全面超越了特化模型，展现了物理大模型在图形仿真中的泛化潜力。
跨注意力查询实现分辨率无关性：将网格编码为固定大小 token、解码时以 Rest-Shape 坐标反查的闭环机制，巧妙打破了图形学长期以来「网格多密计算就有多慢」的传统枷锁，非常适合迁移到流体、软体与薄壳等多物理场模拟。
以可微 CCD 建立动力学训练闭环：通过三次多项式求根判定碰撞时间，并以 $(1 - t_{safe})^2$ 自然权衡碰撞严重程度的回归形式，为连续碰撞检测融入神经网络端到端反向传播提供了极佳的工程示范。

局限与展望¶

极端多接触碰撞下的自回归误差累积：在物体几何极其锐利、撞击极度非线性的复杂工况下，单步自回归在 60 帧以内会出现高达 37 cm 的剧烈漂移且无法自行纠偏；未来探索基于块预测（Chunked Prediction）或非自回归 Diffusion/Flow-Matching 范式是一条可行路径。
物理材料本构参数隐式黑盒：当前模型隐式从几何轨迹中学习织物材料特性，缺乏显式调节杨氏模量、泊松比、面密度与弯曲刚度的接口，限制了美术人员在资产制作中的精确交互控制。
拓扑不变性假设约束：Rest-Shape 编码机制依赖于布料在演化过程中拓扑结构的稳定性，无法直接处理剪裁、撕裂、磨损等涉及网格动态重剖分与拓扑撕裂的物理现象。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首次以统一隐空间 Transformer 架构实现多场景织物仿真并引入可微 CCD 闭环)
实验充分度: ⭐⭐⭐⭐⭐ (构建 49.3 万帧无穿透高保真基准，涵盖三种异构场景与高达 40k 顶点的跨分辨率压力测试)
写作质量: ⭐⭐⭐⭐⭐ (逻辑严密连贯，图文对齐精巧，架构图与关键设计完全吻合)
价值: ⭐⭐⭐⭐⭐ (为图形学实时物理仿真与机器人触觉具身交互提供了通用且极具可扩展性的前沿方案)

配置 / 变体	MVE (cm) ↓	物体碰撞率 (%) ↓	推理耗时 (ms/frame) ↓	训练时长 (小时) ↓
隐式 Token \(K = 512\)	9.79	22.55	4.88	9.78
隐式 Token \(K = 1024\) (默认)	7.14	19.98	4.90	10.87
隐式 Token \(K = 2048\)	6.01	15.19	10.75	15.68
无压缩 (直接全网格顶点操作)	10.01	18.56	90.07	18.01
去除空间 GNN (仅 MLP 解码)	7.18	22.98	5.12	11.20