NeuralGarSim: Geometry-agnostic Garment Simulation with Neural Fields¶

会议: ECCV 2026
论文: ECCV 官方
代码: 项目主页
领域: 3D视觉
关键词: 神经物理仿真, 神经场, 切向微分算子, 薄壳动力学, 几何无关表示

一句话总结¶

针对传统网格仿真分辨率敏感以及前序神经仿真器强依赖二维参数化平面的瓶颈，NeuralGarSim 首次借助切向微分算子（TDC）在三维欧几里得空间直接构建非线性 Kirchhoff–Love 薄壳模型，实现了无缝兼容多裁片复杂拓扑及网格、UDF、点云、3D高斯等多模态几何输入的无参数化准静态布料神经仿真。

研究背景与动机¶

基于物理的织物仿真长期以来依赖离散网格与有限元方法（FEM），通过预定义的三角形单元剖分求解内能与动力学平衡。然而，显式离散化机制给仿真带来了天然的网格敏感性：数值褶皱与形变形态高度依赖初始网格剖分密度与三角化拓扑方向，为了获得高保真细节往往需要引入自适应重新剖分（remeshing）或直接在高分辨率网格上重算，这不仅极大地消耗了计算与内存资源，而且非光滑重剖分会破坏可微性，阻碍了物理驱动逆向问题与现代深度学习管线的直接衔接。

为了摆脱离散网格分辨率的束缚，NeuralClothSim 等先驱工作尝试将衣物形变建模为基于连续坐标多层感知机（MLP）的神经形变场，通过解析微分最小化薄壳势能。但这一类神经仿真器存在一个根本性局限：它们在数学上建立在经典参数曲面微分几何基础之上，强依赖于全局双射且连续可微的二维曲线坐标参数域 \(\tau \subset \mathbb{R}^2\)。现实世界中的衣物结构通常由前襟、后背、衣袖等多块独立裁片（panels）缝合拼接而成，并伴有袖口、领口、拉链等开孔与几何不连续缝线。在全局神经网络中构建跨缝线边界依然处处解析可微的二维参数映射几乎是不可能的，导致先验神经方法仅能局限在单一孤立布料裁片的玩具级场景。此外，二维参数化的强约束使得仿真系统只能接收高质量的参数化网格，完全无法直接利用隐式无向距离场（UDF）、离散无序点云或新兴的 3D Gaussian Splatting 等由三维重建管线直接输出的非网格资产。

本文的切入角度是打破二维参数化坐标系的思维定式，将连续薄壳形变微分方程直接建立在嵌入三维空间的原曲面上。核心 idea：利用切向微分算子（TDC）在三维嵌入流形上直接推导非线性 Kirchhoff–Love 薄壳本构方程，仅依靠曲面法向量场与 Weingarten 曲率张量即可在欧几里得空间内计算薄膜与弯曲应变，从而实现跨多裁片任意拓扑、多几何模态输入的统一无参数化神经织物仿真。

方法详解¶

整体框架¶

NeuralGarSim 接收未形变的目标衣物几何表征 \(\mathcal{M}_\Gamma\)（支持神经 UDF、三角网格、无序点云、3D 高斯四种模态），在不依赖任何二维展开参数化的前提下，学习一个以三维空间坐标为输入的连续坐标多层感知机形变场 \(\mathbf{u}(\mathbf{x}_\Gamma; \Theta_{\mathbf{u}})\)。整个算法包含几何先验提取、三维神经形变场预测、基于 TDC 的三维流形应变计算，以及势能泛函的蒙特卡洛积分极小化四个核心环节。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态未形变几何输入<br/>UDF / 网格 / 点云 / 3D 高斯"] --> B["几何先验提取<br/>表面法向与 Weingarten 映射"]
    B --> C["三维神经形变场<br/>SIREN 映射与硬边界约束"]
    C --> D["切向微分薄壳应变计算<br/>非线性薄膜与弯曲应变投影"]
    D --> E["准静态势能极小化求解<br/>弹性内能与外力做功平衡"]
    E --> F["仿真后形变曲面<br/>任意拓扑与连续分辨率渲染"]

关键设计¶

1. 几何先验提取：多模态几何的统一微分算子提取

以往方法难以将非网格几何直接接入物理仿真，核心症结在于传统离散壳单元依赖面片局部基函数，而参数化神经场又依赖二维 UV 网格。NeuralGarSim 发现，基于切向微分算子的薄壳动力学仅需要流形上每个采样点的法向矢量 \(\mathbf{n}_\Gamma\) 和曲率张量（即 Weingarten 映射 \(\mathbf{H}\)），从而为多模态资产提供了统一的接口抽象。对于可微无向距离场（DUDF），网络拟合隐式场 \(\phi(\mathbf{x}; \Theta_\phi)=0\)，通过场梯度的解析导数直接求得法向量与 Weingarten 映射 \(\mathbf{H} = \nabla_\Gamma^{\text{dir}} \mathbf{n}_\Gamma\)；对于三角网格，法向量通过面积加权顶点法向获得，\(\mathbf{H}\) 由余切拉普拉斯算子计算；对于离散点云，通过局部 \(k\) 近邻的主成分分析（PCA）拟合切平面估计法向；对于 3D 高斯，直接提取高斯协方差矩阵中方差最小轴对应的主方向作为局部法向。在此基础上，曲面切空间正交投影算子统一定义为：

\[\mathbf{P} = \mathbf{I} - \mathbf{n}_\Gamma \otimes \mathbf{n}_\Gamma\]

任何三维空间向量 \(\mathbf{v}\) 通过 \(\mathbf{P} \cdot \mathbf{v}\) 即可正交投影至曲面局部切平面 \(T_{\mathbf{x}_\Gamma}\)，彻底解耦了局部几何与二维参数网格。

2. 三维神经形变场：无参数化域与三维硬边界约束调制

为了解决多裁片拼接衣物存在接缝与孔洞导致参数域撕裂的难题，NeuralGarSim 将神经形变场（NDF）的输入直接设定为曲面在三维空间中的欧几里得坐标 \(\mathbf{x}_\Gamma \in \mathbb{R}^3\)，输出三维位移矢量 \(\mathbf{u} \in \mathbb{R}^3\)。网络主干采用 5 层、隐藏维度为 256 的正弦激活神经网络（SIREN），其具备的无穷阶平滑特性（\(C^\infty\)）能够稳定提供弯曲应变求解所需的二阶解析导数。针对衣物在肩膀、腰带处的固定或受控边界条件，传统参数化模型必须在二维参数网格上手工绘制边界，而本文通过构造三维欧几里得空间中的平滑距离调制标量函数 \(\mathcal{B}(\mathbf{x}_\Gamma)\) 实现硬边界约束：

\[\mathbf{u}(\mathbf{x}_\Gamma; \Theta_\mathbf{u}) = \mathcal{F}_{\Theta_\mathbf{u}}(\mathbf{x}_\Gamma) \cdot \mathcal{B}(\mathbf{x}_\Gamma)\]

当采样点位于约束边界 \(\partial\Gamma\) 上时 \(\mathcal{B}(\mathbf{x}_\Gamma)=0\)，网络输出被严格强置为零；其余自由运动区域 \(\mathcal{B}(\mathbf{x}_\Gamma)=1\)。这种设计保证了整个神经网络训练过程完全不需要考虑二维边界缝合和周期性边界条件，任何复杂多裁片衣物都能在统一的三维网络中端到端优化。

3. 切向微分薄壳应变计算：三维空间全非线性薄壳力学推导

为了在三维空间精确刻画大位移、大旋转下的薄壳形变，方法在 Kirchhoff–Love 假定下推导了完全基于切向微分算子的非线性 Green–Lagrange 应变。根据无横向剪切变形的假定，中面法向变化的导向器差分向量（director difference vector）表示为：

\[\mathbf{w} = \mathbf{H} \cdot \mathbf{u} - \nabla_\Gamma(\mathbf{u} \cdot \mathbf{n}_\Gamma)\]

利用位移场的方向梯度 \(\mathbf{F}_u = \nabla_\Gamma^{\text{dir}} \mathbf{u}\) 和法向导向器的方向梯度 \(\mathbf{F}_w = \nabla_\Gamma^{\text{dir}} \mathbf{w}\)，构建三维方向薄膜应变张量 \(\boldsymbol{\epsilon}_M^{\text{dir}}\) 与方向弯曲应变张量 \(\boldsymbol{\epsilon}_B^{\text{dir}}\)：

\[\boldsymbol{\epsilon}_M^{\text{dir}} = \frac{1}{2} \left( \mathbf{F}_u + \mathbf{F}_u^\mathsf{T} + \mathbf{F}_u^\mathsf{T} \mathbf{F}_u \right)\]

\[\boldsymbol{\epsilon}_B^{\text{dir}} = \frac{1}{2} \left( \mathbf{F}_w + \mathbf{F}_w^\mathsf{T} + \mathbf{F}_u^\mathsf{T} \mathbf{F}_w + \mathbf{F}_w^\mathsf{T} \mathbf{F}_u \right)\]

由于上述张量定义在完整的 \(\mathbb{R}^{3 \times 3}\) 空间，最后利用切向投影算子 \(\mathbf{P}\) 实施双向投影，提取完全位于曲面切平面内的内在物理应变：\(\boldsymbol{\epsilon}_M = \mathbf{P} \cdot \boldsymbol{\epsilon}_M^{\text{dir}} \cdot \mathbf{P}\) 与 \(\boldsymbol{\epsilon}_B = \mathbf{P} \cdot \boldsymbol{\epsilon}_B^{\text{dir}} \cdot \mathbf{P}\)。该公式不仅天然兼容大旋转，而且规避了二维参数坐标系中的 Christoffel 联络符号计算，将导数计算大幅简化为常规解析自动微分。

4. 准静态势能极小化求解：双本构模型支持与蒙特卡洛积分

整个仿真系统的最终构型通过极小化总势能泛函 \(\Pi = \Pi_{\text{int}} + \Pi_{\text{ext}}\) 求解。外力做功主要包含重力势能 \(\Pi_{\text{ext}} = - \int_\Gamma \rho \mathbf{g} \cdot \mathbf{u} \, d\mathbf{x}_\Gamma\)。对于内部弹性能 \(\Pi_{\text{int}}\)，系统支持两种本构律： - 各向同性线弹性模型：主要用于基准物理验证，应力应变沿厚度 \(h\) 可解析预积分，内能直接由中面薄膜力与弯矩张量双点积求和得到。 - 正交各向异性 St. Venant–Kirchhoff（StVK）模型：用于还原真实纺织品的经向与纬向刚度差异，参数集 \(\boldsymbol{\Phi} = \{a_{11}, a_{22}, a_{12}, G_{12}\}\)。由于三维大变形下的 StVK 能量沿厚向非线性变化，系统利用 Simpson 复合积分法则沿厚度方向 \([ -h/2, h/2 ]\) 进行数值积分。

在训练阶段，每轮迭代通过蒙特卡洛在衣物几何表面均匀采样 1000 个离散点计算积分，使用 Adam 优化器在 2000 到 5000 步内驱动形变场收敛至物理平衡态。

实验关键数据¶

主实验¶

验证实验涵盖标准力学基准测试（Belytschko 基准测试）以及多种衣物结构（T恤、长裙、袖管、夹克等）。在物理保真度基准测试中，分别对薄膜主导的平板方板受力（Square Plate）、薄膜与弯曲耦合的 Scordelis-Lo 筒顶拱（Scordelis-Lo Roof），以及强弯曲主导的受限圆柱壳（Pinched Cylinder）进行形变极值检验，并对比分析解及相关代表性方法。

基准测试用例	解析真实解 (Analytical)	Guo et al.	Bastek et al.	NeuralClothSim	NeuralGarSim (本文)	相对误差
Square Plate (方板受力)	0.4870	2.566*	N/A	0.4870	0.4870	< 0.01%
Scordelis-Lo Roof (筒顶受力)	0.3024	N/A	0.2970	0.2965	0.2987	1.22%
Pinched Cylinder (对径受压圆柱)	1.825e-5	N/A	N/A	1.825e-5	1.820e-5	0.27%

注：Guo et al. 在方板测试中采用了匹配其解析解的变体材料参数。

在训练与求解效率方面，得益于直接在三维空间求取切向微分、免除了二维曲线坐标系下庞杂的 Christoffel 联络计算与参数映射微分，NeuralGarSim 在保持等价物理精度的同时实现了约 2–4 倍的端到端提速。

测试场景 / 算例	NeuralClothSim 训练耗时	NeuralGarSim 训练耗时 (本文)	加速倍率
Square Plate (方板受压)	13分01秒	6分26秒	2.02×
Scordelis-Lo Roof (拱顶塌陷)	4小时49分	2小时21分	2.05×
Pinched Cylinder (对压圆柱)	56分04秒	27分17秒	2.05×
Napkin Moving Handles (手帕移动把手)	6分09秒	1分35秒	3.88×
Skirt Twist (裙子扭转)	21分45秒	7分14秒	3.01×
Sleeve Buckle (袖管屈曲)	11分03秒	5分55秒	1.87×
全场景平均耗时	1小时06分10秒	31分35秒	2.10×

消融实验¶

1. 网格离散独立性评估（Discretisation Independence）¶

针对同一件 T 恤模型，构造三种不同拓扑剖分密度与三角化走向的初始网格（\(M_1, M_2, M_3\)），测试不同仿真器在跨网格分辨率下生成褶皱与表面形态的一致性。采用全曲面 Chamfer 距离 \(d_C\) 与高曲率褶皱骨架 Chamfer 距离 \(d_W\)（定义为曲率超过 75 分位数的顶点集合）进行评估。

评估方法	\(d_W(M_1, M_2)\)	\(d_W(M_1, M_3)\)	\(d_C(M_1, M_2)\)	\(d_C(M_1, M_3)\)	说明
DiffCloth (传统固定网格 FEM)	0.035	0.034	0.020	0.021	褶皱走势剧烈受制于网格剖分拓扑
NeuralGarSim (本文连续 NDF)	0.011	0.013	0.009	0.009	跨网格保持高度一致的细粒度褶皱形态

2. 多模态输入几何跨模态一致性消融¶

以高质量三角网格作为基准几何参考 \(M_{\text{ref}}\)，分别输入 UDF、点云（Point Cloud）、3D 高斯（Gaussians）进行独立仿真，评估预测结果与基准网格仿真的 Chamfer 距离。

输入几何模态	褶皱距离 \(d_W(M_{\text{ref}}, M_i)\)	全局表面距离 \(d_C(M_{\text{ref}}, M_i)\)	模态适配特点
Triangle Mesh (三角网格基准)	ref.	ref.	经典显式表示，依赖预计算顶点法向与余切算子
Differentiable UDF (神经无向距离场)	0.017	0.013	解析曲面法向与 Weingarten 映射，平滑度最佳
Point Cloud (无序离散点云)	0.018	0.015	局部 PCA 估计法向，无需构建任何面片连接关系
3D Gaussians (三维高斯泼溅体)	0.017	0.014	从协方差最小方差轴提取法向，直接对接三维重建

关键发现¶

TDC 算子彻底根除了对二维参数化的依赖：消融实验中对比了尝试通过链式法则将 2D 梯度缝合到 3D 空间的 NeuralClothSim+ 变体。当 UV 映射产生非共形变形时，面片局部 Jacobian 畸变会导致应变计算发散或完全失真；而 NeuralGarSim 在任意非共形、多裁片几何上均能平稳收敛。
微观褶皱与离散网格完全解耦：DiffARCSim 尽管具备自适应重剖分机制，但其褶皱位置仍随着重新剖分发生漂移；NeuralGarSim 依靠连续神经场的全局平滑性，无论在粗网格还是细网格采样下，布料悬垂的主褶皱与微小褶皱均保持在一致的三维空间几何坐标处。
跨模态形变差异小于 2%：四种模态下求解出的薄壳形变在宏观大尺度悬垂形态与局部褶皱密集区完全重合，证明仅需准确提供局部法向场与曲率近似，即可脱离显式拓扑结构完成严谨的物理求解。

亮点与洞察¶

切向微分算子（TDC）与神经场的绝妙融合：传统力学中 TDC 多与线性微应变假定结合于经典有限元框架，本文首次将其引入非线性大变形 Kirchhoff–Love 神经薄壳仿真中，不仅免除了参数坐标网格的繁琐变换，还将二阶解析求导转化为简洁的张量投影计算。
重建即仿真（Reconstruction-ready Simulation）的一体化闭环：传统图形学仿真必须经历「三维点云/高斯 → 表面网格重建 → 拓扑修复孔洞缝隙 → UV 展平展开 → 材质贴图」的冗长预处理流程，而 NeuralGarSim 使得激光扫描点云或由单目视频重建的 3D 高斯衣物能够跳过网格化和 UV 展开，直接作为仿真底质施加重力与约束。
计算加速与物理精度兼备：由于完全摒弃了在曲面坐标下求导所需的 Christoffel 联络符号，计算图显著精简，带来了相比前序工作 2–4 倍的训练提速。

局限与展望¶

受限于准静态假设，缺乏动力学效应：当前模型求解的是静态外力与内能平衡的终态位移场（quasistatic equilibrium），未引入时间步进、惯性项（\(\mathbf{M}\ddot{\mathbf{u}}\)）和阻尼项，无法直接模拟布料随人体剧烈运动时的抖动与飘拂动态。
缺乏显式碰撞检测与自碰撞处理：目前对于衣物自身层叠碰撞（self-collision）以及多层衣物穿透未引入严格的不可穿透惩罚或 IPC（Incremental Potential Contact）机制，在极端褶皱挤压时可能发生自相交。
单件优化开销尚未达到实时交互：每个新姿态或新衣物配置需要针对 NDF 权重优化数分钟（1 到 15 分钟），未来若能引入可泛化的前向预测网络（Generalizable Prior）或基于特征网格（\(\partial^\infty\)-Grid）加速求解，将有望迈向交互式实时仿真。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将切向微分算子与神经隐式物理仿真结合，彻底打破了神经布料仿真对 2D 参数化域的根本依赖]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖标准力学分析解基准、跨网格离散鲁棒性、多材质 StVK 本构，以及网格/UDF/点云/3D高斯多模态验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严密，切向微分理论与几何表征的衔接逻辑自然流畅]
价值: ⭐⭐⭐⭐⭐ [为联通复杂真实衣物三维重建与连续物理仿真奠定了关键的数学与算法基础]