Rigel3D: Rig-aware Latents for Animation-Ready 3D Asset Generation¶

会议: NeurIPS 2026
arXiv: 2605.13129
OpenReview: https://openreview.net/forum?id=zKGmCGx8bP
领域: 其他
关键词: 3D资产生成, 骨骼绑定, 结构化隐空间, 蒙皮权重预测, 开放词表关节标定

一句话总结¶

Rigel3D 提出了表面与骨骼耦合的结构化隐空间表达（SLats）及端到端两阶段生成框架，能够从单图直接联合生成具备严密网格、内部运动学骨骼、连续蒙皮权重与开放词表关节语义的高质量可驱动 3D 资产。

研究背景与动机¶

近年来，以 TRELLIS、CLAY 等为代表的三维生成模型在生成高保真度静态 3D 资产方面取得了突破性进展，可根据单张图像或文本提示直接合成精细的几何表面与纹理。然而，现阶段主流 3D 生成模型输出的资产绝大多数仍然是“静态孤岛”：它们既不包含驱动动作所必需的内部骨骼装配（Skeletal Rig）、关节层级拓扑（Joint Hierarchy），也缺乏将表面顶点绑定至骨骼的蒙皮权重（Skinning Weights）。这一严重缺失使得生成的模型必须经过繁复耗时的人工介入或后处理自动绑定流程，才能被导入游戏引擎、影视动画制作、物理仿真平台以及具身智能（Embodied AI）虚拟环境中投入实际应用。

现有的自动绑定（Auto-Rigging）技术虽然致力于填补这一鸿沟，但无论是经典的 Pinocchio 模板嵌入、基于深度学习的 RigNet、TARig，还是近期面向通用物体的非模板化方法（如 Anymate、Puppeteer、UniRig），本质上都将骨骼预测与蒙皮绑定作为独立于几何生成的后处理流水线。这种“先生成静态外壳、后装配骨骼”的割裂范式存在着内在缺陷：生成网格由于缺乏内在解剖拓扑约束，极易产生非流形瑕疵、悬空部件或失真的肢体比例，使得下游绑定模型难以适应生成资产的分布漂移，进而导致预测出关节错位、骨骼悬空在网格外部或蒙皮权重异常畸变。

这一联合生成任务的核心矛盾在于几何表面与内部骨架呈现出高度异构却又在物理上紧密绑定的特性：网格表面分布在三维空间的局部可见流形上，而骨骼则是稀疏、离散且深埋在物体内部的树状运动学拓扑，同时还需要在表面顶点与内部骨骼之间建立平滑连续的非局部绑定权重映射。为了打破后处理绑定的性能天花板，核心 idea：将 TRELLIS 的结构化隐表示扩展为表面与骨骼耦合的双重 SLats，通过骨骼感知的多任务自编码器实现几何、拓扑与蒙皮的联合解码，并结合两阶段流生成模型与开放词表关节对齐，端到端合成即开即用的可动画 3D 资产。

方法详解¶

整体框架¶

Rigel3D 的整体管线建立在稀疏结构化隐空间（Structured LATents, SLats）的基础之上。整个系统由两个核心部分构成：一是骨骼感知自编码器（Rig-Aware Autoencoder），它将带绑定的 3D 资产分别编码为描述表面几何与外观的表面 SLats，以及描述内部运动关节结构的骨骼 SLats，并通过交叉注意力和自回归解码器联合重构出网格、骨架和蒙皮权重；二是两阶段隐空间生成网络，它基于校正流（Rectified Flow）模型以输入图像为条件生成这两种结构化隐特征，从而实现无需后处理的完整可动画资产直接合成。此外，系统外挂一个开放词表关节标注模块，用于建立生成骨骼与下游通用动作重定向模板之间的语义桥梁。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单张输入图像"] --> B["表面与骨骼两阶段流生成器<br/>Rectified Flow 生成体素占用与潜在特征"]
    B --> C["双重结构化隐空间表达<br/>表面 SLats 耦合 骨骼 SLats"]
    C --> D["骨骼感知网格解码器<br/>交叉注意力注入骨骼上下文预测 FlexiCubes"]
    C --> E["自回归骨骼解码器<br/>BFS 拓扑遍历生成离散关节坐标与父节点索引"]
    D --> F["注意力蒙皮权重解码器<br/>采样点与骨骼间点积相似度归一化"]
    E --> F
    C --> F
    E --> G["开放词表关节语义标定<br/>树状因果自回归对齐 OpenCLIP 文本空间"]
    F --> H["完整可动画 3D 资产<br/>高保真网格 + 运动骨骼 + 连续蒙皮 + 语义标签"]
    G --> H

关键设计¶

1. 表面与骨骼双重结构化隐表达构建：解决异构几何与运动学信息的特征表征失谐

传统的 3D 生成隐空间仅关注物体表面壳层，无法感知并保留内部关节运动拓扑。Rigel3D 将 \(64^3\) 分辨率的三维稀疏体素网格作为桥梁，分别构建表面隐编码 \(\bm{Z}_{\mathrm{surf}}\) 与骨骼隐编码 \(\bm{Z}_{\mathrm{skel}}\)。针对表面部分，模型在相交表面体素上聚合多视角渲染图像的 DINOv2 视觉特征，由稀疏 VAE 编码为表面 SLats。针对深埋在内部的骨骼骨段 \(\mathcal{B}_{\mathcal{O}}=\{(\bm{j}^{\mathrm{head}}_{b}, \bm{j}^{\mathrm{tail}}_{b})\}\)，为了使骨骼特征内生具备局部表面驱动上下文，论文提出利用真实蒙皮权重 \(w_{\mathcal{O}}^{(v,b)}\) 对受该骨骼影响的顶点多视角特征进行加权池化：

\[\bm{f}_{b}=\frac{\sum_{v\in V_{b}}w_{\mathcal{O}}^{(v,b)}\bm{f}_{v}}{\sum_{v\in V_{b}}w_{\mathcal{O}}^{(v,b)}+\epsilon}\]

随后将骨段光栅化到相同的体素网格中，为骨骼穿过的内部体素赋予对应的骨段特征 \(\bm{f}_{b}\)，并通过专门的稀疏骨骼编码器 \(\mathcal{E}_{\mathrm{skel}}\) 提取得到骨骼 SLats。这种显式解耦又在空间网格尺度统一的设计，既保留了表面纹理几何的高频细节，又精准锚定了骨骼拓扑的空间承载位置。

2. 骨骼感知网格解码与自回归骨架拓扑重构：实现外表几何与内部骨架的强协同

在网格解码阶段，为了让外表几何具备符合铰接解剖特性的连续形变能力，模型在 FlexiCubes 显式网格解码器的每个 Transformer 模块中注入从表面 Token 到骨骼 SLats 的交叉注意力机制：

\[\widetilde{\bm{H}}^{\ell}_{\mathrm{surf}}=\mathrm{CA}\left(\bm{H}^{\ell}_{\mathrm{surf}}, \bm{H}_{\mathrm{skel}}, \bm{H}_{\mathrm{skel}}\right)\]

这使得隐式 SDF 场和局部形变参数的预测不仅受表面先验引导，更能受到内部骨骼走向的几何结构支撑。而在骨架生成方面，由于骨架节点数可变且拓扑结构严格遵循树状图，模型采用自回归 Transformer 顺次解码离散化的关节 Token。骨骼序列按广度优先搜索（BFS）顺序排序，同深度关节按照空间坐标严格排序。每个 Token \(\bm{t}_k=(q_x^k, q_y^k, q_z^k, \pi_k)\) 编码 \(128^3\) 分辨率下的空间位置及父节点指针 \(\pi_k < k\)。在解码过程中，因果自注意力与双路 SLats 交叉注意力相结合，使得每个新关节的预测都充分感知到整体表面外形轮廓和已有骨骼走向。

3. 注意力蒙皮权重解码器：建立表面点到任意骨骼数量的连续绑定映射

为了克服不同生成物体骨骼总数不一且拓扑形态多样的难题，论文设计了基于点-骨骼交互机制的蒙皮权重预测模块。从网格表面采样固定数量的带法线点云，将各点嵌入与骨骼骨段嵌入（由首尾关节坐标线性映射）映射到统一维度。点与骨骼 Token 在交替执行自注意力与双重 SLats 交叉注意力后，计算点与骨骼之间的归一化点积相似度得到未归一化的蒙皮对数概率：

\[a_{i,b}=\frac{\langle\psi_{P}(\tilde{\bm{h}}_{\bm{p}_{i}}),\psi_{B}(\bm{h}_{b})\rangle}{\sqrt{D_{p}}},\quad \widehat{w}_{i,b}=\frac{\exp(a_{i,b})}{\sum_{b^{\prime}=1}^{|\mathcal{B}_{\mathcal{O}}|}\exp(a_{i,b^{\prime}})}\]

在推理阶段，该解码器可无缝切换并直接评估提取网格的全部顶点，实现对任意骨段数量与复杂几何体的高效、自适应连续蒙皮权重分配。

4. 开放词表关节语义标定模块：解除闭集预设对下游动作重定向的约束

针对无模板骨骼生成无法提供解剖学意义关节名称（通常仅为 Joint1 等通用标识符）的痛点，论文提出了一个开放词表语义标定网络。首先利用大语言模型（Qwen3-8B）对训练集中嘈杂、格式不一的艺术家命名进行标准化清洗与层级规范化，提取出统一的解剖学语义标签。标定网络沿骨架 BFS 顺序以自回归因果注意力和双 SLats 交叉注意力提取关节嵌入向量 \(\bm{e}_{J_{k}}\)，并与冻结的 OpenCLIP 文本编码器生成的标签文本嵌入 \(\bm{e}_{\ell_{k}}\) 在多类别对比损失（InfoNCE）下对齐：

\[\mathcal{L}_{\mathrm{label}}=-\frac{1}{B}\sum_{k=1}^{B}\log\frac{\exp(\bm{e}_{J_{k}}^{\top}\bm{e}_{\ell_{k}}/\tau)}{\sum_{m=1}^{B}\exp(\bm{e}_{J_{k}}^{\top}\bm{e}_{\ell_{m}}/\tau)}\]

在测试时，生成的关节可以通过最近邻检索直接匹配至任意目标重定向模板（如 Mixamo、SMPL 或定制动物骨架模板），无需对特定骨骼拓扑结构重新微调。

损失函数 / 训练策略¶

Rig-Aware 自编码器采用多任务联合监督目标进行端到端优化：

\[\mathcal{L}_{\mathrm{AE}}=\mathcal{L}_{\mathrm{mesh}}+\lambda_{\mathrm{skel}}\mathcal{L}_{\mathrm{skel}}+\lambda_{\mathrm{skin}}\mathcal{L}_{\mathrm{skin}}+\lambda_{\mathrm{KL}}\mathcal{L}_{\mathrm{KL}}\]

其中 \(\mathcal{L}_{\mathrm{mesh}}\) 为 FlexiCubes 几何重构损失，\(\mathcal{L}_{\mathrm{skel}}\) 为关节坐标分类与父节点交叉熵损失，\(\mathcal{L}_{\mathrm{skin}}\) 采用真实蒙皮分布与预测分布之间的软交叉熵（Soft Cross-Entropy），\(\lambda_{\mathrm{skel}}=1.0, \lambda_{\mathrm{skin}}=1.0\)。生成模型包含针对表面和骨骼的体素占用与潜在特征各两个 Rectified Flow Transformer（共 4 个流模型），均从预训练 TRELLIS 权重微调而来，采用 AdamW 优化器（学习率 \(1\times 10^{-4}\)，5000 步 warmup），推理采用 25 步采样与无分类器引导（CFG 权重为 5.0）。

实验关键数据¶

主实验¶

评估在主流大型可绑定 3D 数据集 Anymate 测试集（约 5.6K 资产）以及 ModelsResource 测试集（270 个复杂跨类别资产）上进行，输入为 4 视角渲染图。骨骼指标采用骨骼关节对称 Chamfer 距离（J2J）、关节到骨段距离（J2B）和骨段对称 Chamfer 距离（B2B）（数值放大 100 倍以供直观对比）；蒙皮评估计算预测权重与真值间的 \(\ell_1\)、\(\ell_2\) 误差及 KL 散度（通过基于 Wasserstein 距离的最优传输进行关节拓扑对齐）。

数据集	方法	J2J \(\downarrow\)	J2B \(\downarrow\)	B2B \(\downarrow\)	\(\ell_1\) \(\downarrow\)	\(\ell_2\) \(\downarrow\)	KL \(\downarrow\)
Anymate	Anymate	7.834	5.964	5.363	0.0449	0.0180	2.589
	Puppeteer	8.645	6.739	5.710	0.0457	0.0183	2.611
	Ours (Rigel3D)	7.364	5.736	4.902	0.0440	0.0176	2.478
ModelsResource	Anymate	5.834	4.184	4.322	0.0661	0.0285	2.215
	Puppeteer	6.797	5.049	4.808	0.0673	0.0294	2.249
	Ours (Rigel3D)	5.765	4.260	4.200	0.0654	0.0283	2.155

针对同期可驱动资产生成工作 AniGen（基于连续 \(S^3\) 空间场与后处理聚类生成骨架），在 ArticulationXL 与 ModelsResource 上对比表明：Rigel3D 的显式骨架与骨骼 SLats 解码展现出显著的骨骼几何精度优势。在 ArticulationXL 上，Rigel3D 将 J2J 从 10.667 降至 7.168（相对降低 32.8%），J2B 从 9.715 降至 6.036（降低 37.9%），B2B 从 8.601 降至 5.976（降低 30.5%）。

消融实验¶

在输入网格以验证核心骨骼生成与蒙皮模块架构设计的设定下，论文系统评估了各结构化隐特征交互机制的有效性（J2J/J2B/B2B 放大 100 倍）：

配置	Anymate J2J \(\downarrow\)	Anymate J2B \(\downarrow\)	Anymate B2B \(\downarrow\)	ModelsResource J2J \(\downarrow\)	ModelsResource B2B \(\downarrow\)
Ours (Queries)（固定长度全局形状查询向量）	3.826	2.787	2.837	4.105	3.165
Ours (Joint SLat grid)（表面与骨骼单全体素混合）	3.471	2.472	2.672	3.873	3.010
Ours (Skeleton SLats)（仅保留骨骼隐特征交互）	1.431	1.098	1.909	1.322	2.111
Ours (Full model)（双重 SLats 串联粗到细交叉注意力）	1.386	1.068	1.881	1.280	2.052

在蒙皮解码部分，相比混合单个网格（Joint SLat grid，Anymate 上 \(\ell_1=1.251\times 10^{-2}\)、查准率 83.48%），完整双 SLats 模型取得明显更优的拟合精度（\(\ell_1=1.013\times 10^{-2}\)、查准率 88.19%）。对于开放词表关节语义标定，采用 BFS 遍历的自回归因果 Transformer 取得 85.90% 的 Top-1 准确率与 92.06% 的 Top-3 准确率，显著优于非自回归或纯几何 z-y-x 遍历基线（74.24%）。

关键发现¶

骨骼生成对结构化空间特征极其敏感：将变长局部表面特征压缩为全局 Query 向量（如 Michelangelo/MagicArticulate 常用做法）会导致关节定位误差暴增一倍以上（J2J 从 1.386 恶化至 3.826），证明局部体素级 SLats 锚定机制对于复杂形体装配至关重要。
表面与骨骼 SLats 的解耦独立建模优于“一锅端”混合体素：将表面与骨骼特征塞入同一网格会让稀疏性与语义冲突，分别提取并通过交叉注意力自适应调制不仅使骨骼定位精度提升，也显著提高了蒙皮权重的空间边界清晰度。
自回归层级依赖消除对称歧义：在关节语义标定中，树形因果注意力大幅提升了四肢（如左前肢 vs 右前肢）、手指等对称性重复结构的区分精度。

亮点与洞察¶

解剖感知的骨段特征注入：通过真值蒙皮权重将顶点 DINOv2 视觉特征反向加权汇聚到内部骨骼体素上，赋予了不可见内部骨架以直接关联外部肌肉/表皮形变的外观语义。
端到端联合建模打破“外壳先决”局限：避免了下游自动绑定算法在面对生成模型产生的畸变几何时出现的分布外崩塌，使得生成的骨架与表面网格在空间位置和结构连续性上高度自洽。
开放词表重定向适配器：摆脱了以往固定 24 关节或限定人形/四足模板的闭集约束，通过 CLIP 文本多模态对齐，使任意生成奇形资产均能零样本接入工业级动画引擎骨骼映射表。

局限与展望¶

极端姿态下的局部形变伪影：由于当前蒙皮权重训练仅由静止标准绑定位姿监督，缺乏大范围、长时间动态形变序列联合驱动，在关节大幅度极值旋转或挤压时仍可能出现体积损失或糖纸折叠效应（Candy-wrapper artifact）。
微小分支结构的漏检与杂乱分支：对于如薄鳍、多节羽毛、极细指关节等高频稀疏结构，体素光栅化分辨率（\(64^3\)）可能带来离散化截断误差，导致末端关节缺失或生成孤立的冗余骨段。
未来方向：结合物理仿真驱动的多视角动态序列对隐空间进行动作时序微调；将显式骨骼生成扩展至面部表情 BlendShapes 与神经二次形变矫正。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在结构化 3D 隐空间中实现表面几何与内部骨骼的耦合建模与端到端联合生成。
实验充分度: ⭐⭐⭐⭐⭐ 在 Anymate 与 ModelsResource 大规模数据集上进行了详尽的主客观评估与细致消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，系统架构与核心组件的因果设计论述充分。
价值: ⭐⭐⭐⭐⭐ 真正打通了 3D 资产生成与工业级动画管线（Retargeting/Rigging）之间的语义与工程鸿沟。