Autoregressive Appearance Prediction for 3D Gaussian Avatars¶

会议: NeurIPS 2026
arXiv: 2604.00928
OpenReview: https://openreview.net/forum?id=CwJk23BhSw
项目主页: https://steimich96.github.io/AAP-3DGA/
代码: https://steimich96.github.io/AAP-3DGA/
领域: 重建与渲染
关键词: 3D高斯泼溅, 人体虚拟化身, 自回归外观预测, 姿态外观解耦, 神经渲染

一句话总结¶

针对高质量人体虚拟化身中因训练数据多义性导致的虚假相关与外观突变问题，提出基于局部姿态掩码与分块PCA的空间MLP高斯架构，并在训练期通过投影UV纹理编码外观隐码、测试期利用因果Transformer自回归预测时序隐码，实现兼具高保真度与时序平滑的3D数字人驱动。

研究背景与动机¶

构建具有照片级真实感的高保真可驱动人体虚拟化身（Human Avatar），是虚拟现实、沉浸式远程临场以及影视游戏制作等前沿交互系统的核心技术基石。为了精准捕捉诸如衣物折痕形变、飘逸发丝微动态以及细微面部表情等高度个性化的动态细节，现有高保真方案通常极度依赖大规模多视角圆顶（Dome）动捕系统所采集的长序列多视角视频。然而，在这类长时序数据中普遍存在不可避免的“姿态-外观多义性”（Pose-Appearance Ambiguity）：由于衣物重新整理、发型随动后微调复位或织物在不同运动历史下形成迥异的折叠纹理，受试者在空间中处于完全相同的骨骼姿态时，其实际几何外观与光影表现却可能大相径庭。

当采用容量强大的3D高斯泼溅（3DGS）以及深度神经网络对复杂外观进行拟合时，高容量解码器极易建立“虚假相关性”（Spurious Correlations）。例如，网络在训练集优化时可能走捷径，将颈部的旋转或手腕的特定手势与下半身裤腿的特定褶皱纹理、阴影强行关联。一旦模型在测试阶段输入训练集未见的新动作序列，这种虚假的全局长程耦合就会引发剧烈的外观突变与时序闪烁，使生成的虚拟化身彻底丧失物理真实感与运动连贯性。

以往方法要么通过全局PCA对姿态进行刚性约束，反而加剧了远端肢体间的参数缠绕；要么试图通过纯确定性姿态映射强制拟合多对一的外观数据，导致模型在多义性状态间剧烈跳变。本文的核心切入点在于：应当从空间与时序两个维度解开姿态与外观的病态耦合——空间上将姿态作用域严格限制在局部骨骼支持域内，时序上则将外观动态显式建模为时序演化的潜空间变量。核心 idea：通过基于蒙皮权重的局部姿态掩码与分块PCA阻断远端虚假相关，在训练期利用多视角投影UV纹理抽取局部外观隐码以消除多义性，并在测试期通过因果Transformer自回归推断时序平滑的外观隐码，实现逼真且稳定的化身驱动。

方法详解¶

整体框架¶

本文构建了一个由骨骼姿态序列和面部特征嵌入共同驱动的3D高斯人体虚拟化身流水线。模型底层依托分层点云表征，在标准模板网格上初始化稀疏锚点（Anchors）、控制点（Control Points）以及稠密3D高斯基元，每个锚点承载一个小型的空间局部MLP。在空间姿态控制上，每个锚点仅接收经由蒙皮权重局部掩码过滤后的姿态参数和局部的PCA投影系数，杜绝长程虚假信息泄露。在外观建模层面，训练期利用多视角投影生成的UV纹理图，经卷积编码器生成局部外观隐码并双线性插值赋予各个锚点；测试期由于无法获取外部多视角纹理，系统转而使用一个轻量因果Transformer外观预测器，根据历史姿态轨迹自回归生成当前帧的平滑外观隐码。最终，锚点MLP整合局部姿态与外观隐码，预测各高斯基元的属性残差及位置位移，由可微3D高斯光栅化器渲染出高保真多视角图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：驱动姿态序列与面部嵌入"] --> B["局部姿态参数化与分块PCA<br/>蒙皮权重局部截断与7区分块降维"]
    C["多视角投影UV纹理（仅训练期）"] --> D["多视角投影UV纹理外观编码<br/>轻量卷积VAE下采样抽取局部外观隐码"]
    B --> E["因果Transformer自回归时序预测<br/>基于运动历史与速度加速度递推隐码"]
    D -.->|训练期提供GT隐码| E
    B --> F["空间局部MLP与分层高斯解码<br/>锚点插值驱动控制点位移与高斯残差"]
    E -->|测试期预测隐码| F
    D -->|训练期直接输入隐码| F
    F --> G["输出：高保真时序平滑3D高斯化身"]

关键设计¶

1. 局部姿态参数化与分块PCA：阻断长程虚假相关 全局姿态向量通常包含人体全身所有关节自由度，若无差别地输入给分布在身体各处的锚点MLP，模型会倾向于利用手腕或头部动作去“记忆”躯干或腿部的特定衣褶，导致新动作驱动时出现非局部的异常形变与阴影跳变。针对这一痛点，本文提出严格的局部姿态掩码机制。对于模板网格上的第 $i$ 个锚点，算法追踪其线性混合蒙皮（LBS）权重，构建二值掩码向量 $\mathbf{m}_i^\theta$：当且仅当该锚点位置存在非零蒙皮权重关联到关节参数 $\boldsymbol{\theta}[j]$ 时，掩码对应位才置为1。同时，面部嵌入 $\boldsymbol{\phi}$ 仅在锚点位于面部UV区域时保留。考虑到宽松衣物的形变会适度波及临近骨骼，算法对 $\mathbf{m}_i^\theta$ 沿临近锚点进行一次膨胀扩散，并将手指关节掩码复用手腕掩码以防局部锚点覆盖缺失。锚点最终接收的局部姿态为： $$\hat{\boldsymbol{\theta}}_i = \mathbf{m}_i^\theta \odot \boldsymbol{\theta}, \quad \hat{\boldsymbol{\phi}}_i = m_i^\phi \boldsymbol{\phi}$$ 此外，为防止超出训练分布的极端动作破坏渲染，传统方法通常采用全姿态全局PCA并截断在 $\pm 2\sigma$。然而全局PCA会在训练期重新引入远端关节间的强关联。为此，本文将全身姿态参数划分为7个独立的人体解剖区域（躯干与头部12维、左/右腿各9维、左/右臂各12维、左/右手指各27维），在每个区域内部独立执行55维主成分分析与 $\pm 2\sigma$ 截断。尤为关键的是，该分块PCA在训练阶段和测试驱动阶段全程对称应用，从根本上消除了训练-测试分布偏移。

2. 多视角投影UV纹理外观编码：解耦姿态与外观多义性 即使限制了局部姿态，相同的局部关节角度仍经常对应截然不同的织物微形态或发丝停歇状态（即一对多映射）。若仅依靠姿态输入，网络只会在模糊均值与高频闪烁间妥协。针对这一矛盾，本文引入每帧可学习的局部外观隐变量。为了避免直接优化全序列逐帧码本所面临的收敛极慢与泛化坍塌问题，本文构建了一个基于UV纹理的卷积外观编码器。在数据预处理阶段，无需进行耗时且易失败的逐帧复杂网格形变配准，而是将粗糙对齐的姿态网格光栅化到各相机视角，利用腐蚀后的前景掩码将多视角像素反投影至UV贴图上，并采用中位数滤波（滤除偏离中位数0.8至1.1倍区间外的离群像素后取均值）融合生成 $1024 \times 1024$ 的单帧UV纹理。在输入编码器前，预先将面部区域遮蔽，使面部动态专注于被面部嵌入解释。该编码器采用轻量级卷积与组归一化（Group Normalization）结构，将高分辨率UV图像逐步下采样并压缩至 $32 \times 32 \times 16$ 维度的低分辨率特征图。网络末端输出均值 $\boldsymbol{\mu}$ 与方差对数 $\log(\boldsymbol{\sigma}^2)$，经重参数化技巧采样获得空间外观潜变量，并通过KL散度正则化约束其平滑性。每个锚点根据自身在模板网格上的UV坐标，双线性插值采样该特征图获得16维局部外观隐码 $\mathbf{l}_i$。这一设计不仅赋予了模型紧凑、连续且具备局部空间感知的动态外观表示能力，更使得复杂织物与发丝外观能脱离骨骼姿态被独立表达。

3. 因果Transformer自回归时序预测：驱动期无纹理平滑演化 在测试驱动阶段，系统无法获取未知未来的多视角拍摄图像与投影UV纹理，必须仅根据驱动动作序列推断外观隐码。简单将各帧姿态与隐码拼接并通过全连接网络预测会导致严重的维度灾难与过拟合。本文设计了一个因果自回归Transformer预测器，以过去 $N_b=10$ 帧的历史姿态轨迹以及上一帧的外观隐码为上下文，预测当前帧各锚点的外观隐码。为增强动态感知并消除全局空间移动干扰，输入姿态序列被归一化为相对于最后一帧的局部变换，且每个姿态参数均扩展包含数值、有限差分速度与加速度三项分量。模型将每个局部姿态参数以及每个锚点的局部隐码分别视为独立的输入Token，分别经过轻量MLP投影至128维嵌入空间，并辅以绝对正弦位置编码送入包含4个注意力头的Transformer块。为了彻底解决自回归模型推理初期的冷启动失配以及长时间递推过程中的累积漂移误差，本文提出了两项关键训练策略：其一是双上下文初始化训练（Dual-Context Initialization），在训练中对每个样本分别输入真实历史隐码和全零隐码执行两次前向传播，并对两者的损失联合优化，使模型在测试零初始化启动时能够快速收敛至正常外观流；其二是时间窗口展开训练（Unrolled Training），在训练时显式将 $t-1$ 时刻的网络自回归预测结果反馈回输入端，在整个时间窗口内累计自回归残差反向传播，显著提升了模型长期自回归滚动的鲁棒性。输出隐码同样施加PCA截断，并受隐码一阶差分速度、二阶加速度及三阶加加速度（Jerk）的L1平滑惩罚，保障外观在驱动下的平滑演变。

损失函数 / 训练策略¶

整个虚拟化身模型的训练分为两阶段。第一阶段联合优化分层3D高斯渲染网络与卷积外观编码器，第二阶段固定高斯骨干网络与编码器，单独训练因果Transformer外观预测器。在第一阶段中，总损失函数由光度重构损失、感知质量损失、几何正则化项以及潜变量先验损失加权组成： $$\mathcal{L} = \mathcal{L}_1 + \lambda_{\text{lpips}}\mathcal{L}_{\text{lpips}} + \lambda_{\text{opac}}\mathcal{L}_{\text{opac}} + \lambda_{\text{scale}}\mathcal{L}_{\text{scale}} + \lambda_{\text{cpt}}\mathcal{L}_{\text{cpt}} + \lambda_{\text{KL}}\mathcal{L}_{\text{KL}}$$ 其中 $\mathcal{L}_1$ 为多视角像素级绝对误差，$\mathcal{L}_{\text{lpips}}$ 为LPIPS感知损失（权重 $\lambda_{\text{lpips}}=0.1$）；$\mathcal{L}_{\text{opac}}$ 惩罚内部非边界区域的透明度（$\lambda_{\text{opac}}=0.5$），$\mathcal{L}_{\text{scale}}$ 抑制过大高斯基元（$\lambda_{\text{scale}}=1.0$）；$\mathcal{L}_{\text{cpt}}$ 为控制点平滑正则项（$\lambda_{\text{cpt}}=0.5$），约束相邻控制点位移一致性；$\mathcal{L}_{\text{KL}}$ 为外观隐码的高斯先验散度惩罚（$\lambda_{\text{KL}}=10^{-6}$）。模型在8张NVIDIA H200 GPU上以总Batch Size为64迭代训练100k步（耗时约8-10小时）。在第二阶段中，外观预测器损失由真实验证与全零初始化两种工况下的隐码 $\ell_1$ 误差，叠加隐码的一阶速度、二阶加速度和三阶加加速度正则项共同构成，各分量权重均设为1.0。

实验关键数据¶

主实验¶

实验在6个包含复杂服装形变、长发摆动与未扎衬衫的高难度圆顶捕捉数据集（Actor 1至Actor 6）上展开评测，每名角色涵盖约30k帧训练数据及约250个同步机位。对比基线包括引入局部面部与手部条件的MMLPs†以及非重光照版全身高斯化身nRFGCA†。测试集包含未见动作序列及留出视点。

方法	测试集 PSNR↑	测试集 SSIM↑	测试集 LPIPS↓	训练集 PSNR↑	训练集 SSIM↑	训练集 LPIPS↓	参数量
MMLPs†	32.34	0.937	0.066	36.13	0.950	0.054	187.2M
nRFGCA†	32.74	0.939	0.065	35.94	0.950	0.055	155.9M
Ours (完整自回归驱动)	32.99	0.939	0.063	36.21	0.950	0.053	192.1M
Ours (每30帧重置初始化)	33.85	0.942	0.060	–	–	–	192.1M
Ours (编码器上限-带真实纹理)	34.78	0.946	0.056	–	–	–	189.8M

分角色测试集细粒度PSNR数据（Actor 1至Actor 6）如下：Ours分别达到31.52、31.90、28.82、35.03、34.38和36.31 dB，平均32.99 dB，在所有角色上均显著优于MMLPs†（平均32.34 dB）和nRFGCA†（平均32.74 dB）。

消融实验¶

为了严格验证局部姿态掩码与分块PCA对防止虚假相关过拟合的实际作用，作者在相同数据基准下进行了模块消融对比：

| 配置 | 测试集 PSNR↑ | 测试集 SSIM↑ | 测试集 LPIPS↓ | 训练集 PSNR↑ | 训练集 SSIM↑ | 训练集 LPIPS↓ | 说明 | |---|---|---|---|---|---|---| | Ours (完整方案) | 32.99 | 0.939 | 0.063 | 36.21 | 0.950 | 0.053 | 兼顾局部化与外观自回归 | | w/o local pca (使用全局PCA) | 32.86 | 0.938 | 0.064 | 36.23 | 0.950 | 0.053 | 测试集PSNR下降0.13 dB | | w/o local pose (去掉局部姿态掩码) | 32.87 | 0.938 | 0.064 | 36.29 | 0.951 | 0.052 | 训练集微涨但测试集泛化下降 |

关键发现¶

局部姿态掩码是抑制虚假记忆的核心杠杆：当去掉局部姿态掩码（w/o local pose）时，训练集PSNR反而从36.21微升至36.29 dB，LPIPS降至0.052，但测试集PSNR显著跌落0.12 dB。这强力证明全局姿态输入赋予了解码器利用非相关远端关节走捷径记忆训练集细节的能力，损害了真实测试动作下的泛化稳定性。
自回归时序隐码有效化解了外观闪烁：在相邻时间步（$\delta < 200\text{ ms}$）的定性误差图分析中，基线MMLPs†和nRFGCA†由于纯静态姿态映射的一对多歧义，在衣褶与阴影部位呈现大面积切片误差（斑状跳变）；而本文方法依托因果Transformer与时序高阶导数惩罚，使得外观隐码连续演进，误差极低且高度贴合物理规律。
编码器与预测器各有明确角色定位：测试期若提供未见视角的投影纹理输入，编码器上限（34.78 dB）证明该隐空间具备极强的纹理重构泛化能力；而在实际驱动场景下，自回归预测器在无需任何实时图像输入的严苛条件下，不仅达到了32.99 dB的优异渲染质量，更保证了长时间驱动过程中的外观不发散与平滑过渡。

亮点与洞察¶

解耦式两阶段外观生成管线：将复杂的动态外观拟合拆分为“投影UV编码学习紧凑外观空间”与“因果Transformer时序自回归推断”两个独立子问题，既规避了无监督潜码优化的长期漂移，又摆脱了测试期对昂贵实时传感输入的依赖。
训练-测试对称的双层局部约束：通过解剖学蒙皮权重构建局部掩码，配合7区域独立分块PCA截断，双管齐下封堵了高容量MLP在长时序数据中建立远端偶发关联的捷径。
零冷启动与自回归展开训练技巧：通过全零/真实双上下文初始化联合优化，以及时序展开训练回传梯度，优雅解决了自回归生成模型在化身驱动起始阶段的初始化休克与长期外推的累积误差难题。

局限与展望¶

姿态与外观尚未实现绝对物理正交：尽管引入了外观隐变量，当前框架仍可能将部分本应由骨骼姿态确定性解释的物理形变吸收到外观隐码中；作者尝试强行施加严格互信息最小化约束反而严重损伤了重建细节与高频保真度。
长程光影投射（如手臂在躯干的投射阴影）无法通过局部掩码表达：严格的局部姿态截断使局部MLP无法获知远端肢体的遮挡关系，导致大跨度投射阴影被错误编码进外观隐码，在超分布极端动作下鲁棒性有所受限；未来需引入显式的低频全局光照或阴影解耦机制。
驱动初始帧缺乏生成式姿态先验：虽然模型能从全零隐码逐渐平滑爬升至正常外观，但前几帧仍存在短暂的过渡期；若能引入根据初始姿态直接推断合理初始外观的生成式扩散或回归先验，将使冷启动体验更加完美。

评分¶

新颖性: ⭐⭐⭐⭐☆ (巧妙融合局部姿态截断与自回归时序隐码建模，有效攻克化身外观多义性与长程虚假相关难题)
实验充分度: ⭐⭐⭐⭐⭐ (在6套大规模高质量圆顶动捕长序列上展开详尽的定量、定性与消融评测，对比指标完备)
写作质量: ⭐⭐⭐⭐⭐ (问题定义清晰切中痛点，架构流程图与定性误差分析直观透彻，技术细节叙述完整)
价值: ⭐⭐⭐⭐☆ (为VR社交、远程临场等工业级实时高保真化身驱动提供了极具落地可行性的稳定生成范式)