FFAvatar: Feed-Forward 4D Head Avatar Reconstruction from Arbitrary Images¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://jj-yao.github.io/ffavatar/
领域: 人体理解
关键词: 4D 头像重建, 前馈高斯泼溅, FLAME先验, 从稀疏到密集, 运动感知细化

一句话总结¶

FFAvatar 提出了一种基于 Transformer 与 3D 高斯泼溅的前馈 4D 头部头像增量重建框架，通过交替注意力解耦身份与视角/表情、结合“稀疏顶点到稠密 UV”的分层跨模态对齐以及运动感知细化模块，实现了从单张或多张任意人像快速生成高保真、可驱动且身份一致的动态头像。

研究背景与动机¶

高保真 4D 头部头像建模在虚拟现实、数字人互动、远程呈现以及沉浸式内容生成等领域处于关键基石地位。一个理想的 4D 头部模型不仅需要忠实保持个体的面部身份结构，还要能在多样化的表情驱动、复杂刚性姿态转动以及跨视角渲染下保持几何真实感与时间连续性。然而，传统的头部辐射场或高斯泼溅重建方法大多依赖多视角捕获系统并针对单个对象进行长时间迭代优化，在面对单视角或少量未约束的人像输入时泛化能力极其受限，难以应对实时创建与交互需求。

为了摆脱耗时的单样本优化，前馈式（feed-forward）3D 头像重建逐渐成为主流探索方向。但现有前馈方案面临着多重视角与表示的深层矛盾：首先，大多数单目输入前馈方案在视角受限时极易产生几何空洞与模糊纹理，而少样本前馈方案往往为每个输入视角建立独立的规范子空间，导致高斯点数量与显存消耗随视角线性膨胀，无法支持增量扩充；其次，人像图像中的身份表观与表情形变、视角变化高度耦合，驱动新表情或切换新视角时频繁出现身份漂移与几何畸变；最后，直接预测稠密 3D 高斯或高分辨率 UV 纹理需要消耗巨大的显存开销，限制了分辨率与训练收敛效率。

针对这些瓶颈，本文的核心思路是放弃多规范空间的拼接策略，转而构建基于统一全局规范空间的渐进式表达。核心 idea：利用交替注意力解耦单/多张任意人像中的身份特征与形变干扰，通过 FLAME 模板引导的“稀疏到稠密”跨模态对齐生成紧凑的全局规范 3D 高斯场，并结合运动感知残差网络实现超脱参数化网格的高保真个性化动态驱动。

方法详解¶

整体框架¶

FFAvatar 的前馈重建流水线由两大核心阶段构成：静态表观规范场生成（Static Appearance Canonical Field Generation）与3D 头像动态驱动与细化（3D Head Avatar Animation）。在前馈表观生成阶段，输入单张或多张肖像图像，利用冻结的 DINOv3 骨干提取多尺度视觉特征，注入相机姿态与表情嵌入后送入交替注意力模块（Alternating Attention），在图像内（intra-image）与图像间（inter-image）聚合跨视角身份一致的全局表观表征；随后在统一规范空间内，利用 FLAME 5023 个稀疏模板顶点与栅格化 UV 空间执行两阶段稀疏到稠密（Sparse-to-Dense）跨模态对齐，由前馈解码器输出具有几何与表观属性的规范 3D 高斯基元集合；在驱动阶段，除了标准的线性混合蒙皮（LBS）变形外，运动感知细化模块（MARM）依据当前表情与姿态参数预测高斯基元的残差更新，补偿非线性肌肉动态。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任意参考肖像<br/>单张或多张图像"] --> B["DINOv3 特征抽取<br/>拼接入相机与表情编码"]
    B --> C["交替注意力机制<br/>解耦身份与视角/表情"]
    C --> D["从稀疏到密集跨模态对齐<br/>FLAME 顶点与 UV 空间展开"]
    D --> E["规范 3D 高斯场解码<br/>输出 (M+5023) 个高斯基元"]
    E --> F["FLAME 粗变形流<br/>LBS 线性混合蒙皮驱动"]
    F --> G["运动感知细化模块 MARM<br/>预测非线性形变残差"]
    G --> H["高保真 4D 动态头像渲染<br/>实时高斯泼溅输出"]

关键设计¶

1. 交替注意力聚合：解耦身份特征与表情/视角的全局表观表征

多视角前馈重建的首要难点在于如何从包含复杂表情偏置和不同打光视角的输入中提取纯净的个体身份信息，同时保证模型能随输入图像数目任意扩充（支持 1 到数十张图像）。FFAvatar 将每张图像通过 DINOv3 提取的特征图 \(I_i^{\text{feat}} \in \mathbb{R}^{H \times W \times C}\) 与对应的相机位姿嵌入 \(\mathbf{Z}_{\text{cam}}\) 及表情嵌入 \(\mathbf{Z}_{\text{exp}}\) 拼接，送入包含交错排列的“图像内自注意力”与“图像间跨图像注意力”结构。交替注意力机制在保留局部语义的同时打通跨图像线索，抑制特定视角的阴影、遮挡和瞬时表情形变，最终聚合成维度为 \(\mathbb{R}^{NHW \times C}\) 的全局表观表征 \(\mathbf{Z}^{\text{app}}\)。该设计在单一前馈计算中完成了多视角特征的解耦归纳，且无需为额外视角维持多个冗余规范子空间。

2. 从稀疏到密集对齐：分层跨模态特征注入与统一规范高斯解码

直接为海量稠密 3D 点回归高斯参数会引发极高的内存与显存消耗，且容易在无约束优化中陷入局部极小；而仅使用稀疏网格点又无法呈现发丝、皱纹等高频细节。FFAvatar 引入分层对齐范式：首先以 FLAME 模板的 5023 个基准顶点 \(\mathbf{V}_0 \in \mathbb{R}^{5023 \times 3}\) 为几何锚点，通过交叉注意力从全局表观表征中抽取结构粗特征 \(\mathbf{T}_s\)；接着将 FLAME 网格光栅化至 \(uv\_size \times uv\_size\) 的 UV 平面，利用三角面片重心坐标插值获取 \(M\) 个有效 UV 点的稠密特征 \(\mathbf{T}_{\text{uv}}\)；最后将稀疏点与稠密 UV 点特征级联，与全局表观表征执行第二阶段交叉对齐，得到兼具拓扑稳定性和局部高频细节的融合特征 \(\mathbf{T}_d\)：

\[\mathbf{T}_d = \text{CrossAtt}([\mathbf{T}_s; \mathbf{T}_{\text{uv}}], \mathbf{Z}^{\text{app}})\]

最终的前馈解码器 \(\mathcal{D}_{\text{static}}\) 将 \(\mathbf{T}_d\) 一次性映射为 \(M+5023\) 个高斯基元，每个基元包含相对 FLAME 模板的位置偏移量 \(\mathbf{f}_n\)、不透明度 \(o_n\)、球谐颜色 \(\mathbf{c}_n\)、各向异性缩放 \(\mathbf{s}_n\) 与四元数旋转 \(\mathbf{r}_n\)。

3. 运动感知细化模块 MARM：超越参数化模板的个性化动态补充

参数化 FLAME 模型虽然提供了鲁棒的物理刚体姿态和基础表情形变（通过 LBS 与校正融合形状实现），但受限于线性基底，无法刻画具有强烈个体特色的非线性皮肤褶皱、微妙微表情及眼轮匝肌细微收缩。为了在不破坏前馈实时性的前提下引入个性化动态细节，FFAvatar 提出了轻量级的运动感知细化网络 \(\mathcal{R}_{\text{motion}}\)。该网络接收 FLAME 初始顶点位置编码 \(\text{PE}(\mathbf{V}_0)\)、当前帧表情/姿态参数 \(\boldsymbol{\theta}\) 以及相机外参 \(\boldsymbol{\theta}_{\text{cam}}\)，直接预测高斯属性的高阶增量 \(\Delta \mathbf{g}\)：

\[\Delta \mathbf{g} = \mathcal{R}_{\text{motion}}(\text{PE}(\mathbf{V}_0), \boldsymbol{\theta}, \boldsymbol{\theta}_{\text{cam}})\]

最终动态高斯场通过在粗变形高斯 \(G'\) 上施加属性级残差合成：\(G(\boldsymbol{\theta}) = G' \oplus \Delta \mathbf{g}\)。这种仅回归紧凑残差而非重构完整高斯的策略，在保留身份几何骨架的同时极大地恢复了个性化动态张力，并且允许在对帧率有极致要求的场景中即插即用（关闭细化即可瞬间提升至 468 FPS）。

损失函数 / 训练策略¶

FFAvatar 基于 PyTorch 开发，采用 Adam 优化器，学习率设为 \(4.0 \times 10^{-5}\)，总计训练 300,000 次迭代。训练阶段 DINOv3 特征抽取网络保持完全冻结，其余模块（交替注意力、对齐模块、解码器、MARM）进行端到端全量联合优化。在每个批次中，从单目视频中随机采样 1 至 8 帧图像作为参考输入，迫使网络适应可变数量的视角与表情。人脸区域由姿态跟踪器（基于 GAGAvatar 管线）自动检测、裁剪并缩放至 \(512 \times 512\) 分辨率并进行背景去除。

实验关键数据¶

主实验¶

在单目人像基准数据集 VFHQ（测试集随机选取 8 种表情作为输入，其余未见帧作为测试集）的未知表情合成（Novel Expression）评测中，与当时主流的单目及多目方法进行对比：

方法	输入设定	PSNR ↑	SSIM ↑	LPIPS ↓	CSIM ↑	AED ↓	APD ↓	创建耗时 ↓	渲染 FPS ↑
Real3D-Portrait	One-shot	20.88	0.780	0.154	0.750	0.150	0.268	3.5s	15
Portrait4D-v2	One-shot	21.34	0.794	0.144	0.717	0.117	0.187	2.9s	11
GAGAvatar	One-shot	21.83	0.818	0.128	0.816	0.111	0.135	1.6s	63
LAM	One-shot	22.65	0.829	0.109	0.822	0.102	0.134	1.1s	219
FastAvatar	One-shot	17.85	0.813	0.167	0.679	0.136	0.328	2.6s	339
FFAvatar (本文)	One-shot	21.82	0.843	0.108	0.817	0.109	0.149	1.3s	31
GPAvatar	Few-shot	22.91	0.795	0.154	0.765	0.138	0.189	0.7s	5
FastAvatar	Few-shot	18.12	0.819	0.153	0.781	0.116	0.321	12.2s	97
FFAvatar (fast)	Few-shot	23.20	0.862	0.088	0.852	0.084	0.117	2.1s	468
FFAvatar (本文完整版)	Few-shot	23.35	0.864	0.081	0.861	0.079	0.114	2.1s	31

在多视角数据集 NeRSemble（零样本泛化测试，训练仅用 VFHQ 单目视频）上的跨视角与未知表情定量评测表现如下：

方法	设定	新视角 LPIPS ↓	新视角 SSIM ↑	新视角 PSNR ↑	新表情 LPIPS ↓	新表情 SSIM ↑	新表情 PSNR ↑
Portrait4D-v2	One-shot	0.172	0.797	16.81	0.152	0.814	18.24
GAGAvatar	One-shot	0.129	0.833	22.52	0.095	0.857	25.87
LAM-20K	One-shot	0.175	0.819	16.43	0.122	0.834	20.55
FFAvatar (本文)	One-shot	0.121	0.839	19.18	0.106	0.851	20.23
FlashAvatar	从头优化	0.209	0.785	17.84	0.221	0.764	16.94
GaussianAvatars	从头优化	0.164	0.813	17.99	0.178	0.822	17.56
GPAvatar	Few-shot	0.163	0.822	22.26	0.154	0.829	22.58
FastAvatar	Few-shot	0.158	0.824	20.11	0.135	0.845	22.49
FFAvatar (本文完整版)	Few-shot	0.098	0.858	21.95	0.075	0.881	24.08

消融实验¶

表观生成策略消融（稀疏 vs 稠密 vs 稀疏到稠密）：在 40GB 显存限制下考察训练 1000 步的显存与耗时：

配置	UV 分辨率	PSNR ↑	SSIM ↑	LPIPS ↓	CSIM ↑	AED ↓	1000步耗时 ↓	显存占用 ↓	说明
S-5K	-	19.69	0.837	0.174	0.689	0.131	40 min	22.5 GB	仅用 5023 个 FLAME 原始顶点，纹理平滑细节缺失
D-20K	128	23.41	0.869	0.097	0.858	0.087	120 min	38.2 GB	直接优化稠密点云，显存暴涨且局部易变形发散
S2D-20K (本文默认)	128	23.35	0.864	0.081	0.861	0.079	47 min	25.8 GB	稀疏到密集分层对齐，指标均衡显存可控
S2D-64K	256	23.42	0.871	0.077	0.866	0.078	72 min	37.1 GB	更高分辨率进一步提升细节
D-64K	256	-	-	-	-	-	-	OOM	直接密集优化在 40GB 显存下直接内存溢出

输入参考帧数消融（增量重建性能变化）：

输入参考图像数	PSNR ↑	SSIM ↑	LPIPS ↓	CSIM ↑	AED ↓	创建耗时 ↓	说明
1 张 (One-shot)	21.82	0.843	0.108	0.817	0.109	1.3s	单张图已有可用几何，极限大视角下略有边缘伪影
4 张	22.75	0.858	0.091	0.852	0.094	1.7s	引入跨视角线索，身份稳定度显著跳升
8 张 (默认设定)	23.35	0.864	0.081	0.861	0.079	2.1s	最佳性价比区间，感知与几何各项指标均处高位
16 张	23.36	0.866	0.080	0.872	0.078	4.3s	纹理与面部过渡更加平滑自然
32 张	23.38	0.867	0.077	0.874	0.078	11.6s	指标缓慢收敛，显存与创建速度依然线性可控

关键发现¶

增量扩展无需重新构建模型：从 1 帧到 8 帧输入带来了最显著的性能增益（PSNR 从 21.82 提升到 23.35，LPIPS 从 0.108 压低至 0.081），证实交替注意力在汇聚多图表观特征时的鲁棒性；即使扩展至 32 帧，创建耗时仅为 11.6 秒，高斯基元数量保持常数。
S2D 范式有效解决 OOM 难题：在 256 分辨率下，直接优化密集高斯点直接遭遇 40GB GPU 显存 OOM，而分层 S2D-64K 仅占用 37.1 GB，且训练耗时由 D-20K 的 120 分钟骤降到 47 分钟（S2D-20K），证明了 FLAME 几何先验锚定对特征收敛的决定性作用。
MARM 的即插即用平衡性：去掉运动细化模块后，虽然推理帧率从 31 FPS 狂飙至 468 FPS（Ours fast），但 AED（表情误差）从 0.079 恶化到 0.084，细微微表情与皱纹动态被抹平，验证了残差细化对生动面部表现力的支撑。

亮点与洞察¶

解耦式统一全局规范空间：不同于以往少样本前馈方案为每个输入图像分配独立规范空间导致的高斯点堆叠，FFAvatar 将多图身份表观统一对齐到单一 FLAME 几何基底下，使得高斯数量和渲染开销完全与输入参考图像数解耦。
从稀疏到密集（Sparse-to-Dense）的渐进特征注入：先由 5023 个网格顶点粗捕获稳定拓扑，再由 UV 面片光栅化内插稠密空间，既避免了无约束密集点云优化时的局部畸变和显存爆炸，又克服了纯网格顶点表征细节不足的缺陷。
跨模态扩散生成增强（MMDM）的可扩展应用：当面对只有单张人像甚至纯文本提示词生成的虚拟人角色时，系统能无缝接入 MMDM 扩散模型合成跨姿态跨表情的 2D 引导图像，直接输入 FFAvatar 完成高质量 4D 资产生成，极具工程落地价值。

局限与展望¶

作者承认的局限：极端侧脸视角或大幅度抬头低头时，由于训练集（VFHQ 单目视频）视角分布偏向前脸，背部头部与颈部下颌边缘可能产生几何不精确或模糊；同时对极端光照变化与面部强遮挡（如厚重刘海、眼镜反光）的鲁棒性仍有待提升。
实验与设定上的考量：前馈推理严重依赖外部跟踪器（如 GAGAvatar tracker）提供的相机姿态与 FLAME 参数拟合精度；若前置跟踪算法在剧烈晃动中失效，会直接导致后序高斯驱动与对齐产生累积漂移。
未来改进方向：可考虑将相机位姿与表情参数的估计直接集成进统一的前馈多任务 Transformer 架构中，实现全流程端到端联合反向传播与推理，进一步降低对外部跟踪工具链的依赖。

评分¶

新颖性: ⭐⭐⭐⭐ [交替注意力解耦多图表观结合 S2D 统一全局规范空间设计精巧，有效化解了多视图像前馈时高斯基元膨胀的难题]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 VFHQ 单目视频与 NeRSemble 多视角测试集，涵盖单目与少样本、新视角与新表情合成，并包含完整的视角数与分辨率消融]
写作质量: ⭐⭐⭐⭐⭐ [论文结构严谨，方法逻辑与动机脉络清晰，图表数据丰富详实]
价值: ⭐⭐⭐⭐⭐ [在前馈 4D 头像重建中实现了高保真、可变图增量输入与超低显存开销的优异平衡，对虚拟数字人工业化落地具有高实用价值]