One-Shot Feed-Forward 360° Animatable Avatar via Inpainted UV-Space Gaussian Modeling¶

会议: ECCV 2026
论文: CVF Open Access
项目: https://shaelynz.github.io/fhavatar/
领域: 人体理解
关键词: 3D高斯泼溅, 可驱动头部头像, 单张图像重建, UV空间建模, 前向推理

一句话总结¶

提出前向单张图像 360° 可驱动全头 3D 高斯头像重建框架 FHAvatar，通过预训练 3D GAN 提取全局全头先验，并在参数化人脸模型的对称 UV 空间中补全局部高分辨率外观特征，实现 246 FPS 的高保真自由视角动态头像驱动。

研究背景与动机¶

从单张图像重建可驱动的 3D 头部头像在虚拟现实、增强现实和沉浸式远程会议中具有极其重要的应用价值。虽然基于多视角或单目长视频优化的方法能够获得较高质感的渲染效果，但它们针对单一身份就需要成百上千帧视频进行繁琐且耗时的逐样本微调，无法满足即时生成的需求。为了提升效率，基于 NeRF 或 3D 高斯泼溅（3DGS）的前向单张图像重建方法逐步成为主流，能够实现单帧输入的秒级或毫秒级推断。

然而，现有的单张图像前向头像重建方案普遍面临严重的大视角退化问题。由于这些模型大多在 VFHQ 或 CelebV-HQ 等大规模单目面部视频数据集上训练，训练数据绝大多数仅包含接近正脸的微小偏转运动，缺乏头部侧面和后脑勺的真实观测。当渲染视角偏离输入视角过大时，现有方法因无法解决侧面和背面严重的信息模糊性而导致几何坍塌、纹理撕裂或面部失真，严重破坏了 3D 头像的沉浸感与真实感。

解决这一难题的难点在于：一方面输入单图仅包含局部可见区域的高清细节，缺乏全头几何；另一方面，直接利用 3D GAN 反演虽能提供完整的 360° 全头先验，但受限于隐空间维度与三平面分辨率，难以保真保留输入视角的丰富纹理。本文的切入角度是将参数化面部模型 FLAME 表面参数化为对称的 UV 空间，利用预训练 3D GAN 提取粗粒度全局全头特征作为骨架，并结合人脸与 UV 展开的内在对称性，在 UV 空间中将输入图像的精细局部特征补全并融合到全头高斯属性图上。核心 idea：在参数化人脸模型的 UV 空间中，利用预训练 3D GAN 的全头几何与纹理先验补全单张输入的不完整局部特征，并借助人脸与 UV 空间的对称性进行双侧特征查询与细节增强，前向预测绑骨 3D 高斯属性实现 360° 全视角可驱动头像重建。

方法详解¶

整体框架¶

FHAvatar 的整体前向流水线接收一张源图像 $I_s$ 与驱动面部动作参数（由驱动图像 $I_d$ 估计的 FLAME 表情与姿态），直接回归绑在 FLAME 几何表面的 3D 高斯图元属性。整体流程分为三大阶段：首先通过 UV 空间特征提取模块，从输入图像中获取粗粒度的全头三平面特征，同时结合多尺度 2D 卷积特征投影生成不完整但精细的局部 UV 特征图，并利用轻量 UNet 预测形状偏移量以修正头发等网格缺失区域；随后进入对称 UV 空间补全模块，在多个尺度上利用 Transformer 交叉注意力和水平翻转机制，借助对称先验把单侧可见细节迁移至全局全头特征；最后通过 UV 解码器生成完整的 UV 高斯属性图，并在 UV 网格上采样得到最终的 3D 高斯基元进行光栅化渲染与实时动画驱动。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入源图像 Is 与 FLAME 初始网格"] --> B["UV 形状修正与双路特征提取<br/>GAN 全头三平面反演 + 局部多尺度投影"]
    B --> C["对称 UV 空间补全<br/>Transformer 局部窗口查询 + 对称翻转细节增强"]
    C --> D["UV 高斯属性图解码<br/>输出位置/旋转/缩放/不透明度/颜色"]
    D --> E["3D 高斯图元绑定与 360° 动画渲染<br/>依据驱动动作变形并结合 3D TV 约束"]

关键设计¶

1. UV 形状修正与双路特征提取：解耦全局全头骨架与局部高保真细节

单纯依靠单目输入图像无法推断后脑和侧头的几何与纹理。FHAvatar 引入预训练 3D 头部全头生成模型 PanoHead 及其前向反演网络，将输入图像 $I_s$ 快速反演为全头三平面表示 $\mathbf{T}$。针对标准 FLAME 模型缺乏头发几何、导致基于初始网格顶点采样三平面特征出现错位的问题，设计了轻量 2D UNet 模块 $\mathcal{F}_{refine}$。该模块接收从初始 3D 位置图 $\mathbf{p}$ 采样的三平面特征 $\mathbf{F}_{\mathbf{p}}^{\mathbf{T}}$ 与 $\mathbf{p}$ 本身的拼接，预测 UV 空间 3D 位置形变量 $\Delta\mathbf{p}_{uv}$： $$\Delta\mathbf{p}_{uv} = \mathcal{F}_{refine}([\mathbf{F}_{\mathbf{p}}^{\mathbf{T}}, \mathbf{p}])$$ 通过更新后的 3D 坐标 $\mathbf{p}_r = \mathbf{p} + \Delta\mathbf{p}_{uv}$，既重构出了贴合发型的精确采样位置，又得以从三平面中稳定重采样出粗粒度但 360° 闭合的全局全头 UV 特征图 $\mathbf{F}_g$。与此同时，使用 2D CNN 编码器抽取多尺度图像特征 $\{\mathbf{F}_s^i\}_{i=1}^N$，并通过 $\mathbf{p}_r$ 反向投影回图像坐标系，配合视线遮挡测试生成的 UV 可见性掩膜 $\mathbf{M}_v$ 过滤掉背面自遮挡区域，获得一组分辨率极高但仅正前方有效的局部特征图 $\{\mathbf{F}_l^i\}_{i=1}^N$。

2. 对称 UV 空间补全：人脸先验引导的跨视角纹理修复与细节注入

全局特征 $\mathbf{F}_g$ 虽完整但模糊，局部特征 $\mathbf{F}_l^i$ 细节清晰但残缺。直接拼接会导致明显的投影错位与接缝伪影。FHAvatar 利用人脸解剖结构与 UV 贴图展开关于中轴对称的几何性质，构建了粗细双阶段的对称补全结构。在粗补全阶段，针对特定尺度 $i$，将全局特征 $\mathbf{F}_g^i$ 划分为 Patch 作为 Query，以局部特征 $\mathbf{F}_l^i$ 为 Key 和 Value 进行局部窗口注意力。更关键的是，针对侧脸输入导致对应侧局部窗口全被遮挡的情况，Key/Value 集合中同时加入了 UV 空间关于水平对称轴镜像位置的局部窗口 Patch，使背光或未观测面能够直接跨侧借用对称区域的高频面部特征。在细粒度增强阶段，为克服 Patch 化造成的局部信息损失，网络基于 Transformer 输出特征与原始局部特征预测遮挡概率图 $\mathbf{M}_o$： $$\mathbf{F}_{l,m}^i = \mathbf{M}_o \odot \mathbf{F}_l^i$$ $$\mathbf{F}_m^i = \mathbf{F}_{l,m}^i + \mathcal{F}_{\leftrightarrow}(\mathbf{F}_{l,m}^i) \odot (1 - \mathbf{M}_v \odot \mathbf{M}_o)$$ 其中 $\mathcal{F}_{\leftrightarrow}$ 为水平翻转操作。最后通过卷积融合层将补全的对称局部纹理注入进 Transformer 主干，既修补了侧脸残缺，又完全消除了 Patch 块效应。

3. 3D 全变分正则化：消除网格绑定高斯的空洞与跨区域飞点

将 3D 高斯基元参数化在 UV 空间虽然极大加速了 2D 卷积生成与动画形变（通过变形 FLAME 网格带动绑定的高斯移动），但在离散网格与复杂曲率区域，高斯点易产生缝隙形成“破洞”，使后脑勺或对侧的高斯透过前脸镂空显露出来。针对此前工作中直接对 UV 坐标渲染图计算全变分损失（$\mathcal{L}_{uv}$）在人眼、嘴唇等 UV 断裂缝边缘强制拉平而导致眼睛与嘴巴闭合异常的缺陷，本文设计了 3D 全变分损失 $\mathcal{L}_{3d}$。通过将高斯属性中的颜色直接替换为其 3D 绝对空间坐标 $\mathbf{G}_{position}$ 进行前向微分光栅化，得到空间坐标渲染图像 $\mathbf{I}_{3d}$，并与透明度通道 $\mathbf{I}_\alpha$ 联合约束： $$\mathcal{L}_{3d} = \mathrm{TV}(\mathbf{I}_{3d} - (1 - \mathbf{I}_\alpha))$$ 该损失强制 2D 渲染视口中相邻的像素点必须由三维空间中彼此邻近的高斯基元渲染产生，在保持眼球与嘴部解剖独立性的前提下，彻底消除了由离散点云覆盖不均造成的面部穿透与空洞。

损失函数 / 训练策略¶

模型整体端到端训练（冻结离线 3DMM 估计器与 3D GAN 反演权重）。为克服单目视频伪多视角监督的不一致性，训练时在“动画模式”与“3D 重建模式”间随机切换：动画模式下以源帧 $I_s$ 重建驱动帧 $I_d$；3D 重建模式下以同一帧作为源图与驱动图，并利用 3D GAN 反演生成的伪多视角作为辅助视角监督。总体优化目标包含： $$\mathcal{L} = \mathcal{L}_{re} + \mathcal{L}_\alpha + \lambda_{id}\mathcal{L}_{id} + \lambda_1 (\mathcal{L}_{lpips}^1 + \mathcal{L}_\alpha^1) + \mathcal{L}_{reg}$$ 其中图像重构损失 $\mathcal{L}_{re} = \mathcal{L}_1 + \mathcal{L}_{lpips}$，$\mathcal{L}_{id}$ 为人脸识别余弦相似度损失，$\mathcal{L}_{reg}$ 汇总了 3D 全变分损失 $\mathcal{L}_{3d}$、眼球正则项 $\mathcal{L}_{eye}$、高斯中心偏移惩罚 $\mathcal{L}_{pos} = \|\mathbf{A}_{position}\|_2$ 以及形状形变量阈值约束 $\mathcal{L}_{shape} = \max(\|\Delta\mathbf{p}_{uv}\|_2 - \epsilon, 0)$ 和形变平滑项 $\mathcal{L}_{shape}^{tv}$。

实验关键数据¶

主实验¶

在公开基准数据集 VFHQ（测试集）与 HDTF（20 个测试视频）上，与当前最先进的 2D 对话人脸生成方法 StyleHEAT，以及 3D 前向头像生成方法 Real3DPortrait、Portrait4D、Portrait4D-v2、GAGAvatar、LAM 进行对比。实验涵盖自身驱动（Self-reenactment）与跨身份驱动（Cross-identity Reenactment）。

数据集	方法	PSNR ↑	SSIM ↑	LPIPS ↓	CSIM ↑	AKD ↓	AED ↓	APD ↓	推理 FPS ↑
VFHQ (Self)	StyleHEAT	18.96	0.7505	0.3821	0.1695	20.78	0.7236	4.1380	2.19
VFHQ (Self)	Real3DPortrait	21.00	0.7572	0.2915	0.7696	3.934	0.3918	1.1890	11.02
VFHQ (Self)	Portrait4D-v2	20.66	0.7421	0.2719	0.8075	5.367	0.3539	1.6181	18.39
VFHQ (Self)	GAGAvatar	21.60	0.7745	0.2249	0.8459	2.954	0.3125	0.8898	58.11
VFHQ (Self)	LAM	21.67	0.7756	0.2716	0.6846	3.676	0.4535	1.4286	231.74
VFHQ (Self)	Ours	23.24	0.7995	0.2384	0.8012	2.798	0.3634	0.8660	246.00
HDTF (Self)	StyleHEAT	21.91	0.8102	0.2979	0.5096	6.564	0.4860	1.1539	2.19
HDTF (Self)	Real3DPortrait	23.39	0.8110	0.2362	0.8570	3.104	0.3413	0.7633	11.02
HDTF (Self)	GAGAvatar	23.72	0.8177	0.2089	0.8894	2.679	0.3034	0.5977	58.11
HDTF (Self)	LAM	23.55	0.8167	0.2362	0.7542	3.386	0.4180	0.8911	231.74
HDTF (Self)	Ours	26.61	0.8642	0.1900	0.8622	2.287	0.3318	0.5286	246.00

在跨身份驱动中，VFHQ 上的 CSIM 达到 0.6757，超过 GAGAvatar (0.6681) 与 LAM (0.5562)；HDTF 跨身份驱动中，CSIM 达到 0.8568，大幅领先 LAM (0.7656)。

消融实验¶

在 HDTF 与多视角数据集 MEAD（测试大角度侧脸与大姿态变化）上进行关键组件消融分析：

配置	HDTF PSNR ↑	HDTF SSIM ↑	HDTF CSIM ↑	HDTF AKD ↓	MEAD PSNR ↑	MEAD CSIM ↑	MEAD AKD ↓	MEAD APD ↓	说明
Ours (完整模型)	26.61	0.8642	0.8622	2.287	17.20	0.6765	4.844	1.9484	完整模型表现最优
w/o $\Delta\mathbf{p}_{uv}$	26.15	0.8596	0.8618	2.338	17.09	0.6678	5.887	2.6566	移除发型几何偏置，边缘模糊
w/o $\{\mathbf{F}_l^i\}_{i=1}^N$	23.82	0.8186	0.5230	2.732	17.09	0.3932	4.849	1.9517	仅依靠 GAN 三平面，身份指标严重塌陷
w/o $\mathcal{T}$ (Transformer)	25.79	0.8579	0.8461	2.335	17.05	0.6500	4.792	2.1080	移除注意力和局部错位容忍，牙齿眼角错配
w/o Sym. (对称操作)	26.60	0.8651	0.8646	2.307	17.18	0.6631	5.103	2.2145	去掉对称机制，大偏航角下明显掉点
替换为 $\mathcal{L}_{uv}$	26.40	0.8622	0.8567	2.324	17.08	0.6663	5.058	1.9627	传统 UV TV 会造成五官边缘粘连撕裂

关键发现¶

局部特征是身份一致性的绝对基石：消去多尺度局部特征 $\{\mathbf{F}_l^i\}$ 后，HDTF 上的 CSIM 从 0.8622 骤降至 0.5230，MEAD 上更跌落至 0.3932，表明单纯依靠 GAN 反演三平面的全局先验根本无法锁定个人精细五官轮廓，证明了局部特征向全局补全的关键价值。
对称补全在大姿态场景下的核心作用：在主要为正脸的 HDTF 数据集上，去掉对称操作性能变化细微；但在多视角 MEAD 数据集上，去除对称性操作导致 AKD 从 4.844 恶化至 5.103，APD 从 1.9484 恶化至 2.2145。这证明了当源图只有单侧脸暴露时，对称机制对于恢复不可见侧几何对齐与面部运动极其重要。
3D TV 损失在保全腔体独立性上的优势：与常规使用的 2D UV 全变分（$\mathcal{L}_{uv}$）对比，使用 $\mathcal{L}_{3d}$ 不仅在重建指标（PSNR 26.61 vs 26.40）上更优，而且定性结果彻底解决了眼睑、嘴唇在 UV 展开接缝处的相互污染，消除了头像转动时的破洞。

亮点与洞察¶

将 3D GAN 先验与 UV 参数化图元优雅整合：不同于前序工作直接在三平面或 NeRF 隐空间中反演，本文将 PanoHead 的粗糙全头几何作为全局引导流，而在 FLAME UV 空间完成高斯属性渲染，兼顾了 360° 全头闭合性与 246 FPS 的极速渲染。
利用 UV 参数化的自然对称性克服大视角退化：通过水平对称轴查询与翻转增强，巧妙地利用单目图像的正脸/侧脸对称性补足了不可见区域，为单张图重建 360° 头像提供了极具启发性的思路。
跨空间 3D TV 空间连续性约束：在渲染视口直接针对 3D 坐标通道计算 Total Variation，巧妙规避了传统参数化 UV 空间在五官接缝处度量不连续的根本痛点。

局限与展望¶

受限于离线 FLAME 跟踪精度：跨身份驱动时的表情与姿态准确度（AED 与 APD）受限于前端 3DMM 头部追踪器的准确率；若驱动视频追踪抖动，会直接传递到高斯头像上。
极端几何与动态饰物建模受限：由于高斯基元严格绑定于 FLAME 网格形变空间，对于超出网格形变范围的蓬松卷发、大体量发型、眼镜等配饰，形状偏移 $\Delta\mathbf{p}_{uv}$ 的拟合能力有限，容易产生轻微形变拉伸。
改进方向：可进一步引入多层解耦高斯表达，将头发与饰物作为独立图元分支建模，或引入隐式发丝生成扩散先验增强非面部区域的表现力。

评分¶

新颖性: ⭐⭐⭐⭐ [首次在前向单图高斯头像中系统解决 360° 视角退化，提出对称 UV 补全与 3D TV 损失]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖自驱动与跨身份驱动，在 VFHQ、HDTF 与多视角 MEAD 上均有全面定性与定量消融]
写作质量: ⭐⭐⭐⭐⭐ [架构清晰，图文呼应紧凑，公式推导严谨且实验结论扎实]
价值: ⭐⭐⭐⭐⭐ [攻克了单张人脸生成 3D 头部全视角头像的实用瓶颈，具有高达 246 FPS 的工业部署价值]