Generative Relightable Avatars¶

会议: ECCV 2026
论文: ECCV 2026 Official
领域: 人体理解
关键词: 全身人体化身, 神经可重光照, 视频生成模型, 微表面BRDF, 流匹配

一句话总结¶

提出混合式生成可重光照化身系统 GRA，将显式物理微表面渲染、UV 空间 RelightNet 姿态纹理细化与基于流匹配的时空视频扩散精炼有机解耦，在保障 3D 视角可控性的同时实现高保真物理光照与高频衣褶动态生成。

研究背景与动机¶

构建能够在新视角和任意复杂环境光照下真实渲染的动态全身人体化身，是虚拟现实、影视制作与远程全息呈现的核心基础。然而对于穿着动态衣物的人体而言，运动过程中的几何细微褶皱、次级遮挡阴影与视角相关的微观高光，在感知真实度中起着决定性作用。传统可重光照化身方法大多沿用确定性逆渲染框架，通过可微渲染优化神经辐射场（NeRF）或 3D 高斯泼溅（3DGS）中的反射率、法线与可见性因子。由于稀疏骨骼运动与高频微观外观（如衣物褶皱、面料起伏）之间在物理上本质属于“一对多”的多义映射，确定性回归模型受限于有限的单跳 BRDF 假设与追踪几何误差，往往收敛至平均纹理，产生严重的过度平滑现象。

另一条技术路径则转向 2D 图像或视频域的生成式重光照扩散模型。这类方法凭借大规模预训练生成先验，能够合成出极具质感的光影变化与皮肤衣物细节，但其纯粹在像素平面操作，缺乏底层显式 3D 几何与姿态解耦，难以支持多视角自由漫游下的时空一致性与确定性视角控制。若直接尝试使用端到端扩散模型同时去拟合骨骼运动、相机几何、显式材质与动态光照分布，极易发生多模态条件冲突与严重内容漂移。

本文的切入视角在于化整为零：不再强求单个网络一步到位，而是将物理可控的宏观光照与具有随机多义性的高频生成解耦为粗到细的混合流水线——由显式几何与物理反射提供确定性几何对齐与粗光照引导，再通过视频扩散模型生成高频随机细节。核心 idea：将全身可重光照重构为显式物理粗渲染与视频流匹配概率精炼的两阶段架构，通过 UV 空间微表面优化与 RelightNet 奠定严密物理基底，再经由非时序环境图交叉注意力与误差循环机制引导视频扩散模型生成高保真、长序列时空一致的人体化身。

方法详解¶

整体框架¶

GRA 的输入包含连续骨骼运动序列 $\boldsymbol{\theta}$、目标虚拟相机视角 $\boldsymbol{\kappa}$ 以及高动态范围环境贴图 $\boldsymbol{E}$，输出为时间连贯且满足物理着色的高分辨率视频序列。系统由三个串联阶段构成：首先，利用被追踪的个性化参数化人体网格，在 UV 空间优化微表面材质参数并计算单跳粗光照纹理；随后，轻量级卷积网络 RelightNet 融合多帧法线时序与视线方向，预测包含更丰富阴影和姿态动态的中间纹理；最后，将光栅化后的粗渲染图与环境图特征输入微调的视频扩散模型（WAN2.1-VACE），利用生成先验概率化填补高频微观褶皱与复杂阴影。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：骨骼姿态 θ + 相机视角 κ + 环境贴图 E"] --> B["物理微表面材质优化<br/>UV空间反演反照率 a 与粗糙度 r"]
    B --> C["RelightNet 姿态相关纹理重光照<br/>融合历史法线序列与视线方向"]
    C --> D["虚拟相机光栅化<br/>生成粗渲染图像 I_κ"]
    D --> E["生成式视频精炼与非时序光照注入<br/>WAN2.1-VACE 解耦控制与环境图交叉注意力"]
    E --> F["长序列误差循环稳定化<br/>重注入重构残差抑制累积漂移"]
    F --> G["最终高保真可重光照化身视频"]

关键设计¶

1. 物理微表面材质优化：为生成模型锚定严密的物理初值

纯生成模型在缺乏显式 3D 约束时极易出现光照朝向颠倒或阴影断层。为了给下游生成阶段提供像素级对齐且物理合理的基底，GRA 基于个性化深层动态角色（DDC）追踪网格 $M_t$，将渲染方程在 UV 空间离散化。反射模型选用简化的 Cook-Torrance 微表面 BRDF： $$f_r(\boldsymbol{x}, \boldsymbol{\omega}_i, \boldsymbol{\omega}_o) = \mathrm{BRDF}(\boldsymbol{\omega}_i, \boldsymbol{\omega}_o; \boldsymbol{a}(\boldsymbol{x}), \boldsymbol{r}(\boldsymbol{x}))$$ 其中 $\boldsymbol{a}(\boldsymbol{x})$ 为空间变化的反照率（Albedo），$\boldsymbol{r}(\boldsymbol{x})$ 为粗糙度（Roughness）。假设环境光单跳反射，通过多视角真实图像的 L1 重构误差反演优化静态 UV 贴图： $$\boldsymbol{a}^*, \boldsymbol{r}^* = \arg\min_{\boldsymbol{a}, \boldsymbol{r}} \sum_t \left\| \mathcal{P}(M_t, \boldsymbol{\kappa}_t, \boldsymbol{E}_t; \boldsymbol{a}, \boldsymbol{r}) - \boldsymbol{I}_t^{\mathrm{gt}} \right\|_1$$ 由此产生的粗糙纹理 $\boldsymbol{I}^{\mathrm{coarse}}_t$ 具备了随光源入射角与法线变化的物理一致低频着色，消除完全从随机噪声合成光影时的几何多义性。

2. RelightNet 姿态相关纹理重光照：弥合解析 BRDF 与真实复杂光影的鸿沟

简化的微表面假设无法建模次表面散射、互反射和复杂的动态自阴影，且静态 UV 无法表达随人体肢体扭转产生的局部动态明暗。为此，设计了轻量级 UNet 架构 RelightNet，完全在 UV 纹理空间运作。其显式以当前环境光 $\boldsymbol{E}_t$、粗微表面纹理 $\boldsymbol{I}^{\mathrm{coarse}}_t$、包含 $k$ 帧历史的动态表面法线序列 $\boldsymbol{N}_{t-k:t}$ 以及逐纹素视线方向 $\boldsymbol{C}_t$ 为输入： $$\boldsymbol{I}_t = \mathcal{R}(\boldsymbol{E}_t, \boldsymbol{I}^{\mathrm{coarse}}_t, \boldsymbol{N}_{t-k:t}, \boldsymbol{C}_t)$$ RelightNet 内部通过交叉注意力机制吸收环境图全局能量分布，并借助多帧法线捕捉衣物随动作挤压时的动力学阴影演化，将预测出的高阶光照纹理贴回网格并光栅化为粗渲染图像 $\boldsymbol{I}_t^\kappa$。

3. 非时序环境光照交叉注意力：避免逐帧动态光源的时序平滑污染

进入图像域视频生成阶段后，常规视频扩散模型常采用时空 3D 注意力混合帧间特征。然而在真实重光照训练集（如 RHC 数据集）中，每一帧都由不同的环境贴图动态照明。若在环境光条件编码上应用时序平滑或时序注意力，会导致前后帧光照边界模糊，削弱瞬态光照响应。GRA 采用 WAN2.1 3DVAE 编码器将相机坐标系下的环境贴图 $\boldsymbol{E}_t^\kappa$ 独立投影为时序对齐的特征嵌入 $\boldsymbol{\ell} \in \mathbb{R}^{T' \times H' \times W' \times d}$，并在扩散骨干（DiT）各层中仅执行严格逐帧对应的非时序空间交叉注意力： $$\tilde{\boldsymbol{f}} = \mathrm{Concat}_i\left(\mathrm{CrossAttn}(\boldsymbol{f}^i, \boldsymbol{\ell}^i)\right)$$ 各帧只与当前瞬时环境图交互，从而使网络建立起强归纳偏置，即使在未见过的单光源（OLAT）瞬态闪烁下也能保持准确阴影朝向与高光响应。

4. 误差循环策略：化解长序列视频生成的自回归漂移困境

基于 VACE 架构的视频模型通过 Video Control Unit（VCU）引入粗渲染 $\boldsymbol{I}^\kappa$ 作为反应帧，并以中性光照参考图 $I_{\mathrm{ref}}$ 锚定人物身份。但在自回归长序列推理中，前序帧合成误差会随时间滚雪球式累积，引发人体面部与肢体退化。GRA 引入误差循环机制，在训练阶段主动计算模型一阶预测与目标速度向量之间的重建残差： $$\boldsymbol{e}_0 = \hat{\boldsymbol{z}}_0 - \boldsymbol{z}_0^{\mathrm{rcy}}, \quad \boldsymbol{e}_1 = \hat{\boldsymbol{z}}_1 - \boldsymbol{z}_1^{\mathrm{rcy}}$$ 将这些残差缓存在 Error Cache 中，以独立概率（0.01、0.9、0.9）作为随机扰动重新叠加至干净隐变量 $\tilde{\boldsymbol{z}}_1$、噪声隐变量 $\tilde{\boldsymbol{z}}_0$ 以及非活跃条件帧隐变量 $\tilde{\boldsymbol{z}}_{\mathrm{inac}}$。通过在训练轨迹中主动暴露并修复网络自产生的缺陷，赋予模型鲁棒纠偏能力，显著提升了 128 帧以上长视频的时间连贯性。

损失函数 / 训练策略¶

系统采用阶段解耦的训练策略： 1. 显式微表面优化：在多视角视频帧上以 L1 像素级光度损失对静态 UV 空间的 Albedo $\boldsymbol{a}$ 与 Roughness $\boldsymbol{r}$ 进行逆渲染梯度优化。 2. RelightNet 训练：固定网格几何与微表面粗纹理，使用 Ground Truth 图像与预测渲染帧间的 L1 损失端到端监督 UNet 参数。 3. 扩散流匹配精炼：基于潜在流匹配（Latent Flow Matching, LFM）目标，线性速度路径定义为 $\boldsymbol{z}_s = (1-s)\boldsymbol{z}_0 + s\boldsymbol{z}_1$，网络在注入误差循环扰动后回归真实速度场： $$\mathcal{L}_{\mathrm{ER}} = \mathbb{E}_s \left\| \boldsymbol{v}(\tilde{\boldsymbol{z}}_s, s, \boldsymbol{c}) - (\boldsymbol{z}_1 - \tilde{\boldsymbol{z}}_0) \right\|_2^2$$ 训练中设置 40% 的概率将输入前 5 帧替换为真实图像并设为非活跃锚点（Mask 设为 0），强制模型学会以种子帧为时空基准平滑自回归延展。

实验关键数据¶

主实验¶

评估在 RHC（Relightable Holoported Characters）多视角动捕数据集上展开，使用 Laval Indoor 数据集的 1015 个 HDR 环境贴图进行训练，在 8 个完全未见过的真实环境贴图下进行多视角泛化测试。评估覆盖 4 位受试者（S1-S4），采用 37 个机位训练、3 个未见机位测试。对比基线包括增强版 Relighting4D（R4D，配备相同高质量 DDC 网格）、IntrinsicAvatar（IA）、MeshAvatar（MA）以及 DNF-Avatar（DNFA）。

受试者与方法	PSNR (dB) ↑	LPIPS (×10⁻²) ↓	SSIM (%) ↑	FVD ↓
Subject 1 (S1)
R4D (Chen et al. 2022)	29.89	10.31	87.15	247
IA (Wang et al. 2024)	27.25	18.25	81.39	408
MA (Chen et al. 2024)	29.71	9.09	84.69	77
DNFA (Jiang et al. 2025)	26.32	11.57	82.50	212
Ours (GRA)	30.49	6.42	87.52	49
Subject 2 (S2)
R4D	31.13	8.04	87.08	161
IA	28.87	15.43	82.07	345
MA	30.36	8.03	84.99	74
DNFA	28.57	9.40	82.92	131
Ours (GRA)	31.15	5.64	87.50	48
Subject 3 (S3)
R4D	29.32	10.62	87.67	186
IA	26.14	22.52	79.07	621
MA	28.35	10.16	84.60	64
DNFA	26.37	12.04	82.26	150
Ours (GRA)	29.11	7.40	87.16	52
Subject 4 (S4)
R4D	31.98	10.07	87.90	168
IA	29.50	18.46	82.91	354
MA	31.13	8.50	84.59	73
DNFA	29.31	10.82	84.12	124
Ours (GRA)	32.09	6.55	87.35	63

消融实验¶

在受试者 S1 上对流水线中各核心模块的作用进行系统消融，逐步验证物理先验、前馈网络、生成精炼及光照注意力机制的贡献。

配置变体	PSNR (dB) ↑	LPIPS (×10⁻²) ↓	SSIM (%) ↑	FVD ↓	说明
Microfacet Rendering	29.34	12.26	86.85	178.42	仅显式微表面优化，缺乏高频与高阶光影
+ RelightNet	30.90	8.92	89.25	118.24	引入 UV 空间前馈网络，像素级重构指标显著上升
+ Generative Refinement (Ours)	30.49	6.42	87.52	48.79	完整模型：感知质量 LPIPS 与时序 FVD 达到最优
Ours w/ 时序光照条件	30.78	6.53	88.00	58.18	沿时序轴交叉注意力导致瞬时阴影钝化
Ours w/o 非时序光照条件	30.53	6.48	87.76	58.21	缺乏直接环境图显式注入，仅依赖粗渲染引导
Ours w/o VACE	30.35	6.93	87.12	61.84	移除 VACE 适配层，控制信号注入变弱
Ours w/o RelightNet	29.56	6.66	87.26	63.81	粗渲染直接送入视频模型，物理粗糙导致背景伪影
Ours w/o VACE 微调	24.92	22.43	70.76	230.94	冻结适配器未对齐粗渲染几何，生成严重崩塌
Ours w/o 视频预训练先验	30.02	9.60	86.67	394.91	从头训练 DiT，时序连贯性严重崩溃 (FVD 飙升至 394)
Ours w/ Neural Gaffer 替代	29.33	9.25	86.62	102.10	采用 2D 逐帧单图重光照模型，时序闪烁明显
Ours 少样本跨身份迁移	29.82	7.01	87.30	65.25	仅用 170 帧 (~6秒) 快速微调即实现新受试者泛化

关键发现¶

生成式精炼大幅提升感知保真度与动态连贯性：从微表面渲染加上 RelightNet 到引入生成精炼阶段，LPIPS 误差从 8.92 骤降至 6.42（改善幅度达 28.0%），FVD 从 118.24 骤降至 48.79（改善幅度达 58.7%）。这证实了确定性回归模型由于追求 L1/L2 最小化而无法恢复衣褶分布的本质缺陷，生成扩散先验有效填补了真实物理微观褶皱。
预训练视频先验对时序稳定不可或缺：若从头训练 DiT 架构（Ours w/o Prior），FVD 从 48.79 暴增至 394.91，模型失去连贯的人体动力学理解；而若采用纯 2D 单帧图像扩散基准（Neural Gaffer），FVD 亦退化至 102.10，证明在潜在空间联合进行时空建模是避免肌肉与衣物闪烁的核心壁垒。
开箱即用的域外单光源（OLAT）泛化能力：由于显式阶段已严格计算表面微表面法线与点积阴影，即便在训练中从未出现过的单点稀疏照明（OLAT）和近场点光源（Near-field Point Light）设置下，系统依然能无监督渲染出符合真实光学的严苛自阴影。

亮点与洞察¶

物理引导与生成先验的解耦闭环：传统图形学渲染强于空间可控与极端光照泛化，扩散生成强于高频细节合成。GRA 没有盲目用扩散网络端到端拟合全部渲染方程，而是让物理渲染做它最擅长的低频几何与光强锚定，让视频扩散模型做其最擅长的流形细节修复，兼收了两者的长处。
非时序光照交叉注意力的精巧设计：在处理动态光照视频生成时，传统习惯直接沿用时序交叉注意力，导致光影瞬变在时间轴上产生“残影拖尾”。本文敏锐地利用独立空间交叉注意力对齐逐帧环境图，保留了光照高频瞬变能力。
UV 反照率编辑的天然可迁移性：由于保留了显式的 UV 反照率贴图反演流程，用户可以直接在 2D 贴图上绘制图腾或修改衣物颜色，物理微表面渲染管线与后续视频精炼模型无需重新训练，即可精准合成带有逼真新质感的光影渲染。

局限与展望¶

极端几何与精细解剖结构的保真度受限：系统目前依赖全身参数化网格（DDC），对复杂的面部精细微表情、眼球微动以及手部细长手指的关节交互缺乏专门的高分辨率几何支持，远景渲染自然但特写视角下面部细节稍显模糊。
近场光照推理依赖模块旁路：目前完整的带有 RelightNet 的流水线仅预设了远场环境贴图（HDR Environment Map），在进行近场点光源渲染时需退化为“w/o RelightNet”变体，未能将可变距离点光源的衰减和球形波前无缝统一进前馈纹理网络。
计算开销与离线渲染瓶颈：流匹配生成采样需要多步 ODE 求解器迭代（如 Euler 求解器），单帧生成延迟较高，难以满足沉浸式虚拟直播等毫秒级实时交互场景。

评分¶

新颖性: ⭐⭐⭐⭐ [成功构建显式微表面物理渲染与视频潜在流匹配相融合的可重光照化身新范式]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 4 位受试者、多项严苛感知与时序指标对比，消融实验设计完备且包含 OLAT 域外泛化展示]
写作质量: ⭐⭐⭐⭐⭐ [逻辑推进层层递进，从物理局限性推导生成需求，形式化表述与架构示意清晰自洽]
价值: ⭐⭐⭐⭐ [为影视虚拟制作和下一代全身沉浸式数字人交互提供了极具实用价值的高保真技术路线]