D-Rex : Diffusion Rendering for Relightable Expressive Avatars¶

会议: ECCV 2026
论文: ECCV 原文
项目主页: https://vcai.mpi-inf.mpg.de/projects/DRex/
领域: 人体理解
关键词: 可重光照数字人, 全身动态头像, 视频扩散模型, 表情控制, 图像空间渲染

一句话总结¶

针对传统可重光照全身数字人依赖显式 3D 本征分解导致表情驱动能力受限的痛点，D-Rex 提出将重光照解耦为图像空间后处理，利用白光下训练的全身驱动化身生成类似反照率的渲染图，并借助轻量 LoRA 微调的视频扩散渲染先验实现任意 HDR 环境光下的真实感、视角与时序一致的重光照。

研究背景与动机¶

构建可由人体姿态与面部表情驱动、支持自由视角且能在任意光照环境下真实感渲染的特定人物全身数字身（Avatar），是虚拟制作、沉浸式远程临场和游戏角色动画的核心基石。近年来，非重光照全身数字人借助神经渲染与 3D 高斯泼溅技术，在复杂服装动态和细腻面部表情驱动方面取得了长足进步；然而，一旦引入重光照需求，现存方法普遍回退到显式的 3D 本征属性分解（反照率、粗糙度、法线等）与解析 BRDF 物理渲染管线。由于从多视角视频中反解姿态相关的本征属性本质上是严重病态的逆向渲染问题，不仅易受几何误差干扰，更难以与细腻的面部表情协同优化，导致现有可重光照头像几乎无法展现生动的高表现力面部动画。

这种困境的核心矛盾在于：强行将复杂的全局光照传输（次表面散射、菲涅尔反射、微结构高光等）耦合进 3D 几何与材质的显式优化中，使得几何形变与物理光照的联合约束极为严苛，从而牺牲了面部表现力和系统的通用性。与此同时，基于扩散模型的图像/视频重光照展现出惊人的生成式光照合成能力，但缺乏对全身可控化身的姿态、视角与表情的显式控制，直接迁移难以保证多视角与长程时序的一致性。

本文的切入角度是完全放弃显式 3D 材质分解，将重光照彻底从数字人几何与动画建模中解耦出来，降维视作一个纯粹的图像空间后处理转换任务。核心 idea：由独立的白光全身数字人负责姿态与表情的高保真反照率渲染，并行使用轻量 LoRA 微调预训练视频扩散渲染模型，将单帧白光/HDR成对映射扩展为视角与时序高度连贯的全身多光照合成。

方法详解¶

整体框架¶

D-Rex 整体管线包含两个完全解耦的独立阶段：前端白光可控数字人生成与后端基于视频扩散的重光照后处理。输入为人体骨骼姿态 $\theta$、FLAME 表情参数 $\psi$、目标相机视角 $v$ 以及目标 HDR 环境贴图 $l$。首先，由在球形光场白光序列下训练的 Expressive Virtual Avatar (EVA) 模块根据驱动姿态和表情渲染出类似表面反照率（albedo-like）的无阴影高保真全景图像 $I_{\text{WL}}$；随后，将 $I_{\text{WL}}$ 与视角投影后的 HDR 环境图输入经过 LoRA 微调的 Cosmos DiffusionRenderer 扩散模型，在图像隐空间完成逼真的光照传输合成，最终输出视角与时序一致的重光照视频帧 $I_{\text{RL}}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入驱动信号<br/>姿态 θ + FLAME 表情 ψ + 视角 v + HDR 图 l"] --> B["白光表情数字人驱动渲染<br/>解耦模板几何与 UV 高斯外观 (EVA)"]
    B --> C["环境光投影与隐空间编码<br/>Reinhard 色调映射与 VAE 编码"]
    C --> D["视频扩散重光照合成<br/>LoRA 微调 Cosmos DiffusionRenderer"]
    D --> E["长序列重叠线性融合<br/>32 帧窗口平滑长程时序漂移"]
    E --> F["输出真实感重光照视频帧"]

关键设计¶

1. 白光表情驱动数字人：解耦几何与表情外观生成 针对传统物理本征渲染在捕捉细微表情和宽松衣物动态时的脆弱性，D-Rex 采用完全解耦的 Expressive Virtual Avatars (EVA) 作为前置驱动底模。该模块融合了粗糙形变几何层和基于 UV 空间 3D 高斯的精细外观层。针对球形光场捕获中由于分割掩膜微小溢出导致在背景区域产生悬浮高斯（floaters）伪影的问题，引入了在 40,000 步优化后激活的背景合成抗伪影机制： $$ \hat{I}{\text{Pred}} = I) $$ 其中 }} \cdot I_{\alpha} + I_{\text{BG}} \cdot (1 - I_{\alpha$I_{\text{Pred}}$ 与 $I_{\alpha}$ 分别表示预测的 RGB 和 Alpha 通道，$I_{\text{BG}}$ 为施加了膨胀掩膜的真实背景。这一设计消除了边缘浮点并保证输出干净、边缘锐利的白光反照率人像，能够独立无碍地承载宽幅度的 FLAME 表情与复杂肢体动作。

2. 视频扩散渲染先验迁移：纯单帧成对数据微调实现时序一致性 在获得白光渲染 $I_{\text{WL}}$ 后，系统需要将其映射至指定 HDR 环境光 $l$。传统做法需要重新训练复杂网络或显式构建 One-Light-At-a-Time (OLAT) 积分基底，计算成本极高且难泛化。D-Rex 创新性地引入预训练基础视频扩散渲染模型 Cosmos DiffusionRenderer，该模型原始架构包含逆向提取 G-Buffer 和正向渲染模块。D-Rex 果断舍弃逆向模块，将 $I_{\text{WL}}$ 视为基础反照率直接置入 Base Color 通道，将其余粗糙度、金属度及法线通道置零，仅对正向渲染 DiT 的注意力层添加轻量 LoRA 参数 $\Delta\theta$ 进行微调。训练目标为去噪残差回归： $$ \mathcal{L}(\Delta\theta) = \mathbb{E}{\tau, z_0, \epsilon}\left[ | \epsilon - f, \tau) |_2^2 \right] $$ 其中 }(z_{\tau}, g, c_{\text{env}$g$ 为 $I_{\text{WL}}$ 经 VAE 编码的条件隐变量，$c_{\text{env}}$ 为世界坐标系 HDR 图向当前视角 $v$ 投影并经 Reinhard 色调映射后的条件表征。最关键的发现是：仅在单张图像的白光到重光照对上进行 LoRA 微调，模型即可继承基础视频扩散模型固有的时空强先验，无需在微调时输入长序列视频，就能在 57 帧的窗口内自发维持视角旋转与光照移动的平滑连续性。

3. 推理窗口重叠混合：抑制长序列推理间漂移 由于扩散采样在单批次 57 帧视频块（chunk）内具备极佳的内生一致性，但在相互独立的推理批次之间，受采集过程中真人微动漂移（flat-lit 与 relit 采样时间差）的影响，可能出现微小的光照强度抖动或颜色偏移。D-Rex 设计了基于 32 帧重叠窗口的加权线性时序融合策略（Linear Blending），在无额外时序判别器开销的前提下，平滑消除了长序列视频中块与块交界处的跳变，确保全身数字人可在长镜头下稳定运镜与动态表演。

损失函数 / 训练策略¶

训练分为两个独立阶段： 1. EVA 数字人训练：在 4 张 NVIDIA A40 GPU 上训练可形变几何约 4 天，随后在单张 A40 上训练 UV 高斯外观层约 3 天，图像分辨率降采样至 $540 \times 1024$ 并配合高分辨率局部裁剪。 2. 扩散重光照模型 LoRA 微调：在单张 NVIDIA H100 GPU 上以 batch size 5 微调 Cosmos DiffusionRenderer 约 2 天（约 30k 迭代）。图像缩放至 $371 \times 704$ 并两侧补零以匹配预训练模型的纵横比与潜在空间分布。

实验关键数据¶

主实验¶

评估涵盖 4 名具有丰富服装褶皱与动态表情的测试者，在严格扣除约 10% 训练未见光照、未见姿态（帧号 $\ge 12250$）及 4 个保留测试视角下测试。基线包括：基于 PBR 物理本征分解的 MeshAvatar [MA/PBR]、结合 MeshAvatar 白光驱动与扩散重光照的 [MA/DR]，以及使用白光 EVA 配合零样本图像重光照的 [EVA/IC]。

方法	新视角 / 新动作 PSNR ↑	新视角 / 新动作 LPIPS ↓	新视角 / 新动作 SSIM ↑	新视角 / 动作 / 光照 PSNR ↑	新视角 / 动作 / 光照 LPIPS ↓	新视角 / 动作 / 光照 SSIM ↑
MA/PBR [7]	22.61	0.095	0.899	22.38	0.095	0.899
MA/DR [7,25]	26.07	0.080	0.935	25.73	0.080	0.933
EVA/IC [55]	10.26	0.108	0.853	10.41	0.106	0.855
D-Rex (Ours)	26.62	0.077	0.937	26.30	0.077	0.936

消融实验¶

消融实验深入验证了预训练先验的重要性与各组件配置（在测试者上定量评估并对算力进行对齐）：

训练策略 / 模型配置	PSNR ↑	LPIPS ↓	SSIM ↑	训练资源 / 预处理开销	核心表现分析
LoRA 微调 (Ours)	27.62	0.079	0.945	~48h (1 GPU)	逼真收敛，保持视角/光照一致，开销最小
(a) 零样本无微调	19.18	0.120	0.889	0h	存在严重域鸿沟，无法生成逼真人像光影
(b) 全参数微调 (预训练权重)	27.88	0.079	0.947	~192h (2 GPU)	效果与 LoRA 相当，但算力消耗高 4 倍
(c) 从头随机初始化训练	21.27	0.096	0.910	~192h (2 GPU)	无法在给定计算预算下收敛
背景保留训练 (w/o BG mask, Ours)	26.30	0.077	0.936	预处理 0s	鲁棒保留纯黑背景，无需昂贵分割后处理
背景抠除训练 (w/ BG mask)	26.82	0.073	0.939	预处理 16 天	颜色稍准但预处理极其耗时

关键发现¶

生成先验超越显式逆渲染：MA/PBR 方法由于反演材质不准确，生成质感平淡且在暗区易产生严重伪影（PSNR 仅 22.38 dB）；而将其几何配合扩散重光照后（MA/DR）指标瞬间跳升至 25.73 dB，证明纯图像空间扩散后处理在复杂光传输合成上显著优于显式 PBR。
LoRA 高效适配性：利用 LoRA 仅更新极少量参数即可完全激发 Cosmos 的视频连贯性能力，指标逼近全参数微调（PSNR 27.62 vs 27.88 dB），而随机初始化的模型即便耗费 4 倍算力也无法生成合理人体光效。
纯重光照与画质增强的权衡：直接在 EVA 渲染图到真实重光照上训练（Relight + Enhance）可利用扩散模型修补 EVA 模糊足部细节（LPIPS 降低至 0.072），但容易在未追踪视线的眼部产生幻觉漂移；而在真实白光到重光照对上训练（Relight only）更加稳健通用。

亮点与洞察¶

解耦式范式转变：跳出长久以来可重光照数字人必须死磕“法线/粗糙度/反照率”本征分解的既定思维，将数字人几何/表情解耦至成熟的白光 Avatar，光照解耦至通用视频扩散模型，两部分各自解耦优化，大幅降低了系统复杂性与优化难度。
单帧训练激活时空一致性：令人惊喜的是，微调时无需复杂的时序损失或光流约束，仅用静态单帧白光-重光照图像对，就能激活预训练大模型底层的时序与多视角几何先验，实现跨视角、跨光照方向的自然过渡。
对上游 Avatar 零侵入：由于重光照完全位于后处理阶段，未来任何更先进的白光高保真 Avatar（如 SMPL-X/Gaussian/NeRF 系列）均可无缝即插即用作为输入，具有很高的工程推广价值。

局限与展望¶

推理速度与实时性瓶颈：由于依赖 15 步的视频扩散模型，当前渲染速度约为 0.5 FPS，无法满足 XR、游戏互动及实时数字人临场的低延迟需求；未来需要探索 Flow Matching 单步推理或一致性蒸馏来突破实时瓶颈。
跨推理批次的微小光照漂移：在超过 57 帧的长视频生成中，不同批次之间依然存在受采集时真人轻微位移引起的微弱光照跳变，目前仅靠线性混合平滑，未来可引入前序帧作为自回归条件来增强长程一致性。
极端几何遮挡阴影受限：由于训练数据主要来自光场内的单人表演，模型难以泛化学习大尺度复杂远距离障碍物所投射的硬阴影与遮挡效果。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将视频扩散渲染先验与独立白光高保真化身解耦结合，打破了全身可重光照与表情动画难以兼得的长期技术壁垒。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 位受试者的大规模光场捕获、严谨的多基线比较以及充分的消融分析，设计逻辑闭环且有坚实的数据支撑。
写作质量: ⭐⭐⭐⭐⭐ 篇章逻辑脉络清晰，图表丰富细腻，方法论表述直观连贯，直面技术难点与局限。
价值: ⭐⭐⭐⭐⭐ 为影视级数字人自由视点重光照提供了一条极具工业落地潜力的实用新路径，对后续生成式神经渲染研究启发深远。