Extreme Face Super-Resolution through Identity Fitting and Decoupling

会议: ECCV 2026
论文: ECCV 官方页面
领域: 图像恢复
关键词: 人脸超分辨率, 身份解耦, 身份拟合, 扩散模型, 参考图像引导

一句话总结

针对超大放大倍数（8×/16×）极端退化下人脸身份信息严重丢失、现有超分辨率方法频现身份幻觉（Hallucination）的问题，IDFSR 通过面部退化掩码阻断不可靠先验，将参考图像变形注入风格条件与 GT 提取的 ID 嵌入解耦注入扩散模型，并在微调阶段仅优化目标 ID 嵌入向量，实现了极高保真度与强身份一致性的极端人脸超分辨率重建。

研究背景与动机

人脸超分辨率（FSR）是人脸识别、面部属性分析与老照片修复等下游任务的关键支撑技术。在常规温和退化场景下，现代生成式超分辨率模型（如 CodeFormer、DifFace）依托强大的面部先验字典或扩散采样机制，能够兼顾纹理真实感与身份（ID）保持。然而，当输入图像经历极端退化（例如放大因子超过 8× 甚至 16×，并伴随剧烈模糊、传感器高斯噪声与强 JPEG 压缩）时，输入低分辨率（LR）图像中关键的五官微观几何结构、视线方向、细粒度身份表征几乎完全泯灭。从信息论视角来看，此时重建问题已高度病态且严重欠定（Underdetermined），解空间存在无数视觉合理但身份相异的候选人脸。现有以 LR 像素为直接引导的无参考超分辨率模型在强先验驱动下往往会生成虚假脑补的面部细节（即“身份幻觉”），例如将严重模糊的面部纹身错误重构为非自然的暗色色块，或将目标人脸完全漂移为另一张平均脸。

为弥补 LR 极度匮乏的高频信息，基于参考图像（Reference-based）的 FSR 方法通过引入同身份的高清参考图像提供先验补偿。然而，传统单参考方法严重依赖 LR 与参考图之间的精确刚性或密集对齐，一旦存在大姿态倾斜、极端光照或面部表情形变，光流或局部变形误差便会导致伪影扩散；而现有多参考方法虽然汇聚了更多面部样本，却普遍未将 LR 输入与参考图像中的“全局身份特征”与“局部风格/空间几何”解耦。由于超分辨率本质上仍是以 LR 为基底的像素级逆问题，网络在端到端联合训练时容易陷入两难：要么过度依赖 LR 中残存且失真的低频身份线索，要么简单生硬地复制对齐不佳的参考图像纹理，难以真正学到解耦且可泛化的个性化身份流形。

本文的切入角度是：极端退化下的 LR 面部区域已沦为不可靠的身份噪声，必须主动阻断网络对 LR 损坏身份特征的路径依赖；同时，将参考图像拆解为粗粒度空间几何风格与纯净的紧凑身份嵌入向量，分阶段注入扩散模型中。核心 idea：通过主动掩码消除 LR 图像不可靠的面部退化线索，采用双分支解耦机制将参考图变形特征作为风格先验注入 AdaGN、将 ArcFace 提取的特征作为 ID 嵌入注入交叉注意力层，并在预训练后冻结骨干网络、仅对目标个体的轻量级 ID 嵌入向量进行个性化拟合微调。

方法详解

整体框架

IDFSR（Identity Decoupling and Fitting Face Super-Resolution）的输入包含三项：待重建的低分辨率人脸图像 \(I_L\)、训练时配对的高分辨率真实图像 \(I_G\)、以及同身份的高清参考图像 \(I_R\)。整体架构围绕一个参数化的条件去噪扩散概率模型（DDPM）展开，骨干网络采用 Guided Diffusion 结构的 U-Net，内部包含残差块（ResBlock）、自注意力与交叉注意力块（AttnBlock），配合一个风格编码器 \(E_s\) 和预训练的人脸识别 ArcFace 编码器 \(E_{id}\)。

在预处理阶段，首先使用微调后的 RetinaFace 关键点检测器检测 \(I_L\) 的面部区域并进行矩形/轮廓遮罩，得到面部信息被置零的掩码图像 \(I_M\)；同时，利用检测到的关键点将参考图 \(I_R\) 的面部仿射变形（Affine Warping）对齐至 \(I_L\) 的坐标空间，生成粗对齐的变形参考图 \(I_W\)。在预训练阶段，掩码图像 \(I_M\) 与加噪潜在变量 \(x_t\) 在通道维度拼接作为 U-Net 输入，阻断模型从 LR 面部偷看失真 ID；变形参考图输入风格编码器 \(E_s\) 提取风格嵌入 \(z_s\)，通过自适应组归一化（AdaGN）注入 ResBlock；GT 图像 \(I_G\) 输入 ArcFace 提取紧凑 ID 嵌入 \(z_{id}\)，通过交叉注意力注入 AttnBlock。在个性化微调阶段，冻结 U-Net 与风格编码器的全部参数，仅为目标个体初始化一个可学习的 ID 嵌入向量，利用该 ID 的少量未配对图像进行微调拟合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InL["输入低分辨率图像 IL<br/>极端退化 8× / 16×"] --> PrepM["损坏身份掩码<br/>RetinaFace 检测面部并遮蔽"]
    PrepM --> IM["掩码条件图像 IM<br/>保留背景/阻断失真ID"]
    InR["高清参考图像 IR<br/>同身份不同姿态/光照"] --> PrepW["关键点引导变形<br/>仿射变换粗对齐至 IL"]
    PrepW --> IW["变形参考图像 IW"]
    IW --> Es["风格编码器 Es"]
    Es --> zs["风格嵌入向量 zs"]
    InG["高清真实图像 IG<br/>(微调阶段为目标ID图像)"] --> Eid["ArcFace ID 编码器 Eid<br/>提取512维身份特征"]
    Eid --> zid["身份嵌入向量 zid<br/>(微调时替换为可学习向量)"]
    IM --> Concat["通道维度拼接<br/>[xt, IM]"]
    Noisy["加噪潜在变量 xt<br/>扩散时间步 t"] --> Concat
    Concat --> UNet["扩散 U-Net 骨干<br/>(冻结/微调两阶段解耦)"]
    zs -->|AdaGN 仿射调制| UNet
    zid -->|Cross-Attention 交叉注意力| UNet
    UNet --> Pred["预测扩散噪声 εθ<br/>DDIM 20步快速逆向去噪"]
    Pred --> Out["高清超分辨率人脸<br/>高保真且身份严格一致"]

关键设计

1. 损坏身份掩码：阻断失真线索与背景结构保护 在 8× 及 16× 的极端退化下，LR 人脸区域已严重破坏，强行让网络直接以此作为特征条件，会导致网络优化陷入两难：网络倾向于记住 LR 模糊斑块与噪声统计，从而严重削弱对外部参考图像及高质量语义嵌入的响应灵敏度。为了彻底剥离这一退化负迁移，IDFSR 采用微调的 RetinaFace 定位 LR 面部区域并将其像素完全掩盖，生成条件图 \(I_M\) 并与扩散加噪变量 \(x_t\) 拼接输入。这种设计将纯粹的超分辨率问题重构为“受控面部修复（Inpainting）”范式：一方面，未被掩盖的头发轮廓、肩颈线条与背景区域完整保留了原始人脸的全局空间定位与背景结构一致性；另一方面，面部区域的完全空白强迫扩散模型将注意力转移至外部条件通道（风格嵌入与 ID 嵌入），从而消除了退化伪影导致的身份漂移。

2. 容错性变形与风格嵌入调制：空间结构先验与弱对齐鲁棒性 单纯依赖全局 ID 向量容易丢失参考图像中丰富的空间姿态、光照变化与局部皮肤纹理。IDFSR 采用基于人脸关键点的仿射变换将参考图像 \(I_R\) 粗对齐到 \(I_L\) 的尺度与朝向，得到变形参考图像 \(I_W\)。值得注意的是，真实场景下面部表情和大角度姿态差异必然导致变形图像存在局部拉伸失真与空间错位。作者敏锐地指出，这种“不完美的变形”恰好起到了自然数据增强的作用，能有效防止模型简单机械地将参考图纹理硬拷贝到生成人脸中。变形图像被送入与 U-Net 编码器同构的风格编码器 \(E_s\)，输出紧凑的风格嵌入向量 \(z_s = E_s(I_W)\)。在扩散骨干的残差块中，引入自适应组归一化（AdaGN）进行特征调制： $$ \text{AdaGN}(h, t, z_s) = z_f \cdot \left( t_s \cdot \text{GroupNorm}(h) + t_b \right) $$ 其中 \(h \in \mathbb{R}^{c \times h \times w}\) 为残差块的中间特征图，\(z_f = \text{MLP}_{\text{style}}(z_s)\) 是风格嵌入经过 MLP 映射得到的通道缩放系数，而 \((t_s, t_b) = \text{MLP}_{\text{time}}(\psi(t))\) 是正弦时间步编码 \(\psi(t)\) 的时间调制因子。AdaGN 使得模型能够在骨干特征层面注入粗粒度光照、肤色、面部结构风格，同时完全不受局部空间错位像素的硬性干扰。

3. 身份解耦预训练与轻量级个性化拟合：两阶段身份固化机制 为了彻底解耦“全局人脸生成能力”与“特定个体微观身份流形”，IDFSR 划分为预训练与个性化微调两个严格解耦的阶段。在预训练阶段，模型使用 CelebRef-HQ 的大规模多身份数据集，利用冻结的预训练 ArcFace 编码器从高清真实图像 \(I_G\) 中提取紧凑的 512 维特征作为身份嵌入 \(z_{id} = E_{id}(I_G)\)，并通过交叉注意力机制注入 U-Net 的注意力块中。这一阶段使扩散模型充分理解 \(z_{id}\) 语义空间与面部五官形态的对应映射。 在实际推理与个性化恢复时，若直接使用单张低质参考图的 ArcFace 特征，仍会受到单张图像姿态、表情偏置的影响。因此在个性化微调阶段，IDFSR 将 U-Net 扩散网络与风格编码器 \(E_s\) 全部参数冻结，不再需要 ArcFace 参与；取而代之的是，为目标身份单独分配一个可学习的连续嵌入向量 \(z_{id}^*\)。仅需目标个体的数张（如 5 张左右）无须配对的日常照片，通过同样的扩散目标反向传播优化该向量（单卡 RTX 3090 仅需约 20 分钟）。由于骨干权重完全锁死，模型强大的通用面部先验不会发生任何灾难性遗忘，而学习到的独立 ID 向量则精准锁定了该个体的眼型、鼻骨、唇弓乃至下颌线等细粒度标志性特征。

损失函数 / 训练策略

在预训练与个性化微调两个阶段中，模型均采用标准的 DDPM 均方误差去噪目标函数。在给定加噪时间步 \(t \in [1, T]\)（最大时间步 \(T = 1000\)，线性 \(\beta\) 调度）时，真实高清图像 \(x_0\) 加噪为 \(x_t\)，扩散模型的预测噪声目标为： $$ \mathcal{L}{\text{sim}} = \mathbb{E}) |_2^2 \right] $$ 预训练阶段在 4 张 NVIDIA RTX 3090 GPU 上进行，耗时 2 天；骨干初始化自 FFHQ 预训练的 DiffAE 权重。个性化微调阶段在单张 RTX 3090 GPU 上进行，目标优化仅针对 }, I_M} \left[ | \epsilon - \epsilon_\theta([x_t, I_M], t, z_s, z_{id\(z_{id}\) 参数展开，耗时约 20 分钟。推理阶段采用 DDIM 采样策略，仅需 20 步去噪即可生成高清图像。

实验关键数据

主实验

评估在 CelebRef-HQ 评测基准上进行，测试集包含 56 个具有代表性的身份、共 586 张图像，放大倍率分别设定为 \(8\times\) 与 \(16\times\)。评测指标涵盖像素级忠实度（PSNR、SSIM）、感知相似度与质量（LPIPS、FID、CLIPIQA、MUSIQ）以及 DeepFace 测定的身份相似度距离（IDS，越低越好）。下表展示了与主流单图无参考及基于参考的人脸超分辨率 SOTA 方法的量化对比。

方法	放大倍数	PSNR (dB)↑	SSIM↑	LPIPS↓	FID↓	CLIPIQA↑	MUSIQ↑	IDS (DeepFace)↓
CodeFormer	8×	24.42	0.7147	0.1489	31.88	0.6873	68.98	0.3865
DifFace	8×	24.41	0.7255	0.1694	32.94	0.6132	60.54	0.3815
ASFFNet (参考基线)	8×	21.82	0.6624	0.1764	26.25	0.6158	65.81	0.3169
DMDNet (参考基线)	8×	22.36	0.6984	0.1733	29.76	0.6570	68.28	0.4169
IDFSR (预训练阶段)	8×	24.29	0.6996	0.1554	27.89	0.6798	69.30	0.3173
IDFSR (个性化微调)	8×	28.85	0.7604	0.1031	26.69	0.7092	73.73	0.2242
CodeFormer	16×	20.72	0.5947	0.2379	43.89	0.6834	67.85	0.6673
PGDiff	16×	20.47	0.6202	0.2727	55.70	0.5008	52.19	0.7355
DR2	16×	22.35	0.6356	0.2481	50.84	0.6102	62.60	0.7082
DifFace	16×	22.23	0.6737	0.2195	38.65	0.5957	57.84	0.5948
ASFFNet (参考基线)	16×	18.23	0.5732	0.2457	40.64	0.5827	63.72	0.7955
DMDNet (参考基线)	16×	17.38	0.5590	0.2497	46.34	0.6051	64.05	0.8291
IDFSR (预训练阶段)	16×	23.32	0.6863	0.2062	38.58	0.6723	68.56	0.5227
IDFSR (个性化微调)	16×	24.09	0.7158	0.1845	35.50	0.6992	71.83	0.3625

消融实验

为了系统评估各组件的有效性以及不同架构推理开销，下表汇总了在 16× 极端退化下的身份与属性一致性验证（表 A）以及单卡 RTX 3090 上的模型复杂度与推理效率对比（表 B）。

表 A：16× 放大下人脸身份验证与细粒度属性一致性消融

模型配置 / 方法	ID 验证通过率 (IDV)↑	性别一致率 (ACCGen)↑	情绪一致率 (ACCEmo)↑	种族一致率 (ACCRa)↑	年龄预测偏差 (DiffAge)↓
CodeFormer	50.3%	95.2%	64.3%	64.8%	4.6 ± 4.3
PGDiff	32.9%	88.7%	51.0%	68.8%	5.2 ± 4.6
DR2	38.9%	91.9%	57.6%	71.5%	5.2 ± 5.1
DifFace	73.0%	95.4%	67.4%	77.3%	4.6 ± 4.4
ASFFNet	21.4%	72.1%	39.6%	45.2%	7.5 ± 7.2
DMDNet	18.7%	66.3%	36.8%	42.5%	7.6 ± 7.3
IDFSR (个性化微调)	89.6%	98.7%	66.2%	96.6%	3.3 ± 1.7

表 B：计算复杂度与单卡 RTX 3090 推理延迟对比

模型方法	参数量 (Params / M)	计算量 (FLOPs / G)	采样步数 (NFEs)	单步用时 (Time / ms)	总推理耗时 (Total / s)
PGDiff	159.7	185.95	100	71	7
DR2	179.31	918.85	100	89	9
DifFace	175.42	272.67	100	70	7
StableSR	918.93	>2000	50	362	18
DPI	145.53	136.57	20	50	1
IDFSR (本文)	160.7	168.68	20	54	1

关键发现

• 身份保持的跨越式突破：在 16× 极端退化下，传统基于参考图的 ASFFNet 和 DMDNet 的 ID 相似度距离退化至 0.7955 和 0.8291，ID 验证率分别暴跌至 21.4% 与 18.7%，这表明基于密集对齐的参考方法在极端低质下对齐彻底失效。而 IDFSR (FT) 的 ID 验证率高达 89.6%，IDS 达到惊人的 0.3625，彻底解决了极端退化下的身份幻觉问题。
• 解耦先验的高效性与收敛饱和性：组件消融实验（Case 1-5）证实，直接拼接 LR（Case 1）导致过强的刚性结构约束与感知质量骤降；仅采用掩码（Case 2）则提高生成自由度但缺乏先验；去除 ID 嵌入（Case 4）会导致身份严重失真；去除风格嵌入（Case 5）则损失面部逼真光照与属性。此外，参考图像数量消融显示，当目标 ID 的参考图像数量增加到约 5 张时，性能即达到饱和平台期，表明个性化嵌入学习具有极高的样本效率。
• 卓越的推理实用性：得益于预训练 U-Net 的强生成先验与 DDIM 快速采样，IDFSR 仅需 20 步去噪即可收敛，总推理时间仅需 1 秒左右，相较于耗时 7-18 秒的传统扩散 SR 模型（DifFace、StableSR）具备显著落地优势。

亮点与洞察

• 将 LR 退化面部视为“对抗性噪声”的主动掩码哲学：以往超分辨率研究通常将输入 LR 视为不可放弃的保真锚点，而本文在极端超分辨率设定下敏锐地指出，极端失真的人脸像素已经充当了误导身份的噪声源，主动遮蔽（Masking）反向逼迫网络从纯净的 ID 与风格空间提取确定性信息。
• 冻结骨干+拟合轻量级 ID 向量的个性化方案：这一策略巧妙回避了传统大模型个性化微调中常见的全参数灾难性遗忘与巨大算力消耗，单卡 20 分钟优化一个轻量嵌入向量即可完成专属 ID 定制，且跨 ID 测试证明了 ID 嵌入与背景/姿态/表情的解耦能力。

局限与展望

• 瞬时微表情恢复受限：由于主动遮蔽了 LR 图像的面部中心区域，细微表情（如微笑弧度、蹙眉细节）主要由参考图像与通用先验引导重构。在表 2 中，IDFSR 的情绪一致性 ACCEmo 为 66.2%，略逊于未进行面部遮蔽的 DifFace（67.4%）。
• 个性化微调对少量参考人脸图像的强依赖：尽管预训练模型已具良好表现，但最具突破性的极致保真与身份锁定仍需目标个体的 3-5 张清晰生活照参与微调；在完全孤立、无任何多图先验的冷启动极端单图场景下，个性化提升将退化至预训练基线。

相关工作与启发

• vs CodeFormer / DifFace：后者属于单图盲人脸恢复，严重依赖 Codebook 离散量化先验或误差扩散收缩机制；在 8× 以内表现坚挺，但在 16× 极端模糊下只能按人脸分布生成虚假身份幻觉。IDFSR 引入参考图风格与个性化 ID 解耦拟合，将 ID 验证率从 50.3% / 73.0% 提升至 89.6%。
• vs ASFFNet / DMDNet：传统参考超分辨率方法依赖密集光流或移动最小二乘法进行像素级对齐，在极端退化下变形严重失真导致重构崩溃。IDFSR 通过 AdaGN 风格调制将变形误差转化为天然数据增强，彻底摆脱了对高精度对齐的刚性依赖。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [将面部主动掩码、风格 AdaGN 注入与可学习 ID 向量拟合有机结合，构思精巧且解耦彻底]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 8×/16× 主实验、四项细粒度属性验证、复杂度与退化鲁棒性消融，分析深入透彻]
• 写作质量: ⭐⭐⭐⭐⭐ [结构严密、叙事流畅、问题切中极端超分辨率的核心痛点]
• 价值: ⭐⭐⭐⭐⭐ [为司法安防、超低清晰度监控与老旧人脸修复提供了极具工程落地价值的个性化解决方案]

相关论文

• [ECCV 2026] TextFace: Compositional Text-Guided Identity Preserving Face Synthesis for Face Recognition
• [ECCV 2026] Pushing the Limits of High-Resolution Weather Forecasting through Data Scaling
• [ECCV 2026] LUCE: Constrained Curve-Domain Guidance for Training-Free Low-Light Enhancement with Hue-Preserving Decoupling
• [ECCV 2026] WARP: Wide Attention with Rich Projections for Image Super-Resolution
• [ECCV 2026] Frames2Residual: Spatiotemporal Decoupling for Self-Supervised Video Denoising