Fill2SR: Repurposing Inpainting Diffusion Transformers for Real-World Super-Resolution¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Xingfu-Yi/Fill2SR
领域: 图像生成
关键词: 真实世界超分辨率, 图像恢复, 图像补全扩散Transformer, 整流流匹配, 适配器微调

一句话总结¶

Fill2SR 摒弃传统 ControlNet 侧枝与空间 token 堆叠，将预训练图像补全 DiT 的 native 遮罩图像槽改造成全图密集低质证据通道，配合逆退化整流流与离线退化迁移管线，在单张 32GB GPU 上实现了支持原生 QHD 混合分辨率的高保真超分辨率重建。

研究背景与动机¶

真实世界图像超分辨率（Real-World SR）致力于从模糊、噪声、压缩伪影交织的复杂低质（Low-Quality, LQ）观测中恢复高质（High-Quality, HQ）细节。早期的 SwinIR、Restormer 等判别式恢复模型受限于感知-失真权衡（perception-distortion tradeoff），在高倍率或未知严重退化下极易产生过度平滑的塑料感纹理。近年来，基于大规模文生图（Text-to-Image, T2I）扩散模型的生成式先验逐渐成为高保真恢复的主流范式。然而，通用 T2I 模型本质上是面向无约束开放内容生成的，缺乏天生的像素级对齐先验，直接应用在超分任务中极易产生严重的几何漂移与虚假幻觉。

现有方案通常引入类似 ControlNet 的额外控制分支，或在 DiT 注意力层中拼接额外的空间条件 token 流。这种修补方式带来了两个根本性的结构瓶颈：一是随着分辨率提升，额外分支与空间 token 流导致的显存与计算开销呈超线性（甚至随 token 数量二次方）暴增，严格限制了训练分辨率；二是受显存上限掣肘，控制模块往往只能在单一固定尺度（如 $1024^2$）下调优，导致模型严重绑定于特定分辨率的先验分布，一旦面临任意尺度或多倍率测试输入便会爆发严重的幻觉崩溃。

面对这一矛盾，本文提出跳出“文生图+外挂控制分支”的固有思维，转而挖掘天然具备像素对齐特性的图像补全（Inpainting）扩散 Transformer（DiT）。核心 idea：利用预训练补全 DiT 原生具备的空间严密对齐先验，通过全图掩码将原生遮罩图像槽重定义为密集低质证据输入，免除任何额外空间控制分支，以 LoRA 适配学习逆退化整流流并在离线真实退化迁移辅助下实现全尺度稳定的真实世界超分。

方法详解¶

整体框架¶

Fill2SR 的核心思想是将超分辨率任务无缝映射到图像补全 DiT（FLUX.1-Fill-dev）的原生接口上。给定低质图像 $Y \in \mathbb{R}^{3 \times \frac{H}{s} \times \frac{W}{s}}$，首先通过双三次插值上采样至目标尺寸，经由冻结的 VAE 编码器映射为潜在低质观测 $y \in \mathbb{R}^{c \times h \times w}$。不同于传统在 DiT 侧面外挂 ControlNet 权重的做法，Fill2SR 将 $y$ 直接填入补全模型的原生遮罩图像（masked image）通道，并强行施加全图遮罩 $m \equiv 1$。配合轻量级图像语义嵌入器 Redux 提取的定长语义 token，模型通过通道级拼接接收对齐输入，以纯 LoRA 微调学习从纯高斯噪声 $z_1$ 演化到目标高清潜变量 $x$ 的逆退化条件整流流。此外，针对真实世界退化缺乏配对样本的困境，作者设计了完全运行在离线阶段的参考退化迁移管线（RCDT），在不增加任何推理开销的前提下注入真实退化统计分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    LQ["低质图像 Y (上采样后 VAE 编码得 y)"] --> IIEA["IIEA 证据适配器<br/>全图掩码 m≡1 激活原生补全槽"]
    LQ --> Redux["轻量视觉语义引导<br/>Redux 提取 768 维定长语义 token"]
    IIEA --> DiT["逆退化整流流骨干 (FLUX.1-Fill + LoRA)<br/>通道拼接 (zt, y, m) 消除空间外挂分支"]
    Redux --> DiT
    RCDT["离线真实退化迁移 RCDT<br/>Qwen3-VL 蒸馏退化 + 编辑器合成配对数据"] -.->|晚期 20% 步骤混合监督| DiT
    DiT --> HQ["生成高质潜变量 z0 → VAE 解码输出高清图像"]

关键设计¶

1. IIEA 补全接口证据适配器：原生通道重定向消除分支开销

现有基于扩散模型的超分方法为了维持结构保真度，普遍采用 ControlNet 等复制主干层或注意力拼接空间 token 的方式，导致推理显存随分辨率剧烈发散。Fill2SR 发掘了 FLUX-Fill 原生具备的 $(z_t, z^{\text{masked}}, m)$ 通道拼接接口：在标准补全中，$m=0$ 对应已知背景并强行复制保留，只有 $m=1$ 区域才生成新内容。如果直接将全图设为待补全（$m \equiv 1$），原生设定下的 $z^{\text{masked}}$ 将塌缩为全零背景 $x'$，失去一切输入观测。IIEA（Inpainting-Interface Evidence Adapter）的关键构想是：保持全图掩码 $m \equiv 1$ 不变，使模型脱离“逐像素复制保留”的硬约束（因为超分任务中即便低频像素也需要去噪和超分重构，不能机械复制），同时将上采样后的 LQ 潜在特征 $y$ 强制注入到原生 $z^{\text{masked}}$ 槽位中： $$c_{\mathrm{IIEA}}(y; \alpha) = [y(\alpha), \mathbf{1}]$$ 其中 $\alpha \in [0, 1]$ 为可选的像素级输入强度调节系数。由于所有条件均在 VAE 潜变量空间内以通道维度拼接到输入噪声上，token 总数保持严格恒定，彻底避免了空间 token 序列随分辨率二次增长的计算膨胀，并原生兼容从 $512$ 到 $2048$ 的混合分辨率训练。

2. 逆退化条件整流流：基于 RFM 的全图端点轨迹建模

图像补全 DiT 的原生预训练目标是基于局部上下文填补缺失区域，而超分辨率需要建模从全图退化观测恢复无损细节的逆映射。为此，Fill2SR 将整流流匹配（Rectified Flow Matching, RFM）引入条件超分流程。假定物理世界存在隐式退化算子 $\mathcal{T}$ 使得 $y = \mathcal{T}(x)$，Fill2SR 在纯高斯噪声 $z_1 \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ 与高质图像潜变量 $x$ 之间构造一条直线流轨迹： $$z_t = (1 - t)x + t z_1, \quad t \sim \mathrm{Unif}(0, 1)$$ 网络目标是预测速度场 $v_\theta(z_t, \mathcal{T}(x), t)$，使其拟合从纯噪声端点指向清晰高清图像端点的常微分方程轨迹： $$\mathcal{L}_{\mathrm{RFM}} = \mathbb{E}_{t, x, z_1} \left\| v_\theta(z_t, \mathcal{T}(x), t) - (z_1 - x) \right\|_2^2$$ 在推理阶段，默认采用端到端全生成模式（Full Generation, 即从 $t=1$ 积分至 $t=0$）。实验证明，从纯噪声起始积分能确保生成轨迹始终紧贴模型学到的流形，避免了从中间潜变量加噪精炼（Latent Refinement, $\beta < 1$）带来的流形偏离与伪影问题。

3. 轻量级视觉语义引导：定长 Token 阻断类别漂移

真实世界图像退化往往严重抹除了高频结构，甚至改变了局部低频轮廓，容易导致生成模型产生错误的语义联想（如将磨损的文字恢复为乱码，或将织物纹理误判为毛发）。传统方法依赖多模态大模型在测试时动态生成文本描述词，不仅延迟高，而且长文本难以精确覆盖全图的每个局域语义。Fill2SR 引入冻结的 FLUX-Redux 图像编码器代替测试期 VLM：无论输入图像长宽比与绝对分辨率多大，统一将其投影压缩为 $L = 768$ 个全局视觉语义 token $s(y) = \mathrm{Redux}(y) \in \mathbb{R}^{L \times D}$。这些语义 token 通过 DiT 原生的跨注意力上下文路径注入，以极低且恒定的计算预算为扩散过程提供了全局语义锚定。

4. RCDT 离线真实退化迁移：多模态代理协同的高拟真配对生成

在真实世界盲超分中，隐式退化算子 $\mathcal{T}(x)$ 无法用固定的参数化退化池（如双三次降采样+高斯模糊+JPEG压缩）完全覆盖，但无监督数据又缺乏成对的高清监督 $x$。RCDT（Reference-Conditioned Degradation Transfer）提出一种全新的离线数据合成机制，由多模态大模型与指令式图像编辑模型协同工作： 1. 退化特征蒸馏：利用冻结的多模态视觉大模型 Qwen3-VL 审查无配对真实低质图像池 $\{y^{\mathrm{real}}_i\}$，提炼出每张图像的真实物理退化自然语言描述 $d_i$，汇聚成退化先验池 $\mathcal{P}$； 2. 内容感知特化：对任意高清训练图像 $x$，从 $\mathcal{P}$ 中采样一个退化描述 $d$，再交由 Qwen3-VL 结合图像内容生成细粒度退化规范 $\tilde{d} = \mathrm{Qwen3VL}(x, d)$； 3. 退化迁移合成：调用冻结的指令图像编辑器（Qwen-Image-Edit）将退化特征施加到 $x$ 上，合成高逼真的低质图像 $\hat{y} = \mathrm{Edit}(x; \tilde{d})$。为了防止内容编辑破坏几何对齐，RCDT 采用“仅限退化”提示词过滤与 VLM 几何漂移验证机制。在训练策略上，前 80% 步数基于 30 万条常规合成配对数据打下扎实保真度基础，仅在后 20% 阶段混入 1 万对 RCDT 真实退化样本进行域迁移微调，成功在不增加任何测试期开销的前提下攻克真实退化分布。

损失函数 / 训练策略¶

模型训练采用参数高效微调（PEFT），主干 DiT（12B）、VAE 编解码器与 Redux 模块全程冻结，仅在 DiT 的注意力和前馈网络投影层上配置 rank=256 的 LoRA 适配层，可训练参数量严格控制在 0.65B。训练全程共执行 20k 步，学习率设定为 $2.5 \times 10^{-4}$（包含 2.5k 步预热），全局批大小为 16。借助 IIEA 恒定的空间开销，训练分为两个阶段进行多分辨率、多宽高比分桶（Bucketing）训练：前期在 512–1536 像素范围内训练，后期提升至 1024–2048 像素，最高覆盖原生 QHD（$2560 \times 1440$）。总训练消耗仅 4 张 RTX 5880 Ada（48GB）运行 14 天（约 50.6 A100 等效 GPU 天），比同类 DiT 超分方案大幅节省算力。

实验关键数据¶

主实验¶

论文在合成基准（DIV2K、LSDIR、FFHQ，三级退化 D1–D3 平均）与真实世界基准（RealPhoto60、RealLQ250，覆盖 2×、4×、8×）上进行了详尽对比。

合成基准评估（表 1，D1–D3 平均）

数据集	指标	Real-ESRGAN	SeeSR	SUPIR	FaithDiff	Ours-Base (w/o RCDT)	Ours-Full (+RCDT)
DIV2K_VAL	PSNR↑	23.3520	22.5903	22.6610	22.4013	22.4596	21.7831
	SSIM↑	0.6414	0.5807	0.5748	0.5574	0.5872	0.5679
	LPIPS↓	0.4017	0.4165	0.4032	0.4051	0.3866	0.3981
	MUSIQ↑	58.9699	69.0464	64.6142	68.1122	65.9644	67.8893
	CLIPIQA↑	0.5252	0.6015	0.5858	0.6184	0.6173	0.6271
LSDIR_VAL	PSNR↑	20.7295	20.0585	19.9397	19.6345	19.6930	19.2354
	SSIM↑	0.5670	0.4900	0.4847	0.4622	0.5019	0.4890
	LPIPS↓	0.4055	0.4126	0.4202	0.4083	0.3878	0.3974
	MUSIQ↑	64.5601	72.6831	67.9508	71.6307	72.3820	73.1206
	CLIPIQA↑	0.5674	0.6388	0.6234	0.6653	0.6840	0.6859

真实世界超分基准评估（表 2）

数据集与倍率	指标	Real-ESRGAN	SeeSR	SUPIR	DiT4SR	Ours-Base	Ours-Full
RealPhoto60 (2×)	MUSIQ↑	59.0296	71.8052	69.6326	72.5731	70.6389	73.5949
	MANIQA↑	0.4797	0.6079	0.6116	0.6309	0.6307	0.6468
	CLIPIQA↑	0.5068	0.5959	0.5972	0.6192	0.6780	0.7137
RealPhoto60 (4×)	MUSIQ↑	50.9528	58.1401	57.0462	63.7202	61.8281	65.8413
	MANIQA↑	0.4785	0.5530	0.5269	0.5803	0.5957	0.6042
	CLIPIQA↑	0.4247	0.5386	0.4542	0.5879	0.5207	0.5486
RealLQ250 (4×)	MUSIQ↑	62.5154	70.3728	63.2153	70.5121	62.1914	71.5498
	MANIQA↑	0.5239	0.5927	0.5812	0.6154	0.5751	0.6387
	CLIPIQA↑	0.4359	0.5568	0.4542	0.5617	0.5384	0.6287
RealLQ250 (8×)	MUSIQ↑	41.9557	58.9324	51.3011	61.8378	50.0516	59.3031
	MANIQA↑	0.4582	0.5509	0.5173	0.5766	0.5516	0.5876
	CLIPIQA↑	0.3614	0.5071	0.3849	0.5403	0.4293	0.4784

消融实验¶

核心模块与参数消融（表 5，D1–D3 平均）

配置说明	DIV2K PSNR↑	DIV2K LPIPS↓	LSDIR PSNR↑	LSDIR LPIPS↓	RealLQ250 CLIPIQA↑	RealLQ250 MANIQA↑	RealLQ250 MUSIQ↑
Default (完整模型)	21.7831	0.3981	19.2354	0.3974	0.6076	0.6375	67.7982
w/o RCDT 真实数据	22.4596	0.3866	19.6930	0.3878	0.5350	0.5907	59.9384
w/o Redux 语义引导	21.1379	0.4125	18.6203	0.4118	0.5963	0.6328	67.1587
Redux 输入全零图	21.4694	0.4067	18.9790	0.4081	0.6023	0.6336	67.4110
Redux 输入纯噪声图	21.6229	0.4047	19.0723	0.4043	0.6059	0.6355	67.4399
IIEA 证据强度 $\alpha=0.5$	20.9871	0.4105	18.5959	0.4040	0.6031	0.6333	67.5953
IIEA 证据强度 $\alpha=0.7$	21.4020	0.4042	18.9017	0.4004	0.6037	0.6348	67.5593
IIEA 证据强度 $\alpha=0.9$	21.7308	0.3994	19.1563	0.3981	0.6058	0.6364	67.6596
潜在精炼 $\beta=0.5$	23.7536	0.5568	21.1851	0.5731	0.3047	0.3987	28.2379
潜在精炼 $\beta=0.7$	23.8974	0.5261	21.2508	0.5501	0.3075	0.3972	28.8641

关键发现¶

RCDT 的域迁移权衡效应：剔除 RCDT 数据后，模型在合成数据集上的 LPIPS 从 0.3981 优化至 0.3866，但 RealLQ250 上的真实无参考质量 MUSIQ 发生雪崩（从 67.7982 跌至 59.9384，骤降 7.86 点）。这证明合成管线存在明显的域偏差，而 RCDT 以微小的合成域失真代价换取了对野生真实退化的强大复原泛化力。
全生成与中间精炼的质变差距：将采样策略从全生成（$\beta=1.0$）切为中间潜变量精炼（$\beta=0.5$），虽然由于贴近模糊输入使得 PSNR 飙升至 23.7536，但视觉感知指标全面崩溃（LPIPS 恶化至 0.5568，MUSIQ 跌入 28.2379），证明中间加噪截断严重偏离了整流流学到的流形轨道。
显存与硬件可扩展性（表 4）：在 $1536^2$ 高清分辨率下，SUPIR、DreamClear、FaithDiff 均在 32GB 显存下单卡 OOM，而 Fill2SR 因无额外空间控制分支，仅需 0.65B 训练参数即可平稳单卡运行，端到端训练与数据生成分别仅耗费 50.6 与 18.1 A100e 天。

亮点与洞察¶

将“补全”思维降维打击“超分控制”：巧妙观察到图像补全网络天生具备像素级对齐先验，用全图掩码激活补全接口并将低质图写入遮罩槽，用 0 额外结构开销解决了困扰 T2I 超分多年的空间控制分支显存膨胀问题。
“数据端建模”解耦物理退化模型：不试图在推理时用复杂可微退化算子做反向求导，而是利用离线多模态大模型（Qwen3-VL）与指令编辑器将真实野生退化“转录”到高清图上，彻底免除推理侧的 Prompt 计算与退化估计开销。
可复用的高分辨率多尺度训练范式：通过固定定长 Redux 语义 token 与通道级潜变量拼接，彻底摆脱了传统 DiT 恢复模型固定 $1024^2$ 训练的分辨率绑定病，天然支持多宽高比与 QHD 任意尺度恢复。

局限与展望¶

极端退化下的生成式幻觉风险：作为生成式模型，在低质输入几乎完全失去高频信息时，模型会根据先验生成看似合理但与真实物理不符的细节，严禁用于法医鉴定、医疗诊断等对绝对真实性要求极高的场景。
庞大骨干的推理延迟：虽然 LoRA 仅占 0.65B 参数，但推理端仍需载入 12B 的 FLUX-Fill 骨干进行多步数值积分，推理速度仍不及前馈卷积网络，未来亟需结合一步蒸馏与流匹配加速求解器。
编辑合成样本的潜在微小几何漂移：RCDT 依赖指令图像编辑模型生成退化对，即便引入了 VLM 几何一致性过滤，仍难以 100% 杜绝亚像素级别的结构漂移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [颠覆性地将掩码补全原生接口重定义为全图超分通道，完全摒弃空间外挂分支]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖合成与真实超分基准、严格的消融实验、A100 等效硬件开销与单卡 32GB 验证]
写作质量: ⭐⭐⭐⭐⭐ [问题提炼犀利，结构清晰，理论与工程实现紧密闭环]
价值: ⭐⭐⭐⭐⭐ [大幅降低了超大 DiT 落地真实超分辨率的工程门槛，为高分辨率生成式恢复提供了标杆路径]