Allo{SR}2: Rectifying One-Step Super-Resolution to Stay Real via Allomorphic Generative Flows¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3463
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1555.pdf
领域: 真实图像超分辨率 / 流匹配
关键词: 一步超分辨率、信噪比初始化、轨迹一致性、异形轨迹匹配、生成先验

一句话总结¶

AlloSR2 将低分辨率潜变量接入预训练生成流的中间时刻，以 FATC 拉直局部超分轨迹、以 ATM 对齐共享参数的生成轨迹，在一次速度预测下实现四倍超分辨率，改善多项真实感指标，但不追求最高像素保真度。

研究背景与动机¶

真实图像超分辨率面对的不是单一双三次下采样，而是模糊、压缩与噪声等复杂退化。生成模型能补出传统回归网络容易抹掉的纹理，但 StableSR、SeeSR 等方法需要反复去噪。把采样压到一步后，速度问题缓解了，如何在大幅改造任务的同时保留预训练模型的自然图像知识却成为新瓶颈。

论文关注的具体错位是初始分布：生成模型习惯从高斯噪声出发，超分模型却常直接把退化图像的潜变量塞到同一入口。低分辨率图像仍包含大量结构，不是纯噪声；只监督最终高清图像，也不能约束从这个入口到终点的中间速度。于是网络可能学到一个能拟合训练对、却偏离生成轨迹的快捷映射，输出过平滑纹理或不自然细节。这里的“先验坍塌”指生成能力在任务微调中的退化，不是已经证明发生了某种严格的概率分布坍缩。

AlloSR2 把生成与恢复看作形态不同、但都通向自然高清图像的两条路径：全局路径从噪声出发，局部路径从退化观测出发。两者共享速度网络，既让局部路径适合一步积分，也让全局路径持续提供真实图像分布的约束。核心 idea：先找到低分辨率观测在生成时间轴上的合理位置，再同时校正局部速度与跨轨迹分布，而不是只把生成骨干微调成端点回归器。

方法详解¶

整体框架¶

输入是退化低分辨率图像，输出是四倍分辨率的恢复图像。训练时先用成对 LR-HR 潜变量统计确定接入时刻，再对局部超分流施加 FATC，对共享速度场中的局部超分流与全局生成流施加 ATM，并用端点重建监督约束输入对应的内容。推理时只保留 VAE 编码、在选定时刻的一次速度预测及 VAE 解码，并不把两条训练路径都采样一遍。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["LR-HR 训练对<br/>VAE 潜变量"] --> Init["信噪比引导初始化"]
    Init --> FATC["流锚定轨迹一致性<br/>FATC"]
    FATC --> ATM["异形轨迹匹配<br/>ATM"]
    Global["噪声到 HR 的生成流<br/>与超分流共享速度网络"] --> ATM
    ATM --> Model["训练后的一步超分模型"]
    LR["推理：LR 编码"] --> Model
    Model --> Output["一次速度预测<br/>Euler 更新与解码"]

图中 FATC 与 ATM 是训练约束的组织关系，不是两次串联的推理网络调用。原文没有交代一个明确分开的两阶段优化流程，因此不应把它改写成“先训练 FATC，再单独训练 ATM”。

关键设计¶

1. 信噪比引导初始化：让退化观测接入与其信息量相称的时刻

把高清潜变量记为 \(z_H\)，低分辨率潜变量记为 \(z_L\)，其差 \(\Delta z=z_L-z_H\) 表示退化残差。在线性流的归一化时间轴上，\(t=0\) 对应干净数据，\(t=1\) 对应噪声；LR 既不是无信息噪声，也不是已经恢复的 HR，因此更合理的入口是中间时刻。作者使用固定预训练 VAE 编码一组配对样本，以高清信号方差与残差方差之比描述退化 SNR，再搜索使理论轨迹 SNR 与它最接近的 \(t^*\)。这是一种数据集统计选点，原文没有给出逐图估计退化程度的自适应时间预测器。

这个选择跳过 \(t^*\) 之后的高噪声区，让网络从已有结构开始恢复，而不是要求它把有结构的 LR 当作噪声理解。但 SNR 只对齐一个统计量，不能单独证明完整潜变量分布已经相同，更不能单靠初始化保证先验不会遗忘。缓存式 (6) 的求和与期望排版损坏，且正文未报告最终 \(t^*\) 数值，故这里保留可确认的搜索逻辑，不臆造精确实现。实验中的 \(t=999\) 与 \(t=1\) 是离散调度标签，不能把后者误读为归一化时间轴的纯噪声端点。

2. 流锚定轨迹一致性：不只监督终点，还教网络沿途应该怎样走

从选定起点一步到达 HR，实质是用起点速度近似整段积分。若只要求最终输出接近目标，网络可能拟合复杂捷径，缺少稳定的中间速度场。FATC 在 HR 与 LR 之间采样中间状态，把局部路径的时间范围归一到 \([0,t^*]\)，监督速度为这条直线的斜率。按正文对式 (7)、(9)、(10) 的解释，核心关系可整理为：

\[ \hat z_H=z_L-t^*v_\theta(z_L,t^*),\qquad z_t^{\mathrm{sr}}=\left(1-\frac{t}{t^*}\right)z_H+\frac{t}{t^*}z_L,\qquad \mathcal L_{\mathrm{FATC}}=\mathbb E\left[\left\|v_\theta(z_t^{\mathrm{sr}},t)-\frac{z_L-z_H}{t^*}\right\|_2^2\right]. \]

这里的负号来自逆时间积分：速度定义朝向 LR 一侧，恢复时从 \(t^*\) 往零走。除以 \(t^*\) 也不是可省略的缩放，因为同一潜变量位移必须在缩短后的时间区间内完成。FATC 的直觉是让沿途速度尽量一致，降低单步 Euler 近似的误差，而不是增加推理步数。上式依据可读正文整理了损坏的排版，不代表缓存中每个公式字符都完整；实际的采样分布和实现细节仍需原始公式或代码确认。

这种速度监督仍然来自配对 LR-HR 数据，本身更直接约束重建路径，而非完整的自然图像分布。因此“路径更直”不等于“生成细节一定真实”，也是下一项设计存在的原因。

3. 异形轨迹匹配：用共享生成流约束超分结果的分布

ATM 处理的是仅靠配对回归可能丢失生成丰富性的问题。作者借鉴 TwinFlow 的自对抗思想，让噪声到 HR 的全局生成流与 LR 到 HR 的局部超分流共享参数，在统一速度场中对齐对应时间状态的分数。分数指对数概率密度相对于样本的梯度，刻画当前样本向哪个方向移动更符合该分布，不是额外的图像质量评分。全局流作为动态正向引导，而非单纯放在旁边的静态预训练骨干。

目标是在分布层面使恢复潜变量接近生成先验，原文式 (11) 的方向为：

\[ \mathcal L_{\mathrm{ATM}}=D_{\mathrm{KL}}\!\left(p_{\mathrm{sr}}\parallel p_{\mathrm{gen}}\right). \]

高维密度无法直接求值，所以训练使用分数差给恢复结果提供梯度。式 (12) 将这种差异联系到两类信息：局部与全局中间状态的“位置对齐”，以及相同时间上预测速度的“方向一致性”，并带时间权重 \(w(t)\)。前者防止路径虽然朝向相似、却在潜空间中错开；后者防止位置接近但后续运动偏离。两者合起来才对应跨路径分布约束，而不是把最终 SR 图像简单拉向一张随机生成图像。

缓存式 (12) 的展开严重乱序，无法可靠核验所有正负号、缩放因子与梯度截断；正文也没有完整给出 \(w(t)\)、全局分支训练目标和更新顺序。因此不补写看似可运行的 ATM 伪代码，也不把共享参数误称为两个独立教师网络。可确认的是它与 FATC 分工不同：FATC 约束局部轨迹的可积分性，ATM 保持输出分布的生成性质。

一个完整示例¶

以评测中的一个 \(128\times128\) 退化裁剪为例，任务是生成 \(512\times512\) 恢复图像，而不是先从纯噪声生成无关场景。VAE 将输入变成 \(z_L\)，速度网络在选定 \(t^*\) 上预测一次，按上面的 Euler 更新得到 \(\hat z_H\)，解码后输出高清图像；具体进入编码器前的尺寸预处理在缓存中未展开。

理解训练时，可以设想对应 HR 裁剪给出 \(z_H\)：FATC 用这对端点之间的中间状态教网络稳定移动，ATM 则让这种恢复路径不偏离自然图像生成流。这里的裁剪尺寸来自实验设置，过程说明不是论文新增的定量个案。一次函数评估指一次速度网络调用，不包含 VAE 编解码；大图分块也不等于整张图只调用一次网络。

损失函数 / 训练策略¶

端点重建损失由潜空间 MSE 和像素空间 LPIPS 组成，后者比较解码后的预测潜变量与 HR 潜变量。MSE 保住与输入对应的内容，LPIPS 在特征空间约束感知相似性，FATC 和 ATM 再分别补上局部速度与分布约束。原文出现 LPIPS 系数 \(\lambda\)，但缓存没有提供其数值，也没有完整交代各损失的总权重配置。

基础模型为 FLUX.1-dev，VAE 编码器与 DiT 均加入 rank 64 的 LoRA。SNR 统计使用固定预训练编码器，而后续适配又训练编码器 LoRA，这是原文分别陈述的两个环节；适配后是否重新估计 SNR 未说明。训练使用 LSDIR 与 FFHQ 前 10K 张人脸图像，共 95K 张，按 Real-ESRGAN 退化流程生成配对样本。

优化器为 AdamW，学习率 \(5\times10^{-5}\)，全局 batch size 16，总计 10K 次迭代。初始化分析另称选定时刻约 7K 次收敛、其他设置约 9K 次收敛，这不是把统一训练预算改成 7K，也不是完整的硬件训练时间比较。

实验关键数据¶

主实验¶

全部实验为四倍超分辨率。DIV2K-Val 使用合成退化；RealSR、DRealSR 有配对真值，LR 中心裁剪为 \(128\times128\)；RealLQ250 没有配对真值，保留 \(256\times256\) 输入。主配置按 \(512\times512\) 训练和评测，大图采用分块推理。

下表摘录原文表 1，选择同为一步的 OSEDiff、TSD-SR 作对照，未将它们统一称为所有指标上的此前最优。PSNR、MUSIQ、MANIQA 越高越好，LPIPS、FID 越低越好；FID 比较图像集合的特征分布，不能等同于单张图像内容忠实度。

数据集	指标	OSEDiff	TSD-SR	AlloSR2
DIV2K-Val	PSNR	23.72	23.02	22.98
DIV2K-Val	LPIPS	0.2941	0.2673	0.2854
DIV2K-Val	MUSIQ	67.97	71.69	72.00
RealSR	FID	123.49	114.45	112.88
RealSR	MANIQA	0.6326	0.6347	0.6725
DRealSR	FID	135.30	134.98	132.48
DRealSR	MUSIQ	64.65	66.62	66.95
RealLQ250	MUSIQ	69.55	72.09	72.51

RealSR FID 相比 TSD-SR 减少 1.57，但 DIV2K-Val 的 LPIPS 比 TSD-SR 更差。完整表中 RealSR MUSIQ 也落后于 TSD-SR；RealLQ250 的 NIQE、CLIPIQA 并非最佳。因此证据支持某些自然度和分布指标改善，不支持“所有感知指标全面领先”。

消融实验¶

下表摘录原文表 2 的 DRealSR 损失消融，保留改善和退步方向不一致的指标。

配置	PSNR ↑	LPIPS ↓	DISTS ↓	FID ↓	MUSIQ ↑	MANIQA ↑
完整模型	27.95	0.2989	0.2128	132.48	66.95	0.6264
去掉 FATC	27.88	0.3106	0.2105	121.75	63.49	0.6192
去掉 ATM	28.68	0.3008	0.2003	139.74	62.77	0.6049

去掉 FATC 后 MUSIQ 从 66.95 降到 63.49，但 FID 从 132.48 改善到 121.75；去掉 ATM 后 MUSIQ 降到 62.77、FID 恶化到 139.74，却同时改善 PSNR 和 DISTS。不能把消融写成“每个模块都让全部指标变好”，也不能把所有感知度量视为同一目标。

关键发现¶

初始化并非逐指标最优：RealSR 上选定 \(t^*\) 的 PSNR 为 24.97，\(t=999\) 为 24.16，\(t=1\) 为 24.74；但 \(t=1\) 的 LPIPS 为 0.2741，略好于选定时刻的 0.2755。
更高原生分辨率有收益：RealLQ250 从 \(512\times512\) 配置升到 \(1024\times1024\)，MUSIQ 从 72.51 升至 72.93，NIQE 从 3.59 降至 3.52；这是训练和评测配置一起改变，不是只改推理尺寸的隔离消融。
效率证据主要是步数：StableSR、SeeSR、ResShift 分别使用 200、50、15 步，本文使用 1 步；15 至 200 倍的函数评估减少不能直接当作同倍率端到端加速。

亮点与洞察¶

入口、路径和分布分别受约束，比只优化最终输出更能解释一步恢复为什么成功或失败。这个分解也提示后续研究应该分别测量初始化统计偏差、轨迹曲率与输出分布变化。
FATC 的关键细节是局部时间重标定，而非笼统的一致性损失。若把它迁移到去噪或去模糊，退化入口所对应的时间区间也必须同步进入速度目标。
ATM 把生成先验作为训练中的动态约束，值得借鉴到其他生成式恢复任务。但迁移价值仍是方法启发，本文没有给出这些任务的实验结果。

局限与展望¶

作者明确讨论了感知与失真的权衡，但没有独立、系统的局限性章节。消融表进一步表明这种权衡也发生在不同感知指标之间，单凭 FID 或无参考质量分数无法证明内容恢复正确。
缓存未报告最终 \(t^*\)、完整损失权重、ATM 更新细节和时间权重，部分数学排版损坏；复现仍需完整公式或作者实现。已有信息不足以声称得到了可直接重现的训练配方。
没有同骨干、同资源的完整效率对照，也未提供墙钟时间或显存统计。FLUX.1-dev 的单步成本不能由调用次数推断为比所有较小多步模型更低。
评测覆盖四个数据集，但主训练仍来自合成退化；没有系统的极端退化、文字正确率或人脸身份保持评测。可以增加退化分层测试和内容忠实度指标，区分逼真细节与忠实细节。
数据集级 SNR 选点能否适应每张图像不同的退化尚不清楚。逐图或逐区域时间估计是可探索方向，不是当前方法已经具备的能力。

评分¶

新颖性: 4/5。三项机制围绕一个明确的轨迹错位问题组织，但中间时刻和自对抗双流均有先行工作。
实验充分度: 3/5。包含四个测试集与多项消融，缺少资源公平对照、内容忠实度评测和完整复现细节。
写作质量: 3/5。整体动机连贯，但“最优”与部分感知结论需结合反例阅读；缓存公式损坏另行影响可读性。
价值: 4/5。为一步生成式恢复提供了清晰的设计分工，适合重视自然度且能接受保真权衡的场景。