Zero-Shot Inference-Time Rectification for Real-World Arbitrary-Scale Super-Resolution

会议: ECCV 2026
论文: ECCV 原文
领域: 图像恢复
关键词: 任意尺度超分辨率、真实退化、推理时整流、条件扩散、对比学习

一句话总结

连续退化整流器 CDR 用内容净化、退化与尺度分离及条件扩散，将真实低分图转换成冻结超分模型熟悉的 bicubic 风格输入；在 RealSR ×2 上为 CiaoSR 带来 4.6858 dB PSNR 增益，但并非所有数据集和指标都同步改善。

研究背景与动机

LIIF、CiaoSR、HIIF 等任意尺度超分模型把重建表示成连续坐标查询，可以处理分数倍率，而本文使用的预训练版本主要面向理想 bicubic 下采样。真实相机存在模糊、噪声、压缩等退化，且退化表现随变焦倍率变化；模型支持连续输出尺度，不等于已经学会处理连续变化的真实输入分布。

真实配对数据集受拍摄尺度和硬件条件限制。另一类方法先生成退化低分图，再用合成配对数据重新训练超分网络，例如本文对比的 RealDGen 固定尺度方案。若沿用逐尺度合成和适配，任意尺度部署会增加训练与数据准备成本。本文转而保留已有超分模型，把域适配放到输入侧。

核心 idea：训练一个可随目标倍率调整的整流代理，将真实输入转换成合成预训练模型熟悉的低分图分布，而不在测试时重新训练超分主干。

方法详解

整体框架

输入是真实低分图与目标倍率。尺度不变内容净化从真实图中提取内容；对比退化尺度解耦从尺度匹配参考中提取退化与尺度信息；带宽调制扩散引导将这些表示融合，条件 DDPM 输出规范 bicubic 风格低分图，再交给冻结的 ASSR 主干重建。

参考来自与输入内容无关的高分图，按目标倍率做 bicubic 下采样。它提供目标退化域和尺度线索，不是成对真值。训练先后优化内容、退化和尺度编码器，阶段间冻结，再训练扩散模型；这是作者防止条件相互干扰的设计，不构成表示严格独立的数学证明。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实低分图"] --> B["尺度不变内容净化"]
    R["无配对参考图<br/>按目标倍率下采样"] --> C["对比退化尺度解耦"]
    B --> D["带宽调制扩散引导"]
    C --> D
    D --> E["规范 bicubic 低分图"]
    E --> F["冻结超分主干<br/>目标倍率重建"]

关键设计

1. 尺度不变内容净化：让离散瓶颈重建干净目标，而不是复制输入退化

训练时对高分图施加高阶合成退化，并在连续倍率 [1,4] 内下采样。VQ-VAE 编码器将退化图编码，再通过最近邻查找量化到离散码本；解码器的目标不是输入本身，而是同一高分图在同一倍率下的干净 bicubic 图。这样监督在空间上对齐，又要求模型抑制合成退化。

作者将有限码本解释为尺度归一化的锚：跨倍率监督鼓励模型保留内容、弱化退化变化。应注意，有限码本并不自动保证高频伪影不可编码，更不能保证任意真实图都被完全净化。这是一种带监督的表示瓶颈及作者的机制解释。内容编码器训练收敛后冻结，避免后续梯度改变已学到的表示。

2. 对比退化尺度解耦：用交叉正负样本鼓励模型关注倍率而非内容

第一步固定内容编码器，在预设基准倍率训练退化编码器与解码器；原文以 ×2 为例。固定倍率是控制训练变量，减少倍率变化进入退化表征，而不是从逻辑上证明编码器已对所有倍率不变。退化编码器收敛后冻结，随后训练尺度编码器。

尺度训练的关键在三元组：锚点为图 A 在倍率 s 下的干净下采样，正例是另一张图 B 在同一倍率 s 下的下采样，负例却是图 A 在另一倍率下的下采样。正例换内容不换尺度，负例换尺度不换内容，以 triplet margin 损失鼓励表示按尺度聚合，而不是按图像语义聚合。尺度编码器还显式接收倍率，用 LIIF 的 cell 表示注入 SwinIR 块的位置偏置，因此不能把尺度识别描述成完全从图像盲估计。

此外，尺度自适应解码器融合锚图的内容、退化和尺度表示，以 L2 损失重建锚图，限制解耦过程中有用信息的丢失。作者将其称为“正交解耦”，但缓存未提供统计独立或完备性证明；这里应理解为训练目标，不是已保证的性质。原文三元组公式提取损坏，笔记保留可核实的正负构造和损失类型，不补造精确范数与归约方式。

3. 带宽调制扩散引导：让尺度改变条件核，而不只作为一个附加数值

先拼接退化和尺度特征，经两层线性网络生成逐通道 3×3 基核。尺度特征另经三层线性网络预测每个通道的缩放与偏置，调制基核；随后用该核对净化内容做深度卷积，形成 DDPM 条件。关键是倍率不仅进入编码器，还参与条件滤波器本身的生成。

依据原文关于通道仿射变换的说明，核心机制可概括为：

\[ \hat K=\alpha\odot K_{\mathrm{base}}+\beta. \]

其中缩放和偏置按通道预测并广播到空间核。原式在缓存中损坏，这里是对文字机制的表达。作者把它解释为对光学模糊带宽的模拟，但通道仿射并非经过标定的真实光学模型，也不自动保证某种带宽伸缩关系。

最后冻结各编码器，训练条件 DDPM 将复杂合成退化输入映射到干净 bicubic 分布。测试时只把内容来源换成真实低分图，退化与尺度线索取自尺度匹配参考，输出交给冻结 ASSR。×5、×6 的外推由实验支持，但不能仅凭结构就推导对任意倍率都有效。

一个完整示例

目标为 ×3.5 时，真实照片首先经内容编码器和量化瓶颈形成内容表示。另一张不相关的高分图下采样 ×3.5，提供规范参考；退化编码器读取参考，尺度编码器同时读取参考及倍率。

基核网络和仿射网络据此生成条件核，将参考侧信息注入真实图内容，再由 DDPM 合成 bicubic 风格的低分图。冻结 LIIF 或其他已测主干按 ×3.5 查询输出。这个例子说明数据流，不代表论文给出了该图的完整采样轨迹；内容恢复仍可能有误差，不能称为物理上无损去伪影。

损失函数 / 训练策略

内容模块用标准 VQ-VAE 目标；固定倍率退化重建后冻结退化编码器；尺度模块结合三元组损失与 L2 重建；最后训练条件 DDPM。解耦模块使用 DIV2K，扩散模型使用 Flickr2K，高阶退化参考 Real-ESRGAN，内容与扩散阶段覆盖连续倍率 [1,4]。

实现采用 PyTorch、RTX 3090。推理参考由随机 DF2K 图按目标倍率下采样。这里的“零样本”是免真实配对训练、免目标域主干微调，不是 CDR 从未训练，也不同于 ZSSR 对单张测试图做自监督优化。缓存没有足够信息支持精确推理成本评估。

实验关键数据

主实验

PSNR、SSIM 越高越好，LPIPS 越低越好。下表摘录 RealSR/DRealSR ×4，固定尺度方法与冻结 ASSR 加代理的训练协议不同，不能把排名解释成严格等预算比较。

方法	RealSR PSNR / SSIM / LPIPS	DRealSR PSNR / SSIM / LPIPS
SynDiff	25.2461 / 0.7588 / 0.2371	28.0125 / 0.8136 / 0.1739
RealDGen	26.1615 / 0.7940 / 0.2226	28.6629 / 0.8360 / 0.1497
LIIF + CDR	26.8051 / 0.7822 / 0.1943	28.7324 / 0.7743 / 0.2367
CiaoSR + CDR	26.9161 / 0.7842 / 0.1910	28.8057 / 0.7728 / 0.2339
HIIF + CDR	26.7693 / 0.7822 / 0.1964	28.6953 / 0.7704 / 0.2382

RealSR ×4 上 CiaoSR + CDR 相对 RealDGen 的 PSNR 高 0.7546 dB、LPIPS 更低，但 SSIM 更低。DRealSR 的 PSNR 略高，SSIM 和 LPIPS 都不如 RealDGen。相对裸 CiaoSR，DRealSR 的 PSNR 增加 0.7349 dB、LPIPS 减少 0.0936，却伴随 SSIM 下降 0.0313。因此不存在跨数据集三指标全面改善的证据。

论文最大 PSNR 增益 4.6858 dB 来自 RealSR ×2 的 CiaoSR，结果为 34.9864 dB，不是上表 ×4 的收益。COZ 八个倍率上，三种主干相对各自裸模型的 PSNR 增益范围为 3.4634–3.9622 dB；训练范围外的 ×5、×6 仍有收益，但只代表已测区间。

消融实验

以下摘录原文表 3 的代表倍率，均为 COZ PSNR。固定倍率训练变体与连续条件化完整系统的差异是一组训练设计，不能从表中单独证明某个潜变量严格解耦。

设置	×2	×3	×4	×6
裸 LIIF	27.8485	26.0925	24.7187	22.7951
固定 ×2 训练	28.2575	26.0842	24.8292	22.8876
固定 ×3 训练	28.2483	26.0892	24.8364	22.8996
固定 ×4 训练	28.2358	26.3711	24.8576	22.9156
完整连续尺度模型	31.7725	29.9801	28.6130	26.4225

固定 ×2 在自身倍率比裸 LIIF 高 0.4090 dB；固定 ×3 在自身倍率反而低 0.0033 dB；固定 ×4 高 0.1389 dB。因此，固定倍率训练并不保证在自身倍率上都有正增益。完整模型相对三个固定变体中的最佳值，在 ×2、×3、×4、×6 分别高 3.5150、3.6090、3.7554、3.5069 dB。

原文表 4 比较融合位置与粒度；K_d 仅由退化特征生成，K_dc 同时使用退化和尺度特征。这里选取能直接检验最终设计的几行：

融合策略	×2 PSNR	×3 PSNR	×4 PSNR
特征拼接	27.7121	26.8999	26.1973
全局调制 K_dc	28.3928	26.9515	26.4270
通道级调制 K_d	28.2760	27.0157	26.5597
通道级调制 K_dc（完整）	31.7725	29.9801	28.6130

关键发现

• 连续条件化优于这些固定变体。 代表倍率的优势约 3.5–3.8 dB，支持跨尺度建模的实用价值，不等于证明真实退化的唯一瓶颈就是尺度纠缠。
• 核生成与通道调制组合重要。 完整配置在 ×2 比全局 K_dc 高 3.3797 dB；这是配置级消融，不能单凭数值断言学到了准确光学频带。
• 指标取舍仍然存在。 COZ 上三指标相对裸主干改善，但 DRealSR SSIM 下降；不能把不同表格的最大收益拼成同一设置的结果。

亮点与洞察

• 复用已有主干。 适配输入分布而不是重训每个 ASSR，为存量模型提供另一种接入真实图像的方法，代价转移到代理推理。
• 正负样本明确控制关注因素。 异图同尺度为正、同图异尺度为负，直接表达希望保留和忽略的变化，比泛泛要求“解耦”更具体。
• 尺度参与条件核生成。 不只拼接一个倍率数值，而是改变作用于内容的滤波器，给扩散条件增加结构约束。

局限与展望

• 推理成本没有充分量化。 多编码器加 DDPM 比直接 ASSR 前向更复杂，缺少时延、参数量和 FLOPs 使部署收益难以判断。
• 参考图迁移依赖经验解耦。 内容不相关的参考是否稳定，面对特殊传感器噪声是否失配，缺少系统敏感性分析。
• 结论局限于已测范围。 ×5、×6 外推有效不等于任意倍率可靠，DRealSR 的结构与感知指标也未全面领先。
• 机制表述强于证明。 原文“严格不变”“正交”“完整流形”应作为设计目标理解；缓存损坏公式限制精确复现。

相关工作与启发

• 对比 RealDGen： 本文比较其固定尺度生成配对再训练方案，改为推理时输入整流；RealDGen 在 DRealSR LPIPS 仍更好，不能笼统声称全面替代。
• 对比真实连续尺度数据集： COZ 提供连续倍率评测，本文不依赖真实配对训练，但不意味着真实数据对其他任务不再必要。
• 对比 Real-ESRGAN： 高阶合成退化仍是本文训练数据来源，CDR 是在其上学习转换，不是完全摆脱手工退化假设。
• 对比 ZSSR： ZSSR 测试图自监督训练；本文使用预训练代理，测试时冻结模型，零样本含义不同。

评分

• 新颖性：4/5。输入侧整流与连续尺度条件结合明确，基础组件并非新提出。
• 实验充分度：3/5。多主干、多基准和两类消融有价值，缺少时延与等预算适配对比。
• 写作质量：3/5。流程明确，但严格解耦措辞和指标概括需要校准。
• 价值：4/5。提供复用合成预训练 ASSR 的路径，尚需验证推理成本和真实退化稳健性。

相关论文

• [ECCV 2026] Fidelity- and Perception-Aware Local Implicit Attention for Arbitrary-Scale Image Super-Resolution
• [ICLR 2026] KernelFusion: Zero-Shot Blind Super-Resolution via Patch Diffusion
• [ECCV 2026] Tuning Real-World Image Restoration at Inference: A Test-Time Scaling Paradigm for Flow Matching Models
• [ECCV 2026] TEASR: Training-Efficient Any-Step Diffusion Transformer for Real-World Image Super-Resolution
• [ECCV 2026] FreqOrtho-SR: Frequency-Guided Orthogonal Expert Learning for Real-World Image Super-Resolution