D²R²OSR: Degradation-Disentangled Representation for Real-World Omnidirectional Image Super-Resolution¶
会议: ECCV 2026
论文: ECCV 官方页面
代码: 待开源
领域: 图像恢复
关键词: 全景图像超分辨率、真实退化解耦、透视投影表征、退化特定调制、跨域投影融合
一句话总结¶
针对全景成像中鱼眼采集与等距柱状投影（ERP）几何形变互相交织的复杂复合退化，D²R²OSR 提出了透视投影表征（PPR）与双分支网络，通过隐式傅里叶坐标映射实现无损视口解耦，结合退化特定调制模块（DSM）和跨域投影融合注意力模块（PFAM），在显著降低计算开销的同时实现了真实全景图像超分辨率的 SOTA 性能。
研究背景与动机¶
全景图像（ODIs）以 360° 全视角捕获全维度场景沉浸感，在虚拟现实与增强现实等交互应用中扮演核心角色。沉浸式体验对分辨率有极严苛的要求（通常需要 4K、8K 乃至 16K），然而受制于高精度传感器成本与网络传输带宽限制，现实环境采集的全景图像普遍分辨率偏低。更为关键的是，实际全景成像管线经历鱼眼镜头捕获、多视点拼接、球面展开至等距柱状投影（ERP）、压缩编码与网络分发等多个阶段。在这一完整链路中，模糊、传感器噪声、多次缩放、压缩伪影等真实退化与 ERP 固有的高纬度几何拉伸严重混叠，导致常规图像超分辨率技术难以直接适用。
现有的超分辨率方法在此类场景下陷入两难境地。一方面，传统全景超分辨率方法（如 LAU-Net、OSRT、BPOSR 等）多建立在理想的双三次（Bicubic）下采样假设之上，重心放在利用经纬度几何先验修正 ERP 投影拉伸，在面对野外采集的未知复杂噪声和模糊时恢复性能大幅衰退；另一方面，通用的真实图像超分辨率算法（如 BSRGAN、Real-ESRGAN、AdaIR 等）虽然构建了复杂的退化模拟模型，却将输入均质化地视为普通平面图像，完全忽视了球面投影带来的非均匀像素密度与几何形变，在高纬度极区和视口交互中产生严重的走样与结构畸变。
全景沉浸观察的本质特性在于用户的局部注意力往往集中在 100°~120° 视场角的视口区域，且投影形变与内容级退化具备截然不同的几何先验。本文的核心 idea 是：将全景超分辨率拆解为等距柱状投影（ERP）全局分支与透视投影表征（PPR）视口分支，利用二阶曲率感知的隐式傅里叶坐标映射实现投影几何拉伸与真实退化的显式解耦，并通过退化特定调制与跨域门控融合实现高保真度重建。
方法详解¶
整体框架¶
D²R²OSR 的输入为低质量等距柱状全景图像 \(I_{ERP}^{LQ}\)，目标是恢复出高分辨率全景图像 \(I_{ERP}^{HQ}\)。模型整体采用双分支并行架构：主干将低质量输入划分为 ERP 图像块 \(P_{ERP}^{LQ}\)，同时借助透视投影表征（PPR）将其几乎无损地转换为符合人眼自然视口的透视块 \(P_{PPR}^{LQ}\)。两路特征分别进入由 \(N=6\) 个 ERP 自适应调制块（EAMB）和 PPR 自适应调制块（PAMB）组成的深层提取网络；在每一层中，嵌入的退化特定模块（DSM）分别针对 ERP 纬度拉伸与 PPR 真实随机退化提取自适应退化描述子，并通过投影融合注意力模块（PFAM）进行跨阶段、跨投影域的特征交互与门控融合，最后聚合输出重建高质量全景图。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入：低质量全景图<br/>(ERP 图像块)"] --> PPR["透视投影表征 (PPR)<br/>雅可比与海森先验+隐式傅里叶映射"]
In --> EAMB["ERP 自适应调制分支<br/>(EAMB)"]
PPR --> PAMB["PPR 自适应调制分支<br/>(PAMB)"]
subgraph S1 ["退化解耦与调制 (DSM)"]
direction TB
EAMB --> DSM1["退化特定模块 (DSM)<br/>纬度量化几何先验校准"]
PAMB --> DSM2["退化特定模块 (DSM)<br/>自适应池化退化描述子+注意力注入"]
end
DSM1 --> PFAM["投影融合注意力模块 (PFAM)<br/>空间-通道门控与层级聚合"]
DSM2 --> PFAM
PFAM --> Out["图像块聚合与重建输出<br/>(高质量全景图)"]关键设计¶
1. 透视投影表征（PPR）：基于高阶几何引导的无损视口连续坐标映射 传统全景管线若将 ERP 切割为局部视口透视图，通常依赖基于球面的双线性或双三次插值重采样（如 OpenCV Remap），这会导致明显的插值模糊与高频纹理损失（双程往返重构误差达 4 dB 以上）。PPR 旨在直接建立连续的 ERP 到视口透视平面的无损映射。对于目标透视坐标 \(p'(u', v')\) 及其对应的 ERP 局部邻域，不仅利用一阶泰勒展开的雅可比矩阵 \(J_f\) 估计局部偏移，还引入了二阶海森矩阵 \(H_f\) 捕捉局部方向与球面曲率变化。将 \(J_f\) 和 \(H_f\) 中的 6 个独立元素组合为空间先验向量 \(s(\mathcal{P})\)，并结合局部隐式傅里叶表征，构建了包含振幅、频率和相位的坐标变换估计器 \(\mathcal{E}\)： $\(E(\mathcal{E}(p), \delta p, s(\mathcal{P})) = E_a(\mathcal{E}(p)) \otimes \begin{bmatrix} \cos\{\pi(\langle E_f(\mathcal{E}(p)), \delta p \rangle + E_p(s(\mathcal{P})))\} \\ \sin\{\pi(\langle E_f(\mathcal{E}(p)), \delta p \rangle + E_p(s(\mathcal{P})))\} \end{bmatrix}\)$ 最后通过四层 MLP 与局部加权集成预测透视像素分布。PPR 在规避球面中间重采样损失的同时，消除了高纬度拉伸伪影，使 PPR 分支得以在符合自然透视分布的特征空间中专心处理真实退化。
2. 退化特定模块（DSM）：双域先验引导的退化自适应调制与注意力注入 在双分支特征提取中，ERP 分支的主要难点是空间非均匀分布的纬度畸变，而 PPR 分支面对的则是各向同性的随机模糊、噪声与压缩。DSM 在两个分支中扮演针对性退化调制的角色。在 ERP 分支，DSM 提取预先推导的纬度量化先验图（大小为 \(H \times W \times 1\)），与特征拼接校准空间几何形变；在两个分支内部，DSM 分别采用 \(3 \times 3\) 卷积、LeakyReLU 配合自适应平均池化（AAP）生成轻量级的隐式退化描述向量 \(D_{ERP}^i\) 和 \(D_{PPR}^i\)。为避免引入过多参数与破坏原有的自注意力相似度，作者设计了注意力级提示注入（Attention-Level Injection, ALI）机制：将退化描述子投影为多头对齐的 Prompt 张量 \(P_v\)，并仅仅注入到窗口自注意力的 Value 分支（\(V' = V + P_v\)）。这样既保留了 Query-Key 点积对原始内容结构的精确匹配，又使得特征聚合能够根据局部退化程度进行自适应强度调整。
3. 投影融合注意力模块（PFAM）：跨投影域空间通道门控与层级深度注意力 ERP 与 PPR 特征处于不同的投影坐标系与维度尺度（通道数分别为 \(C_e=180\) 与 \(C_p=60\)），简单的特征拼接或相加会导致严重的跨域错位。PFAM 首先使用可学习的 \(1 \times 1\) 卷积将 PPR 特征维度对齐至 \(C_e\)，随后在拼接特征上利用轻量卷积层结合 LeakyReLU 与 Sigmoid 激活函数，分别推导分支自适应空间注意力门控 \(S_e\) 与 \(S_p\)，实现残差式的互补特征融合：\(F^i = S_e \odot F_e^i + S_p \odot \tilde{F}_p^i\)。更进一步，为聚合全网络中不同深度阶段提取的浅层与深层特征，PFAM 将各阶段融合特征重排为查询与键值矩阵，通过阶段间的深度注意力机制 \(\text{Softmax}(QQ^\top)\) 捕获跨阶段依赖，消除局部特征不一致，确保最终全景图像的全局几何连续性。
损失函数 / 训练策略¶
整个 D²R²OSR 框架以端到端方式训练，无需显式的退化类型或严重程度标签监督。训练损失仅采用重建图像与真实高分辨率全景图之间的 \(\ell_1\) 像素损失： $\(\mathcal{L} = \| I_{ERP}^{HQ} - \hat{I}_{ERP}^{HQ} \|_1\)$ 模型基于 PyTorch 构建，在单机 NVIDIA A6000 GPU 上使用 Adam 优化器（\(\beta_1=0.9, \beta_2=0.99\)）训练 500K 次迭代，初始学习率设为 \(1 \times 10^{-4}\)，批大小为 4。输入全景图像统一随机裁剪为 \(256 \times 256\) 的局部补丁，并施加水平翻转数据增强。
实验关键数据¶
主实验¶
评估涵盖 Flickr360、ODI-SR 以及 SUN360 三大常用全景基准数据集，在 \(\times 4\)、\(\times 8\) 与极具挑战的 \(\times 16\) 放大倍率下，对比了代表性的通用超分辨率、真实图像超分辨率及全景超分辨率 SOTA 方法。评价指标采用加权球面均匀峰值信噪比（WS-PSNR）与结构相似度（WS-SSIM）。
| 数据集 | 尺度 | 360-SS | Real-ESRGAN | SwinIR | HAT | OSRT | AdaIR | D²R²OSR (本文) |
|---|---|---|---|---|---|---|---|---|
| Flickr360 | \(\times 4\) | 24.20 / 0.6198 | 24.30 / 0.6171 | 25.16 / 0.6827 | 25.19 / 0.6838 | 25.41 / 0.6886 | 25.49 / 0.6912 | 25.64 / 0.6934 |
| \(\times 8\) | 16.98 / 0.5728 | 21.85 / 0.6037 | 22.83 / 0.6347 | 22.93 / 0.6354 | 22.93 / 0.6354 | 22.96 / 0.6377 | 23.24 / 0.6433 | |
| \(\times 16\) | 15.91 / 0.5844 | 19.84 / 0.5934 | 21.19 / 0.6202 | 21.36 / 0.6206 | 21.41 / 0.6211 | 21.45 / 0.6238 | 21.64 / 0.6249 | |
| ODI-SR | \(\times 4\) | 23.30 / 0.6031 | 23.24 / 0.6001 | 23.97 / 0.6537 | 23.97 / 0.6541 | 24.22 / 0.6569 | 24.26 / 0.6591 | 24.37 / 0.6626 |
| \(\times 8\) | 17.11 / 0.5562 | 21.52 / 0.5904 | 22.32 / 0.6129 | 22.41 / 0.6139 | 22.39 / 0.6135 | 22.42 / 0.6158 | 22.62 / 0.6210 | |
| \(\times 16\) | 15.97 / 0.5667 | 19.61 / 0.5785 | 20.77 / 0.5996 | 20.92 / 0.6000 | 20.96 / 0.6004 | 21.00 / 0.6036 | 21.18 / 0.6053 | |
| SUN360 | \(\times 4\) | 23.02 / 0.5943 | 23.07 / 0.5922 | 23.66 / 0.6439 | 23.67 / 0.6444 | 23.82 / 0.6484 | 23.85 / 0.6502 | 24.00 / 0.6528 |
| \(\times 8\) | 16.64 / 0.5728 | 21.23 / 0.5926 | 22.04 / 0.6296 | 22.08 / 0.6300 | 22.13 / 0.6301 | 22.14 / 0.6306 | 22.16 / 0.6328 | |
| \(\times 16\) | 15.14 / 0.5875 | 19.34 / 0.5793 | 20.48 / 0.6176 | 20.55 / 0.6177 | 20.58 / 0.6180 | 20.59 / 0.6185 | 20.69 / 0.6184 |
消融实验与分析¶
在真实退化下的 Flickr360 数据集上验证双分支设计、透视投影表征（PPR）以及各个关键模块的独立增益：
| 配置 / 阶段 | 分支结构 | 投影表征 | WS-PSNR / WS-SSIM | 说明 |
|---|---|---|---|---|
| Single Baseline | 单分支 | ERP | 25.20 / 0.6858 | 基础单分支 ERP 网络 |
| Perspective Only | 单分支 | Perspective (Remap) | 25.09 / 0.6820 | 仅用常规插值透视分支，性能反降 |
| Dual-Baseline | 双分支 | 双路 ERP | 25.35 / 0.6865 | 仅同构特征通道扩张，增益受限 (+0.15 dB) |
| Baseline + Pers | 双分支 | ERP + Perspective (Remap) | 25.47 / 0.6882 | 引入传统透视视口分支 (+0.27 dB) |
| Baseline + PPR | 双分支 | ERP + PPR (本文) | 25.50 / 0.6892 | 引入隐式傅里叶 PPR (+0.30 dB) |
| + \(DSM_{ERP\&PPR}\) | 双分支 | ERP + PPR | 25.58 / 0.6910 | 嵌入双域退化特定调制 (+0.08 dB) |
| + ALI (Prompt 注入) | 双分支 | ERP + PPR | 25.57 / 0.6918 | 注入 Value 分支增强感知结构 (SSIM +0.0026) |
| Full D²R²OSR (+PFAM) | 双分支 | ERP + PPR | 25.64 / 0.6934 | 完整模型：空间门控与跨阶段融合 (+0.07 dB) |
在计算效率方面，在单张 NVIDIA A6000 上针对 \(256 \times 512\) 输入进行测试： - 参数量：D²R²OSR 仅为 3.50M（相比 OSRT 的 6.02M 与 AdaIR 的 28.90M 大幅缩减）； - 计算复杂度：仅 0.55 TFLOPs（对比 HAT 的 2.84T 与 SwinIR 的 1.70T）； - 推理时间：单图推理仅需 0.34 秒，相比 OSRT 的 1.33 秒提速近 4 倍。
在几何保真度验证方面，在 1,200 张图像的 ERP \(\to\) 视口 \(\to\) ERP 往返重采样实验中： - 赤道区域（0° 纬度）：OpenCV Remap 为 29.28 dB，PPR 达到 34.89 dB（+5.61 dB）； - 中高纬度（60° 纬度）：OpenCV Remap 为 36.21 dB，PPR 达到 40.07 dB（+3.86 dB）； - 全局综合均值：PPR 达到 38.17 dB / 0.9728，相比传统 Remap 的 33.63 dB / 0.9295 平均提升 4.54 dB，证明其近乎无损的投影转换能力。
关键发现¶
- PPR 与双分支协同是性能跳升的根基：纯 ERP 分支极易将纬度拉伸误判为模糊或退化，而直接用 OpenCV Remap 会在中间球面重采样阶段损失 4.54 dB 的高频细节。PPR 借助二阶几何先验与隐式傅里叶估计，在保全微小文字（如车牌 AUSS）与高频结构的同时，将视口退化与几何形变清晰拆解。
- 退化自适应提示注入（ALI）高效兼顾结构与恢复：仅向自注意力 Value 分支注入退化描述子，既维持了 Query-Key 捕捉几何拓扑的准确度，又动态注入了退化恢复强度，以微乎其微的算力代价带来稳健提升。
- 极端大倍率（\(\times 16\)）下的抗恶化鲁棒性：在 \(\times 16\) 极端退化场景下，常规 Real-ESRGAN 在 Flickr360 上仅取得 19.84 dB，而 D²R²OSR 依然能维持在 21.64 dB，展现出显著超越通用基准的极值退化恢复鲁棒性。
亮点与洞察¶
- 雅可比与海森先验注入连续隐式表征：传统隐式神经表示多用于连续缩放，本文创造性地将一阶梯度与二阶曲率矩阵作为空间先验嵌入傅里叶神经基底，攻克了全景切向投影插值损失严重的经典瓶颈。
- Value 分支退化提示注入的轻量设计：避免了常见的额外注意力分支或复杂全层拼接，通过即插即用的 \(V' = V + P_v\) 实现退化自适应加权，为轻量级视觉 Transformer 架构提供了极其通用的退化调制范式。
- 双域解耦降低了盲全景超分的问题复杂度：把“高维复杂退化”转化为“ERP 几何先验校准 + PPR 自然透视域退化恢复”两个更规整的子问题，使得小型模型也能压制重度参数量模型。
局限与展望¶
- 动态视口与头部运动追踪尚未协同：当前 PPR 的视口采样是静态采样的局部正切块，并未结合 VR 设备端实时的注视点渲染（Foveated Rendering）或视线交互机制动态分配计算预算。
- 未引入生成式扩散先验：虽然模型仅 3.5M 参数且推理速度极快，但在超极端下采样（如极地严重缺失纹理处），判别式模型倾向于趋向平滑均值，未来可探索结合轻量级潜在扩散模型补全缺失语义细节。
相关工作与启发¶
- vs OSRT / BPOSR（传统全景超分辨率）：OSRT 和 BPOSR 专注于 ERP 几何形变建模（如连续偏移对其或立方体投影并行分支），但其退化假设完全停留在 Bicubic；D²R²OSR 首次构建了鱼眼+ERP 的复合真实退化空间，通过 PPR 解耦兼顾了真实噪声消除与几何校准。
- vs Real-ESRGAN / AdaIR（真实图像超分辨率）：通用真实超分辨率模型完全缺少全景球面与纬度感知能力，在高纬度拉伸区域会误将投影形变当成严重图像模糊施加错误锐化，造成环状伪影；D²R²OSR 引入 DSM 注入纬度量化先验，彻底消除了极区走样。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [首次系统解耦全景成像全链路的鱼眼真实退化与投影几何形变，PPR 二阶隐式坐标映射构思巧妙]
- 实验充分度: ⭐⭐⭐⭐⭐ [三大全景基准、三个放大尺度（\(\times 4/\times 8/\times 16\)）、往返几何保真度测试与计算效率消融全面详实]
- 写作质量: ⭐⭐⭐⭐⭐ [动机叙述条理清晰，公式符号定义严谨克制，图文对照自洽自然]
- 价值: ⭐⭐⭐⭐☆ [仅 3.5M 参数且推理迅速，为端侧 VR/AR 全景高清视口实时渲染与云端高效分发提供了极具实用价值的落地方案]