A Benchmark for Heterogeneous Stereo Deblurring with Physically- and Epipolar-constrained Cross Attention¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3687
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2600.pdf
代码: https://github.com/shinhoju/PECA
项目: https://pknu-vlab.github.io/peca/
领域: 3D视觉 / 图像恢复
关键词: 异构双目去模糊、HSD基准、极线约束、物理视差上界、非对称特征融合

一句话总结¶

本文构建面向手机广角与超广角相机的 HSD 非对称去模糊基准，并用 PECA 将跨视角检索限制到物理可行的单向极线窗口，使 NAFNet 在 HSD 上从 32.16 dB 提升到 32.92 dB，同时避免全局匹配的高额开销。

研究背景与动机¶

手机的两个摄像头并不是复制出来的一对传感器。主广角通常具有更大的进光能力和光学防抖，超广角往往缺少相同的稳定能力，因此同步拍摄时，一路仍保有清晰边缘，另一路已经被运动模糊抹掉纹理。单图去模糊只能根据受损图像猜测细节，而传统同构双目恢复通常把两路当作质量相近、需要对称恢复的输入，没有把这种硬件造成的质量差异作为任务中心。

清晰参考图也不能直接贴回模糊图：相机基线使物体产生视差，遮挡让部分目标根本没有对应点，重复纹理又容易诱发错误匹配。已有异构相机方法常在未校正图像上进行稠密匹配或迭代对齐；但手机原生立体拍摄管线已经提供近似极线对齐的输出，如果继续做任意二维搜索，就既浪费计算，也把大量不可能的候选交给受模糊影响的相似度函数。

这项工作的切入点同时落在数据和模型：用真实同步视频保留设备成像特征，再通过时间积分控制超广角模糊；在模型端进一步用相机光学参数约束极线上的搜索距离。核心 idea：将清晰广角视为单向信息源，只在几何方向正确、视差范围合理的局部极线窗口内检索细节，并保留超广角自身的恢复通路。

方法详解¶

整体框架¶

训练样本包含模糊超广角图、同一时刻的清晰广角参考图，以及清晰超广角监督图。推理时只需要前两者：双分支编码器分别提取目标特征和参考特征，PECA 执行非对称跨视角检索，再把参考信息通过残差融合送入目标恢复分支，输出清晰超广角图，而不是同时恢复两台相机。

整体流程包含 HSD 构建、物理极线窗口和置信响应残差融合三项关键设计。数据构建仅在训练与评估准备阶段执行；图中的监督支路不参与推理，也不把清晰超广角答案泄漏给网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Capture["同步手机双目视频"] --> Dataset["HSD构建"]
    Dataset --> Inputs["模糊超广角 +<br/>清晰广角参考"]
    Dataset --> Target["清晰超广角监督"]
    Inputs --> Encoders["双分支编码器"]
    Encoders --> Window["物理极线窗口"]
    Window --> Fusion["置信响应残差融合"]
    Encoders -->|目标特征直连| Fusion
    Fusion --> Output["解码恢复超广角"]
    Target -.->|仅训练与评估| Output

关键设计¶

1. HSD构建：保留真实设备差异，同时控制模糊监督

作者使用 iPhone 15 Pro Max、iPhone 16 系列及 iPhone 17 等设备的立体拍摄模式获取同步广角与超广角视频，直接采用原生成像管线的校正结果，不再增加外部标定。该管线会补偿自动对焦和光学防抖造成的焦距、主点变化，从而让后续模型能利用近似水平极线。这里的“真实”指视频来源、设备处理和手持轨迹真实，并不表示所有训练模糊图都来自一次真实长曝光。

超广角连续帧围绕目标时刻求平均，中心帧作为清晰监督，同步的广角中心帧作为参考；图 2 展示了 11 帧积分。作者没有依赖 240 fps 高速双目拍摄，而是控制相机运动平稳、限制相邻帧位移，再用 384 个场景补充多样性。由于积分沿实际相机运动轨迹发生，不同深度区域具有不同投影位移，模糊因此可以随空间和深度变化。不过，低帧率积分在快速运动下出现离散重影的风险并没有被这个构造从根本上消除。

三类图像统一由 \(1080\times1920\) 双三次缩放至 \(720\times1280\)。为排除过于容易的样本，作者计算模糊图相对清晰超广角图的 PSNR，剔除超过 33 dB 的近静态样本。最终按序列而非随机帧划分：256 个训练序列、128 个测试序列，分别抽取 2,200 与 1,100 对样本。这避免相邻帧跨训练测试集泄漏，但该筛选也意味着基准更关注显著模糊，不代表日常拍摄的完整退化分布。

2. 物理极线窗口：先排除不可能的对应，再计算相似度

在同一尺度上，目标和参考特征均为 \(H\times W\times C\)。三个逐点卷积分别从超广角特征生成查询 \(Q\)、从广角特征生成键 \(K\) 和值 \(V\)；因此信息流明确是“目标询问参考”，而不是两路对称交换。经过设备校正，对应点应位于同一行；在本文相机排列下，视差还具有固定方向，所以没有必要向行的两端同时搜索。

窗口的尺度来自针孔双目视差关系。设相机基线为 \(B\)、像素单位焦距为 \(f\)，两台相机最短对焦距离的较大值为有效最短采集距离，\(S\) 同时考虑输入缩放和特征降采样，则原文给出的上界为：

\[ d_{\mathrm{eff}}=\max(d_{\min}^{\mathrm W},d_{\min}^{\mathrm{UW}}),\qquad D_{\mathrm{phys}}=\left\lceil\frac{fB}{d_{\mathrm{eff}}S}\right\rceil, \qquad D_{\max}\leq D_{\mathrm{phys}}. \]

输入层视差上界在作者设备上约为 70 像素。这里必须区分几何上界 \(D_{\mathrm{phys}}\) 与实际使用的窗口 \(D_{\max}\)：编码特征已有空间感受野，因此作者选择比上界更小的窗口，主实验统一使用 \(D_{\max}=5\)，不为每种骨干单独调参。这是受物理先验指导的经验选择，不是证明五个离散偏移必然覆盖所有物体；近距离、失焦物体或不同设备都可能改变其适用性。

对目标位置 \((i,j)\)，令 \(\Omega_{i,j}\) 表示同一行、视差方向正确且受窗口限制的参考候选。缓存中的原文式 (4) 不等号和端点损坏，因此这里不补写精确闭开区间。依据式 (5) 及紧邻文字，跨视角聚合可整理为：

\[ \alpha_{i,j,k}=\operatorname{Softmax}_{k:(i,k)\in\Omega_{i,j}} \left(\frac{\cos(Q_{i,j},K_{i,k})}{\tau}\right),\qquad F_{\mathrm{cross}}(i,j)=\sum_{(i,k)\in\Omega_{i,j}}\alpha_{i,j,k}V_{i,k}. \]

原文式 (5) 的缓存排版也有缺损，上式按文字定义整理；精确排版仍以原文为准。\(\tau\) 控制 softmax 的尖锐程度，默认 0.01。小温度让最相似的少数位置更突出；如果窗口过宽，重复纹理和模糊造成的低辨识度会让不相关位置竞争，因此缩小候选集既节省计算，也改变匹配质量。忽略通道因子，二维全局、整行与 PECA 的注意力复杂度分别为 \(O((HW)^2)\)、\(O(HW^2)\) 和 \(O(HWD_{\max})\)；这比较的是匹配部分，不是整张恢复网络。

3. 置信响应残差融合：参考细节作为补充，而非替代目标特征

聚合后的参考特征经过可学习投影，再与超广角自身特征相加，随后由恢复分支生成输出。缓存式 (6) 的加号和尾部损坏，但第 4.4 节明确称其为 residual summation，因此可按该文字定义整理为：

\[ F_{\mathrm{fuse}}=F_{\mathrm{UW}}+\operatorname{Proj}(F_{\mathrm{cross}};W_{\mathrm{cross}}). \]

这条直连路径很关键：遮挡区域可能在广角中没有对应内容，此时模型仍能依赖目标图自身恢复，而不必强迫每个位置都采用参考纹理。作者将尖锐注意力解释为高置信检索，将分散注意力解释为较弱的有效指导；方法没有额外预测稠密视差，也没有显式遮挡掩码或单独的置信度门控标量。

需要区分作者的机制解释和数学保证：softmax 权重始终归一化为 1，权重分散并不必然使加权值向量的范数变小。如果所有候选值相似，平均后仍可能产生强响应。因此，“不可靠时自然退回单图恢复”应理解为结合学习到的特征与残差路径产生的经验行为，而不是公式自动保证的遮挡拒绝机制。

一个完整示例¶

设一张超广角图里的文字边缘被抹平，而同步广角图保留了笔画。这是机制示例，不是额外实验。编码后，模糊位置产生查询，参考图提供键和值；模块只考察该行物理允许方向上的局部候选，在默认 \(D_{\max}=5\)、\(\tau=0.01\) 下突出最相似的参考笔画，将其投影后加到目标特征中。解码器仍以超广角几何和自有特征为基础恢复文字，而不是直接复制整块广角图。

如果文字旁的物体只在超广角中可见，候选可能都不可靠。此时保留的目标通路仍提供恢复依据，但不能仅凭注意力变平就认定参考贡献已经归零。要证明这一点，需要额外的遮挡分区评估或显式拒绝机制，而非只观察一张平均注意力图。

损失函数 / 训练策略¶

三种骨干均训练 400K 次迭代，batch size 为 8，采用 AdamW 与余弦退火。XYDeblur 的学习率、权重衰减、\(\beta\) 分别为 \(10^{-4}\)、\(10^{-3}\)、\((0.9,0.9)\)；Restormer 为 \(3\times10^{-4}\)、\(10^{-4}\)、\((0.9,0.999)\)；NAFNet 为 \(5\times10^{-4}\)、\(10^{-3}\)、\((0.9,0.9)\)。训练包含随机裁剪、gamma 和散粒/读出噪声增强。

XYDeblur 与 Restormer 使用 \(128\times128\) 裁剪，NAFNet 使用 \(256\times256\)，但最深层特征都固定为 \(32\times32\)。为此，NAFNet 使用三级结构，编码器和解码器的块数分别为 \([1,1,28]\)、\([1,1,1]\)；Restormer 删除第四编码阶段之前的降采样。因而跨骨干结果来自论文配置，不应直接视为各模型原始标准结构的排名。

缓存正文没有明确列出恢复损失的具体形式、权重或多尺度监督细节。不能据常见做法补写 L1、Charbonnier、频域损失或额外几何损失。本文可确认的是配对恢复训练协议与上述优化设置，完整复现仍需核对作者代码或补充材料。

实验关键数据¶

主实验¶

下表节选原文表 1，均在 HSD 测试集上评估；PSNR 单位为 dB，PSNR/SSIM 越高越好。MACs 按 \(720\times1280\) 输入统计，参数量和 MACs 分别以 M、G 为单位。

骨干	配置	PSNR	SSIM	参数 M	MACs G
XYDeblur	单图基线	30.76	0.9444	4.92	1056.5
XYDeblur	双目拼接	31.96	0.9595	7.37	1373.5
XYDeblur	PECA	32.22	0.9620	7.42	1376.4
Restormer	单图基线	30.94	0.9444	12.59	2139.8
Restormer	单图通道扩容	31.17	0.9471	22.17	3754.7
Restormer	双目拼接	31.83	0.9581	19.94	2851.3
Restormer	PECA	32.47	0.9636	20.05	2857.8
NAFNet	单图基线	32.16	0.9579	17.08	832.6
NAFNet	双目拼接	32.24	0.9604	33.38	1567.4
NAFNet	PECA	32.92	0.9669	34.17	1589.6

相对各自单图基线，PECA 在三种骨干上分别提高 1.46、1.53、0.76 dB；相对双目拼接则分别提高 0.26、0.64、0.68 dB。后者更能隔离“如何使用参考图”的贡献，前者同时包含增加参考信息和双分支容量的收益。Restormer 的单图扩容仍比 PECA 低 1.30 dB，且计算量更高，说明结果不能简单归结为参数增加。

消融实验¶

原文表 2 在对应 XYDeblur 的配置下比较搜索范围，投影层、余弦相似度与 \(\tau=0.01\) 保持一致。这里“模块 MACs”不可与“全模型 MACs”混用。

搜索设计	候选范围	PSNR	SSIM	模块 MACs G	全模型 MACs G
Global	全二维图像	30.72	0.9439	852.2	2225.7
Full-row	整条极线	30.75	0.9438	7.6	1381.0
PECA	物理约束局部极线	32.22	0.9620	2.9	1376.4

从 Global 到 Full-row，计算显著下降但只增加 0.03 dB；进一步限制物理窗口则增加 1.47 dB。PECA 相对 Global 的模块 MACs 约少至 \(1/294\)，但全模型仅从 2225.7G 降至 1376.4G，不能宣传为整网加速 294 倍，更不能据 MACs 推断手机实时帧率。

关键发现¶

搜索更全面不等于恢复更好。模糊降低查询辨识度时，排除错误候选比让模型自行筛掉任意位置更有效，整行注意力甚至低于单图 XYDeblur 基线的 30.76 dB。
图 7 中，XYDeblur 在 \(\tau=0.01\)、\(D_{\max}=9\) 时取得 32.33 dB；默认窗口 5 对应 32.22 dB。较大窗口可换取小幅收益，但主实验保留跨骨干统一配置。
自然手持模糊样本仅有定性展示，没有清晰真值，不能把 HSD 的 PSNR 当作真实长曝光测试成绩。缓存引用了补充材料中的遮挡与注意力分析，但未包含其数值，故此处不补写。

亮点与洞察¶

物理先验不必用于直接预测深度，也能用于裁剪注意力候选。它在这里同时改善复杂度与匹配辨识度，是比单纯换一种融合算子更有针对性的约束。
异构双目应区分“信息源”和“恢复目标”。只让清晰视角提供键和值，保留模糊目标自身的路径，更符合手机相机的非对称退化模式。
数据协议把几何对齐交给原生设备管线，把模糊恢复作为受控变量。这样更容易研究恢复模块，但其结论必须限定在该校正质量与采集协议之内。

局限与展望¶

作者明确承认的边界：HSD 不显式模拟滚动快门；真实手持样本没有真值，只能提供视觉证据。时间积分近似不能等同于完整的真实曝光、传感器与 ISP 成像过程。
物理上界的适用条件：最短对焦距离是清晰成像条件，不是世界中物体位置的绝对下界。过近失焦物体、不同基线或裁切尺度可能超出当前窗口假设，值得做跨设备和近场测试。
隐式置信度缺乏保证：残差通路有助于保留目标信息，但并未显式拒绝错误参考。可进一步研究带无匹配选项的注意力、遮挡感知门控，并报告参考不可见区域的独立指标；这些是笔记提出的方向，不是论文已实现功能。
计算效率不等于部署完成：NAFNet+PECA 的全网成本仍为 1589.6G MACs，缓存未给出手机端延迟、内存或能耗。三种骨干证明了插件适用范围，却没有证明任意设备上的实时性或对所有异构恢复系统的优势。

评分¶

新颖性：4/5。把物理视差范围、单向极线检索和异构去模糊基准结合得具体，但基本注意力与残差融合均有既有基础。
实验充分度：3/5。三骨干、容量对照和搜索范围消融扎实，真实定量、跨设备划分及端侧测量仍不足。
写作质量：4/5。问题定义和实验逻辑清楚，注意力分散与融合幅值之间的因果解释需要更严谨。
价值：4/5。适合研究手机多摄恢复与几何先验注入，HSD 与插件式设计具有复用价值；以上为笔记作者主观评价。