Broadband Wide Field of View Imaging with Computational Mirrors¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://codelab-ucr.github.io/computational-mirrors/
领域: 其他
关键词: 计算成像、宽视场反射光学、VIS-SWIR超宽谱段、焦点堆叠、SeidelConv

一句话总结¶

针对折射透镜在宽光谱（400–1700nm）下色差严重及反射镜视场弯曲与离轴像差大的矛盾，提出计算反射镜成像系统：通过采集稀疏焦点堆叠（2–4张）并结合物理启发的仿射形变点扩散函数模型 SeidelConv 与即插即用去卷积，实现单传感器全视场无色差超宽光谱成像。

研究背景与动机¶

随着宽光谱传感器技术的演进，单颗传感器已能覆盖从可见光到短波红外（VIS-SWIR, 400–1700nm）的宽阔波段，在穿透烟雾与轻薄遮挡物、微光探测、物质鉴别以及防伪取证等领域展现出巨大应用价值。然而，传统透射式（基于玻璃折射）光学系统受限于材料色散特性，不同波长的光线聚焦在不同深度，必须依赖庞大、沉重且造价极其昂贵的多组透镜进行消色差矫正；即便利经过复杂设计，折射系统在横跨可见光与短波红外时仍往往需要分段调焦或妥协视场，极大地限制了便携性与透光率。

相比之下，反射光学（如凹面反射镜）从深紫外到远红外在物理本质上完全无色差，且具备重量极轻、光圈易做大（如 F/1、F/2）等天然优势，是天文学与显微镜系统的首选方案。但单一或简单双反射镜系统长期难以进入通用微距及常规格焦距（50–100mm）成像，其根本瓶颈在于极为严重的佩茨瓦尔（Petzval）视场弯曲和离轴像差（如彗差与像散）：聚焦面并非平面而是弯曲曲面，中心对焦时边缘剧烈模糊，平坦传感器无法同时捕捉全视场清晰图像。以往尝试依赖数十张曝光的稠密焦点堆叠或平移对称假设，既耗时冗长，又无法准确拟合大孔径非轴对称的剧烈空间变化模糊。

面对宽光谱聚焦无色差与反射几何畸变之间的核心冲突，本文提出了计算反射镜（Computational Mirrors）软硬件协同框架。核心 idea：利用反射系统视场弯曲具有确定深度轨迹且与波长无关的特性，仅采集覆盖视场弯曲曲面的稀疏焦点堆叠（2–4张图），并构建融入仿射几何扭曲与局部核卷积的物理启发点扩散函数模型 SeidelConv，通过即插即用多图反卷积重建出全视场高保真超宽谱段图像。

方法详解¶

整体框架¶

计算反射镜成像系统由同轴反射光学物镜硬件和计算重建后端两大部分组成。硬件端设计为可作为标准镜头替换的同轴紧凑结构：入射光线经主凹面镜反射汇聚后，被位于中心的小型折叠平面镜偏折至侧向光路，光线穿过物镜中心通光孔投射在后端的平坦宽光谱传感器（Sony IMX990, 400–1700nm）上；传感器固定在由电机驱动的高精度线性微移台（Thorlabs ELL17k）上，沿光轴移动以捕获包含 \(N\) 张（实际仅需 2–4 张）轴向曝光的稀疏焦点堆叠。由于佩茨瓦尔弯曲使得不同径向视场在不同轴向位置达到最佳聚焦，堆叠中的每张图像各自在视场中心、中圈或边缘处于峰值聚焦状态。

在计算后端，系统首先基于随机点阵标定物与梯度优化训练得到 SeidelConv 前向像差退化算子，精准刻画不同焦平面位置下全视场空间强时变的点扩散函数；随后，将退化算子嵌入即插即用（Plug-and-Play, PnP）多图反卷积框架，并结合预训练深度先验（DPIR），由一组退化的稀疏堆叠直接联合逆求解出单一全焦锐利图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["场景宽光谱辐射 (400-1700nm)"] --> B["稀疏焦点堆叠采集<br/>微移台步进扫描 Petzval 曲面 (N=2~4)"]
    B --> C["SeidelConv 物理退化建模<br/>局部仿射形变 + 稀疏基元卷积 + 逐像素加权"]
    C --> D["PnP 多图联合去卷积<br/>数据保真项梯度回传 + DPIR 深度降噪先验"]
    D --> E["全视场全焦清晰图像输出"]

关键设计¶

1. 稀疏焦点堆叠采集：以最小采样覆盖佩茨瓦尔弯曲体积

传统反射系统消除视场弯曲往往需要 10–30 张曝光的稠密扫描或专用曲面传感器，前者动态场景脆弱且数据冗余巨大，后者无法泛用。本文指出，佩茨瓦尔像面的纵向深度分布具有连续且单调的几何边界。系统首先将传感器调节至视场中心最锐利的轴向位置 \(v_0\) 获得图像 \(I_{v_0}(\mathbf{p})\)，然后以固定步长 \(\Delta v\)（50mm 物镜取 \(200\,\mu\mathrm{m}\)，100mm 物镜取 \(100\,\mu\mathrm{m}\)）轴向步进采集 \(N\) 张图像 \(\{I_{v_0 + k\Delta v}(\mathbf{p})\}_{k=0}^{N-1}\)。实验证明，当 \(N=3\) 时，中心聚焦帧、中径聚焦帧与外围边缘聚焦帧已能保证全视场内任意坐标点 \(\mathbf{p}\) 均在至少一帧测量中处于或极其接近最佳焦深，将全视场恢复转化为定常测量的多图逆问题。

2. SeidelConv：融入局域几何形变的物理启发时变 PSF 算子

即便在接近焦点的切片上，大孔径（F/1）反射系统边缘仍残留严重的彗差、像散和球面像差，致使局部点扩散函数跨越数十个像素且具有非对称几何拉伸，现有基于径向对称性假设（如 Ring Deconvolution）或单纯坐标门控网络（CoordGate）的模型均发生剧烈退化。受经典三阶赛德尔（Seidel）像差中光瞳与像平面坐标映射理论启发，本文提出 SeidelConv 算子。将第 \(k\) 张焦点图的前向退化过程建模为 \(Q\) 个基础分量的混合体：

\[I^{(k)}(\mathbf{p}) = \sum_{q=1}^{Q} w_q^{(k)}(\mathbf{p}) \cdot \left[ \left( I_0 \circ \phi_q^{(k)} \right) * h_q^{(k)} \right](\mathbf{p}) + \eta^{(k)}\]

其中 \(\phi_q^{(k)}(\mathbf{p}) = \mathbf{R}_q^{(k)}\mathbf{p} + \mathbf{t}_q^{(k)}\) 为仿射坐标形变算子，用于解耦离轴彗差与像散引起的局部拉伸与旋转；\(h_q^{(k)}\) 为学习得到的小尺寸空间不变卷积核（实验中取 \(11\times 11\)）；\(w_q^{(k)}(\mathbf{p})\) 为逐像素融合权重图。相较于仅做静态基底加权的传统方法，显式引入仿射几何变换赋予了模型表征大尺度异方性拖尾的自由度，能以仅 \(Q=31\) 个基元精准表征复杂的离轴非轴对称像差。

3. 多图即插即用反卷积：联合数据保真与深度去噪先验

为了克服传统算法将堆叠简单平均所引入的不可逆模糊或伪影，本文将潜在清晰全焦图像 \(I_0\) 的恢复表述为多测量约束的正则化逆问题：

\[\min_{I_0} \sum_{k=1}^N \left\| \mathcal{A}^{(k)}(I_0) - I^{(k)} \right\|_2^2 + \lambda \mathcal{R}(I_0)\]

其中 \(\mathcal{A}^{(k)}\) 即为第 \(k\) 帧的 SeidelConv 前向算子，\(\mathcal{R}(\cdot)\) 为图像正则化先验项。求解中采用即插即用（PnP）框架，在半二次分裂（HQS）迭代中，子问题分别交替执行基于 SeidelConv 伴随算子的数据保真项梯度更新，以及调用预训练深度降噪网络（灰度版本 DPIR）作为空间先验投影。该机制能够在不进行端到端全监督微调的前提下，利用深度自然图像先验压制高频反卷积噪声，重建出超宽视场的高保真边缘。

损失函数 / 训练策略¶

SeidelConv 算子中的参数 \(\theta_k = \{\mathbf{R}_q^{(k)}, \mathbf{t}_q^{(k)}, h_q^{(k)}, w_q^{(k)}\}\) 通过基于显示器阵列的物理标定离线拟合。在 OLED 监视器上显示 \(L=10\) 张包含稀疏随机点阵的校准图像 \(I_0^i\)，经由微移台分别记录 \(N=3\) 档聚焦下的实际光学响应 \(I^{(k), i}\)。优化目标由前向测量拟合误差与卷积核稀疏性正则项组成：

\[\min_{\{\theta_k\}_{k=1}^N} \sum_{i=1}^L \sum_{k=1}^N \left\| \mathcal{A}^{(k)}_{\theta_k}(I_0^i) - I^{(k), i} \right\|_2^2 + \lambda_{\mathrm{kern}} \sum_{k=1}^N \sum_{q=1}^Q \|h_q^{(k)}\|_1\]

采用 Adam 优化器，学习率设为 \(5 \times 10^{-3}\)。由于反射镜面物理上不存在色散，系统只需在可见光白光波段完成一次标定，学得的 SeidelConv 算子即可无缝直接应用于红外、近红外与短波红外（400–1700nm），完全摆脱了折射透镜逐波段二次校准或重复调焦的痛点。

实验关键数据¶

主实验¶

在由辐射度校准 OLED 监视器显示的 Kodak 数据集（20张图像，采用绿光通道进行严格基准定量）上，对比不同点扩散函数模型与重建方案的峰值信噪比（PSNR, dB）与结构相似度（SSIM）。视场评估划分为轴上区域（On-Axis，中心 \(50\%\) 区域）与离轴外围区域（Off-Axis，非中心外围区域）：

焦点堆叠输入配置	PSF 像差建模方法	轴上质量 (PSNR / SSIM)	离轴质量 (PSNR / SSIM)
3张 (本文计算反射镜)	SeidelConv (\(11\times 11\) 核, 31分量)	27.6 / 0.84	27.1 / 0.74
3张 (多图对比)	CoordGate (\(11\times 11\) 核, 无仿射形变)	27.6 / 0.80	24.8 / 0.63
3张 (多图对比)	Patch-wise 局域分块 (\(11\times 11\) 核)	27.6 / 0.80	24.8 / 0.63
3张 (多图对比)	Patch-wise 局域分块 (\(21\times 21\) 核)	27.9 / 0.80	21.6 / 0.65
20张均值化 [Yokoya et al.]	SeidelConv	27.3 / 0.74	23.1 / 0.64
20张曲面提取 [Matsunaga et al.]	SeidelConv	27.6 / 0.80	23.9 / 0.67
1张单焦曝光 [Heide et al.]	SeidelConv	25.6 / 0.66	20.9 / 0.49
1张单焦曝光 [Ring Deconvolution]	环形径向对称 PSF [Kohli et al.]	22.7 / 0.52	18.7 / 0.29

消融实验¶

针对焦点堆叠采集数量 \(N\) 对 50mm F/1 反射物镜离轴清晰度与重建收敛性的影响进行了梯度分析：

堆叠采样数 \(N\)	边缘分辨率表现与复原质量	说明
\(N = 1\)	轴上清晰但离轴严重散焦，反卷积难以恢复高频	无法覆盖佩茨瓦尔曲面纵深
\(N = 2\)	离轴中圈恢复良好，极外围视场仍存局部伪影	边缘区域采光欠采样
\(N = 3\)	全视场达到均一高频锐度，对比单图提升 >6 dB	性价比与性能平衡的最优拐点
\(N = 4\)	较 \(N=3\) 提升极为微弱（增益 \(<0.2\,\text{dB}\)）	视场采样已进入信息饱和区间
\(N = 10\)	质量与 \(N=3\) 几乎完全一致，耗时与运动抖动风险倍增	冗余采样，无实际收益

关键发现¶

仿射扭曲是离轴像差纠偏的决定性机制：在轴上区域，所有方法的 PSNR 均处于 27.6–27.9 dB 左右；但在像散与彗差剧烈的离轴区域，具备仿射坐标变换的 SeidelConv 达到 27.1 dB，而缺失仿射自由度的 CoordGate 和分块卷积仅为 24.8 dB，甚至当分块核强行扩大到 \(21\times 21\) 时因过拟合噪点导致降至 21.6 dB。
稀疏联合优化显著优于稠密平均化策略：将 20 张图像直接叠加平均退化为单一等效模糊后反卷积，离轴 PSNR 仅为 23.1 dB；而利用多图联合反卷积仅需 3 张原始图即可达到 27.1 dB，证明了保留不同焦深独立测量的互补信息至关重要。
波长不变量带来跨波段泛化：可见光标定的 SeidelConv 算子直接在 400–1700nm 范围内全波段通用，在 100mm 系统实测中，反射物镜重量仅 60g，相比重达 405g 且在红外波段严重失焦的 Nikon 商业折射镜头，展示出极高的宽谱轻量化优势。

亮点与洞察¶

物理先验与可微变形网络的有机融合：SeidelConv 巧妙借鉴空间变换网络（STN）与赛德尔像差的坐标映射，将难以直接用局部卷积核表达的几重大尺度非对称彗差转换为轻量仿射变换加小卷积核，以极低参数量精确拟合了实测非理想反射镜装配的畸变。
全波段零色差与单次标定免重调焦：打破了折射镜头切换滤光片必须重新调整机械对焦点或针对各波长单独建模的固有范式，一次可见光标定支撑从 VIS、NIR 到 SWIR 的全光谱成像。
宏观多光谱取证与材料识别的实用化：在真实场景实验中，成功完成了不透明塑料袋透视、真假植物叶绿素在 NIR 下的强对比识别、20 美元纸币 SWIR 防伪条纹鉴别以及苹果皮下隐藏暗伤检测。

局限与展望¶

时序多曝光对动态场景的运动敏感性：系统需要顺序采集 2–4 帧轴向位移图像，若场景中存在快速运动目标可能引入运动模糊或对齐伪影，未来可结合光流配准（如 SEA-RAFT）进行帧间补偿。
迭代去卷积求解耗时较长：当前后端采用基于 HQS-DPIR 的反卷积算法，虽免训练但单次重建需迭代数十步，限制了实时显示帧率。结合 SeidelConv 作为可微前向模拟器生成大规模合成数据，训练端到端前馈恢复网络是后续的重要工程演进方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将极简反射光学、稀疏佩茨瓦尔焦点堆叠与物理启发的 SeidelConv 深度结合，打通 VIS-SWIR 无色差成像。
实验充分度: ⭐⭐⭐⭐⭐ 搭建了 50mm F/1 和 100mm F/2 真实原型机，完成严格标定对比、定量消融实验与丰富的多光谱实物鉴别测试。
写作质量: ⭐⭐⭐⭐⭐ 物理机制推导清晰，理论建模与工程实践结合紧密，图表对比详实直观。
价值: ⭐⭐⭐⭐⭐ 为轻量化、低成本的高通量超宽光谱成像系统设计提供了开创性的新范式。