PolarAPP: Beyond Polarization Demosaicking for Polarimetric Applications¶

会议: ECCV 2026
论文: ECCV 原文
领域: 其他
关键词: 偏振视觉、偏振去马赛克、从偏振恢复形貌 (SfP)、偏振去反光 (DfP)、元学习特征对齐

一句话总结¶

PolarAPP 是首个将偏振去马赛克与下游偏振应用（如法线估计 SfP 与去反光 DfP）进行端到端联合优化的框架，通过双层元学习特征对齐与等效成像变换先验，打破了传统管线中低质数据重排与任务无关去马赛克的双重瓶颈。

研究背景与动机¶

偏振成像能够捕捉超出常规强度图像的物理几何与材质交互信息，在三维形貌恢复（Shape from Polarization, SfP）、反光去除（De-reflection from Polarization, DfP）等高级视觉任务中具有独特的物理先验优势。然而，现有商用焦平面分光（Division-of-Focal-Plane, DoFP）彩色偏振相机（如 Sony IMX250MZR）在单个传感器上交错集成了 Bayer 彩色滤光片与 \(2 \times 2\) 微偏振阵列（CPFA），使得每个物理像素仅能采样一个偏振角度（0°、45°、90° 或 135°）。下游任务为了获取四通道偏振图，普遍采用极为粗糙的“重排与插值”预处理：将 \(2 \times 2\) 偏振微元直接拆分为四个半分辨率视图再独立进行常规 Bayer 去马赛克。这种简化的策略规避了偏振通道间的物理关联，不仅直接损失了一半的空间分辨率，更引入严重的偏振角伪影与偏振角（AoP）噪声，导致后续表面法线估计出现大面积拓扑畸变与假结构。

与此同时，现有主流的深度学习偏振去马赛克方法完全以重建保真度为中心，通过优化像素级 \(\ell_1\) 损失或感知指标（如 LPIPS）恢复图像外观。这种任务无关的优化目标使得去马赛克网络仅关注视觉感官质量，却忽视了下游物理任务所必需的高阶张量关系与微弱偏振调制信息。若简单将去马赛克网络与下游任务网络直接串联，由于两者目标函数的梯度冲突以及缺乏中间隐空间的有效沟通，去马赛克前端依然无法自适应地下游任务的需求，下游任务也无法从固定前端中纠正残留的系统性重建误差。

面对“直接重排无去马赛克”与“去马赛克与下游任务孤立割裂”的双重困境，本文的核心诉求是在统一端到端流程中让去马赛克重建具备任务感知能力，同时使下游任务网络充分利用全分辨率去马赛克的高质量线索。核心 idea：提出首个去马赛克与偏振下游任务的联合优化框架 PolarAPP，通过双层元学习机制在隐层建立任务驱动的特征对齐，辅以物理等效成像变换（EIT）自监督先验消除重排伪影，并在微调阶段解除下采样算子以全面释放物理偏振线索的表征潜力。

方法详解¶

整体框架¶

PolarAPP 的推理与训练流水线涵盖端到端偏振重构与任务预测两个核心阶段。在推理过程中，系统直接接收单张 CPFA 原始马赛克图像 \(R\)，经过初始色彩解析获得半分辨率彩色偏振特征，随后输入基于 Restormer 架构的偏振去马赛克网络 \(\mathcal{D}\)，重建出全分辨率的四通道线性偏振图像 \(I = \{I_{0^\circ}, I_{45^\circ}, I_{90^\circ}, I_{135^\circ}\}\)。随后，系统依据偏振成像物理公式显式计算斯托克斯参数 \(S_0, S_1, S_2\)、偏振度（DoLP）以及偏振角（AoP），连同空间坐标一同送入下游任务网络 \(\mathcal{T}\)（如 SfP 法线估计网络或 DfP 去反光网络），输出最终的任务预测结果 \(Y\)。

在联合训练过程中，为了避免直接联合反传导致的梯度冲突并克服任务数据集缺乏无马赛克真值的困扰，PolarAPP 结合了元学习特征对齐、等效成像变换先验以及下游精炼微调三大核心机制，其整体架构与数据流向如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单帧 CPFA 原始马赛克输入 R"] --> B["等效成像变换先验 Demosaicker 模块"]
    B --> C["物理偏振参量解析<br/>Stokes 向量、DoLP 与 AoP 提取"]
    C --> D["元学习特征对齐双层优化"]
    D --> E["任务网络下游预测模块 T"]
    E --> F["任务网络精炼微调阶段"]
    F --> G["最终高精度任务输出<br/>SfP 表面法线 / DfP 无反光清晰图"]

关键设计¶

1. 等效成像变换先验 Demosaicker 模块：解耦伪标真值缺陷的物理自监督重构

下游偏振任务数据集（如 SfPUEL、PolarRGB）的真值多由单帧 DoFP 传感器采集并经下采样重排而来，本身就包含严重的去马赛克走样与噪声。若去马赛克网络 \(\mathcal{D}\) 仅靠监督损失 \(\mathcal{L}_d\) 拟合这些低质伪标，必将把重排伪影记忆为重建规律。针对该痛点，本文引入基于等效成像理论（Equivariant Imaging Transformation, EIT）的物理自监督先验。成像算子 \(\mathcal{A}\)（包含 CPFA 空间下采样与 Bayer 滤波）是完全已知且确定的物理过程，因此理想的偏振去马赛克映射应当对几何变换群 \(\mathcal{G}\) 具备等变性：先对重建的全分辨率偏振图像施加空间几何变换 \(T_g \in \mathcal{G}\)（包括随机整数平移、10° 旋转和水平翻转）再经过成像算子 \(\mathcal{A}\) 降采样，其重新通过去马赛克网络 \(\mathcal{D}\) 的重建输出，在物理上应当严格等价于对原始重建结果直接施加几何变换 \(T_g\)：

\[\mathcal{D}(\mathcal{A}(T_g(I^{rec}))) = T_g(I^{rec})\]

由此构建的自监督损失 \(\mathcal{L}_{eit}\) 强制网络学习传感器物理采样网格的内在逆映射，而不是过拟合特定数据集的伪标瑕疵。最终去马赛克前端总损失为 \(\mathcal{L}_d + \mathcal{L}_{eit}\)，其中基础重建损失涵盖了针对斯托克斯向量与 DoLP 的 \(\ell_1\) 和梯度损失，以及针对周期性偏振角 AoP 的环状角度差分损失。

2. 元学习特征对齐双层优化：防止表征崩塌的任务驱动特征对齐

将去马赛克网络 \(\mathcal{D}\) 与任务网络 \(\mathcal{T}\) 简单串联进行端到端优化时，图像域的中间连接极其脆弱，重建误差与任务梯度经常相互干扰，且两网络隐层缺乏语义通信。为实现跨层语义对齐，PolarAPP 引入了两个轻量特征变换模块 \(\{FT_1, FT_2\}\)，分别将去马赛克中间特征 \(F_d^j\) 与任务网络特征 \(F_t^j\)（\(j \in \{1, 2, 3\}\) 为三层特征层级）投影到统一的度量隐空间中，并定义余弦相似度形式的特征对齐损失：

\[\mathcal{L}_{fa} = 3 - \sum_{j=1}^{3} \frac{\langle FT_1(F_d^j), FT_2(F_t^j) \rangle}{\|FT_1(F_d^j)\|_2 \cdot \|FT_2(F_t^j)\|_2}\]

然而直接固定或手工约束该损失极易引发隐空间表征崩溃（例如变换模块坍缩为平凡解使得相似度恒为 1，但对最终任务毫无收益）。PolarAPP 采用双层元学习（Bi-level Meta-Learning）策略解决这一挑战： - 内层试探更新（Inner Update）：在元训练集上，保持原始模型参数不变，仅使用当前的 \(\mathcal{L}_{fa}\) 对去马赛克网络与任务网络进行单步梯度前瞻探索，生成临时参数 \((D', T')\)； - 外层元目标优化（Outer Update）：在独立的元测试集上，利用前瞻模型 \((D', T')\) 计算真实的重建损失 \(\mathcal{L}_d\) 和下游任务损失 \(\mathcal{L}_t\)，通过二阶梯度反传更新特征变换模块 \(\{FT_1, FT_2\}\) 的参数。

这种双层机制确保了只有当特征对齐能够切实降低最终重建误差和下游任务误差时，对齐度量模块才被强化。在推理阶段，特征变换模块 \(\{FT_1, FT_2\}\) 完全剥离丢弃，实现零额外推理显存与计算开销。

3. 任务网络精炼微调阶段：消除分辨率鸿沟的下游性能释放

在联合训练阶段，为了与已有任务数据集的降采样重排伪标保持尺度对齐，必须在前端保留成像算子 \(\mathcal{A}\)，这使得送入去马赛克网络的训练样本始终处于降采样受限状态，压制了 \(\mathcal{D}\) 的高频细节还原潜力。在联合优化收敛后，PolarAPP 引入专门的任务精炼阶段：此时完全冻结去马赛克网络 \(\mathcal{D}\) 的全部权重，并正式移除成像算子 \(\mathcal{A}\)。冻结的去马赛克网络直接处理原始高分辨率输入，向上游任务网络提供稳定、干净且富含高频细节的物理偏振张量。

在精炼阶段，针对 SfP 任务，由于输入分辨率翻倍，作者通过双线性插值直接将法线真值放大一倍作为尺度对齐基准，使用余弦相似度和平均角度误差进行微调；对于 DfP 任务，则利用冻结的 \(\mathcal{D}\) 预先生成高质量全分辨率伪参考图引导去反光模型更新。这一解耦微调消除了训练与真实测试部署之间的分辨率空隙，使任务网络最大化捕获去马赛克网络带来的清晰边缘与纯净角度信息。

损失函数 / 训练策略¶

PolarAPP 的整体训练按照 epoch 级别的三阶段交替调度执行： 1. 元学习阶段：每个 epoch 先固定主干，通过内层前瞻探索与外层二阶反传迭代 \(M=200\) 次，优化特征变换模块 \(\{FT_1, FT_2\}\)； 2. 联合学习阶段：冻结 \(\{FT_1, FT_2\}\)，联合优化去马赛克网络 \(\mathcal{D}\) 与任务网络 \(\mathcal{T}\)，总目标函数为 \(\mathcal{L} = \mathcal{L}_d + \mathcal{L}_{eit} + \lambda_t \mathcal{L}_t + \lambda_{fa} \mathcal{L}_{fa}\)。其中 \(\lambda_t = 20\)，在 SfP 任务中 \(\lambda_{fa} = 100\)，在 DfP 任务中 \(\lambda_{fa} = 10\)； 3. 精炼微调阶段：移除成像算子 \(\mathcal{A}\)，冻结 \(\mathcal{D}\)，仅以 \(\mathcal{L}_t + \lambda_{fa} \mathcal{L}_{fa}\) 更新下游任务网络 \(\mathcal{T}\)。全部训练使用 Adam 优化器，学习率为 \(5 \times 10^{-5}\)，总轮数为 100 轮，在 NVIDIA RTX 4090 GPU 上完成。

实验关键数据¶

主实验¶

论文在偏振去马赛克（Qiu 数据集）以及下游 SfP（SfPUEL 数据集）和 DfP（PolarRGB 数据集）上开展了全面对比。主结果如以下两张基准对比表所示。

偏振去马赛克量化对比（Qiu 测试集）：

方法	\(S_0\) PSNR (dB) ↑	\(S_0\) SSIM ↑	DoLP PSNR (dB) ↑	DoLP SSIM ↑	AoP MAE (°) ↓
DCPM [21]	42.98	0.976	37.92	0.918	6.456
PIDSR [56]	43.07	0.973	37.86	0.925	5.587
PolarAPP (Ours)	43.12	0.982	38.10	0.928	5.444

下游任务量化对比（SfP 法线估计与 DfP 去反光）：

任务	方法组合	11.25° Acc (%) ↑	22.5° Acc (%) ↑	30° Acc (%) ↑	角度均值 (°) ↓	角度中位数 (°) ↓	角度 RMSE (°) ↓
SfP	SfPUEL (无去马赛克直接输入)	70.11	91.15	95.02	10.58	7.59	15.30
	PIDSR+ (两阶段固定重训)	78.12	90.73	95.55	6.78	4.88	11.45
	PolarAPP (Ours 联合优化)	92.37	97.45	98.48	3.57	2.71	8.64

任务	方法组合	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	MUSIQ ↑
DfP	PolarFree (无去马赛克直接输入)	22.44	0.868	0.132	60.31
	PIDSR+ (两阶段固定重训)	22.41	0.859	0.124	60.79
	PolarAPP (Ours 联合优化)	22.90	0.871	0.129	61.29

(注：PIDSR+ 表示在固定的 SOTA 去马赛克模型 PIDSR 输出上重新微调下游任务网络。)

消融实验¶

为验证各组件的独立贡献，作者在统一测试设定下对完整模型及各个变体进行了系统性消融。

实验配置	DoLP PSNR ↑	DoLP SSIM ↑	AoP MAE (°) ↓	SfP 11.25° 准确率 (%) ↑	SfP MAE (°) ↓	SfP RMSE (°) ↓	DfP PSNR (dB) ↑	DfP SSIM ↑	说明
w/o \(\mathcal{D}\) in training	/	/	/	78.14	6.01	13.40	22.26	0.851	移除前端去马赛克，直接以 CPFA 重排输入训练
Task-agnostic \(\mathcal{D}\)	38.13	0.927	5.502	76.91	5.87	12.98	22.40	0.846	去马赛克独立训练后冻结，任务网络单独训练
w/o \(\mathcal{L}_{eit}\)	36.75	0.885	8.011	86.12	5.73	12.57	22.46	0.869	去除等效成像变换先验损失
Naïve Joint	38.43	0.924	5.658	82.44	6.09	11.86	22.37	0.858	移除元学习特征对齐，仅用 \(\mathcal{L}_d+\mathcal{L}_t\) 联合训练
w/o Refinement	38.05	0.920	5.789	89.01	4.68	10.13	22.59	0.869	移除第二阶段高分辨率精炼微调
PolarAPP (Full)	38.10	0.928	5.444	92.37	3.57	8.64	22.90	0.871	完整模型：双层对齐 + EIT + 任务精炼

关键发现¶

去马赛克与任务联合优化的必要性：移除 \(\mathcal{D}\) 时，下游法线估计均值误差从 3.57° 激增至 6.01°，严格角度准确率（11.25°）断崖式下跌 14.23 个百分点；而单纯使用任务无关的 SOTA 去马赛克网络（Task-agnostic \(\mathcal{D}\)）时，法线误差同样高达 5.87°。这直接证明了高质量去马赛克对于高精度物理几何解析是刚需，且单纯追求感官保真度的独立去马赛克与下游任务存在明显的表征错配。
EIT 自监督先验对角度精度的决定性支撑：去除 \(\mathcal{L}_{eit}\) 后，AoP 的角度均方根误差从 5.444° 恶化到 8.011°，DoLP 的 PSNR 剧降 1.35 dB。这表明等变成像变换有效克服了伪标数据集的下采样与重排走样，是保证偏振物理量自洽性的核心支柱。
元学习特征对齐消除联合训练冲突：直接采用纯 \(\mathcal{L}_d+\mathcal{L}_t\) 联合训练（Naïve Joint）会导致法线均值误差反弹至 6.09°，11.25° 准确率跌落近 10%。元学习通过双层动态优化确保了只有产生全局正向收益的隐空间特征投影才被保留，从机制上解决了端到端梯度冲突。
超参数敏感性：\(\lambda_{fa}\) 在几何敏感型任务 SfP 中峰值出现在 100，而在外观细节敏感型任务 DfP 中峰值出现在 10。过大的对齐权重会导致强行约束图像细节而损害反光分离，过小的对齐权重则无法建立有效互馈。

亮点与洞察¶

任务感知的物理反演范式：以往计算成像算法通常将“低层逆问题求解（去马赛克/去噪）”与“高层物理感知（SfP/DfP）”切分为孤立工序。PolarAPP 首次证实了偏振去马赛克若不融入下游几何先验，其表面微小伪影会在法线推断中被严重放大；反之，任务驱动的梯度能够有效指导偏振通道边界与角度滤波。
双层元学习避免隐层崩溃：在特征对齐中巧妙运用 MAML 思想，通过内层探针前瞻更新评估度量质量、外层真实指标二阶指导更新特征变换矩阵，既达成了深度特征语义融合，又在推理阶段彻底抛弃变换模块，实现零额外推理成本。
等效成像先验填补无真值空白：利用已知的物理采样退化算子 \(\mathcal{A}\)，将几何空间对称性转化为偏振重建的一致性正则，为解决计算摄影学中缺乏全分辨率真值标签的共性难题提供了极具价值的自监督思路。

局限与展望¶

计算复杂度与二阶导数开销：元学习内层与外层双重循环涉及高阶计算图的保留与二阶梯度反传，训练过程显存占用大且耗时显著高于普通两阶段网络，大规模推广至更高分辨率传感器时需要进一步轻量化。
多任务泛化边界与超参依赖：\(\lambda_{fa}\) 对不同下游任务呈现数量级级别的敏感性差异（SfP 为 100，DfP 为 10），当扩展至多任务并发时（如同时进行材质分割、法线恢复与深度估计），如何实现对齐权重的自适应动态平衡仍待探索。
动态场景与运动畸变假设：当前 EIT 先验假设场景为静态刚体，对于动态场景下 DoFP 阵列因物体高速运动产生的时间-空间混合走样尚无显式建模机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首个将偏振去马赛克与下游任务联合优化的框架，创新性引入双层元学习特征对齐与等效成像先验]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Qiu 偏振去马赛克、SfPUEL 表面法线估计以及 PolarRGB 去反光等多任务，消融与对比维度完备]
写作质量: ⭐⭐⭐⭐⭐ [问题定义清晰深刻，公式推导严谨，图表表达直观]
价值: ⭐⭐⭐⭐⭐ [指明了 DoFP 偏振成像研究从“孤立图像重建”迈向“任务驱动端到端物理反演”的关键发展方向]