Pol-CACTI: A System and dataset forHigh-Speed Polarized Video Compressive Imaging¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/kaeoqxhailesxya/Pol-CACTI
领域: 信号与通信
关键词: 偏振成像系统, 偏振视频数据集, 快照压缩成像, 偏振马赛克去马赛克, 物理可解释反投影

一句话总结¶

针对传统 DoFP 偏振相机无法捕获高帧率动态以及两阶段重建严重放大物理误差的瓶颈，本文提出 Pol-CACTI 硬件系统、大规模高质量偏振视频数据集与融合偏振感知反投影（PA-LBP）的物理驱动联合重建网络，实现了单帧快照下高保真高速偏振视频重构。

研究背景与动机¶

偏振成像能够超越传统光强辐射维度的限制，获取偏振角（AoP）和偏振度（DoP）等关键物理线索，在三维表面几何重建、应力形变分析以及低对比度弱纹理材质辨识中发挥着不可替代的作用。然而，捕捉高速动态场景下的偏振视频一直面临严重的物理传感瓶颈。焦平面分光（DoFP）偏振相机虽然支持单次曝光捕获，但受限于探测器读出带宽与曝光时间，帧率普遍较低，在高速动态运动下极易产生严重运动模糊和时序信息丢失；而基于旋转波片或事件相机的替代方案，则受制于机械抖动、表面污染、强反射杂散光或事件爆发带宽溢出等工程痛点。

视频快照压缩成像（Video SCI，如 CACTI）利用空间光调制器与曝光积分将多帧动态编码压缩为单幅测量值，为突破带宽瓶颈提供了可能。然而，直接将 SCI 与 DoFP 偏振微偏振片阵列结合会产生极其病态的反问题——时间维度多路复用与空间偏振马赛克采样高度纠缠。如果采用朴素的“先 SCI 时序重建、后偏振去马赛克（demosaicing）”两阶段管线，SCI 反演产生的空时重建伪影会在插值去马赛克过程中被交叉扩散到各个偏振通道；更严重的是，AoP 与 DoP 是 Stokes 矢量的非线性函数，这些微小的重构噪声在非线性映射下会被数倍非线性放大，导致物理量失真并产生严重的不一致性。

针对时空混叠与误差级联放大的核心矛盾，本文提出软硬件协同设计的偏振快照压缩成像框架。核心 idea：通过 DMD 硬件将编码单元精准对齐 4 个 DoFP 宏像素，构建首个时空偏振联合退化模型与高质量动态数据集，并提出将偏振感知可学习反投影（PA-LBP）作为物理锚点的联合重建网络与物理约束损失，消除时序反演与去马赛克解耦带来的误差传播。

方法详解¶

整体框架¶

Pol-CACTI 系统在硬件上使用数字微镜器件（DMD）加载伪随机二值掩模对动态偏振场景进行时序光强调制，经中继光学系统投射到单色 DoFP 偏振相机（Sony IMX250MZR）上，在一次曝光内记录压缩马赛克测量 \(Y \in \mathbb{R}^{n_x \times n_y}\)。网络重建阶段采用粗到细的物理驱动架构：首先以时空解耦的 EfficientSCI 主干从单幅压缩快照中重构出原始 DoFP 偏振马赛克视频序列，随后将特征输入包含深度特征精炼与偏振感知可学习反投影（PA-LBP）的去马赛克模块，直接输出全分辨率四角度偏振分量视频并恢复物理 Stokes 参量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单幅偏振快照测量与掩模输入<br/>Y 和 M_t (H × W)"] --> B["阶段1：EfficientSCI 主干<br/>粗重构 DoFP 马赛克视频"]
    B --> C["阶段2：深度特征精炼<br/>K=5 残差块提取高频偏振结构"]
    C --> D["阶段3：PA-LBP 物理校正<br/>重投影与误差反投影更新"]
    D --> E["阶段4：物理约束损失优化<br/>Charbonnier 与 DoP 加权余弦损失"]
    E --> F["输出：全分辨率时序偏振视频<br/>I_0, I_45, I_90, I_135 及 Stokes/AoP/DoP"]

关键设计¶

1. 4×4 DMD 宏像素物理硬对齐：消除时空编码与偏振采样的空间几何畸变

在光学编码中，如果空间掩模图案与传感器感光像素之间存在亚像素错位，不同偏振子通道所经历的调制函数将出现空变漂移，破坏时序复原的线性能量守恒。系统采用高精度多轴位移台进行光学物理标定，将 DMD 上每 \(4 \times 4\) 微镜单元聚合成一个编码单元，严格对应传感器表面 \(4 \times 4\) 像素区域。这一物理对应正好覆盖完整 4 个 \(2 \times 2\) DoFP 宏像素（每个包含 \(0^\circ, 45^\circ, 90^\circ, 135^\circ\) 四个微偏振方向），确保空间调制对所有偏振子通道具有严格一致的时变二值权重 \(M_t\)，无需依赖易损失高频的软件几何反畸变插值。

2. 深度特征精炼：多尺度残差增强高频偏振纹理

两阶段解耦方案中最脆弱的环节在于插值去马赛克无法有效判别 SCI 逆问题带来的模糊伪影与真实边缘。精炼网络接收粗重构主干提取的低分辨率特征 \(F_{sub}\)，首先经过前置卷积升维为 \(F_{head}\)，随后通过串联的 \(K=5\) 个标准残差块提取空间关联上下文。每个残差块遵循 \(x + \text{Conv}(\text{LeakyReLU}(\text{Conv}(x)))\) 拓扑，随后经过双线性上采样与空间卷积滤波，专门学习被时空压缩抹平的微偏振高频残差图 \(I_{res}\)，为消除微偏振片阵列空间下采样造成的网格棋盘效应提供先验。

3. PA-LBP 偏振感知可学习反投影：物理一致性锚定与误差反馈

传统深度网络直接从特征映射到去马赛克图像容易产生幻觉，脱离真实传感器测量空间。PA-LBP 将物理反演的残差校正机制引入特征空间：网络首先将双线性插值的偏振分量张量与学习到的高频残差相加得到初测估计 \(I_{pred}\)；接着使用可学习的步长卷积 \(\text{Conv}_{\downarrow}\) 模拟传感器的下采样退化，将全分辨率估计重投影回偏振分量空间获得 \(I_{proj}\)；随后计算其与原始分量 \(I_{pc}\) 之间的残差 \(E_{diff}\)，经上采样和卷积映射回全分辨率空间形成校正量 \(I_{corr}\) 并作用回输出：

\[I_{final} = I_{pred} + \text{Conv}(\text{Up}_{bi}(I_{pc} - \text{Conv}_{\downarrow}(I_{pred})))\]

该模块在特征深层形成闭环测量一致性约束，强制去马赛克预测与传感器捕获的原始偏振马赛克严格对齐，有效抑制了伪影扩散。

4. 物理约束损失与三阶段渐进训练：非线性偏振角相位解缠

常规 \(\ell_1\) 或 \(\ell_2\) 损失在监督 AoP 时会遭遇 \(\pi\)-周期相位折叠（phase wrapping）与零偏振区域奇异值发散问题。本文设计了物理约束复合目标，以鲁棒的 Charbonnier 损失监督原始检偏通道、总光强 Stokes 分量 \(S_0\) 和偏振度 DoP，并针对偏振角提出 DoP 加权的余弦相位差损失：

\[\mathcal{L}_{AoP} = \mathbb{E}\left[\text{DoP}_{gt} \cdot (1 - \cos(2(\hat{\theta} - \theta_{gt})))\right]\]

该损失天然具备模 \(\pi\) 循环不变性，且在 \(\text{DoP} \approx 0\) 的非偏振区域自适应衰减梯度，防止无意义噪声破坏网络参数。训练采用渐进式三阶段策略：第 1 阶段独立训练 SCI 粗重构主干 300 轮，第 2 阶段冻结主干并训练去马赛克模块 100 轮，第 3 阶段全局联合微调 20 轮，确保了反问题梯度的平稳收敛。

实验关键数据¶

主实验¶

在涵盖金属、塑料、玻璃、织物等动态场景的模拟测试集（\(512 \times 512 \times 48 \times 10\)）上，Pol-CACTI 与两阶段 SOTA 方法（SCI 算法配合不同去马赛克方法）在不同压缩比（\(Cr \in \{8, 16, 32, 48\}\)）下的对比表现出全面优势：

压缩比 \(Cr\)	方法	\(S_0\) PSNR (dB)	\(S_0\) SSIM	DoP PSNR (dB)	DoP SSIM	AoP MAE (\(^\circ\))
\(Cr = 8\)	SCI Interp.	36.361	0.962	31.103	0.853	7.804
\(Cr = 8\)	Polanalyser	36.384	0.964	25.382	0.684	16.955
\(Cr = 8\)	PIDSR	35.886	0.964	27.460	0.737	14.311
\(Cr = 8\)	PUGDiff	35.976	0.965	26.261	0.709	17.023
\(Cr = 8\)	SwinCPD	35.923	0.961	29.063	0.807	9.537
\(Cr = 8\)	Ours	42.122	0.987	31.327	0.874	7.279
\(Cr = 16\)	SCI Interp.	34.228	0.942	28.651	0.800	9.805
\(Cr = 16\)	Polanalyser	34.526	0.945	25.711	0.691	16.554
\(Cr = 16\)	SwinCPD	34.146	0.942	28.396	0.796	10.245
\(Cr = 16\)	Ours	37.190	0.963	29.587	0.840	8.164
\(Cr = 32\)	SCI Interp.	32.807	0.925	27.628	0.780	11.033
\(Cr = 32\)	SwinCPD	32.711	0.925	27.305	0.778	11.320
\(Cr = 32\)	Ours	34.607	0.942	28.422	0.814	9.466
\(Cr = 48\)	SCI Interp.	32.200	0.919	27.242	0.769	11.436
\(Cr = 48\)	SwinCPD	32.131	0.920	27.082	0.771	11.647
\(Cr = 48\)	Ours	33.507	0.936	27.634	0.796	10.213

消融实验¶

消融实验在 Pol-CACTI 数据集上验证了训练策略与核心物理模块的有效性：

评估维度	配置变体	\(S_0\) PSNR (dB)	DoP PSNR (dB)	AoP MAE (\(^\circ\))	说明与关键表现
训练策略	Serial Cascade	15.78	16.43	32.94	串行级联直接崩溃，误差恶性累积
训练策略	Joint Training	33.16	24.18	30.26	从头联合端到端训练陷入病态局部极值
训练策略	Stage 2 (Frozen)	35.91	29.89	14.48	冻结主干仅训去马赛克分支，性能次优
训练策略	Stage 3 (Ours Full)	39.79	30.64	9.33	渐进解耦后再微调，获得全指标最佳
模块有效性	w/o PA-LBP	30.26	21.55	39.09	移除反投影导致偏振角误差剧增近 \(30^\circ\)
模块有效性	Heavy ResNet	32.37	29.51	11.81	单纯堆叠网络参数量无法替代物理约束
模块有效性	w/o Phys. Loss	39.47	21.99	14.50	缺失物理损失导致 DoP 崩塌近 8.7 dB
模块有效性	Ours (Full)	39.79	30.64	9.33	完整物理反投影与物理约束损失

关键发现¶

PA-LBP 物理反馈不可替代：消融显示若去掉 PA-LBP 模块，\(S_0\) PSNR 暴跌 9.53 dB，AoP 平均绝对误差从 \(9.33^\circ\) 恶化至 \(39.09^\circ\)；即使将去马赛克主干参数量大幅加深的 Heavy ResNet（\(S_0\) 32.37 dB），也远远落后于引入投影物理锚点的完整模型，证明了物理退化一致性在反问题求解中的决定性作用。
物理损失对偏振特征的保真至关重要：不加物理约束损失（w/o Phys. Loss）时光强 \(S_0\) 依然能达到 39.47 dB，但 DoP PSNR 直接骤降至 21.99 dB，说明单纯追求像素重建均方误差无法保持复杂的非线性物理偏振特性。
三阶段训练解决跨域联合不收敛：直接端到端联合训练（Joint Training）无法收敛到优良区间（\(S_0\) 仅 33.16 dB），而“主干预热 → 去马赛克微调 → 全局端到端解冻”的训练策略有效平抑了多任务梯度的剧烈冲突。

亮点与洞察¶

硬对齐光学设计：将 DMD 的 \(4 \times 4\) 调制单元精准映射至传感器 4 个 DoFP 宏像素单元，从物理层杜绝了不同偏振角度间的空间采样错位，消除了时空反演中的未知非均匀退化。
时空时序非局部先验去噪构建高精真值：针对真实偏振相机固有高斯与泊松噪声会在 AoP/DoP 计算中剧烈放大的困境，引入基于 NLCSR 的空时多帧非局部正则化滤波，为监督学习建立了首个高保真大规模动态偏振基准（8,889 帧高分辨率视频）。
可泛化至多维压缩传感：PA-LBP 模块展示了一种将空间马赛克下采样退化逆操作嵌入特征循环反馈的通用范式，为彩色 SCI、多光谱 SCI 等多通道时空压缩反问题提供了极具价值的闭环参考机制。

局限与展望¶

硬件帧率与光通量折中：真实系统样机中相机的曝光帧率为 10 fps，虽然 \(Cr=8\) 时等效达到 80 fps，但在极弱光高速场景下，DMD 的占空比调制和快速曝光可能引入散粒噪声，对微弱偏振信号检测构成挑战。
静态二值掩模与动态场景自适应性：系统目前采用预设的伪随机二值掩模，未能结合场景先验进行自适应内容感知编码，未来可探索掩模与网络联合端到端优化的 Deep Optics 方案。
多偏振与光谱维度联合：当前系统为单色偏振传感器，未能同时获取波长信息，未来可进一步拓展至高光谱-偏振-时序多维快照联合压缩感知系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 CACTI 压缩感知拓展至 DoFP 动态高速偏振成像，软硬件协同与联合重构方案设计扎实。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖自建的大规模 8,889 帧高精动态基准、多级压缩比模拟对比、完整物理消融与真实光学样机验证。
写作质量: ⭐⭐⭐⭐⭐ 理论建模清晰，物理退化矩阵推导完备，实验图表详实。
价值: ⭐⭐⭐⭐⭐ 填补了高速偏振视频快照成像的系统与数据空白，开源数据集与代码将有力推动计算成像与偏振视觉社区发展。