PolarScale: A Physics-Grounded Benchmark for Radiometrically Consistent RGB-to-Stokes Estimation¶

会议: NeurIPS 2026
arXiv: 2610.08346
OpenReview: https://openreview.net/forum?id=7IsIlT8OJF
代码: https://anonymous.4open.science/r/PolarScale
领域: 其他
关键词: 偏振成像, RGB-to-Stokes, 辐射尺度估计, 物理一致性, 基准评测

一句话总结¶

针对现有 RGB 转偏振方法因除以场景最大光强而无法恢复绝对辐射尺度的瓶颈，本文构建了首个将每场景辐射尺度 $\sigma$ 作为显式预测与评测目标的物理基准 PolarScale，提出恒定尺度对照基线与包裹感知角度、自一致性及物理边界违背率等评测指标。

研究背景与动机¶

偏振成像能够捕捉光线在物体表面反射、折射时携带的物理矢量线索，如微观粗糙度、双折射和表面应力，因而在镜面反射分离、透明与高反光物体分割、阴影去除及基于偏振的三维表面法线重建中发挥着传统色彩成像不可替代的作用。然而，获取完备的全斯托克斯（Full-Stokes）偏振数据通常高度依赖复杂的专用硬件（如焦平面微偏振片阵列、液晶延迟器与滤光片轮），不仅制造与校准成本极其高昂、降低了空间采样分辨率，而且还需要极其繁琐的偏振辐射定标，难以部署于轻量级移动机器人、自动驾驶与消费级影像设备中。

为了打破专用硬件的壁垒，学术界近期探索了直接从常规 RGB 图像预测偏振状态的逆问题。但现有的 RGB-to-Stokes 方案（如 Lin 等人 2025、PolarAnything）均默认对斯托克斯参数进行局部 Min-Max 归一化或除以场景最大光强 $\sigma = \max \mathrm{S}_0$，导致输出完全失去了场景的绝对辐射尺度。这种无尺度的相对描述子或归一化斯托克斯参数，根本无法合成绝对辐射物理量——例如在经典基于偏振的漫反射/镜面反射分离中，镜面反射 radiance 直接对应于绝对偏振辐射能级，眩光等级也完全由到达传感器的绝对偏振光强决定。现有工作从未对网络是否真能从二维光强反推绝对辐射尺度进行过显式建模和定量评测。

既然每场景的归一化过程将绝对标量 $\sigma$ 完全除掉，从纯光学反演的角度该逆问题在数学上严格不可辨识（具有全局尺度二义性），尺度信息仅能像单目深度估计一样从场景语义先验中推断。核心 idea：将每场景辐射尺度 $\sigma$ 重构为 RGB-to-Stokes 的显式预测与评测目标，在输入线性总光强 $\mathrm{s}_0$ 的前提下设计解耦双解码架构与显式偏振描述子监督，并建立以恒定尺度先验为对照、结合自一致性与物理不等式边界违背率的物理闭环评测体系。

方法详解¶

整体框架¶

PolarScale 的整体任务管线建立在真实物理测量数据集之上。系统输入为每场景归一化的线性总光强图 $\mathrm{s}_0 = \mathrm{S}_0 / \sigma \in \mathbb{R}^{H \times W \times 3}$（即真实场景参考的无色调映射线性图，而非消费级 sRGB 照片），目标是端到端预测归一化斯托克斯分量 $\{\mathrm{s}_1, \mathrm{s}_2, \mathrm{s}_3\}$、每场景辐射尺度标量 $\sigma$、以及无尺度的可解释偏振物理描述子（偏振度与偏振角：AoLP、DoLP、DoCP），最终通过物理乘积 $\mathrm{S}_n = \sigma \cdot \mathrm{s}_n$ 还原绝对全斯托克斯张量 $\mathrm{S}_1, \mathrm{S}_2, \mathrm{S}_3$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    IN["输入: 归一化线性总光强图 s0<br/>s0 = S0 / σ (H×W×3)"] --> ENC["视觉主干特征编码器<br/>(Restormer / Uformer / MAE 等)"]
    ENC --> DEC1["1. 解耦分支一: 尺度依赖参数解码器<br/>预测归一化分量 s1, s2, s3 与辐射尺度 σ"]
    ENC --> DEC2["2. 解耦分支二: 尺度无关描述子解码器<br/>预测偏振特征 AoLP, DoLP, DoCP"]
    DEC1 --> REC["物理全斯托克斯重构<br/>Sn = σ · sn (n=1,2,3)"]
    DEC1 & DEC2 --> EVAL["3. 物理一致性与恒定尺度对照评测<br/>恒定控制 / 边界违背 / 周期包裹 AoLP 误差"]
    REC --> DOWN["下游辐射级任务验证<br/>漫反射/镜面分离 · 材质分割 · 眩光分类"]

关键设计¶

针对斯托克斯向量物理内在约束与不同参数的尺度敏感度差异，PolarScale 系统探索了三种预测策略并确立了核心架构：

1. 解耦双解码器架构：消除尺度依赖分量与尺度不变描述子的表征竞争 在直接斯托克斯估计策略（直接预测 $\mathrm{s}_n$ 和 $\sigma$，再代入反正切/开方公式导出 AoLP、DoLP、DoCP）中，数值计算会受到近零除法与反正切不连续性的极大干扰；而在单解码器联合估计策略中，由于描述子与基底斯托克斯参数量纲和统计特性完全不同，联合回归会引起相互干扰导致基底分量退化（例如 I2ITurbo 的 PSNR 从 38.89 dB 骤降至 34.98 dB）。为此，本文提出了专用的解耦双解码器结构：共享同一个视觉编码器抽取高维语义表征，分别派生一个尺度相关分支（负责回归三色通道的 $\mathrm{s}_1, \mathrm{s}_2, \mathrm{s}_3$ 与全局标量 $\sigma$）和一个尺度无关分支（直接受偏振物理公式算出的真值 AoLP、DoLP、DoCP 监督）。该设计使模型在保持最高归一化斯托克斯质量的同时，大幅提升偏振描述子的保真度。

2. 恒定尺度对照基准与物理不可辨识性解耦 由于输入图像已经除以最大光强 $\sigma = \max \mathrm{S}_0$，物理光学逆过程无法直接恢复全局比例因子，模型只能学习语义到绝对光强的关联先验 $p(\sigma \mid \text{scene content})$（如室内灯光 vs. 室外烈日）。为了严谨验证网络究竟是学会了场景内容推断还是仅仅记住了训练集平均值，PolarScale 引入了恒定尺度对照机制（Constant-$\sigma$ Control），将训练集标量中位数（4.85）和均值（4.25）作为所有测试样本的固定预测基准。任何声称具备尺度估计能力的模型，必须在相对误差与绝对辐射任务上显著击败该对照基线；实验证明主流全斯托克斯 PSNR 会因为固定峰值 $\mathrm{MAX}_I=1.0$ 的计算缺陷对尺度缩放极度不敏感（甚至全零尺度也会取得虚高 PSNR），必须以相对尺度误差 $|\hat{\sigma} - \sigma|/\sigma$ 与恒定对照作为核心尺度评价依据。

3. 物理闭环评测体系：周期包裹感知与能量不等式约束 针对偏振光学的特有规律，PolarScale 制定了三项物理级评测准则： - 偏振角周期包裹误差：线性偏振角 AoLP 的物理定义为 $\frac{1}{2} \arctan(\mathrm{S}_2 / \mathrm{S}_1)$，定义域处于 $[-90^\circ, 90^\circ]$ 且具备 $180^\circ$ 周期性，常规 L1/L2 损失与误差度量会在此周期边界处产生灾难性断裂。PolarScale 采用包裹感知角误差度量，并在真值 $\text{DoLP} > 0.1$ 的高可信偏振像素上计算（排除非偏振光在数学上未定义的奇异点）。 - 物理边界违背率：物理上可实现的光束必须满足总能量大于等于偏振分量能量和的约束，即： $$\sqrt{\mathrm{s}_1^2 + \mathrm{s}_2^2 + \mathrm{s}_3^2} \le \mathrm{s}_0$$ PolarScale 严密统计重构斯托克斯向量中违背此物理不等式的像素百分比。 - 斯托克斯自一致性度量：计算直接预测的分支描述子与直接斯托克斯分量按解析公式重新计算出的描述子之间的差异（AoLP 的角误差及 DoLP/DoCP 的绝对均值误差），直接量化模型内部物理逻辑的协同度。

损失函数 / 训练策略¶

在解耦双分支与联合回归模型中，总体训练目标结合了像素级重构损失与偏振描述子监督： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{stokes}}(\hat{\mathbf{s}}_{1:3}, \mathbf{s}_{1:3}) + \lambda_{\sigma} \mathcal{L}_{\text{scale}}(\hat{\sigma}, \sigma) + \lambda_{\text{desc}} \mathcal{L}_{\text{desc}}(\hat{\mathbf{d}}, \mathbf{d})$$ 其中 $\mathbf{d} = \{\text{AoLP}, \text{DoLP}, \text{DoCP}\}$。对于图像恢复类网络（Restormer、Uformer、MAE）及扩散/生成模型，均在 8 张 NVIDIA RTX A5000（24GB）上训练至收敛（图像恢复模型约 1 天，扩散生成模型约 2 天）。对于基于文本驱动的生成模型（RealFill、I2ITurbo），通过注入特定文字提示词（"S1", "Scale", "AoLP" 等）引导单分量推断；解耦策略则通过两组独立的 LoRA 参数实现分支解耦。

实验关键数据¶

主实验¶

基于 Spectral-Polarization 真实物理偏振测量数据集（1000 场景训练 / 200 场景测试），表 1 汇总了各代表性模型在归一化斯托克斯、偏振描述子以及尺度恢复物理指标上的主实验结果。

方法	类别	归一化 Stokes PSNR (dB) ↑	描述子 PSNR (dB) ↑	相对尺度误差 (Mean/Med %) ↓	AoLP 角度误差 (°) ↓	物理边界违背率 (%) ↓
恒定尺度对照 (中位数)	Control	–	–	5.7 / 4.5	–	–
WDiff	Generative	22.39	12.81	92.8 / 93.1	41.0	58.10
DiT	Generative	36.32	18.02	99.9 / 99.8	38.4	5.18
RealFill	Generative	38.14	21.23	38.0 / 41.8	32.4	3.73
I2ITurbo	Generative	38.45	21.49	5.3 / 2.9	32.5	3.56
Restormer	Restoration	40.22	22.54	5.1 / 2.4	31.1	0.22
Uformer	Restoration	40.29	22.80	4.3 / 2.5	30.7	0.22
MAE (Ours SOTA)	Restoration	41.11	23.66	3.6 / 2.1	26.1	0.18

消融实验¶

表 2 分析了三种预测策略（A: 直接斯托克斯估计, B: 联合估计, C: 解耦多解码器估计）对表征质量与描述子精度的影响（以 Uformer 与 MAE 为核心）。

模型与策略	策略类型	$\mathrm{s}_1 \sim \mathrm{s}_3$ PSNR (dB) ↑	$\mathrm{s}_1 \sim \mathrm{s}_3$ SSIM ↑	描述子 PSNR (dB) ↑	描述子 SSIM ↑	全斯托克斯 $\mathrm{S}_1 \sim \mathrm{S}_3$ PSNR (dB) ↑
Uformer (A)	直接估计	40.28	0.9756	19.25	0.4920	20.25
Uformer (B)	联合估计	39.99	0.9742	22.73	0.6496	19.97
Uformer (C)	解耦解码	40.29	0.9755	22.80	0.6509	20.29
MAE (A)	直接估计	40.77	0.9778	18.88	0.5116	20.78
MAE (B)	联合估计	40.95	0.9787	23.54	0.6715	20.94
MAE (C)	解耦解码	41.11	0.9790	23.66	0.6823	21.07

关键发现¶

尺度估计中视觉恢复模型显著击败恒定先验，而经典生成模型发生严重坍缩：MAE 与 Uformer 将均值相对尺度误差降至 3.6% 和 4.3%，明显优于恒定先验对照的 5.7%（MAE 估计偏差与真实偏差相关系数达 $r=0.43$）；相反，DiT 和 WDiff 发生严重的“尺度坍缩”，尺度预测逼近于 0（DiT 在 200 个测试场景中有 97 个预测出非正尺度 $\hat{\sigma} \le 0$）。
物理边界与自一致性约束形成鲜明鸿沟：图像恢复类模型（MAE、Uformer、Restormer）的物理不等式违背率极低（$<0.25\%$），展现出优异的能量守恒拟合能力；而生成模型违背率在 3.56% 到 58.1% 之间，物理逻辑严重失真。
全斯托克斯 PSNR 指标存在假象：将 MAE 的预测尺度强行替换为数据集先验中位数时，全斯托克斯 PSNR 反而从 21.08 dB 略微上升至 21.13 dB；WDiff 坍缩为近零尺度时，其全斯托克斯 PSNR 虚高达 18.30 dB，一旦代入合理常数尺度则暴跌至 2.65 dB。这证实了全斯托克斯 PSNR 不能独立作为衡量尺度估计好坏的指标。
下游应用验证证明了绝对偏振的价值与当前尺度的局限：在漫反射/镜面反射分离任务中，预测偏振使得 AbsRel 误差从纯 RGB 的 0.190/0.508 显著降至 0.118/0.445；但在尺度归因对照中，学到的尺度效果（0.118/0.445）仅打平恒定中位数尺度（0.118/0.448），远低于真值尺度（0.100/0.440），表明当前语义推断的尺度精度仍存在较大提升空间。

亮点与洞察¶

任务公式重构与可辨识性明确定位：明确指出现有 RGB-to-Stokes 方法除掉每场景标量 $\sigma$ 造成的辐射信息缺失，借鉴单目深度估计的语义先验思想，首次将绝对辐射尺度重建转化为显式的评测基准。
构建恒定尺度对照基线揭穿评测盲区：设计 Constant-$\sigma$ Control 基线，揭示传统全斯托克斯 PSNR 因受归一化结构支配而对尺度误差不敏感的漏洞，为后续研究提供了防作弊的科学评测标准。
解耦解码有效化解多物理量冲突：证明了显式描述子监督的必要性，并指出利用独立双解码器分别处理尺度相关与尺度无关物理分量，能够在不牺牲基础斯托克斯表征的同时获得最平滑的高精度偏振角/偏振度。

局限与展望¶

输入模态局限与真实 sRGB 鸿沟：输入目前局限于经偏振光学相机采集的线性总光强 $\mathrm{s}_0$，未考虑消费级手机相机经过 ISP 复杂非线性色调映射、白平衡和高光截断后的严重畸变。
单一源数据集与尺度动态范围窄：基准依赖单一光谱偏振数据集，其真实场景的 $\sigma$ 分布较窄（常数中位数基准就能取得 5.7% 的低误差），限制了对极端动态范围场景下尺度泛化能力的评测。
边缘细节与突变处偏振角误差依然较大：即使目前表现最好的 MAE，其偏振角 AoLP 角度误差仍高达 $26.1^\circ$，在微细结构和偏振态急剧变化的边缘区域预测仍较为模糊。

评分¶

新颖性: ⭐⭐⭐⭐ [重新定义了 RGB-to-Stokes 的物理完整任务，填补了绝对辐射尺度评估的空白]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖 7 大主干网络、3 种预测范式、物理一致性指标以及 3 个下游真实任务的严密消融]
写作质量: ⭐⭐⭐⭐⭐ [物理机理推导严密自洽，对自身可辨识性局限与实验结论边界阐述极具学术操守]
价值: ⭐⭐⭐⭐ [为计算光学成像与被动偏振视觉领域的无传感器化提供了一个高质量、开箱即用的标准基准]