PISR: Polarimetric Neural Implicit Surface Reconstruction for Textureless and Specular Objects¶

会议: ECCV 2024
arXiv: 2409.14331
代码: 有 (https://github.com/GCChen97/PISR)
领域: 其他
关键词: 偏振重建, 神经隐式表面, SDF, 无纹理和镜面物体, 多视图重建

一句话总结¶

提出PISR方法，利用偏振光的几何约束（偏振角与法线方位角的对应关系）直接正则化神经隐式表面形状，结合哈希网格加速和图像空间法线平滑，在无纹理和镜面物体上实现了0.5mm Chamfer距离和99.5% F-score的高精度重建，速度比此前偏振方法快4~30倍。

研究背景与动机¶

多视图神经隐式表面重建（如NeuS）在常规物体上已取得优异表现，但在无纹理和镜面物体上仍然失败，根本原因是形状-辐射模糊性(shape-radiance ambiguity)：

无纹理区域缺乏光度一致性约束，形状估计欠约束
镜面反射会使优化器扭曲形状以拟合反射颜色，产生严重重建错误
现有方法（NeRO、Ref-NeuS、UniSDF）虽改进了辐射建模，但优化仍依赖于图像重建损失，形状和外观紧密耦合

偏振光提供了独立于外观的几何约束：光的偏振角(AoP)等于表面法线的方位角（投影到像平面的方向），存在 \(\pi/2\) 和 \(\pi\) 模糊但不依赖光强度。这一性质使得可以绑定表面法线约束而不涉及颜色/材质建模。

与近期偏振工作（PANDORA、NeISF）不同，它们通过偏振色体积渲染间接利用偏振信息，仍可能受形状-辐射模糊性影响。PISR直接用偏振约束正则化形状，独立于外观。

方法详解¶

整体框架¶

PISR的重建流程分三个阶段：

粗形状初始化：仅用光度损失 \(\mathcal{L}_{color}\) 估计粗略形状
形状矫正：加入偏振损失 \(\mathcal{L}_{pol}^p\) 和法线平滑损失 \(\mathcal{L}_{normal}\)，矫正形状扭曲
精细化：保留偏振损失，逐渐减少法线平滑以保留细节

组件	功能	说明
多分辨率哈希网格 \(\mathcal{G}\)	空间特征存储	16级分辨率，从32到2700
SDF MLP \(\Phi_s\)	解码SDF值	1层隐藏层(64维)
颜色MLP \(\Phi_c\)	解码颜色	2层隐藏层(64维)
NeuS体积渲染	可微图像渲染	无偏权重函数
Instant-NGP	背景渲染	开放场景处理

关键设计¶

1. 透视偏振约束损失

此前方法使用正交偏振约束：\([\sin(\varphi+\Delta), \cos(\varphi+\Delta), 0] \cdot \hat{\mathbf{n}} = 0\)，忽略了镜头的透视效应。PISR采用更精确的透视偏振约束：

\[[\nu_z\sin\varphi', \nu_z\cos\varphi', -(\nu_y\cos\varphi' + \nu_x\sin\varphi')] \cdot \hat{\mathbf{n}} = 0\]

其中 \(\mathbf{v}\) 是相机光线方向。实验证明这一改进将Chamfer距离降低30%。

2. \(\pi/2\) 模糊处理

漫反射和镜面反射的AoP差 \(\pi/2\)，导致消歧困难。PISR提出基于DoP(偏振度)的分段损失：

\[f^p(\varphi, \mathbf{v}, \mathbf{n}, \rho) = \begin{cases} h^p(\varphi,0,\mathbf{v},\mathbf{n}) \cdot h^p(\varphi,\pi/2,\mathbf{v},\mathbf{n}) & \rho < \theta \\ h^p(\varphi,\pi/2,\mathbf{v},\mathbf{n}) & \rho \geq \theta \end{cases}\]

当DoP < 0.3时（漫反射主导），对两种消歧取乘积（仅需一个为零）；当DoP ≥ 0.3时，视为镜面主导，直接使用 \(\Delta=\pi/2\)。

3. 十字交叉法线平滑

哈希网格的离散性导致SDF不够平滑，产生孔洞和裂缝。直接在3D空间平滑法线会导致凹凸不平（因采样法线仅受平滑约束）。PISR在图像空间进行法线平滑——这样每个采样点同时受光度损失和偏振损失约束。

采用十字交叉(criss-cross)模式采样邻域像素，在固定总像素数 \(|S|\) 下平衡中心像素数 \(|\mathcal{S}_c|\) 和邻域像素数 \(|\mathcal{N}_u|\)：更多中心像素捕捉全局结构，更多邻域像素增强平滑。

损失函数 / 训练策略¶

总损失函数：

\[\mathcal{L}_{all} = \mathcal{L}_{color} + \lambda_p\mathcal{L}_{pol}^p + \lambda_n\mathcal{L}_{normal} + \lambda_e\mathcal{L}_{eikonal}\]

渐进式训练策略：

阶段	迭代数	\(\lambda_p\)	\(\lambda_n\)	说明
初始化	0-2.5k	0	0	仅光度+Eikonal损失，建立粗形状
矫正	2.5k-5k	0→2.0	0→1.0	线性增加偏振和法线约束
精细化	5k-7.5k	2.0	1.0→0	减少平滑以保留细节
收敛	7.5k-20k	2.0	0	偏振约束+光度损失

哈希网格从第四粗分辨率开始，每1000步添加一级。Eikonal损失系数始终 \(\lambda_e=0.1\)。

实验关键数据¶

主实验（表格）¶

在自采集偏振数据集上的重建精度（4个物体，40-60视角偏振图像）：

方法	输入	Black Dragon CD↓	Red Dragon CD↓	Rabbit S. CD↓	Rabbit L. CD↓	平均CD↓	平均FS↑
Ref-NeuS	RGB	2.1	2.1	1.2	1.0	1.6	76.6%
NeRO	RGB	2.4	1.8	1.3	1.3	1.7	72.8%
NeuS	RGB	1.9	-	-	-	-	-
PANDORA	Pol.RGB	-	-	-	-	-	-
PMVIR	Pol.RGB	-	-	-	0.6	~1.0	~90.5%
PISR (Ours)	Pol.RGB	~0.5	~0.5	~0.4	0.6	0.5	99.5%

PISR平均Chamfer距离(0.5mm)仅为第二佳方法PMVIR的一半，F-score高出约9个百分点。

消融实验（表格）¶

偏振损失设计选择的影响：

配置	偏振约束	法线平滑	哈希网格	平均CD↓(mm)
PISR-A（仅光度）	无	无	有	较大
PISR-B	正交约束	有	有	~0.7
PISR-C	透视约束	无	有	~0.6
PISR (完整)	透视约束	有	有	0.5

关键消融结论： - 透视约束 vs 正交约束：Chamfer距离降低约30% - 法线平滑的作用：消除哈希网格离散性导致的伪影 - 哈希网格 vs 纯MLP：加速4~30倍，且能在优化中修正拓扑错误

关键发现¶

偏振约束独立于外观极为有效：仅使用RGB的方法（Ref-NeuS、NeRO）在无纹理/镜面物体上Chamfer距离1.6-1.7mm，加入偏振后降到0.5mm
透视效应不可忽略：正交偏振约束在图像边缘引入系统性误差，透视约束修正后精度提升30%
NeuS优于NeRO/Ref-NeuS：有趣的是，专为镜面物体设计的方法反而不如基础NeuS，说明复杂辐射建模可能引入额外的形状-辐射模糊
PANDORA效果较差：虽然使用偏振，但通过偏振体积渲染间接利用，仍受形状-辐射模糊影响
速度优势显著：PISR总优化时间约40分钟(20k迭代)，PMVIR需数小时甚至更长

亮点与洞察¶

核心洞察："形状约束应独立于外观"——当RGB损失将形状和外观紧密耦合时，偏振提供了解耦形状的锚点
透视偏振约束的重要性：一个看似微小的数学改进（考虑光线方向）带来30%的精度提升，展示了物理准确性在几何重建中的价值
哈希网格 + 神经SDF的优势：比网格表示（PMVIR）更灵活——能在优化中修正拓扑错误，而网格表示一旦拓扑错误则无法恢复
十字交叉采样的简洁性：用一个简单的采样策略高效平衡全局结构和局部平滑

局限与展望¶

需要偏振相机：彩色偏振相机比普通RGB相机昂贵，限制了方法的通用性
自采集小数据集：仅4个有GT的物体+2个无GT物体，评估规模有限
材质范围有限：主要测试陶瓷和塑料，金属等强镜面材质未充分验证
室内自然光照假设：偏振约束在自然光照下相对稳定，但强定向光源可能引入偏差
未建模折射：对透明/半透明物体无效
DoP阈值手动设定：\(\theta=0.3\) 是手动选择的，自适应阈值可能更鲁棒

评分¶

维度	分数 (1-5)	评价
新颖性	4	透视偏振约束和独立于外观的形状正则化设计巧妙
技术深度	4.5	物理约束的数学推导严谨，多阶段优化策略设计合理
实验充分性	3.5	消融充分但自采集数据集规模小
写作质量	4	预备知识介绍清晰，方法阐述逻辑严密
实用价值	4	对工业级无纹理/镜面物体重建有直接价值，代码开源