EventSpecPS: Photometric Stereo with Multispectral Reflectance Using an Event Camera¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Wujingqian/EventSpecPS
领域: 深度、法线与立体
关键词: 光度立体 / 事件相机 / 多光谱反射率估计 / 表面法向量 / 计算成像

一句话总结¶

提出首个基于事件相机的单阶段多光谱光度立体系统 EventSpecPS，通过光谱-角度多路复用光源与恒定白光偏置破除几何与反射率耦合及尺度歧义，实现低带宽、抗阴影高光的物体法向量与绝对多光谱反射率联合重建。

研究背景与动机¶

物体表面三维几何与多光谱反射率的精确恢复，是工业高精度无损探伤、文物数字化保护和遥感地物分析的核心基石。表面法向量刻画物体的微观几何形态，而波长相关的多光谱反射率表征物体的本质材料特性。传统框架通常借助多视点多光谱采集或重复顺序照明下的多光谱光度立体（Photometric Stereo, PS）来解耦几何与光谱。然而，基于传统曝光相机的方案需要高密度曝光序列与多波段窄带成像，采集过程迟缓且数据吞吐量巨大；更致命的是，真实物理场景普遍存在非朗伯效应，剧烈的镜面高光与自阴影会直接破坏传统朗伯辐射度假设，往往依赖额外偏振光学元件或复杂的离群值剔除算法。

引入具有微秒级时间分辨率、高动态范围和极低数据吞吐量的事件相机，为高速紧凑的物理感知带来了全新机遇。尽管已有工作分别探索了基于事件的光度立体（如 EventPS）或事件多光谱成像（如 EventSpec），但若直接将二者拼接为两阶段系统，不仅需要切换异构的光照拓扑与采集协议，大幅增加系统软硬件复杂度，而且事件相机测量的是对数光强相对变化而非绝对辐照度，导致恢复的多光谱反射率存在固有的未知缩放尺度歧义。更关键的理论矛盾在于：在事件域内，表面法向量与多光谱反射率呈相乘耦合状态，缺乏专门的照明调制约束时，该反问题严重病态。

本文的切入角度是：通过照明调控将物理约束前置于传感编码阶段，从理论上探明几何与多光谱反射率完全解耦的充分必要条件。核心 idea：设计光谱-角度多路复用编码设备与恒定白光增益偏置，通过同波段多角度观测对数差消去反射率锁定法向量、并利用已知恒定光加性偏移解析求解绝对反射率尺度，配合事件光谱-角度解码器实现单阶段、低带宽、抗高光阴影的联合重建。

方法详解¶

整体框架¶

EventSpecPS 的整体架构包含物理传感编码与后端神经逆向解码两大核心组件。物理端由 Prophesee EVK4 事件相机、环形 24 颗多光谱 LED 光源模组、已知辐照度的恒定白光光源（通过 50/50 分束器与光轴共轴注入）及微控制器组成。光源以微秒级时钟快速循环点亮单一 LED，在事件相机上激发异步对数光强突变事件流。逆向解码端接收事件流和已知的照明调度序列，通过将反射率参数化为紧凑的低秩基底模型，采用角度门控抑制高光，联合求解逐像素三维法向量与绝对多光谱反射率。

整个方法的运行数据流如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多光谱-角度调制光源 + 恒定白光<br/>24颗LED循环点亮 + 50/50分束器偏置"] --> B["事件相机异步传感<br/>对数光强差触发正负事件流"]
    B --> C["光谱-角度多路复用几何解耦<br/>同谱异角对数比对消反射率锁定法向量"]
    C --> D["恒定光增益破除尺度歧义<br/>加性常数项解析求解绝对反射率"]
    D --> E["基于事件的光谱-角度解码优化<br/>低秩反射率分解 + 高光角度门控 + 连续正则"]
    E --> F["输出：高精度致密表面法向量图<br/>与8通道绝对多光谱反射率图"]

关键设计¶

1. 光谱-角度多路复用几何解耦：同谱异角消除反射率依赖 在事件域中，瞬时瞬态成像方程为 $I(\mathbf{x}, t) = \max(0, \mathbf{n}_\mathbf{x}^\top \mathbf{l}(t)) \sum_{i=1}^N D_i R_{\mathbf{x}, i} S_i(t)$，法向量 $\mathbf{n}_\mathbf{x}$ 与多光谱反射率 $R_{\mathbf{x}, i}$ 深度纠缠。若每个光谱波段仅在单个固定光照角度下激活，二者在对数差分下存在无数退化解。为从数学上严格解耦，本文提出在光环上将 8 个光谱通道（$N=8$）各自分配 3 颗 LED，呈 120° 方位角均匀分布在圆环不同位置（共 24 颗 LED）。在同一光谱通道 $\lambda_i$ 激活的不同照明方向 $\mathbf{l}_i^{(1)}, \mathbf{l}_i^{(2)}$ 下，物体表面所诱发的事件积分对数比值中，复杂的波长响应与多光谱反射率项完全对消： $$\rho = \frac{\mathbf{n}_\mathbf{x}^\top \mathbf{l}_i^{(1)}}{\mathbf{n}_\mathbf{x}^\top \mathbf{l}_i^{(2)}}$$ 这一比例定义了法向量的正交零空间向量（Null Space Vector, NSV）。利用同一波段的至少两对独立方位观测，可构建两个相互交叠的几何约束平面，其交线直接在闭式解意义下锁定法向量的方向（仅差正负符号）。此外，由于每个波段在方位角上间隔 120° 重复 3 次，而物体自阴影区域（$\mathbf{n}^\top \mathbf{l} \le 0$）至多覆盖半球（$<180^\circ$），因此在极端阴影下依然能确保每个波段至少存在一个有效且可靠的非阴影观测；同时照明仰角被合理约束，使镜面高光在空间上孤立分布且不与阴影交叠，从物理源头上抵御了非朗伯失效。

2. 恒定光增益破除尺度歧义：加性偏置解析求解绝对反射率 事件相机仅对对数强度的相对动态跃变响应，传统事件测光只能确定相对反射率比值，留下了未知的全局缩放因子。为了不引入额外的测光传感器，本文提出在光路中引入强度已标定的恒定均匀白光分量 $C_w$。在恒定光与定向光源共同作用下，像素观测光强变为 $I(\mathbf{l}) = \alpha_\mathbf{x} s(\mathbf{l}) + C_w$，其中 $s(\mathbf{l}) = \max(0, \mathbf{n}_\mathbf{x}^\top \mathbf{l})$ 为已知几何阴影项，$\alpha_\mathbf{x}$ 为待求的漫反射反照率。在两个连续定向光照方向 $\mathbf{l}_1$ 与 $\mathbf{l}_2$ 切换时，事件累积对数比为： $$\rho = \frac{I(\mathbf{l}_1)}{I(\mathbf{l}_2)} = \frac{\alpha_\mathbf{x} s_1 + C_w}{\alpha_\mathbf{x} s_2 + C_w}$$ 加性项 $C_w$ 彻底打破了纯比值下的尺度不变性，从而推导导出绝对反照率的解析闭式解： $$\alpha_\mathbf{x} = \frac{C_w (\rho - 1)}{s_1 - \rho s_2}$$ 这意味着系统完全无需直接测量绝对光强幅值，仅凭事件触发比率与已知的恒定光偏置，即可在理论上以解析方式锁定真实物理尺度的绝对反射率。

3. 基于事件的光谱-角度解码优化：低秩先验与高光自适应门控 后端逆问题解码器将逐像素多光谱反射率建模为低秩基底分解 $R_{\mathbf{x}, i} = \sum_{k=1}^K a_{\mathbf{x}, k} b_{k, i}$（基底数设定为 $K=8$），有效降低解空间维度并保证光谱连续性。为了防止镜面高光产生的剧烈事件污染法向量更新，解码器根据当前迭代估计的表面法向量和当前点亮 LED 的入射光向量，动态计算观测方向夹角，构造角度门控权重（Angular-gating Weight），对高光概率极高的时间区间及像素施加下采样和梯度降权。整体优化基于 AdamW 算法，对法向量图施加单位长度约束（$\|\mathbf{n}\|_2=1$）与朝向相机正向约束（$n_z > 0$），对多光谱系数施加非负约束与高斯平滑一致性正则项（核大小 21，$\sigma=5$），历经 1600 次迭代即可快速收敛得到平滑去噪的超高清法向量与反射率图。

实验关键数据¶

主实验¶

在合成数据集（Blobby 数据集与 Sculptures 雕塑数据集）上，针对不同纹理基底复杂度（Texture Bases = 1, 3, 8）进行了系统评测。对比基线包括两阶段事件基线（EventPS + EventSpec）以及先进的传统帧基多光谱 PS 方法（Heng et al. 与 Fyffe et al.）。评测指标包括法向量平均角度误差（MAE，度）、反射率光谱角度映射器（SAM，度）、均方根误差（RMSE）以及平均场景输入数据体积（Data Avg. MiB）。

数据集	纹理基底	方法	法向量 MAE (°) ↓	反射率 SAM (°) ↓	反射率 RMSE ↓	数据体积 (MiB) ↓
Blobs	Bases=1	Event-based (EventPS + EventSpec)	9.61	9.10	0.0302	13.31
Blobs	Bases=1	Frame-based (Heng et al.)	16.01	7.58	0.0402	16.00
Blobs	Bases=1	Frame-based (Fyffe et al.)	20.62	13.49	0.0591	16.00
Blobs	Bases=1	EventSpecPS (本文)	5.89	2.65	0.0164	12.66
Sculptures	Bases=1	Event-based (EventPS + EventSpec)	18.39	10.55	0.0383	7.53
Sculptures	Bases=1	Frame-based (Heng et al.)	21.96	15.28	0.0755	16.00
Sculptures	Bases=1	Frame-based (Fyffe et al.)	27.41	21.07	0.1056	16.00
Sculptures	Bases=1	EventSpecPS (本文)	12.22	3.11	0.0171	7.26
Blobs	Bases=3	Event-based (EventPS + EventSpec)	9.62	10.52	0.0633	13.31
Blobs	Bases=3	Frame-based (Heng et al.)	22.65	19.71	0.0886	16.00
Blobs	Bases=3	Frame-based (Fyffe et al.)	27.58	25.21	0.1058	16.00
Blobs	Bases=3	EventSpecPS (本文)	8.16	5.78	0.0394	12.80
Sculptures	Bases=3	Event-based (EventPS + EventSpec)	18.38	10.13	0.0576	7.05
Sculptures	Bases=3	Frame-based (Heng et al.)	28.44	26.50	0.1225	16.00
Sculptures	Bases=3	Frame-based (Fyffe et al.)	33.06	32.53	0.1428	16.00
Sculptures	Bases=3	EventSpecPS (本文)	13.50	7.42	0.0452	7.16
Blobs	Bases=8	Event-based (EventPS + EventSpec)	9.61	10.36	0.0663	13.31
Blobs	Bases=8	Frame-based (Heng et al.)	24.07	22.05	0.1017	16.00
Blobs	Bases=8	Frame-based (Fyffe et al.)	28.73	27.28	0.1182	16.00
Blobs	Bases=8	EventSpecPS (本文)	9.38	7.41	0.0471	13.17
Sculptures	Bases=8	Event-based (EventPS + EventSpec)	18.41	10.61	0.0633	6.93
Sculptures	Bases=8	Frame-based (Heng et al.)	29.25	27.99	0.1289	16.00
Sculptures	Bases=8	Frame-based (Fyffe et al.)	34.02	34.14	0.1527	16.00
Sculptures	Bases=8	EventSpecPS (本文)	14.60	9.09	0.0541	7.00

真实系统实验¶

在搭设的原型硬件（Prophesee EVK4 事件相机 + 24 颗多光谱 LED + 分束器白光屏）上采集实测数据： 1. 已知 CAD 几何刚体法向量评估： - 球体（Ball）：表面法向量 MAE 为 14.07°。 - 狮子雕塑（Lion）：表面法向量 MAE 为 17.18°。 2. X-Rite 标准色卡（ColorChecker）光谱反射率精度（对比 Optosky ATP2000H 光谱仪真值）： - 代表性色块 1：RMSE = 0.0623，SAM = 10.1°。 - 代表性色块 2：RMSE = 0.1086，SAM = 17.6°。 - 代表性色块 3：RMSE = 0.1119，SAM = 18.2°。 - 代表性色块 4：RMSE = 0.1273，SAM = 20.7°。 - 代表性色块 5：RMSE = 0.1310，SAM = 21.3°。 - 代表性色块 6：RMSE = 0.1603，SAM = 26.1°。 3. 真实彩色手写字迹多光谱恢复：在 A4 纸上捕获的多色手写字迹在全部 8 个窄带光谱通道中呈现清晰的特征吸收和反射反差，通道 0/5/3 伪彩色合成图与实物完全吻合。

关键发现¶

泛化能力随基底数增加显著拉大优势：传统基于相机的帧基方法严重依赖低秩反射率假设，当纹理基底由 1 跃升至 8 时，Heng 等人方法的法向量 MAE 从 16.01° 暴跌至 24.07°（Blobs），RMSE 从 0.0402 恶化至 0.1017；而 EventSpecPS 依靠严格的光谱-角度解耦，在 Bases=8 时仍保持 9.38° 的高精度法向量与 0.0471 的低反射率 RMSE。
单阶段系统大幅削减误差累积与传输带宽：两阶段事件基线法向量与反射率分别求解，导致阶段间误差传递放大，且需 13.31 MiB 数据；EventSpecPS 联合优化在仅需 12.66~13.17 MiB 数据吞吐的前提下，反射率 SAM 从 9.10° 骤降至 2.65°（Bases=1），反射率 RMSE 降低近一半（0.0302 vs 0.0164）。

亮点与洞察¶

同谱比值对消反射率的几何约束：将 8 个光谱通道沿圆环对称复用 3 次（120° 间隔），巧妙地在同频段不同角度触发事件对数比中完全消去了材料反射率，将病态的联合求解直接转化为由零空间向量交截确定法向量的良态几何问题。
恒定白光引入加性偏移解析破除尺度歧义：利用事件相机测相对差值的本质，通过加入共轴恒定白光打破了乘性常数缩放不变性，推导出完全不依赖外部测光仪器的绝对反射率闭式解析解，极具物理洞察力与工程实用性。
物理容错几何完备性证明：证明了 3 个方位角重复光源结合适度仰角设计，能够在球面上让局部的镜面高光与自阴影互不交叠，从硬件采样阶段保障了每个光谱通道在任何表面朝向下都必定存在无污染的有效观测。

局限与展望¶

假设近朗伯漫反射主导：尽管引入了基于法向量与光照矢量的角度门控来剔除局部高光，但对于金属、高光漆面等强各向异性非朗伯材质，高阶互反射（Inter-reflection）与次表面散射仍被忽略。
动态场景与运动伪影限制：目前照明调度依赖微控制器驱动 LED 循环切换点亮，仍要求被摄物体在采集周期内保持相对静止；若物体发生高速位移，物体自身运动诱发的事件将与光照变化事件相互混叠。
未来改进方向：可进一步探索结合脉冲神经网络（SNN）或事件隐式神经辐射场，在连续时空流中联合补偿物体刚体运动，将系统拓展至动态微流动或工业流水线飞拍检测场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将事件相机应用于多光谱光度立体，理论证明了光谱-角度多路复用解耦几何与反射率的充分条件，并提出恒定光破除尺度歧义的解析闭式解。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖不同纹理复杂度合成数据集全面量化评估、原型系统搭设、已知 CAD 几何零件实测及标准色卡光谱仪真值比对。
写作质量: ⭐⭐⭐⭐⭐ 物理与数学建模推导严谨自洽，系统图表直观精美，章节逻辑推进紧凑清晰。
价值: ⭐⭐⭐⭐⭐ 为高速计算成像、工业缺陷高动态检测及文物无损原位数字建模开辟了极具实用前景的新范式。