Tricam-rPPG: A Multimodal Multispectral Dataset for Remote Photoplethysmography¶
会议: ECCV 2026
论文: ECCV 原文
项目页: https://tricam-rppg.github.io
领域: AI 安全
关键词: 远程光电容积描记 (rPPG), 多光谱成像, 近红外感知, 算法公平性, 心血管监测
一句话总结¶
针对传统可见光 rPPG 依赖 RGB 导致深肤色人群信噪比严重衰减的系统性传感偏差，本文构建了首个同步采集高分辨率 RGB、双波段近红外（850nm 与 940nm）及智能眼镜多模态数据的 Tricam-rPPG 数据集，并实证了跨光谱融合能显著消除肤色偏见与提升心率估计鲁棒性。
研究背景与动机¶
心血管疾病（CVD）是全球首要死因，在低收入与中等收入国家尤为严峻，且由于临床检测偶发且穿戴式设备普及不均，亟需低成本、非侵入性的生理监测方案。远程光电容积描记（rPPG）通过消费级或工业级相机捕捉心脏搏动引起的微弱面部皮肤毛细血管血容量脉冲（BVP）颜色变化，已在远程医疗、重症监护及驾驶员监控中展现出巨大前景。然而，现有的 rPPG 算法与数据集几乎完全建立在可见光（RGB）波段，在真实部署场景中极易受环境光波动、头部姿态变化以及生理光学差异的干扰。
更为严峻的核心矛盾在于 rPPG 算法中长期存在的种族与肤色偏见。传统观点常将其归咎于训练数据中深肤色样本匮乏等表示偏差（Representation Bias），但实验表明，即使在均衡肤色甚至深肤色专有数据集（如 MMPD）上训练的 SOTA 深度模型（TSCAN、DeepPhys、EfficientPhys 等），在深肤色群体上的心率估计误差（MAE）和信噪比（SNR）依然单调劣化。其物理本质在于生物组织的吸收光谱特性：黑色素在绿光波段（500–600 nm）具有极强的吸光度，而心血管血液搏动的显微反射变化恰好集中于绿光，导致深肤色受试者的有效脉冲信号被黑色素严重衰减，形成了成像传感器层面的系统物理偏差（System Bias）。
因此，摆脱单一 RGB 模态、引入黑色素吸收显著减弱的近红外（NIR）光谱成为突破该公平性瓶颈的物理必由之路。核心 idea：构建包含高帧率同步 RGB 与双波段近红外（850nm / 940nm）视频、智能眼镜眼动/惯导数据及生理金标准的 Tricam-rPPG 多模态多光谱基准数据集，从物理成像源头解耦算法公平性与光谱响应，推动跨光谱心血管鲁棒监测。
方法详解¶
整体框架¶
Tricam-rPPG 旨在提供一个高精度、物理对齐且涵盖多种生理激发任务的跨光谱平台。系统在硬件端通过刚性共轴支架集成了 3 台工业级相机（1 路 RGB 与 2 路单色近红外），并在主动控制近红外与标准色温照明下同步记录 31 名受试者的面部及手部，同时配套 BIOPAC 医用级指夹 PPG 传感器获取 125 Hz 的 BVP 基准真值，其中 14 名受试者进一步佩戴 Meta Aria 智能眼镜同步记录眼周 NIR 与 IMU 运动流。数据处理与基准测试管线涵盖严格的时间戳对齐、稠密面部关键点跟踪、颜色不变性皮肤分割及跨光谱时空编码器评估。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态多光谱同步采集系统<br/>RGB + NIR 850nm + NIR 940nm + Aria眼镜"] --> B["受控受试任务协议<br/>冷暖双色温 + 8大生理与姿态任务"]
B --> C["物理对齐与多层次衍生标注<br/>UTC微秒对齐 + 468关键点 + 760面部时序Patch"]
C --> D["跨光谱时空生理特征解码<br/>多通道 Demucs 编码-解码器 + Bi-LSTM"]
D --> E["无偏心血管信号重建<br/>BVP脉冲波形与高精度心率估计 (HR)"]关键设计¶
1. 三相机共轴刚性阵列与跨模态物理同步：消除视差与时序漂移 为了支撑严谨的跨光谱像素级与区域级对比，研究构建了三机共轴固定支架，装配 1 台 RGB 彩色相机与 2 台搭载特定窄带滤光片的单色近红外工业相机（峰值分别位于 850 nm 和 940 nm）。3 台相机均以 2046×2464 超高分辨率、60 fps 的恒定高帧率运行，且固定曝光增益与内部光学参数，杜绝相机自带 ISP 自动曝光和色调映射带来的非线性失真。视野内常驻 X-Rite 标准色卡以提供后验色彩与光度校准。所有视频流与 BIOPAC MP46 采集仪记录的 125 Hz 指尖 PPG 脉冲波形通过 UTC 时间戳在微秒级实现后验硬件时钟对齐，确保生理脉搏波动与视频帧毫秒级同步。
2. 冷暖受控光照与八大多样性生理诱发任务：覆盖动态心率与非正面姿态 针对以往数据集仅包含静态受试者的问题，数据采集分为 S1（冷光 8000K）与 S2（暖光 2700K）两个独立 Session，每段时长不少于 5 分钟以保证心率变异性（HRV）低频自律神经调节成分的有效分析。受试任务包括：静止注视基准（T1）、心算加重认知负荷（T2）、平静情绪视频（T3）、悲伤情绪诱发（T4）、静态侧脸姿态（T5，用于侧脸非正面 rPPG 研究）、抬手露掌（T6，用于手掌与面部多解剖区域脉冲传播与脉搏波传导时间 PTT 探索）、朗读测试（T1 in S2）以及兴奋情绪诱发（T2 in S2）。由此涵盖了心率动态跃变、头部姿态偏转与表情微动。
3. 多层次衍生元数据与 760 面部 Patch 时序表征：开箱即用的基准支持 除提供无损压缩原始多光谱帧外，数据集生成了一整套生理感知的标准化衍生属性：利用 MediaPipe 自动提取 RGB 与 NIR 帧的 468 个稠密面部关键点；引入颜色不变性皮肤分割算法生成逐帧二值掩膜；并基于几何拓扑将面部细划分为 760 个局部 Patch，计算每个 Patch 内各通道的时序平均像素强度曲线。该结构化表征将 GB 级视频浓缩为紧凑的时空生理响应矩阵，极大加速了算法实验迭代。
4. 跨光谱通道重组与 Demucs 时空解码架构：验证长波红外抗黑色素能力 针对传统算法无法直接输入 5 通道视频的问题，论文设计了基于 Demucs 的时序编码-解码框架（如图 4 所示），支持处理 5 通道组合（RGBIR: R+G+B+850nm+940nm）及多种 3 通道组合（R+IR、G+IR、B+IR、RG+850、RG+940 等，其中 IR 表示包含 850nm 与 940nm）。由于绿光（G）在血液反射中最敏感，模型重点探索了保留 G 通道并引入近红外长波长的配置。由于近红外波段黑色素吸收系数极低，光线能穿透更深的表皮直达富含毛细血管网的真皮层，使编码器在深肤色受试者上面能提取出未被黑色素淹没的纯净搏动时序特征。
损失函数 / 训练策略¶
跨光谱 Demucs 架构在提取 760 个面部 patch 的通道平均序列后，通过 1D 卷积下采样编码器提取多尺度时间特征，瓶颈层结合双向 LSTM（Bi-LSTM）捕获心率节律的长期依赖，随后经过转置卷积解码器重构出血容量脉冲（BVP）连续波形。模型通过联合优化重构波形与真实指尖 PPG 的均方误差（MSE Loss）以及频域功率谱密度交叉熵（PSD Loss），使得网络不仅在时域逼近脉冲波峰，同时在 0.75–4.0 Hz（对应 45–240 BPM）的心率生理频率带内实现频谱能量集中。
实验关键数据¶
主实验¶
为了建立标准基线，论文使用 rPPG-Toolbox 对主流监督深度学习方法在 Tricam-rPPG 全集上进行了零样本跨数据集泛化测试。评估指标包括平均绝对误差（MAE, BPM）、平均绝对百分比误差（MAPE, %）、皮尔逊相关系数（\(\rho\)）以及信噪比（SNR, dB）。
| 方法 | 预训练数据集 | MAE (BPM) ↓ | MAPE (%) ↓ | 相关系数 \(\rho\) ↑ | SNR (dB) ↑ |
|---|---|---|---|---|---|
| TS-CAN [20] | UBFC-rPPG | 6.16 ± 1.00 | 7.63 ± 1.15 | 0.62 ± 0.07 | -2.33 ± 0.38 |
| TS-CAN [20] | PURE | 16.74 ± 2.89 | 21.09 ± 3.67 | 0.33 ± 0.09 | -3.62 ± 0.31 |
| TS-CAN [20] | SCAMPS | 37.31 ± 4.37 | 49.07 ± 5.96 | 0.09 ± 0.10 | -4.90 ± 0.22 |
| PhysNet [48] | UBFC-rPPG | 19.09 ± 2.02 | 26.75 ± 3.01 | -0.14 ± 0.09 | -5.70 ± 0.17 |
| PhysNet [48] | PURE | 17.30 ± 1.76 | 23.76 ± 2.57 | 0.10 ± 0.09 | -5.23 ± 0.16 |
| PhysNet [48] | SCAMPS | 16.38 ± 1.40 | 22.45 ± 2.05 | 0.10 ± 0.09 | -6.82 ± 0.08 |
| PhysFormer [49] | UBFC-rPPG | 31.23 ± 2.77 | 43.88 ± 4.21 | -0.29 ± 0.09 | -5.46 ± 0.18 |
| PhysFormer [49] | PURE | 12.81 ± 1.14 | 17.30 ± 1.69 | 0.23 ± 0.09 | -5.01 ± 0.20 |
| PhysFormer [49] | SCAMPS | 24.71 ± 2.01 | 34.03 ± 3.01 | -0.04 ± 0.10 | -6.54 ± 0.10 |
| DeepPhys [7] | UBFC-rPPG | 3.85 ± 0.56 | 4.85 ± 0.71 | 0.77 ± 0.06 | -1.28 ± 0.39 |
| DeepPhys [7] | PURE | 5.21 ± 0.67 | 6.61 ± 0.85 | 0.67 ± 0.07 | -1.89 ± 0.40 |
| DeepPhys [7] | SCAMPS | 6.90 ± 0.77 | 8.82 ± 1.03 | 0.51 ± 0.09 | -2.95 ± 0.32 |
| EfficientPhys-C [21] | UBFC-rPPG | 6.30 ± 1.24 | 8.20 ± 1.70 | 0.40 ± 0.09 | -2.47 ± 0.34 |
| EfficientPhys-C [21] | PURE | 22.48 ± 3.46 | 29.26 ± 4.60 | 0.15 ± 0.09 | -3.92 ± 0.27 |
| EfficientPhys-C [21] | SCAMPS | 69.13 ± 4.24 | 92.14 ± 6.18 | -0.00 ± 0.10 | -5.80 ± 0.15 |
消融实验与肤色偏见分析¶
论文针对纯 RGB 算法在不同肤色组上的衰减特性（以 DeepPhys 为代表），以及引入近红外（NIR）通道后各肤色组的性能增益进行了量化对比。
表 1：纯可见光模型在不同肤色层级上的性能断崖（DeepPhys 模型，测试集：Tricam-rPPG）
| 训练集 | 肤色分层 (Fitzpatrick) | MAE (BPM) ↓ | MAPE (%) ↓ | 相关系数 \(\rho\) ↑ | SNR (dB) ↑ |
|---|---|---|---|---|---|
| UBFC-rPPG [4] | 浅肤色 (Light, I-II) | 1.72 ± 0.51 | 2.21 ± 0.63 | 0.94 ± 0.06 | 0.62 ± 0.63 |
| UBFC-rPPG [4] | 中等肤色 (Medium, III-IV) | 4.42 ± 0.90 | 5.12 ± 0.99 | 0.78 ± 0.09 | -1.39 ± 0.57 |
| UBFC-rPPG [4] | 深肤色 (Dark, V-VI) | 6.60 ± 1.58 | 9.43 ± 2.40 | 0.45 ± 0.22 | -4.78 ± 0.20 |
| PURE [41] | 浅肤色 (Light, I-II) | 1.50 ± 0.47 | 1.98 ± 0.63 | 0.95 ± 0.05 | 0.15 ± 0.65 |
| PURE [41] | 中等肤色 (Medium, III-IV) | 4.92 ± 0.89 | 5.82 ± 1.03 | 0.76 ± 0.10 | -1.95 ± 0.55 |
| PURE [41] | 深肤色 (Dark, V-VI) | 13.43 ± 1.65 | 17.99 ± 2.15 | -0.01 ± 0.25 | -5.79 ± 0.26 |
| SCAMPS [?] | 浅肤色 (Light, I-II) | 3.26 ± 0.83 | 4.12 ± 1.07 | 0.82 ± 0.10 | -1.61 ± 0.51 |
| SCAMPS [?] | 中等肤色 (Medium, III-IV) | 6.45 ± 0.95 | 7.67 ± 1.11 | 0.67 ± 0.11 | -2.90 ± 0.49 |
| SCAMPS [?] | 深肤色 (Dark, V-VI) | 15.38 ± 2.06 | 21.27 ± 3.06 | -0.42 ± 0.23 | -5.73 ± 0.16 |
表 2：引入近红外通道相对于基准 RGB 的相对增益（Demucs 多通道模型）
| 光谱输入配置 | 浅肤色 (Light) SNR 提升 | 中偏浅 (Light-Med) SNR 提升 | 中偏深 (Med-Dark) SNR 提升 | 浅肤色 MAE 降低 | 中偏浅 MAE 降低 (绝对值) | 中偏深 MAE 降低 (绝对值) |
|---|---|---|---|---|---|---|
| RG850 (R+G+850nm) | +50% | +80% | +70% | -20% | -35% (4.66 BPM) | -25% (5.04 BPM) |
| RG940 (R+G+940nm) | +10% | +100% | +85% | 适度改善 | 显著下降 | 显著下降 |
| RGBIR (全5通道) | +50% | +95% | +100% | -15% | -45% (4.17 BPM) | -30% (5.60 BPM) |
关键发现¶
- 纯可见光模型的物理天花板：不论采用卷积注意力（DeepPhys）、时间位移卷积（TSCAN）还是时空 Transformer（PhysFormer），在纯 RGB 视频测试中，深肤色受试者的 MAE 普遍恶化 3 至 10 倍，SNR 跌落至 -4.7 dB 以下，甚至出现相关系数为负的失效情况。
- 近红外对深肤色带来特异性增益：近红外波段对浅肤色的信噪比提升相对平缓（10%–50%），但对中等与深肤色受试者带来了 70%–100% 的 SNR 翻倍提升，MAE 降幅高达 30%–45%。
- 多光谱互补而非替代：RGBIR（全波段融合）取得最优精度与鲁棒性，证明可见光的高色度搏动分辨能力与近红外的高穿透抗吸光特性具有物理互补性，二者融合能在不损害浅肤色精度的前提下消除算法偏见。
亮点与洞察¶
- 解耦“算法偏见”与“传感物理偏见”：论文通过严密实验阐明，深肤色受试者 rPPG 性能差不仅是“数据集样本少”的表示偏见，而是可见光被黑色素吸收的传感器层系统偏见，从源头指明了单靠扩大 RGB 采集无法从根本上实现医疗 AI 公平。
- 高工业价值的多波段同轴平台：相比以往低分辨率或单模态方案，采用 2K 工业级相机同步 850nm 与 940nm，并首次纳入 Meta Aria 智能眼镜视角，为轻量化头戴 AR/VR 生理交互与手掌脉搏传导时间（PTT）分析留出了充裕的数据拓展空间。
- 结构化 760-Patch 特征图：免除后续研究者对海量原始 2K 视频进行重复解码和面部对齐的开销，使专注跨波段时序建模的研究者可以直接在时空 Patch 矩阵上高效展开实验。
局限与展望¶
- 受试者总体规模与性别分布局限：当前包含 31 名受试者，虽然深肤色群体达到 14 人（占比突出），但受试者性别比例男性显著偏多（深肤色组男女比为 12:2），在女性深肤色人群上的表现仍需扩充验证。
- 近红外组织散射效应有待细化建模：近红外光在生物组织中穿透较深，多重前向散射可能导致脉冲波形的毛细血管反射出现空间模糊与波形平滑，影响精细舒张期切迹（dicrotic notch）和血压推断的保真度。
- 动态极端运动场景尚未覆盖：当前任务主要针对静坐、认知、阅读及微小头部转动，未涉及剧烈运动、户外动态光照或极端震动环境。
相关工作与启发¶
- vs MMPD / VIPL-HR: MMPD 专注于移动手机多环境 RGB 采集，VIPL-HR 引入了 RGB-D 深度信息，但二者核心仍局限于可见光波段，无法解决深肤色下的信噪比塌陷；Tricam-rPPG 通过 850nm/940nm 双波段 NIR 补全了关键的光谱盲区。
- vs MR-NIRP: MR-NIRP 探索了车载近红外成像，但分辨率较低（640×640 且仅 18 名受试者），缺乏受控色温对比与 940nm 多光谱通道；Tricam-rPPG 提供了高达 2046×2464 60fps 的实验室级物理对齐基准。
- 启发：后续工作可进一步探索面向 AR/VR 眼镜的多光谱微型模组，利用注意力机制自适应分配可见光与红外权重，实现无论佩戴者肤色深浅皆全天候可用的生命体征监测。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次构建包含高分辨率同轴 RGB 与 850nm/940nm 双 NIR 及 Aria 眼镜的多模态 rPPG 数据集，跨光谱视角独特。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 种代表性 SOTA 算法基准评估、肤色分层定量对比以及多种光谱通道消融。
- 写作质量: ⭐⭐⭐⭐⭐ 物理机制推导清晰，实验图表详实，协议阐述完整严谨。
- 价值: ⭐⭐⭐⭐⭐ 揭示了 rPPG 领域深层物理系统偏差，为医疗健康与智能穿戴领域的公平 AI 提供了关键开源基础设施。