X-Palm: Paired Multispectral-to-Smartphone Dataset for Cross-Domain Palmprint Authentication¶

会议: NeurIPS 2026
arXiv: 2606.08437
OpenReview: https://openreview.net/forum?id=qHrnNiWydF
代码: https://github.com/X-Palm/X-Palm-2026
领域: 其他
关键词: 掌纹认证、跨域泛化、多光谱成像、移动生物识别、基准数据集

一句话总结¶

针对传统掌纹识别在“受控高精度录入”与“移动端无约束认证”之间存在的显著跨域鸿沟，本文构建了首个配对多光谱与智能手机掌纹数据集 X-Palm，系统揭示了现有模型在复合真实扰动下的性能崩塌，并建立了跨域掌纹基准。

研究背景与动机¶

掌纹识别凭借主线、皱褶、细微纹理等高度判别性特征以及优异的隐私保护特性，已成为移动支付、身份查验和无接触门禁等场景中极具前景的生物特征识别方案。然而，在实际落地中，掌纹系统面临着严苛的跨域部署鸿沟：高安全等级的初次模版录入通常在专用的多光谱扫描仪下完成，环境光照受控、成像距离恒定且手部姿态规范；但日常认证却由用户通过个人智能手机在开放且不可控的环境中完成。

现有公开掌纹数据集往往只涵盖该链条的局部切片。受控多光谱数据集（如 CASIA-MS）仅覆盖录入域，无法模拟日常使用中的复合噪声；而移动端或网络搜集的掌纹数据集（如 MPD-v2、XJTU-UP、NTU-PI）虽引入了部分设备或光照变化，却缺乏同一身份在受控多光谱录入仪下的高保真配对模板，且每位受试者的形变扰动类型严重受限。当模型仅在受控数据上训练时，一旦迁移至传感器异构、光照剧烈变动、复杂手势与表面污损等复合多变场景，特征判别力会发生急剧衰退。

因此，构建一个覆盖同一身份配对采集、同时涵盖受控多光谱与野生复合形变的大规模跨域掌纹基准，成为破解跨场景泛化难题的当务之急。本文的核心 idea 是通过定制多光谱扫描仪与受试者个人手机协同的配对采集范式，构建连接高可靠受控录入与真实无约束认证的桥梁数据集 X-Palm，并确立系统性的跨域认证基准与评测协议。

方法详解¶

整体框架¶

X-Palm 包含来自 103 位受试者（206 只手）的 6,006 张掌纹图像，其整体数据构建与评测流程围绕“双域配对采集”、“半自动精准 ROI 提取”以及“跨域与开集评测框架”三大支柱展开。首先，在采集端分别设立定制多光谱硬件终端与基于微软表单指引的手机端，实现同一身份在物理受控多光谱与开放移动场景中的双向锚定；随后，通过五点解剖关键点标注与自适应仿射变换，从畸变与多尺度图像中标准化裁剪出 $112 \times 112$ 像素的掌纹感兴趣区域（ROI）；最后，在闭集、开集与跨数据集三大设定下，通过特征提取器与余弦相似度度量建立跨域匹配评测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["受试者手部输入<br/>103人 / 206手"] --> B["双域配对数据采集<br/>定制多光谱扫描仪 + 80+款个人智能手机"]
    B --> C["质量筛查与半自动ROI提取<br/>人工标记5个解剖关键点 + 几何仿射对齐"]
    C --> D["特征提取与度量基准<br/>掌纹专用网络 / 通用视觉模型 / 人脸预训练模型"]
    D --> E["跨域认证评测协议<br/>跨数据集 / 闭集跨域 / 开放集跨域验证与辨识"]

关键设计¶

1. 双域配对采集范式：打通受控多光谱录入与真实移动认证的域鸿沟 传统方案通常无法在同一受试者身上同时获得物理级受控底库与真实开放认证样本，导致域适应算法缺乏成对的对照基准。X-Palm 针对这一痛点设计了分层采集协议：受控录入端采用团队自主研发的多光谱扫描设备，内部集成树莓派主控、可编程 DMX 调控 LED 阵列以及低成本 RGB/红外双摄模块，在 $4608 \times 2592$ 高分辨率下依次采集红、绿、蓝、白、黄、近红外 6 种光谱通道，并结合并指、开指、弯曲 3 种姿态（单手 18 张图）；而在移动认证端，则依托受试者自带的智能手机（覆盖苹果、三星、谷歌等 10 个主流品牌、80 余款机型），遵循表单指引在日光/闪光灯、近/远距离、俯仰/翻滚视角以及干燥、褶皱、潮湿水渍和字迹涂鸦等复合不利条件下采集 10 张结构化与 5 张随机无约束图像。共有 81 位受试者提供了完整的扫描仪-手机双域配对数据（单手 33 张），另有 22 位受试者提供了纯手机数据，构建了真实的跨设备、跨模态退化对照。

2. 基于五点解剖锚点的半自动 ROI 提取：消除大姿态与视角畸变 无约束拍摄下手机视角的倾斜、距离变化以及手掌非刚性形变会导致传统边缘轮廓检测算法大面积失效。为此，X-Palm 确立了一套兼具几何自洽性与鲁棒性的半自动坐标变换方案。人工标注员定位手掌上的五个标志性解剖锚点：食指根部内角点 $P_1$、中指与无名指指缝蹼点 $P_2$、小指根部外角点 $P_3$、手腕中心点 $P_4$ 以及拇指根部基点 $P_5$。定义食指与小指基点间的欧氏距离为基准尺度 $D = \|P_1 - P_3\|$，二者中点为 $M = \frac{P_1 + P_3}{2}$，基准方向向量为单位向量 $\hat{u} = \frac{P_3 - P_1}{D}$。垂直方向向量 $\hat{p} = R_{90}\hat{u}$ 则通过校验与向量 $P_4 - M$ 的点积符号，确保严格指向手腕方向。ROI 矩形中心点 $O'$ 随后沿垂直线向手心方向偏移： $$O' = M + \alpha \cdot D \cdot \hat{p}$$ 其中偏移系数设为 $\alpha = 0.45$。提取的外接正方形边长定义为 $s = \beta \cdot D$（取 $\beta = 0.85$），其四个角点坐标解析表达为： $$C_{\text{TL}}, C_{\text{TR}} = O' \mp \frac{s}{2}\hat{u} - \frac{s}{2}\hat{p}, \quad C_{\text{BL}}, C_{\text{BR}} = O' \mp \frac{s}{2}\hat{u} + \frac{s}{2}\hat{p}$$ 最后利用仿射变换将该正方形几何矫正并重采样为统一的 $112 \times 112$ 像素标准输入，不仅滤除了复杂的背景噪点，且在滚转、俯仰达数十度的极端拍摄下依然能精准锁定判别性掌心区域。

3. 三重跨域评测协议设计：解耦表征退化与未知身份泛化 为精准量化跨域部署中的性能瓶颈，X-Palm 确立了三套递进的评测机制：其一是“跨数据集评测”，统一样本与身份规模，评估单数据集训练后在目标域的泛化损失；其二是“闭集跨域评测”，保持训练与测试集的身份严格重合（$\mathcal{Y}_{\text{train}} = \mathcal{Y}_{\text{test}}$），在排除身份未见干扰的前提下，单一解耦扫描仪与手机、各不利光照与物理干扰之间的域转移影响；其三是“开放集跨域评测”，随机划分 20% 未见受试者作为独立测试集（$\mathcal{Y}_{\text{train}} \cap \mathcal{Y}_{\text{test}} = \emptyset$），同时施加未知身份和跨域复合干扰的双重挑战。在指标层面，统一采用等错误率（EER）衡量 1:1 验证可靠性，采用 Rank-1 识别率度量 1:N 检索准确率。

损失函数 / 训练策略¶

在基准测试中，12 种代表性算法统一缩放至 $112 \times 112$ 分辨率并进行 200 个 epoch 的训练。掌纹专用模型（如 CompNet、CCNet、CO3Net、SF2Net、PalmBridge 等）使用 Adam 优化器，初始学习率设为 $10^{-3}$ 并配合阶梯衰减；预训练视觉大模型（ConvNeXtV2-Tiny 与 DINOv2 ViT-S/14）采用 AdamW 优化器配合余弦退火，仅微调最后阶段或末尾两层 Transformer 块；人脸预训练模型 ArcFace 与 MagFace（iResNet100 骨干）冻结前 75% 参数并采用角度间隔/自适应间隔损失。所有匹配统一基于单位球面上提取特征的余弦相似度计算： $$S(f(x_p), f(x_g)) = \frac{f(x_p)^\top f(x_g)}{\|f(x_p)\|_2 \|f(x_g)\|_2}$$

实验关键数据¶

主实验¶

论文在四大数据集上进行了全面的跨数据集泛化测试（标准化样本与身份规模），验证模型从传统受控数据集迁移至 X-Palm 以及反向迁移的表现。下表对比了部分代表性算法在不同训练源下的等错误率（EER, %）与 Rank-1 识别率（%）：

模型	训练集	测试集: X-Palm (EER / Rank-1)	测试集: CASIA-MS (EER / Rank-1)	测试集: MPD-v2 (EER / Rank-1)	测试集: XJTU (EER / Rank-1)	跨数据集平均 (EER / Rank-1)
CompNet	X-Palm	28.98 / 79.70	13.14 / 96.56	22.29 / 86.05	6.06 / 99.46	17.62 / 90.44
CompNet	CASIA-MS	36.97 / 66.30	9.12 / 100.00	22.08 / 87.12	4.27 / 99.91	18.11 / 88.33
CompNet	MPD-v2	35.91 / 66.92	14.27 / 99.15	17.04 / 91.95	4.93 / 99.51	18.04 / 89.38
CompNet	XJTU	36.09 / 67.04	13.30 / 100.00	20.26 / 88.39	3.76 / 100.00	18.35 / 88.86
PalmBridge	X-Palm	23.31 / 79.49	16.28 / 89.75	19.58 / 89.15	7.98 / 98.25	16.79 / 89.16
PalmBridge	CASIA-MS	35.06 / 63.00	8.75 / 99.28	21.07 / 87.52	7.97 / 98.90	18.21 / 87.18
ArcFace	X-Palm	26.54 / 82.52	19.03 / 96.59	25.55 / 85.10	12.79 / 98.28	20.98 / 90.62
ArcFace	CASIA-MS	48.09 / 26.15	10.21 / 99.81	34.88 / 72.53	42.34 / 62.40	33.88 / 65.22
DINOv2	X-Palm	20.74 / 76.08	28.11 / 55.41	20.90 / 70.52	18.30 / 82.24	22.01 / 71.06
DINOv2	CASIA-MS	35.62 / 35.11	15.55 / 88.17	24.23 / 69.57	21.23 / 79.79	24.16 / 68.16

跨域细分与不利环境分析实验¶

为了深入探索具体物理形变与环境干扰对匹配鲁棒性的侵蚀，论文在 X-Palm 的闭集（Closed-Set）与开集（Open-Set）跨域场景下对各单项干扰域展开测试（模型在除测试域外的其余域上训练）。以下汇总代表性算法的 Rank-1 识别率（%）：

测试子域条件	闭集: CompNet	闭集: PalmBridge	闭集: DINOv2	开集: CompNet	开集: PalmBridge	开集: ArcFace	开集: DINOv2
扫描仪 (Scanner)	69.84	70.35	34.39	76.45	73.78	40.78	43.44
手机 (Smartphone)	66.78	56.27	36.22	68.00	64.93	62.37	53.88
潮湿与字迹 (Wet & Text)	76.24	79.43	78.37	50.88	64.03	68.42	50.00
潮湿与随机 (Wet & RND)	63.37	74.74	69.03	43.86	41.23	48.25	40.35
随机与字迹 (RND & Text)	78.24	89.82	82.11	23.68	39.47	52.63	36.84
翻滚与俯仰 (Roll & Pitch)	39.93	71.00	75.71	28.95	44.74	44.74	57.89
闪光灯与分指 (FO & SF)	96.49	99.12	94.56	76.32	78.95	77.19	71.93
全域平均识别率	69.15	81.22	74.63	51.80	55.93	55.96	53.72

关键发现¶

非对称的跨域泛化能力：在受控数据集（CASIA-MS、XJTU-UP）上表现近乎完美的模型（Rank-1 达 99%~100%），直接在 X-Palm 上测试时急剧崩溃（CompNet 识别率骤降至 66.30%，ArcFace 跌落至 26.15%）；反之，在 X-Palm 上训练的模型能够学习到应对复合形变的本质不变性，在其余三大外部数据集上均保持出色的平均泛化率。
最具挑战性的真实干扰：几何视角畸变（Roll、Pitch）与物理表面遮挡（Wet、Text、Random 复合）构成了识别的主要杀手。在极端的 Roll & Pitch 复合旋转下，传统卷积骨干识别率降至 30%~40%，而在规整的正面闪光灯（FO & SF）条件下所有模型均能恢复至 90% 以上。
掌纹专用模型 vs 通用预训练模型：轻量级掌纹专用结构（如 PalmBridge、CompNet 参数仅约 3.5M）不仅推理开销远低于通用大模型，在闭集域适应中更展现出更精准的局部线纹拓扑拟合；而人脸预训练模型（ArcFace、MagFace）在开放集测试中凭借大尺度角度裕度展现了更均衡的零样本判别优势。

亮点与洞察¶

开创性的双域配对基准：X-Palm 首次系统性填补了高可信受控多光谱录入与开放式手机认证之间缺乏严格配对样本的空白，为生物识别的真实落地提供了评测底座。
复合野生变量的自然覆盖：涵盖 103 名横跨 11 个族裔、18 至 76 岁受试者，引入 80 余款异构手机镜头与翻滚、水渍、字迹等真实挑战，显著降低了算法的统计人口学与硬件偏差。
半自动几何归一化典范：提出的五点解剖投影变换算法巧妙结合了掌形生理几何约束，能在无需密集手部关键点的情况下自适应对齐倾斜与尺度拉伸，具有很强的工程复用价值。

局限与展望¶

样本绝对规模与密度受限：受试者规模为 103 人（6,006 张图像），在支撑深层大模型预训练时数据量依然略显紧凑，未来需进一步扩大跨人口与长周期的采集规模。
ROI 提取依赖人工粗标：当前高精度 ROI 裁剪依赖人工标注 5 个解剖角点，在全自动端到端手机端应用中仍需前置端侧轻量化手掌角点检测网络。
多光谱与 RGB 的端到端跨模态对齐算法有待拓展：基准侧重于特征提取器与域适应表现，针对多光谱与 RGB 特征的跨模态互补融合网络仍有较大探索空间。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多光谱到智能手机的配对掌纹数据集，概念与硬件设计极具突破性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 种主流算法，深入评估跨数据集、闭集与开集三大严格协议，统计检验详实。
写作质量: ⭐⭐⭐⭐⭐ 论证严谨，硬件规格、数学变换与实验分析条理清晰。
价值: ⭐⭐⭐⭐⭐ 有力推动掌纹生物识别从实验室理想条件迈向移动端真实商业部署。