SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception¶

会议: NeurIPS 2026
arXiv: 2608.10497
OpenReview: https://openreview.net/forum?id=pQA0q258nm
领域: 自监督/表示学习
关键词: 人体识别, 自监督表征, 软生物特征, 运动学时序注意力, 跨模态蒸馏

一句话总结¶

SapiensID 2.0 针对现有基础模型依赖静态几何纹理导致的“语义盲区”与“运动学缺失”，通过 MLLM 离线软生物特征蒸馏（不变特征对齐 ITA 与瞬态噪声解耦 TND）和关键点时序追踪注意力头（K-SAH），首次在单一 63M ViT 骨干上统一了人脸识别、跨时空行人重识别与步态识别。

研究背景与动机¶

现实场景下的人体识别（Human Recognition）长期面临模态割裂的困境，传统学术界和工业界系统通常为人脸识别、行人重识别（ReID）以及步态识别构建互不兼容的独立专用模型。虽然 SapiensID 开创性地在统一骨干网络下实现了人脸与人体 ReID 的跨模态协同，但其特征提取本质上仍完全停留在对单帧原始图像局部几何与纹理特征的经验拟合。这种纯基于像素的度量学习与人类识别机制存在根本性背离：人类在识别人体时，天然依赖解剖学上持久不变的固定软生物特征（如性别、种族、身材骨架比例、面部轮廓），并会主动过滤衣着、发型等瞬态可变干扰；然而纯纹理驱动的基础模型常陷入“语义盲区”（Semantic Blindness），极易将穿着相同服装的不同个体误判为同一人，或因为种族、体征差异但在相同打光下给出高相似度。

另一方面，人类感知能够本能地利用运动学连续性（Kinematic Continuity），通过个体在连续运动过程中骨骼肢体结构的动态演化（如步态动作模式）进行稳健身份鉴别。现有的基础模型完全受限于静态单帧表征，在处理视频序列时只能简单机械地抽取各帧特征再做全局均值池化，彻底抹杀了蕴含在时序动态中的高判别力运动签名。然而，若要赋予基础模型语义感知与运动学连续性，面临着严重的数据稀缺屏障：现存数百万级的大规模人体数据集（如 WebBody4M）完全缺失细粒度软生物特征标签，且超过 90% 为静态图像；若从头采集并标注对等规模的视频数据集以训练重型时空变换器（Spatio-Temporal Transformer），不仅算力成本高昂，更会在有限视频样本上引发严重的过拟合并破坏预训练空间几何先验。

为破解语义标签与视频数据的双重瓶颈，本文提出借助多模态大语言模型（MLLM，如 Qwen2.5-VL）强大的零样本感知能力离线生成软生物特征伪标签，并构建二分特征子空间对齐策略，将紧凑的文本语义先验蒸馏至视觉度量空间，在推理期完全舍弃教师模型和投影层以保持零计算开销。针对时序维度，本文并不引入额外的视频架构，而是利用预训练模型固有的关节点空间位置先验，将静态空间注意力延展至局部时序窗口，追踪相同语义解剖区域的跨帧位移。核心 idea：通过二分特征子空间蒸馏（ITA 强制对齐固定解剖属性、TND 严格正交化剔除衣着瞬态噪声），结合可向后兼容退化的运动学语义注意力头（K-SAH）沿骨骼关键点追踪跨帧轨迹，在单帧与视频序列间无缝实现具备语义常识与运动学连续性的统一表征学习。

方法详解¶

整体框架¶

SapiensID 2.0 的整体流水线兼顾了静态单图的高分辨率表征与动态视频的时序演化。给定输入单图或视频轨迹块（Tracklet），系统首先复用 RetinaPatch（RP）机制，根据检测到的面部与人体关键点坐标动态裁剪出最具判别力的局部图像块（面部、上半身及全身），并结合区域采样的 2D 位置编码注入空间几何先验；随后送入共享的 ViT-B 骨干网络，提取出空间局部特征图 \(\mathbf{X} \in \mathbb{R}^{B \times T \times L \times C}\)。

在特征聚合阶段，SapiensID 2.0 舍弃了原始静态的语义注意力头（SAH），引入全新的运动学语义注意力头（K-SAH）。K-SAH 以 17 个解剖关键点为查询中心，在局部时序窗口内跨帧追踪同一解剖区域（如手肘、脚踝），并结合基于置信度掩码的遮挡自适应池化，输出紧凑的时空判别特征 \(\mathbf{f}_{ST}\)。在模型训练阶段，\(\mathbf{f}_{ST}\) 通过一个轻量级两层 MLP 映射至投影向量 \(\mathbf{Y}\)，并接受来自离线 MLLM 生成的二分语义特征的联合监督：一方面通过不变特征对齐（ITA）使 \(\mathbf{Y}\) 的主成分对齐固定软生物特征空间，另一方面通过瞬态噪声解耦（TND）强制 \(\mathbf{Y}\) 与动态衣着噪声子空间保持严格正交。推理部署时，辅助的 MLP 和 MLLM 全部丢弃，仅依靠 63M 参数量的 ViT 骨干在单次前向传播中输出特征，实现毫秒级高吞吐推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["输入：多帧视频序列 / 静态单图"] --> B["RetinaPatch 动态语义切块<br/>解剖关键点引导与 2D 位置编码保留"]
    B --> C["ViT-B 空间骨干编码器<br/>提取高维网格特征张量 X"]
    C --> D["运动学语义注意力头 (K-SAH)<br/>跨时序窗口关节点轨迹追踪与遮挡自适应池化"]
    D --> E["时空判别特征向量 f_ST<br/>(推理期仅需 63M 骨干单次前向，零额外开销)"]

    subgraph Alignment ["二分语义子空间蒸馏训练 (仅训练期)"]
        direction TB
        E --> F["轻量级学生投影层 Y = MLP(f_ST)"]
        F --> G["不变特征对齐 (ITA)<br/>SVD 主成分轴向对齐与特征分布 MSE 约束"]
        F --> H["瞬态噪声解耦 (TND)<br/>瞬态衣着配饰主子空间正交化投影惩罚"]
        F --> I["拓扑结构保持 (FR)<br/>批次内 Gram 矩阵对齐保留相对语义几何关系"]
    end

    Alignment --> J["多任务联合优化损失<br/>L_total = L_AdaFace + 0.5*(L_ITA + L_TND + L_FR)"]

关键设计¶

1. 不变特征对齐 (ITA)：锚定固有解剖属性以消除语义盲区 现有度量学习由于缺乏属性标注，容易过度拟合背景与高频纹理，导致在跨光照、跨姿态下无法识别本质身份。为将人类认知中的固定解剖常识注入模型，ITA 利用离线 Qwen2.5-VL-7B 提取 6 类固定软生物特征（性别、种族、年龄、肤色、体型比例、面部轮廓）的文本高维表征 \(\mathbf{X}^F\)。由于直接对齐高维文本特征会强迫视觉模型吸收无关的语言伪影，ITA 采用 SVD 分解经验协方差矩阵，仅提取方差最大的前 \(D_F=6\) 个正交主特征向量构成基底矩阵 \(\mathbf{V}_T^F \in \mathbb{R}^{C \times D_F}\)。学生网络投影特征 \(\mathbf{Y}\) 经过对应分解后得到其主成分矩阵 \(\mathbf{V}_S\)。ITA 损失由两个互补项构成：

\[\mathcal{L}_{ITA} = \sum_{k=1}^{D_F} \left(1 - \left\langle \mathbf{v}_T^{F(k)}, \mathbf{v}_S^{(k)} \right\rangle^2 \right) + \lambda_P \left\|\mathbf{X}^F \mathbf{V}_T^F - \mathbf{Y} \mathbf{V}_S\right\|_F^2\]

第一项通过最大化教师与学生主成分之间的平方余弦相似度，将两个潜在空间的几何主轴强行对齐；第二项通过最小化投影坐标的均方误差，保证样本在解剖特征轴上的实际分布一致。这种设计既滤除了 MLLM 的上下文文本底噪，又将核心且持久的解剖先验稳固地沉淀于视觉表征中。

2. 瞬态噪声解耦 (TND)：显式正交化剔除衣着与配饰瞬态干扰 在行人重识别及长周期追踪中，衣着变化（Clothes-Changing）是导致模型崩溃的首要原因。传统方法使用梯度反转层（GRL）进行对抗解耦，在基础模型大规模训练时极易发生震荡和训练崩溃。TND 放弃了对抗机制，转而采用纯度量空间的显式正交约束。首先通过 MLLM 提示词提取 5 类动态瞬态属性（发型、面部胡须、佩戴配饰、上装衣着、下装衣着）的文本表征 \(\mathbf{X}^D\)，经 SVD 分解后提取前 \(D_D=5\) 个主成分构成瞬态噪声子空间 \(\mathbf{V}_T^D \in \mathbb{R}^{C \times D_D}\)。TND 直接惩罚学生特征在动态子空间上的投影能量：

\[\mathcal{L}_{TND} = \left\|\mathbf{Y} \mathbf{V}_T^D\right\|_F^2\]

该惩罚项以解析方式迫使学生的身份特征向量与衣着等可变因子的超平面处于严格正交状态，从而在根源上消除依靠“同款衣服”找人的捷径学习（Shortcut Learning），使模型在换装评测下依然具备极高的鲁棒性。

3. 运动学语义注意力头 (K-SAH)：沿解剖关节点轨迹捕捉时序运动学连续性 传统方法若要捕捉视频中的步态或肢体运动学，往往需要引入从头训练的 3D 卷积或时空 Transformer，不仅需要消耗海量视频数据，还会摧毁单图预训练得到的精细空间定位能力。K-SAH 另辟蹊径，利用 SapiensID 预训练模型中由 RetinaPatch 赋予的绝对 2D 空间位置编码 \(\mathbf{P}\)，将时间轴作为连续窗口展开。对于大小为 \(|\mathcal{W}|\) 的局部时序窗口，K-SAH 将静态位置编码沿时间维度重复为 \(\mathbf{P}_{\mathcal{W}} \in \mathbb{R}^{|\mathcal{W}|L \times C}\)，使锚点帧的关键点查询向量 \(\mathbf{Q}_t\) 能够跨帧检索时空联合键值对：

\[\mathbf{H}_t = \text{Attention}(\mathbf{Q}_t, \mathbf{P}_{\mathcal{W}}, \mathbf{X}_{\mathcal{W}})\]

这一机制将全局时空注意力的高昂复杂度 \(\mathcal{O}(T^2 L^2 C)\) 约束在沿 \(K=17\) 个关节点轨迹的局部管道内，计算量随窗口长度 \(T\) 呈完全线性扩展 \(\mathcal{O}(T \cdot K \cdot L \cdot C)\)。此外，针对视频中频繁出现的关节点遮挡问题，K-SAH 引入基于 OpenPose 置信度动态生成的二值掩码 \(\mathbf{M}_O \in \{0, 1\}^{B \times T \times K}\)（置信度 \(<0.3\) 时标记为 1），在时间轴上执行遮挡自适应加权平均：

\[\bar{\mathbf{h}_k} = \frac{\sum_{t=1}^T \mathbf{h}_{t,k} \cdot (1 - \mathbf{M}_O[t,k])}{\max\left(1, \sum_{t=1}^T (1 - \mathbf{M}_O[t,k])\right)}\]

当输入退化为单帧静态图像（\(T=1\)）时，K-SAH 在数学上严格退化为基础的静态 SAH，保证了单图与视频下游任务权重的无缝兼容。

损失函数 / 训练策略¶

除了上述的 ITA 与 TND 损失外，为确保在语言空间中具有相似解剖属性的不同样本在度量空间中也保持成比例的邻域几何结构，模型还引入了关系拓扑保持损失（Relational Topology Preservation, FR）：

\[\mathcal{L}_{FR} = \frac{1}{N^2} \left\|\mathbf{X}^F (\mathbf{X}^F)^\top - \mathbf{Y} \mathbf{Y}^\top\right\|_F^2\]

其中 \(N\) 为当前批次样本数，通过对齐教师与学生的 Gram 矩阵防止批次内特征畸变。模型的总训练目标由度量学习基线损失与蒸馏项联合构成：

\[\mathcal{L}_{total} = \mathcal{L}_{AdaFace} + \lambda_{distill} (\mathcal{L}_{ITA} + \mathcal{L}_{TND} + \mathcal{L}_{FR})\]

其中度量学习采用自适应余量损失 AdaFace，蒸馏权重设为 \(\lambda_{distill}=0.5\)。训练阶段在 7 张 NVIDIA A100 GPU 上采用 AdamW 优化器，学习率设为 \(1 \times 10^{-4}\)，配合余弦退火调度与前 2 个 epoch 的线性热身（Warmup），权重衰减为 0.05，批大小设为 128，共训练 30 个 epoch。

实验关键数据¶

主实验¶

主实验在视频行人重识别基准 CCVID（包含通用 General 与换装 CC 两种协议）和步态识别基准 CCPG（包含换装 CL、上身携带 UP、下身携带 DN、背包 BG 四种条件）上验证了模型的跨任务泛化能力。所有模型均在零样本（Zero-Shot）协议下评测，未在测试集上进行任何微调。

方法	模型类型	CCVID (Gen) Top-1 (%)	CCVID (Gen) mAP (%)	CCVID (CC) Top-1 (%)	CCVID (CC) mAP (%)	CCPG (CL) Rank-1 (%)	CCPG (UP) Rank-1 (%)	CCPG (DN) Rank-1 (%)	CCPG (BG) Rank-1 (%)
CAL (CVPR 2022)	图像 ReID	74.83	29.43	73.89	26.65	-	-	-	-
CLIP3DReID (ICCV 2023)	3D 姿态 ReID	77.28	30.01	76.28	26.69	15.7	25.6	24.5	60.3
SOLIDER (CVPR 2023)	语义控制 ReID	40.27	36.56	39.61	35.48	-	-	-	-
HAP (NeurIPS 2023)	掩码人体表征	54.74	45.14	52.37	41.33	-	-	-	-
BiggerGait (NeurIPS 2025)	专用大步态模型	85.13	83.38	84.53	82.59	23.2	44.5	29.5	86.7
SapiensID (CVPR 2025)	人体基础模型	92.57	77.82	88.72	72.22	33.9	45.0	75.2	90.2
SapiensID 2.0 (本文)	统一多模态基础模型	95.70	84.99	88.62	78.04	60.8	60.8	86.4	91.6

在跨度更大的长周期图像行人重识别（包含换装协议）测试中，SapiensID 2.0 在抵抗外貌剧烈变化方面的表现同样显著超越了同类方法：

方法	预训练数据集	平均 Rank-1 (%)	LTCC (CC) Top-1 (%)	LTCC (CC) mAP (%)	PRCC (CC) Top-1 (%)	PRCC (CC) mAP (%)	CCDA Top-1 (%)	Celeb-ReID Top-1 (%)
CAL	LTCC + PRCC	24.26	33.16	16.27	45.39	45.42	3.74	37.11
CLIP3DReID	LTCC	24.93	41.84	22.58	40.81	38.38	4.31	37.31
SOLIDER	LUP4M + Market	21.66	25.00	12.18	26.87	32.12	8.62	46.37
HAP	LUP4M + Market	22.66	24.74	11.71	33.90	37.00	8.30	44.38
SapiensID	WebBody4M	62.77	42.35	17.79	78.75	72.60	61.84	92.80
SapiensID 2.0	WebBody4M	66.82	48.26	22.28	85.19	79.32	64.96	91.64

此外，在 5 个人脸识别基准（LFW, CPLFW, CFP-FP, CALFW, AgeDB）的 1:1 验证测试中，SapiensID 2.0 取得了 97.65% 的平均精度，超越了上一代 SapiensID（97.30%）以及专用人脸 SOTA 模型 AdaFace（97.63%），表明引入全身软生物特征并未造成人脸精细特征的灾难性遗忘。

消融实验¶

在 CCVID 视频数据集上逐步剥离各核心模块，验证其有效性与协同增益：

配置	ITA (固定解剖对齐)	TND (动态噪声解耦)	K-SAH (运动学时序追踪)	CCVID (Gen) Top-1 (%)	CCVID (Gen) mAP (%)	CCVID (CC) Top-1 (%)	CCVID (CC) mAP (%)	说明
Baseline	-	-	-	92.57	77.82	88.72	72.22	纯静态单帧特征均值池化基线
+ ITA	✓	-	-	92.70	80.70	87.97	73.58	引入固定解剖属性，Gen mAP 提升 2.88%
+ ITA + TND	✓	✓	-	93.82	81.26	88.39	75.66	抑制衣着瞬态噪声，CC mAP 显著跃升 2.08%
Full Model	✓	✓	✓	95.70	84.99	88.62	78.04	完整模型：时空与语义协同带来全面突破

时序窗口大小 \(T\) 在 K-SAH 中的敏感性消融（CCVID 基准）：

窗口大小 \(T\)	CCVID (Gen) Top-1 (%)	CCVID (Gen) mAP (%)	CCVID (CC) Top-1 (%)	CCVID (CC) mAP (%)	说明
\(T=1\) (静态 SAH)	92.57	77.82	88.72	72.22	仅空间单帧注意力，无跨帧轨迹追踪
\(T=3\)	95.70	84.99	88.62	78.04	捕捉局部运动学特征，性能大幅跃迁
\(T=5\) (默认)	95.65	84.95	88.53	77.95	兼顾时序感知完整性与计算吞吐量
\(T=7\)	95.73	84.90	88.54	77.87	边际增益趋于饱和，局部窗口已充分捕获步态

关键发现¶

解耦消除换装假阳性：对比基线模型，TND 模块使换装协议下的 CCVID mAP 净增 5.82%（从 72.22% 升至 78.04%），PRCC (CC) 排名第一准确率从 78.75% 跃升至 85.19%。可视化分析证实，基线经常将穿相同上衣的不同行人排在 Rank-1，而 SapiensID 2.0 将相似度压低至判定阈值以下，成功转为真阴性。
免视频训练的步态识别突破：以往步态模型如 BiggerGait 在换装步态数据集 CCPG (CL) 上的跨域迁移仅能达到 23.2% Rank-1，而 SapiensID 2.0 通过 K-SAH 在完全零视频标注训练的条件下达到了 60.8%，相对基线（33.9%）近乎翻倍，证明了关键点追踪能够从静态图像预训练中诱导出强大的运动学连续性。
短期与长期评测的取舍：在同衣服同相机的短期 ReID 数据集（如 Market1501）上，高度依赖衣服纹理的旧模型微弱占优；但一旦跨入真实长周期换装场景，旧模型性能直接腰斩（如 SOLIDER 从 71.45% 暴跌至 21.66%），而 SapiensID 2.0 保持在 66.82%，表现出极高的泛化底线。

亮点与洞察¶

离线 MLLM 二分蒸馏机制：巧妙地将 MLLM 输出划分为解剖固定属性与外观瞬态属性，分别采用主成分最大化对齐（ITA）和显式空间正交投影惩罚（TND）处理。既获得了前沿大模型的丰富语义常识，又在推理阶段完全舍弃大模型与投影层，保持了 63M ViT 骨干的高吞吐部署优势（23.3ms / 42.9 FPS，比直接挂接小型端侧 MLLM 快 225 倍）。
静态先验直接诱导动态运动学：跳出了“做视频识别必须在海量视频上预训练”的传统惯性思维，证实了静态单图中精确的 2D 位置编码和解剖关键点能够在局部时间窗口内充当天然轨迹追踪锚点，以极低计算复杂度 \(\mathcal{O}(T \cdot K \cdot L \cdot C)\) 唤醒运动学连续性。
语义与度量空间的解耦互补：单纯的度量学习缺乏常识先验，单纯的语义文本表征缺乏细粒度几何辨识力。二分特征子空间投影提供了一种通用的多模态知识蒸馏范式，不仅可复用于人体识别，还能迁移至车辆重识别、动物物种重识别等极易受外观涂装混淆的精细化检索任务中。

局限与展望¶

受制于教师 MLLM 的感知上限：学生的语义辨识能力完全取决于离线教师模型 Qwen2.5-VL 的零样本判断准度；若教师模型在极端遮挡或低照度画面下产生幻觉（如将男性错判为女性），该错误先验将顺着 ITA 蒸馏流向学生潜在空间。
离线特征提取开销显著：在数百万级静态图像全集（WebBody4M）上完整运行 MLLM 结构化提示词推理是一项庞大的一次性算力开销，难以对快速更新的大规模图库实现动态在线增量蒸馏。
未来改进方向：可探索轻量化的在线自举蒸馏策略，或引入置信度不确定性建模（Uncertainty-Aware Weighting），在 MLLM 输出置信度不足时自适应降低该样本的 ITA/TND 损失权重。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将 MLLM 属性认知二分为主成分对齐与正交投影解耦，并在不微调视频模型的前提下诱导步态运动学。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖人脸、图像换装 ReID、视频换装 ReID、步态识别跨多维度全方位零样本评测，对比基准充实。
写作质量: ⭐⭐⭐⭐⭐ 论点递进清晰，动机矛盾明确，数学推导与直观物理意义阐释严密自洽。
价值: ⭐⭐⭐⭐⭐ 成功统一了人脸、ReID 与步态三大长期割裂的研究方向，且保持了轻量级端侧高吞吐部署实用性。