Discovering Geometric Biases in 3D Face Reconstruction: A Curvature-Aware Spectral Framework for Fairness Evaluation¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/artefactory/3dface-fairness
领域: 3D 视觉
关键词: 3D人脸重建、公平性评估、曲率误差、Laplace-Beltrami算子、谱聚类

一句话总结¶

针对传统欧氏距离指标对局部高频形态失真不敏感而掩盖算法偏见的问题，本文提出了基于局部二次拟合 Laplace-Beltrami 算子的曲率重建误差（CRE）与谱空间误差聚类框架，首次系统揭示并量化了 3D 变形模型及其重建算法中显著的年龄与族裔几何偏差。

研究背景与动机¶

单目图像 3D 人脸重建在虚拟现实、影视特效、医疗整形与生物识别等高风险场景中发挥着核心支撑作用，其主流范式普遍依赖 3D 可形变模型（3DMM，如 BFM 与 FLAME）作为低维统计形状先验。然而，经典 3DMM 均基于有限数量的人脸扫描库构建，其线性主成分基底天然受制于训练样本的形态分布偏置。随着欧盟《人工智能法案》（AI Act）对高风险系统准确性与可审计性提出严格法规要求，揭示并消除 3D 人脸重建中的人口统计学偏差（如年龄、性别、族裔）已成为亟待解决的关键问题。

现有 3D 重建评测体系长期受限于全局点对点或点对平面的欧几里得距离度量（如 ICP 对齐后的 RMSE 或 NMSE）。这类一阶绝对距离指标仅关注人脸的宏观整体外壳，对皮肤局部微起伏、褶皱、鼻部转折和组织松弛等二阶曲率细节极其迟钝。这种度量盲区导致评估算法在宏观上报告微弱的群间差异，但在感知上严重抹平老年群体和特定族裔的独特解剖特征，从而系统性掩盖了 3DMM 先验在形态流形覆盖度上的结构性缺陷。

为了打破传统欧氏指标对微观解剖形变不敏感的瓶颈，本文将微分几何中的平均曲率与流形调和分析引入 3D 评估。核心 idea：通过局部二次拟合稳健估计非对称 Laplace-Beltrami 算子并导出感知一致的曲率重建误差（CRE），结合 3DMM 模板的标准谱空间降维聚类，形成一套从局部高频几何量化到系统性偏差模式可解释发现的完整公平性评估框架。

方法详解¶

整体框架¶

本文框架旨在实现对 3D 人脸几何保真度的高灵敏度评估与潜在偏差模式的无监督发现。整个评估流程分为几何测量与谱聚类两大阶段：首先，将待测重建人脸网格与扫描真值进行刚性 ICP 对齐，并基于 REALY 标注构建拓扑一致的解剖分区；随后，在局部切平面上通过二次多项式回归估计 Laplace-Beltrami 算子计算各顶点平均曲率，沿点到面映射构造高分辨率曲率误差图并积分求得标量 CRE 指标；最后，借助 3DMM 模板网格导出的标准 Laplace-Beltrami 特征函数（流形调和基）将高维误差图投影至低维紧凑谱空间进行 K-means 聚类，逆投影重构出代表性几何失效模态以关联特定人口统计学属性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：真值扫描 M 与重建网格 M'"] --> B["拓扑投票分区：解剖区域稳健划分"]
    B --> C["局部二次回归 LBO 估计：顶点平均曲率计算"]
    C --> D["曲率重建误差 CRE：局部与面积加权标量度量"]
    D --> E["3DMM 模板谱投影：正交流形基紧凑降维"]
    E --> F["未知几何偏差谱聚类：失效模态发现与属性归因"]

关键设计¶

1. 拓扑投票分区：解剖区域稳健划分 由于评估需要细化到具体面部解剖单元（如鼻、嘴、脸颊、额头），传统手工剪裁或单样本最近邻投影容易因扫描噪声与拓扑差异导致边界漂移与不一致。针对这一跨网格分区对齐痛点，本文提出在 3DMM 均值模板网格 $\mu$ 上运行拓扑共识投票。对 REALY 数据集中的每一个真值网格 $M$，先通过 ICP 与模板 $\mu$ 刚性对齐，对 $\mu$ 的每个顶点 $v_i$ 寻找其在 $M$ 上的欧氏最近邻并检索其解剖标签；遍历整个数据集所有样本后，统计各顶点被分配频率最高的标签作为其最终固定的区域归属。这一机制为 3DMM 参数空间构建了全局统一且鲁棒的标准解剖分区，杜绝了单样本评估时的边界撕裂。

2. 局部二次回归 LBO 估计：顶点平均曲率计算 三角网格属于分段线性流形，各顶点处不存在严格的二阶解析偏导数；传统直接拟合局部二次曲面的方法对法向量噪声与离散化网格极为敏感。为此，本文直接在局部估计离散 Laplace-Beltrami 算子 $\Delta$。对于顶点 $v_i$，定义其图距离 $R$-ring 邻域 $\mathcal{N}_R(v_i)$，建立切平面局部坐标 $(\xi, \eta)$，并拟合二元二次多项式 $\hat{f}_{\mathbf{a}}(\xi, \eta) = a_1 \xi^2 + a_2 \xi \eta + a_3 \eta^2 + a_4 \xi + a_5 \eta + a_6$。通过最小二乘闭式解获取伪逆矩阵 $C(v_i) = (X^\top X)^{-1} X^\top$，其在原点处的拉普拉斯值可直接解析近似为 $2a_1 + 2a_3 = \sum_{v_j \in \mathcal{N}_R(v_i)} 2(C_{1j} + C_{3j}) f_{v_j}$。进而构造稀疏算子矩阵 $\tilde{\Delta}$，并利用微分几何基本恒等式 $H = -\frac{1}{2}\langle \mathbf{n}, \Delta \mathbf{p} \rangle$ 计算平均曲率： $$H^M(v_i) = -\frac{1}{2} \langle \mathbf{n}_i, (\tilde{\Delta} \mathbf{v})_i \rangle$$ 此估计完全规避了切平面距离误差对高阶微分的放大效应，$R$ 提供了离散抗噪性与微观几何特征保留之间的可调平衡。

3. 曲率重建误差 CRE：局部与面积加权标量度量 针对 Euclidean RMSE 容易被整体刚性偏差主导、掩盖微小但视觉感知强烈的起伏这一缺陷，本文构建了以二阶流形差异为核心的误差映射。将真值 $M$ 上的平均曲率 $H^M$ 沿点到面映射 $T_{M' \to M}^{\text{pts}}$ 线性插值到重建网格 $M'$ 的各顶点上，定义曲率误差图 $\epsilon_H(v_i) = |H^{M'}(v_i) - H^M(T_{M' \to M}^{\text{pts}}(v_i))|$。为了消除网格局部剖分疏密对全局误差的偏置，引入对角质量矩阵 $\mathbf{M}$（其对角元为各顶点的重心对偶面积），将标量 CRE 定义为重心面积加权的全局 $L_1$ 范数： $$\mathcal{E}_{\text{CRE}}(\mathcal{M}, \mathcal{M}') = \frac{1}{\text{Tr}(\mathbf{M})} \|\mathbf{M} \epsilon_H\|_{L_1}$$ 该度量不仅可精准可视化鼻翼皱褶、法令纹等微观结构的丢失，更赋予了几何评估严格的面积不变性。

4. 3DMM 模板谱投影：正交流形基紧凑降维 在评估样本集规模有限（样本数 $N \approx 100$）而网格顶点维度极高（$|V'| \sim 10^4$）的设定下，高维原始误差图直接聚类极易陷入维数灾难与点级配准噪声中。本文将 3DMM 均值模板网格 $\mu$ 上的余切刚度矩阵 $\mathbf{L}$ 与质量矩阵 $\mathbf{M}$ 结合，解算广义特征值问题 $\mathbf{L} \boldsymbol{\phi}_k = \lambda_k \mathbf{M} \boldsymbol{\phi}_k$，获取前 $K$ 个低频正交流形基 $\boldsymbol{\Phi} = [\boldsymbol{\phi}_1, \dots, \boldsymbol{\phi}_K]$。各样本误差图 $\epsilon_H^{(n)}$ 通过矩阵乘法投影为紧凑低维谱系数向量： $$\mathbf{c}_{\epsilon_H}^{(n)} = \boldsymbol{\Phi}^\top \mathbf{M} \epsilon_H^{(n)} \in \mathbb{R}^K$$ 流形调和基将误差从离散坐标点解耦为低频全局平滑变形与中高频几何振荡，使后续聚类能够在有物理与解剖几何意义的低维空间中稳健运行。

5. 未知几何偏差谱聚类：失效模态发现与属性归因 传统公平性分析依赖预设的标签与分类器，难以主动发现模型自发的未定型几何扭曲。本文在提取的所有样本谱误差向量 $\{\mathbf{c}_{\epsilon_H}^{(n)}\}_{n=1}^N$ 上执行 K-means 聚类，自适应汇聚出若干具有强共性的几何失效模式。聚类中心 $\bar{\mathbf{c}}_{\epsilon_H}$ 可通过逆谱变换 $\bar{\epsilon}_H = \boldsymbol{\Phi} \bar{\mathbf{c}}_{\epsilon_H}$ 无损还原回 3D 顶点空间，直观渲染每类典型失效的曲率误差分布。在此基础上，结合真实数据集受试者的年龄、性别与族裔属性进行交叉分布检验与形态 PCA 主成分投射，从而定位模型在哪些特定解剖表型（如鼻梁长度、鼻尖球化程度）上因基底表达能力缺失而发生了系统性坍缩。

实验关键数据¶

主实验¶

为了验证曲率重建误差（CRE）相比传统指标是否更贴合人类对 3D 人脸形变保真度的实际感知，作者在 REALY 数据集上开展了涉及 19 名受试者、1,111 对通过高置信度一致性筛选的成对盲测用户研究（二选一相对保真度投票），对比了不同距离指标与人类多数投票的一致性：

指标	映射方式	超参数 $(R, K, \text{Norm})$	成对准确率 Pairwise-Acc (%)	成对 ROC-AUC (%)	说明
$E_{\text{REALY}}^{\text{NMSE}}$	双向非刚性对齐	–	53.92	56.53	接近随机猜测 (50%)
$E_{\text{pts}}^{\text{NMSE}}$	点到面欧氏距离	–	49.32	55.02	无法区分局部几何感知好坏
$E_{\text{vtx}}^{\text{NMSE}}$	顶点到顶点欧氏距离	–	42.03	42.47	易受网格离散重采样干扰
$E_{\text{CRE}}$ (本文)	点到面微分投影	$R=3, K=128, L_1$	73.63	82.66	显著超越欧氏指标 (+19.71% Acc)

消融实验¶

表 1 详细消融了邻域环半径 $R$、谱基底截断维度 $K$ 以及误差范数对人类感知对齐精度的影响：

配置 / 范数	邻域环 $R$	谱维度 $K$	成对准确率 Pairwise-Acc (%)	成对 ROC-AUC (%)	说明
$L_1$ 范数	3	128	73.63	82.66	最佳超参数组合
$L_1$ 范数	1	128	71.38	80.63	1-ring 对微小离散网格噪声较敏感
$L_1$ 范数	1	1024	66.52	74.35	过高谱截断引入高频离散拟合震荡
$L_1$ 范数	2	128	72.46	81.86	性能平稳，证明框架对 $R$ 鲁棒
$L_1$ 范数	4	128	73.00	81.85	大邻域轻微平滑微观褶皱
$L_2$ 范数	3	128	72.28	81.17	$L_2$ 对异常大曲率过度敏感，略有下降
Huber 损失	3	128	67.60	75.82	平滑截断弱化了极端形态细节的惩罚权重

此外，作者深入评估了不同 3DMM 基底和 2D 重建算法在面部四个关键区域（鼻部、嘴部、颊部、额头）中重建误差与年龄的 Pearson 相关系数 $r$：

评估对象	类型	鼻部 @nose (全/女/男)	嘴部 @mouth (全/女/男)	颊部 @cheek (全/女/男)	额头 @forehead (全/女/男)
BFM	3DMM 基底投影	0.39 / 0.32 / 0.59	0.33 / 0.21 / 0.67	0.77 / 0.72 / 0.88	0.52 / 0.49 / 0.59
FLAME	3DMM 基底投影	0.78 / 0.79 / 0.78	-0.03 / -0.16 / 0.18	0.82 / 0.84 / 0.82	0.41 / 0.48 / 0.25
Deep3D	2D 图像重建	0.24 / 0.18 / 0.41	-0.23 / -0.19 / -0.38	0.69 / 0.81 / 0.62	0.58 / 0.54 / 0.66
3DDFA-v3	2D 图像重建	0.67 / 0.65 / 0.73	0.31 / 0.30 / 0.37	0.79 / 0.78 / 0.88	0.53 / 0.55 / 0.48
MGCNet	2D 图像重建	0.54 / 0.50 / 0.67	0.30 / 0.30 / 0.32	0.80 / 0.79 / 0.89	0.51 / 0.54 / 0.47
DECA	2D 图像重建	0.73 / 0.75 / 0.70	-0.32 / -0.30 / -0.35	0.76 / 0.80 / 0.85	0.40 / 0.46 / 0.28
MICA	2D 图像重建	0.69 / 0.72 / 0.65	-0.31 / -0.31 / -0.30	0.79 / 0.76 / 0.88	0.43 / 0.48 / 0.31

关键发现¶

年龄偏见极其显著且根植于基底表达瓶颈：在脸颊区域（@cheek），所有 3DMM 先验和 2D 拟合算法与年龄的 Pearson 相关系数均超过 0.76（FLAME 达 0.82，BFM 在男性群体中高达 0.88）。随着年龄增长，皮肤下垂和深层纹理等二阶流形特征急剧增多，线性 3DMM 基底出现系统性欠拟合，强行将老年人脸平滑化为年轻均值。这种偏置直接继承自 3DMM 骨干，下游 2D 重建网络并未恶化但也无法弥补该底层表征缺陷。
族裔偏见诱发非均质失效聚类：白人群体在鼻部的谱误差广泛散布于各类聚类，而非洲裔和亚裔群体高度聚集在 BFM 的第 1 聚类与 FLAME 的第 1、2 聚类中。形态 PCA 关联表明，第 1 聚类主要由控制鼻梁长度的 PC1 主导；该类误差将短鼻翼、宽鼻头的人群强行拉向长鼻梁平均脸，产生了不自然的鼻尖收缩与边缘褶皱。
欧氏距离完全掩盖偏差：若使用常规 NMSE 指标对年龄和族裔进行相关性分析，相关系数普遍在 0.1 以下，导致先前研究得出“3DMM 几乎不存在人口统计学偏差”的假象。

亮点与洞察¶

微分几何引入公平性审计：将评估从一阶位置坐标升级到二阶平均曲率场，并采用局部非对称二次拟合求解 LBO，有效解决了三角网格无解析导数和法向噪声干扰的难题。
正交流形谱空间聚类：将 $10^4$ 维顶点误差映射到 3DMM 均值网格的低阶 Laplace 特征模态，实现了极端数据匮乏（$N=100$）条件下的稳健模式挖掘，使得未标注先验的潜在偏差模式自发凸显。
明确偏差根源在于先验子空间：即使在理想的三维真值投影优化（3D-to-3D fitting）下，年龄偏差依旧存在且与神经网络拟合相当，无可辩驳地证明了偏差的核心症结在于 3DMM 训练集人口学失衡及线性 PCA 子空间的表达上限。

局限与展望¶

数据集规模受限：由于高质量、高分辨率且具有精细解剖标注的 3D 人脸扫描数据获取成本极高，目前评估仅在 REALY 的 100 例扫描上进行，亚裔和非裔样本量相对较小，细分族裔的结论仍属于初步验证。
静态先验缺乏动态微细节：当前 3DMM 均采用线性主成分基，无法建模强非线性的面部老化生理特征。
未形成闭环优化：目前 CRE 仅作为事后审计与评估工具，未来工作需探索将可微 Laplace-Beltrami 曲率损失直接引入深度重建网络的训练目标中，指导神经网络学习补足 3DMM 欠拟合区域的高频残差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从微分几何与谱分析视角系统剖析 3D 重建的算法公平性，范式极具开创性。
实验充分度: ⭐⭐⭐⭐☆ 包含大样本量成对人工感知评测、超参数全套消融、多模型跨解剖区相关性分析；唯受制于 3D 扫描数据规模。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，微分几何物理意义与实验偏见发现紧密相扣。
价值: ⭐⭐⭐⭐⭐ 切中生成式 AI 与 3D 生物识别的合规可信落地痛点，为下一代无偏 3D 人脸基底设计提供了标准评估尺。

指标	映射方式	超参数 \((R, K, \text{Norm})\)	成对准确率 Pairwise-Acc (%)	成对 ROC-AUC (%)	说明
\(E_{\text{REALY}}^{\text{NMSE}}\)	双向非刚性对齐	–	53.92	56.53	接近随机猜测 (50%)
\(E_{\text{pts}}^{\text{NMSE}}\)	点到面欧氏距离	–	49.32	55.02	无法区分局部几何感知好坏
\(E_{\text{vtx}}^{\text{NMSE}}\)	顶点到顶点欧氏距离	–	42.03	42.47	易受网格离散重采样干扰
\(E_{\text{CRE}}\) (本文)	点到面微分投影	\(R=3, K=128, L_1\)	73.63	82.66	显著超越欧氏指标 (+19.71% Acc)

配置 / 范数	邻域环 \(R\)	谱维度 \(K\)	成对准确率 Pairwise-Acc (%)	成对 ROC-AUC (%)	说明
\(L_1\) 范数	3	128	73.63	82.66	最佳超参数组合
\(L_1\) 范数	1	128	71.38	80.63	1-ring 对微小离散网格噪声较敏感
\(L_1\) 范数	1	1024	66.52	74.35	过高谱截断引入高频离散拟合震荡
\(L_1\) 范数	2	128	72.46	81.86	性能平稳，证明框架对 \(R\) 鲁棒
\(L_1\) 范数	4	128	73.00	81.85	大邻域轻微平滑微观褶皱
\(L_2\) 范数	3	128	72.28	81.17	\(L_2\) 对异常大曲率过度敏感，略有下降
Huber 损失	3	128	67.60	75.82	平滑截断弱化了极端形态细节的惩罚权重