Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings¶
会议: NeurIPS 2026
arXiv: 2604.22662
OpenReview: https://openreview.net/forum?id=y1PstYDXDq
代码: https://github.com/feedzai/SHAP-Value-Function-Evaluation
领域: 可解释性
关键词: 可解释性AI、Shapley值、特征归因、人机协同、自动化偏差
一句话总结¶
通过摊销代理模型消除实现混杂因素，对 8 种 Shapley 变体展开覆盖 3,735 次专业风控审核的人机实验，揭示离线代理指标与人类实际效用严重脱钩，并证明特征归因不提准确率却系统性虚增审核置信度。
研究背景与动机¶
在金融欺诈检测、信贷审批和医疗诊断等高风险决策场景中，机器学习模型极少直接自主执行最终裁决，而是由受限于时间窗口、认知负荷与严格合规要求的专业审核员进行人机协同复核。基于合作博弈论的 Shapley 值凭借局部可加归因与公理化性质，已成为表格数据特征归因的事实标准。然而，围绕“特征缺失”的语义表示假设，学术界衍生出 Baseline、Marginal、Conditional、Counterfactual 等多种变体；加之各工具库在采样算法、蒙特卡洛近似与树结构启发式上的实现差异，导致实践中缺乏对不同变体真实实用价值的统一评估。
现有 XAI 评估体系深陷对计算代理指标的过度依赖。研究者通常在无人类参与的离线场景下，依据忠实度（Faithfulness，如 Deletion/Insertion AUC）、敏感度（Sensitivity）、对比度（Contrastivity）或稀疏度（Sparsity）对解释方法评头论足，并默认更稀疏、更忠实的解释必然能够带来更优的人类决策辅助效能。这种将数学代理指标等同于下游决策效用的假设从未在受控的高风险操作环境下得到实证检验。
本文切入这一评估盲区，将 XAI 评估方法论本身作为科学审计对象。研究通过统一的摊销神经网络在毫秒级低延迟约束下消除实现算法层面的噪声混淆，使 8 种 Shapley 语义变体在完全一致的视觉交互界面下接受 37 名专业审核员共 3,735 次案例复核的严格检验。核心 idea：利用统一参数化摊销代理模型消除算法实现混杂因素，首次系统审计 8 种 Shapley 语义变体在高风险风控人机协同中的表现，证明离线量化代理指标与人类决策效用根本脱钩，并揭示解释方法不提升客观决策准确率却显著虚增主观置信度所引发的严重自动化偏差风险。
方法详解¶
整体框架¶
本文构建了“语义隔离-摊销控制-人机实验-多层混合效应推断”的端到端审计框架。系统首先梳理并形式化 8 种具有代表性的 Shapley 值函数语义定义，涵盖固定基准（Zero、Mean）、均匀采样（Uniform）、经验边际（Marginal、Joint-Marginal）、条件经验分布（Conditional）、搜索反事实（Counterfactual）以及过滤条件分布（Filtered Conditional）。为消除 Monte Carlo 采样与启发式求解器带来的算法噪声，研究采用统一的参数化前馈神经网络作为摊销解释器（Amortizer），将 Shapley 值的推断加速至单次前向传播，满足生产级风控系统的低延迟服务等级协议（SLA）。随后，将摊销解释器部署至标准化的人机审核平台中，保持所有视觉呈现（特征归因水平条形图、置信度区间、规则解释代码）绝对一致，全面采集审核员的客观决策与主观认知数据。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据样本与风险预测模型"] --> B["多语义特征缺失价值函数族"]
B --> C["统一神经网络摊销代理求解器"]
C --> D["标准化人机协同交互审核界面"]
D --> E["双轴评估指标对齐审计体系"]
E --> F["评估脱钩与自动化偏差风险结论"]关键设计¶
1. 多语义特征缺失价值函数族：形式化解耦数据真实性与模型真实性
给定输入实例 \(\boldsymbol{x} \in \mathcal{X}\)、特征全集 \(\mathcal{F}=\{1,\ldots,d\}\) 和观测子集 \(\mathcal{S} \subseteq \mathcal{F}\)，特征缺失的语义本质由背景分布 \(p(\cdot)\) 定义。价值函数形式化为在缺失特征分布下的期望模型输出： $\(v_{\boldsymbol{x}}(\mathcal{S}) = \mathbb{E}_{\boldsymbol{X}_{\mathcal{F}\setminus\mathcal{S}} \sim p(\cdot)}\left[f(\boldsymbol{x}_{\mathcal{S}}, \boldsymbol{X}_{\mathcal{F}\setminus\mathcal{S}})\right]\)$ 通过切换背景采样分布 \(p(\cdot)\)，覆盖整个语义谱系：固定基准采用单点退化分布 \(\delta(\boldsymbol{X}_{\mathcal{F}\setminus\mathcal{S}}=\boldsymbol{x}'_{\mathcal{F}\setminus\mathcal{S}})\)；边缘采样采用联合经验边缘 \(p(\boldsymbol{X}_{\mathcal{F}\setminus\mathcal{S}})\)，对应于因果图中的无干预 do 操作；联合独立边缘 \(\prod_{j \in \mathcal{F}\setminus\mathcal{S}} p(X_j)\) 强制特征独立性；条件分布 \(p(\boldsymbol{X}_{\mathcal{F}\setminus\mathcal{S}} \mid \boldsymbol{X}_{\mathcal{S}}=\boldsymbol{x}_{\mathcal{S}})\) 严格遵循流形内在相关性；搜索反事实则基于优化生成最小翻转标签扰动 \(p(\boldsymbol{X}^{(c)}_{\mathcal{F}\setminus\mathcal{S}} \mid f(\boldsymbol{X}^{(c)}_{\mathcal{F}}) \approx y^*)\)；过滤条件采样 \(p(\boldsymbol{X}_{\mathcal{F}\setminus\mathcal{S}} \mid f(\boldsymbol{X}_{\mathcal{F}}) \in \mathcal{Y})\) 则约束背景样本的模型输出区间。该设计彻底分清了各变体在数学假定上的边界。
2. 统一神经网络摊销代理求解器：消除算法噪声与实现偏差
传统 KernelSHAP 针对单实例 \(\boldsymbol{x}\) 单独求解加权最小二乘回归，采样方差大且计算复杂度高。本文引入前向神经网络摊销器 \(\hat{\phi}_{\theta}(\boldsymbol{x})\)，通过全局优化经验加权回归损失学习特征归因分布： $\(\min_{\theta} \mathbb{E}_{\boldsymbol{X}} \left[ \sum_{\mathcal{S}\subseteq\mathcal{F}} \pi(\mathcal{S}) \left( v_{\boldsymbol{X}}(\mathcal{S}) - \left( v_{\boldsymbol{X}}(\emptyset) + \sum_{i\in\mathcal{S}} \hat{\phi}_{i,\theta}(\boldsymbol{X}) \right) \right)^2 \right]\)$ 其中核权重 \(\pi(\mathcal{S}) = \frac{d-1}{\binom{d}{|\mathcal{S}|}|\mathcal{S}|(d-|\mathcal{S}|)}\)。摊销模型采用带 Layer Normalization、LeakyReLU、Dropout 与稳健特征缩放（IQR + tanh 饱和）的多层感知机，在推理阶段实现单次前向计算完成归因输出。所有 8 种变体使用相同架构与优化策略，使不同方法之间的对比完全隔离于算法实现细节与近似误差之外。
3. 标准化人机协同交互审核界面：杜绝视觉编码与交互偏置
实验构建了贴合一线金融风控生产系统的标准化案件审核前端。界面严格包含三大固定信息区块：模型输出（显示模型风险概率及历史分位数背景）、解释面板（展示绝对 Shapley 贡献值前 4 大特征的水平条形图，并伴随确定性生成的自然语言规则代码如“年龄 70 岁偏高”）、数据浏览器（以只读方式展示当前案件原始特征与其单变量分布）。前端交互与视觉布局对所有变体保持绝对恒定，审核员在无回退条件的线性流水线中提交二元决策（Risk/No Risk）、三级主观置信度（弱/中/强）及二元清晰度反馈（清晰/混淆）。
4. 双轴评估指标对齐审计体系：多层混合效应推断机制
为验证量化代理指标与人类实际效用之间的关联，框架在离线端计算稀疏度（\(L_1/L_2\) 范数比）、摄动敏感度（Local Sensitivity）、反事实对比度（Contrastivity）、忠实度（Deletion AUC 与 Insertion AUC）；在在线端记录审核员决策准确率、审核用时（对数时间）、清晰度比值比与置信度比值比。利用广义线性混合效应模型（GLMM），将数据集、基础模型类型（Logistic Regression 与 LightGBM）、模型预测熵、预测误差、审核员专业经验与 Shapley 变体作为固定效应，将个体差异作为随机效应，严格阻断案例难度与人群经验偏差。
损失函数 / 训练策略¶
摊销神经网络在训练阶段采用两阶段优化调度策略：先通过 Adam 优化器完成线性预热（Linear Warmup），随后切换为带动量的 SGD 优化器配合余弦退火（Cosine Decay）衰减学习率。网络目标函数由核心加权最小二乘回归损失与效率约束损失（Efficiency Penalty）组合构成： $\(\mathcal{L}(\theta) = \mathbb{E}_{\boldsymbol{X}} \left[ \sum_{\mathcal{S}} \pi(\mathcal{S}) \left( v_{\boldsymbol{X}}(\mathcal{S}) - \hat{g}_{\theta}(\mathcal{S}; \boldsymbol{X}) \right)^2 \right] + \lambda_{\text{eff}} \left( \sum_{i\in\mathcal{F}} \hat{\phi}_{i,\theta}(\boldsymbol{X}) - (f(\boldsymbol{X}) - v_{\boldsymbol{X}}(\emptyset)) \right)^2\)$ 训练中设置每样本采样 4 个特征掩码，效率损失权重 \(\lambda_{\text{eff}}=0.1\)，基准批次采样背景集固定为 100 个样本，在保持公理效率性约束的同时确保高保真重构。
实验关键数据¶
主实验¶
离线量化基准在 5 个风险数据集（Maternal Risk、German Credit、Adult Income、FICO HELOC、真实工业级 Fraud Risk）与 2 类基座模型（Logistic Regression、LightGBM）上进行测试。尺度相关指标采用相对排位（Rank，越低越好），尺度不变量采用直接均值（带 Bootstrap 标准差）。
| 价值函数变体 (Value F.) | 稀疏度排位 (Sparsity ↓) | 敏感度排位 (Sensitivity ↓) | 对比度排位 (Contrast. ↓) | 归因误差排位 (Attr. Error ↓) | 移除曲线面积 (Del. AUC ↓) | 插入曲线面积 (Ins. AUC ↑) | 召回率 (Recall@1 ↑) |
|---|---|---|---|---|---|---|---|
| Base. Zero | 3.97 ± 2.74 | 4.10 ± 2.86 | 4.40 ± 2.99 | 3.41 ± 2.49 | 0.11 ± 0.08 | 0.88 ± 0.20 | 0.90 ± 0.07 |
| Base. Mean | 4.39 ± 2.39 | 5.21 ± 1.84 | 4.65 ± 1.56 | 3.46 ± 2.15 | 0.19 ± 0.13 | 0.83 ± 0.13 | 0.83 ± 0.11 |
| Uniform | 5.25 ± 2.30 | 2.81 ± 1.73 | 6.09 ± 2.20 | 5.00 ± 1.88 | 0.15 ± 0.24 | 0.76 ± 0.14 | 0.86 ± 0.10 |
| Marginal | 4.40 ± 1.34 | 3.66 ± 1.57 | 4.14 ± 1.93 | 3.57 ± 1.17 | 0.16 ± 0.10 | 0.75 ± 0.09 | 0.80 ± 0.12 |
| Joint-Marginal | 4.98 ± 1.95 | 3.51 ± 1.50 | 5.38 ± 1.22 | 3.15 ± 1.28 | 0.16 ± 0.10 | 0.75 ± 0.09 | 0.82 ± 0.08 |
| Conditional | 5.68 ± 1.65 | 4.73 ± 1.66 | 3.92 ± 1.09 | 6.24 ± 1.52 | 0.16 ± 0.11 | 0.77 ± 0.09 | 0.63 ± 0.24 |
| Counterfactual | 5.17 ± 2.23 | 5.21 ± 2.66 | 5.94 ± 1.97 | 7.46 ± 0.86 | 0.20 ± 0.08 | 0.77 ± 0.09 | 0.53 ± 0.10 |
| Filt. Cond. | 2.15 ± 1.31 | 6.77 ± 1.42 | 1.47 ± 0.69 | 3.73 ± 2.00 | 0.18 ± 0.08 | 0.95 ± 0.05 | 0.90 ± 0.08 |
消融实验¶
基于 37 名测试者（包含专业反欺诈分析师）完成的 3,735 次独立案件审核，通过广义线性混合效应模型（GLMM）解析各变体相对于无解释基线（No-Explanation）的人类效用固定效应。决策时间以乘法效应表示，准确率、清晰度与置信度以优势比（Odds Ratio, OR）表示。
| 评估配置 / 变体 | 决策时间 p50 (Time Mult. ↓) | 决策时间 p97.5 (Time Mult. ↓) | 准确率优势比 (Accuracy OR ↑) | 清晰度优势比 (Clarity OR ↑) | 置信度优势比 (Confidence OR ↑) | 说明 |
|---|---|---|---|---|---|---|
| Base. Zero | 1.16 ± 0.05 | 1.03 ± 0.07 | 1.04 ± 0.20 | 0.57 ± 0.06 | 1.20 ± 0.15 | 清晰度极差，显著混淆审核员 |
| Base. Mean | 1.03 ± 0.04 | 0.88 ± 0.06 | 1.05 ± 0.21 | 1.17 ± 0.14 | 1.49 ± 0.19 | 显著虚增置信度，准确率无提升 |
| Uniform | 1.11 ± 0.05 | 1.02 ± 0.08 | 0.84 ± 0.16 | 0.79 ± 0.09 | 1.02 ± 0.13 | 认知负荷高，清晰度低下 |
| Marginal | 1.01 ± 0.04 | 1.08 ± 0.08 | 0.76 ± 0.14 | 1.18 ± 0.14 | 1.11 ± 0.14 | 表现均衡，但准确率无收益 |
| Joint-Marginal | 1.06 ± 0.05 | 0.99 ± 0.07 | 1.19 ± 0.23 | 1.52 ± 0.19 | 1.20 ± 0.16 | 人类感知清晰度最佳且显著 |
| Conditional | 1.05 ± 0.04 | 0.94 ± 0.07 | 0.99 ± 0.19 | 1.23 ± 0.14 | 1.58 ± 0.20 | 极度膨胀置信度，引发自动化偏差 |
| Counterfactual | 1.00 ± 0.04 | 1.15 ± 0.08 | 1.02 ± 0.20 | 1.25 ± 0.16 | 1.55 ± 0.20 | 置信度严重虚高，计算开销巨大 |
| Filt. Cond. | 1.04 ± 0.05 | 0.98 ± 0.07 | 0.79 ± 0.15 | 0.68 ± 0.08 | 1.30 ± 0.16 | 离线指标优秀，在线严重混淆人类 |
关键发现¶
- 离线指标与人类感知根本脱钩：Filtered Conditional 在离线基准中取得了极致的稀疏度（Rank 2.15）、最佳对比度（Rank 1.47）和最高的 Insertion AUC（0.95），但在实际人机测试中却表现出极其糟糕的感知清晰度（OR=0.68，显著增加混淆），彻底证伪了“高稀疏度必然降低认知负荷、提升理解度”的直觉假设。
- 客观决策性能毫无改善：在所有 8 种 Shapley 变体中，没有任一方法能在统计学上显著提升分析师的决策准确率（Accuracy OR 均在 1.0 附近置信区间内波动）或加速复杂案件的处理时间（p97.5 决策时间无显著缩短），决策效能主要受案件本身的模型不确定性与固有预测误差制约。
- 系统性诱发自动化偏差：Conditional（OR=1.58）、Counterfactual（OR=1.55）和 Base. Mean（OR=1.49）等变体在未能改善决策质量的前提下，显著膨胀了分析师对判断的主观置信度，揭示出在生产系统中盲目部署 XAI 将导致操作人员过度信赖 AI 建议的重大合规隐患。
亮点与洞察¶
- 方法论层面的范式转换：首次将可解释性量化评估体系本身作为科学审查对象，利用神经网络摊销架构严格隔离理论语义与算法噪声，消除了数十年来因采样实现差异引发的评估伪影。
- 实证破除 XAI 离线自嗨：通过 3,735 次真实的专业风控人机交互数据，用铁证表明当前学术界依赖的 Deletion/Insertion AUC、敏感度等指标只能作为模型调试工具，绝不能替代基于真实人类工作流的行为评估。
- 提出切实可行的选型准则：在必须兼顾人类理解的生产系统中，建议优先选择感知清晰度最高的 Joint-Marginal 方案，并高度警惕 Conditional 与 Counterfactual 变体对决策置信度的盲目催化。
局限与展望¶
- 数据模态与场景边界：本项审计聚焦于高吞吐、低延迟的结构化表格风险控制任务，所得出的认知规律与指标脱钩现象是否普遍存在于计算机视觉、自然语言处理等高维非结构化领域，仍待进一步验证。
- 长期适应性与认知演变缺失：受控实验采用标准化会话评估，无法捕捉分析师在长达数月或数年的日常高频作业中，针对特定 XAI 解释器所形成的信任校准、习惯性认知惰性或机构决策规范变迁。
- 探索行为对齐的下游评测指标：亟需学术界发展新一代以人类认知行为为真实基准的评估代理指标，从根本上解决离线计算指标与实际人机协同效果相背离的困境。
相关工作与启发¶
- vs 传统 KernelSHAP / TreeSHAP 评估框架：以往文献通常混杂了蒙特卡洛采样精度、树算法启发式路径与公式语义；本文利用统一摊销神经网络将计算机制与理论语义完全解耦，实现了真正公平的同台竞技。
- vs 理论流形派与因果派 Shapley（Aas et al. / Heskes et al.）：理论派主张必须遵循数据流形条件分布或因果图；本文实证表明，高度依赖条件流形的解释在实际生产中不仅未带来决策辅助增益，反而加剧了非理性的主观置信度膨胀。
- vs 纯模型端代理指标基准（Covert et al. / Canha et al.）：现有基准侧重形式化定义与离线打分；本文搭建了沟通离线代理指标与在线人类行为的桥梁，以详实的统计推断确立了两者的断层。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从元评估视角系统解耦 Shapley 语义并开展大规模工业级人机对照审计，视野开阔、立意深刻。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大数据集、2 类模型、8 种变体与 37 名分析师的 3,735 次真实交互，混合效应统计推断极其扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 结构严密，数学公理与实证分析自然融合，论证层层递进，洞见一针见血。
- 价值: ⭐⭐⭐⭐⭐ 直击可解释性领域长期存在的离线指标虚假繁荣痛点，对高风险场景下的 XAI 落地与规范制定具有里程碑式的指导意义。