A Hierarchy of Entropy-Shapley Games for Multivariate Predictive Uncertainty¶

会议: NeurIPS 2026
arXiv: 2609.35217
OpenReview: https://openreview.net/forum?id=H5mUgkvpmE
代码: https://github.com/bips-hb/paper-shapley-hierarchy
领域: 可解释性
关键词: 预测不确定性归因, 多变量时间序列, Shapley值, 熵博弈, 条件全相关

一句话总结¶

针对多变量概率预测模型，提出包含边际熵、序贯条件熵与全联合熵的三层熵-Shapley博弈体系，通过信息论链式法则与条件全相关严格隔离跨分量依赖贡献，解决了现有逐分量归因无法感知跨时间步相关性变化的结构性盲区。

研究背景与动机¶

现代概率机器学习在多步时间序列预测、轨迹规划以及文本生成等任务中广泛输出高维且带有复杂内在依赖关系的随机向量。对于高风险与安全敏感场景下的下游决策，仅给出点预测或纯粹的不确定性数值已远远不够；决策者迫切需要追溯不确定性的源头，以判断预测波动是由外部高挥发性输入特征引发（需做对冲避险），还是源于局部历史数据的匮乏（可通过主动采集数据予以缓解）。在此背景下，将博弈论中具备公平公理化特性的 Shapley 值拓展至多变量预测不确定性解释，成为了可解释性机器学习（XAI）的重要前沿。

然而，现有多变量归因框架存在致命的结构性缺陷。经典方法通常在归因前先通过标量聚合或投影将多维输出压成单一标量，这彻底抹杀了特征究竟是改变了单步边际分布还是重塑了步间依赖关系；另一类主流范式则是对每个输出分量逐个执行标量归因（如独立计算每个时间步的方差或熵贡献）。公理化博弈论的最新刚性定理表明，任何在向量值博弈上满足经典 Shapley 公理的分配规则必然退化为逐分量独立评估。这意味着，若某个输入特征专门调制输出分量之间的相关性与协方差结构而不改变各自的边际方差，其在所有逐分量归因下的贡献度将被机械性地判定为严格为零，造成严重的依赖归因盲区。

造成上述困境的核心根源，在于现有框架未能在输出端显式区分不确定性的聚合粒度与条件化路径。要完整解耦边际波动与依赖耦合，必须构建一套既保留各时间步局部分辨率、又兼容全联合概率结构的信息论博弈体系。本文的核心 idea 是构建一个从边际熵、序贯条件熵到联合熵的三层熵-Shapley博弈层级，借助熵的链式法则将全联合不确定性严格分解至序贯步，并利用条件全相关博弈显式剥离出特征对跨分量依赖结构的边际贡献。

方法详解¶

整体框架¶

本文框架针对具有自然时序或结构次序的多变量输出向量 $\bm{Y}=(Y_1,\ldots,Y_T)$ 与输入特征 $\bm{X}$，以微分熵作为预测不确定性的统一度量，在特征联盟空间 $S \subseteq [p]$ 上定义三层递进的条件熵特征函数。整个归因流水线首先通过背景插补生成补全输入，随后在模型输出端按解析式或模拟轨迹计算相应分辨率的局部微分熵，最终经由加权边际贡献求和输出三层 Shapley 值，并通过差分运算分离出跨分量依赖归因项。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入特征与多变量概率模型<br/>X in R^p, Y | X ~ p(y|x)"] --> Imp["特征子集联盟与背景插补<br/>构造补全样本 (x_S, X_S-bar)"]
    Imp --> M1["边际熵博弈 Level 1<br/>针对各分量评估边际熵 H(Y_t | X)"]
    Imp --> M2["序贯条件熵博弈 Level 2<br/>按链式法则评估增量条件熵 H(Y_t | Y_&lt;t, X)"]
    Imp --> M3["全联合熵博弈 Level 3<br/>评估全局联合预测熵 H(Y | X)"]
    M2 -->|"链式法则时序累加 (Prop. 1)"| M3
    M1 & M3 --> M4["条件全相关博弈 TC Game<br/>解耦跨分量依赖偏移 (Prop. 2)"]
    M1 --> Out1["各分量边际不确定性贡献 phi^(t)"]
    M2 --> Out2["各时步序贯增量贡献 phi^(t|&lt;t)"]
    M3 --> Out3["多变量全局不确定性贡献 phi^joint"]
    M4 --> Out4["跨分量结构依赖贡献 phi^TC"]

关键设计¶

1. 三层熵博弈体系：多分辨率解构预测不确定性 为了突破标量化压缩与单分量孤立评估的两难境地，方法在统一特征玩家集合 $[p]=\{1,\dots,p\}$ 下构建了三套针对不同输出空间尺度的特征值函数 $v(S,\bm{x})$。对于给定的待解释实例 $\bm{x}$ 和特征联盟 $S \subseteq [p]$，三层博弈的值函数均建立在特征补全向量 $(\bm{x}_S, \bm{X}_{\bar{S}})$ 的外层期望之上，但内层微分熵选取的输出随机变量截然不同： Level 1（边际博弈）度量单个输出分量 $Y_t$ 的边际不确定性，其特征函数定义为 $v_H^{(t)}(S,\bm{x}) := \mathbb{E}_{\bm{X}_{\bar{S}}}[H(Y_t \mid \bm{X}=(\bm{x}_S,\bm{X}_{\bar{S}}))]$； Level 2（序贯博弈）度量在前序历史分量 $\bm{Y}_{<t}=(Y_1,\ldots,Y_{t-1})$ 已知条件下，分量 $Y_t$ 带来的剩余增量不确定性，定义为 $v_H^{(t|<t)}(S,\bm{x}) := \mathbb{E}_{\bm{X}_{\bar{S}}}[H(Y_t \mid \bm{Y}_{<t}, \bm{X}=(\bm{x}_S,\bm{X}_{\bar{S}}))]$； Level 3（联合博弈）度量整个输出向量 $\bm{Y}$ 的全联合预测不确定性，定义为 $v_H^{\text{joint}}(S,\bm{x}) := \mathbb{E}_{\bm{X}_{\bar{S}}}[H(\bm{Y} \mid \bm{X}=(\bm{x}_S,\bm{X}_{\bar{S}}))]$。代入经典 Shapley 公式后，三层博弈分别产生局部归因值 $\phi^{(t)}(j,\bm{x})$、$\phi^{(t|<t)}(j,\bm{x})$ 以及 $\phi^{\text{joint}}(j,\bm{x})$。利用 Shapley 效率公理可知，这三组归因值在所有输入特征上的代数和分别精确契合局部条件熵与总体全局条件熵的偏离量，例如 Level 3 严格满足 $\sum_{j=1}^p \phi^{\text{joint}}(j,\bm{x}) = H(\bm{Y}\mid\bm{x}) - H(\bm{Y}\mid\bm{X})$。正归因代表该特征相较总体平均推高了预测不确定性，负归因则表明其平抑了系统熵。

2. 链式法则时序分解与全相关跨分量解耦 三层博弈并非割裂存在，而是受信息论内在定律的严格数学约束，由此衍生出两大结构性命题。首先是链式法则链接性质（命题 1）：利用条件微分熵的链式法则展开 $H(\bm{Y}\mid\bm{X}) = \sum_{t=1}^T H(Y_t \mid \bm{Y}_{<t},\bm{X})$，结合期望算子与 Shapley 算子的线性公理，证明了 Level 3 的全局联合归因必然严格等于各时间步 Level 2 序贯归因的代数和，即： $$\phi^{\text{joint}}(j,\bm{x}) = \sum_{t=1}^T \phi^{(t|<t)}(j,\bm{x})$$ 当各输出分量在给定输入下条件独立时，前序信息不再减少当前不确定性，Level 2 自然退化为 Level 1，联合归因随之折叠为各时间步边际归因之和。在此基础上，为了精确量化特征对步间依赖结构的干预，本文引入基于条件全相关（Conditional Total Correlation, TC）的第四个伴生博弈。全相关定义为所有边际熵之和减去全联合熵，其特征函数定义为 $v_{\text{TC}}(S,\bm{x}) := \mathbb{E}_{\bm{X}_{\bar{S}}}[\operatorname{TC}(\bm{Y}\mid\bm{X})\mid\bm{X}=(\bm{x}_S,\bm{X}_{\bar{S}})]$。由命题 2，全相关博弈的 Shapley 值可直接表示为边际归因总和与联合归因的差值： $$\phi^{\text{TC}}(j,\bm{x}) = \sum_{t=1}^T \phi^{(t)}(j,\bm{x}) - \phi^{\text{joint}}(j,\bm{x})$$ 这一项构成了独立的跨分量依赖贡献指标：若特征 $j$ 仅调节分量间的关联度（例如驱动相关系数或协方差偏离均值），它在 Level 1 下各步贡献恒等于 0，但在 $\phi^{\text{TC}}$ 与 Level 2 下展现出极其显著的解释权重，一举弥补了传统逐分量归因的盲区。

3. 多模态输出适配：解析计算与半参数高斯Copula估计 在实际落地时，针对具有不同先验结构的多变量预测模型，本文给出了多样化的值函数内层微分熵求解机制。对于具备参数化闭式解的模型（如输出多变量正态分布的高斯过程或 NGBoost），所有层级的微分熵均可直接由协方差矩阵 $\bm{\Sigma}(\tilde{\bm{x}})$ 解析计算：Level 1 取决于对角元 $\frac{1}{2}\log(2\pi e \Sigma_{tt})$；Level 2 通过主子矩阵的 Schur 补求得条件方差 $\sigma_{t|<t}^2 = \Sigma_{tt} - \bm{\Sigma}_{t,<t}\bm{\Sigma}_{<t,<t}^{-1}\bm{\Sigma}_{<t,t}$；Level 3 直接对应协方差矩阵的对数行列式 $\frac{1}{2}\log((2\pi e)^T \det\bm{\Sigma})$。这种几何结构展示出各博弈层级分别作用于协方差矩阵的对角线、分块 Schur 补与全矩阵行列式，且归因结果严格与预测均值 $\bm{\mu}(\bm{x})$ 解耦。对于无法直接获取解析联合密度的黑盒时间序列模型或生成式 Foundation Models（如 Chronos-T5 或采样模式下的 DeepAR），本文提出了半参数高斯 Copula 估计法：从模型采样 $N$ 条轨迹样本，通过一维核密度估计（KDE）拟合各分量的非参数边缘累积分布函数 $\hat{F}_t$ 与微分熵，再经由 Probit 变换 $z_t^{(i)} = \Phi^{-1}(\hat{F}_t(y_t^{(i)}))$ 映射至潜空间估计相关矩阵 $\hat{\bm{R}}$。在此基础上，Level 2 熵可通过对边缘熵叠加潜变量相关矩阵的 Schur 补方差修正对数项 $\frac{1}{2}\log \hat{\sigma}_{t|<t,z}^2$ 快速算得，兼具边缘分布的非参数灵活性与高维依赖计算的鲁棒性。

实验关键数据¶

主实验¶

论文在可控合成高斯数据生成过程（DGP，4 维输入、4 步输出）、真实多元分布回归数据集（UCI Bike Sharing，NGBoost 预测连续 8 个双小时时段租车量）以及复杂多步负荷预测数据集（UCI Electricity，对比自回归模型 DeepAR 与零样本基础模型 Chronos-T5）上进行了系统评测。在 UCI Electricity 实验中，论文对 100 个预测原点对比了各模型在预测精度与跨分量依赖贡献占比（Cross-component share，即跨分量依赖归因绝对值占全局不确定性归因绝对值与依赖归因绝对值总和的比例）上的显著差异：

模型类型	预测架构 / 估计方法	预测误差 (MAE)	依赖结构捕获能力 (Cross-component Share)	统计特征与解释表现
自回归递归网络 (DeepAR)	参数化高斯参考 (Parametric Reference)	0.127	较低 (~0.20 - 0.25)	逐步高斯假设主导，步间耦合主要源自递归隐状态演化
自回归递归网络 (DeepAR)	半参数高斯 Copula (GC-KDE)	0.127	紧密贴合参数化参考	样本估计方差极低，各特征对依赖结构的重塑权重适中
自回归递归网络 (DeepAR)	非参数最近邻 (kNN Estimator)	0.127	紧密贴合参数化参考	高维空间收敛较平缓，但整体水平与 Copula 保持一致
时间序列基础模型 (Chronos-T5)	半参数高斯 Copula (GC-KDE)	0.130	显著偏高 (~0.45 - 0.55)	展现出极高跨步依赖，长程自注意力强力重构输出联合分布
时间序列基础模型 (Chronos-T5)	非参数最近邻 (kNN Estimator)	0.130	显著偏高且分歧明显 (~0.60+)	揭示出 Foundation Model 复杂的非高斯高阶依赖与重尾特性

消融实验¶

在合成高斯基准测试中，输入特征被分别注入精确的真值功能设定：$x_1$ 纯控均值，$x_2$ 控制边际方差且时序递增，$x_3$ 同时控制方差与相关系数，$x_4$ 仅改变分量间相关矩阵而不改变任何边际方差。归因消融结果验证了各博弈层级对理论假设的响应：

模型/特征消融配置	Level 1 边际归因 $\phi^{(t)}$	Level 2 序贯归因 $\phi^{(t\\|<t)}$	Level 3 联合归因 $\phi^{\text{joint}}$	TC 全相关归因 $\phi^{\text{TC}}$
特征 $x_1$（纯均值控制项）	恒等于 0.00	恒等于 0.00	恒等于 0.00	恒等于 0.00
特征 $x_2$（时增方差项）	显著为正且沿 $t=1..4$ 递增	正值且呈现序贯递增	显著为主导正贡献	接近 0.00（无跨步相关效应）
特征 $x_3$（混合驱动项）	显著为正常数响应	前期为正，后程被条件化稀释	整体中等偏大正贡献	显著负向贡献（增大时序耦合）
特征 $x_4$（纯跨步相关项）	恒等于 0.00 (传统逐分量完全失明)	显著为主导负贡献	显著为主导负贡献	主导绝对正贡献 (完全捕获依赖)

关键发现¶

逐分量归因存在不可忽视的系统性盲区：在合成实验与现实自行车租赁案例中，调控输出相关系数的关键特征（如纯相关特征 $x_4$ 或清晨温度对于全天周期的同步联动）在 Level 1 边际归因上均呈现完全静默（归因严格为 0）；唯有通过 Level 2、Level 3 与全相关博弈，其对步间依赖的深层重构才得以被完整量化。
均值与不确定性归因实现完全正交解耦：对比标准 TreeSHAP（针对预测均值）与熵-Shapley（针对不确定性）发现，控制趋势均值的宏观变量（如“是否工作日”）主导了预测均值位移，但在预测不确定性层面的归因值近乎为零；相反，清晨湿度与温度等气象扰动微弱影响均值，却主导了全天租车波动的方差扩张与步间协同，证明不确定性解释具有完全独立的现实诊断价值。
跨分量依赖贡献比可作为判别黑盒模型学习能力的探针：在预测精度 MAE 极度接近（0.127 vs 0.130）的情形下，Chronos-T5 所展现出的跨分量依赖归因占比约为 DeepAR 的两倍以上，定量证实了基于自注意力机制的 Foundation Model 相比传统循环神经网络能够捕捉并学习到更丰富、更复杂的跨时空高阶依赖特征。

亮点与洞察¶

多输出 Shapley 刚性定理的破局设计：传统公理化证明了向量值 Shapley 必然坍缩为单输出独立分配；本文不直接做向量值博弈，而是将信息论中的熵分解显式构建为博弈标量值函数层级，既维持了经典 Shapley 的优良公理，又完美刻画了输出内部的耦合机制。
全相关博弈的解析优雅性：无需复杂的高维互信息网络计算，直接利用边际熵之和与联合熵之差引出条件全相关，并通过 Shapley 算子的线性性质，使跨分量依赖贡献 $\phi^{\text{TC}}$ 可由三层博弈的线性组合瞬间求得，具备极高的理论与计算美感。
半参数高斯 Copula 估计的高效可落地性：在黑盒 Foundation Models 下避免了维度灾难式的多维密度估计，将非参数核密度拟合限制在一维边缘，同时通过潜在高斯空间 Schur 补高效解算时序序贯熵，为现代大模型的不确定性归因提供了极其稳健的工具支持。

局限与展望¶

偶然不确定性与认知不确定性未作细分：当前的熵博弈归因以总预测不确定性为标的，尚未显式分离数据内在噪声（Aleatoric）与模型参数缺乏导致的主观认知不确定性（Epistemic）；若结合蒙特卡洛 Dropout 或集成后验，理论上可进一步衍生出细分双轨层级。
高阶非高斯尾部依赖建模的精度瓶颈：高斯 Copula 假设在极端厚尾、非对称多模态分布下仍存在潜在模型误设；未来若能引入计算可行的藤 Copula（Vine Copulae）或生成流网络，将进一步提高复杂多变量系统的归因保真度。
背景特征插补与博弈计算开销：exact Shapley 在特征维度较大时需要计算 $2^p$ 次联盟评估，且对非独立特征采用边际插补可能破坏特征流形，高维时序变量仍需结合分组聚合与基于抽样的近似采样策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多变量预测不确定性的熵-Shapley博弈层级，理论严谨，彻底填补了跨步依赖归因的空白。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖合成高斯DGP、真实多元分布回归以及黑盒时间序列大模型对比，验证闭环非常扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号规范，定理推导与直觉解释结合紧密，实验图表信息量极其丰富。
价值: ⭐⭐⭐⭐⭐ 为风险敏感型序列预测、具身智能轨迹规划及大模型预测不确定性分析提供了极具实用价值的诊断工具。

模型/特征消融配置	Level 1 边际归因 \(\phi^{(t)}\)	Level 2 序贯归因 \(\phi^{(t\\|<t)}\)	Level 3 联合归因 \(\phi^{\text{joint}}\)	TC 全相关归因 \(\phi^{\text{TC}}\)
特征 \(x_1\)（纯均值控制项）	恒等于 0.00	恒等于 0.00	恒等于 0.00	恒等于 0.00
特征 \(x_2\)（时增方差项）	显著为正且沿 \(t=1..4\) 递增	正值且呈现序贯递增	显著为主导正贡献	接近 0.00（无跨步相关效应）
特征 \(x_3\)（混合驱动项）	显著为正常数响应	前期为正，后程被条件化稀释	整体中等偏大正贡献	显著负向贡献（增大时序耦合）
特征 \(x_4\)（纯跨步相关项）	恒等于 0.00 (传统逐分量完全失明)	显著为主导负贡献	显著为主导负贡献	主导绝对正贡献 (完全捕获依赖)