A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2608.08743
OpenReview: https://openreview.net/forum?id=m2ZnEPnMy0
领域: 强化学习
关键词: 强化学习、反事实公平、分位数分布映射、离线策略学习、因果推断

一句话总结¶

针对高风险决策场景下因敏感属性关联导致的序贯歧视问题，本文提出基于条件分位数分布映射的反事实公平强化学习框架（CFSMDM），打破了传统反事实公平强化学习对可加性噪声的严苛假设，并给出了次优差距与反事实不公平度的理论上界保证。

研究背景与动机¶

强化学习通过与环境的序贯交互来优化长程累积回报，已广泛应用于医疗健康、信贷审批和资源调度等关键民生领域。然而，在以患者阿片类药物减害干预等高风险场景为代表的实际系统中，未考虑公平性的策略往往会无意识地对特定弱势子群体产生系统性排斥。即便在策略输入中显式剔除种族、性别等敏感属性，环境状态变量与即时奖励（如患者自报疼痛评分）通常也会潜意识地隐式编码敏感信息，导致算法在决策序列中系统性克扣对特定人群的高价值人工护理资源。

实现序贯决策公平性的核心矛盾在于：传统的人口统计学平价（Demographic Parity）或均等机会（Equal Opportunity）等准则仅停留在群体层面的统计关联，无法刻画动态转移过程中的因果机制，且容易掩盖群体内部因历史壁垒带来的异质性冲击。反事实公平性（Counterfactual Fairness, CF）要求在保持个体所有历史外生不可观测扰动不变的前提下，假想其敏感属性切换为其他值时策略的动作分布保持不变。然而，现有针对动态系统的反事实公平强化学习方法（如 CFSDP）高度依赖结构因果模型中转移核与奖励具有“外生噪声线性可加”的强假设，一旦实际物理系统存在乘性交互或非线性扰动，该假设便迅速失效并引发严重模型偏误。

本文的切入角度是：利用条件分位数的分位数保持性质，将反事实状态与奖励的识别条件放宽至弱得多的单调性假设，从而直接通过条件累积分布函数的映射匹配反事实世界中的对应演化。核心 idea：提出序贯边际分布映射预处理算法（SMDM），通过对观测状态与奖励在条件分布中的分位数进行估计与反转映射构建敏感属性不变的增强轨迹，进而结合离线强化学习在一般非可加单调噪声环境下实现反事实公平策略优化。

方法详解¶

整体框架¶

CFSMDM 采用“先因果数据预处理、后标准离线强化学习”的两阶段解耦范式。算法输入为受敏感属性混杂的离线轨迹数据集，输出为具备反事实公平保证的目标策略。第一阶段通过序贯边际分布映射（SMDM）对所有历史转移和即时奖励进行反事实分位数对齐，消除敏感属性沿因果图谱传递的直接与间接偏差；第二阶段在对齐后构造的增强状态与平均增强奖励构成的平稳马尔可夫决策过程中，直接调用拟合 Q 迭代（FQI）完成最优公平策略求解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线观测轨迹输入<br/>包含敏感属性 Z、状态 S、动作 A、奖励 R"] --> B["条件分位数模型拟合<br/>估计状态与奖励的条件分位数函数"]
    B --> C["分位数估计与分布反转映射<br/>提取外生分位数水平并映射至反事实世界"]
    C --> D["构建增强轨迹表征<br/>拼接全敏感属性反事实状态并聚合反事实奖励"]
    D --> E["离线策略优化求解<br/>基于增强状态与奖励执行拟合 Q 迭代 (FQI)"]
    E --> F["输出反事实公平策略 π"]

关键设计¶

1. 条件分位数模型拟合：突破可加性约束的环境动态建模

传统基于均值回归的方法要求状态与奖励模型满足 $S_t = g(Z, S_{t-1}, A_{t-1}) + U_t$，使得噪声项只能平移分布均值。本文将其放宽至仅要求状态与奖励关于一维外生噪声变量严格单调递增（即 Assumption 1 与 Assumption 2），该条件涵盖了乘性噪声、分位数异方差等极其广泛的非线性动力系统。基于平稳上下文马尔可夫决策过程（CMDP）假设，算法利用基线样本和多步转移样本统一拟合初始状态分位数模型 $\hat{Q}_{0}^{(i)}(\tau, z)$、转移状态分位数模型 $\hat{Q}^{(i)}(\tau, z, s, a)$ 以及即时奖励分位数模型 $\hat{W}(\tau, z, s, a)$。这一设计将复杂非参数反事实推断转化为可采用线性分位数回归、分位数回归森林或深度神经网络分位数回归求解的标准统计回归问题。

2. 分位数估计与分布反转映射：个体因果不变特征的无偏对齐

在获得条件分位数估计后，SMDM 算法沿着轨迹时间步逐级解构与重构反事实状态序列。对于任意一个个体，其在真实世界 $Z=z$ 下观测到的状态分量 $s_{t}^{(i)}$ 蕴含了特定的外生扰动分位数水平。根据反事实分位数匹配定理（Theorem 1 与 Theorem 2），保持历史外生扰动不变意味着该个体若置身于反事实敏感属性 $z'$ 的平行世界中，其状态必定落在条件分布 $\mathbb{P}(S_t^{(i)} \mid Z=z', S_{t-1}=s_{t-1}^{z'}, A_{t-1}=a_{t-1})$ 的相同分位数位置。算法首先利用估计的分位数函数广义逆估算观测分位数水平： $$\hat{\tau}_{t}^{(i)} = [\hat{Q}^{(i)}]^{-1}(s_t^{(i)}, z, s_{t-1}, a_{t-1})$$ 随后将 $\hat{\tau}_{t}^{(i)}$ 代入反事实敏感属性 $z'$ 的条件分位数模型中计算反事实状态值： $$\hat{s}_{t}^{Z \leftarrow z', (i)} = \hat{Q}^{(i)}(\hat{\tau}_{t}^{(i)}, z', \hat{s}_{t-1}^{Z \leftarrow z'}, a_{t-1})$$ 奖励分位数水平 $\hat{\theta}_{t-1}$ 及反事实奖励 $\hat{r}_{t-1}^{Z \leftarrow z'}$ 亦按同等逻辑递归估计。这一双向映射机制直接在分布尺度上消除了各敏感群体的系统性偏置。

3. 构建增强轨迹表征：敏感属性解耦与平稳 MDP 转换

为了保证下游策略评估与优化的动作选择完全独立于敏感属性的取值，算法对每个时间步的所有反事实潜能状态进行维度拼接，构造无偏增强状态向量： $$\hat{\tilde{s}}_t = \left[ \hat{s}_{t}^{Z \leftarrow z^{(1)}}, \hat{s}_{t}^{Z \leftarrow z^{(2)}}, \dots, \hat{s}_{t}^{Z \leftarrow z^{(K)}} \right]^\top$$ 同时，依据各敏感属性在总体中的边缘概率 $\hat{\mathbb{P}}(Z=z^{(k)})$，计算反事实期望聚合奖励： $$\hat{\tilde{r}}_t = \sum_{k=1}^K \hat{\mathbb{P}}(Z=z^{(k)}) \hat{r}_{t}^{Z \leftarrow z^{(k)}}$$ 理论上，由真实反事实状态与聚合奖励组成的元组 $\{\tilde{S}_t, \tilde{R}_t, A_t\}_{t \ge 0}$ 构成了严格的平稳 MDP，且该 MDP 下的任意确定性策略均天然满足个体级反事实公平。通过将含有敏感残差的原始轨迹替换为增强轨迹样本对，后续策略学习过程即可在不感知具体敏感特征的同时保留完整的动态决策信息。

4. 离线策略优化求解：基于增强状态的 FQI 训练与有限样本误差控制

在完成增强数据集 $\tilde{\mathcal{D}} = \{(\hat{\tilde{s}}_{j,t}, a_{j,t}, \hat{\tilde{r}}_{j,t}, \hat{\tilde{s}}_{j,t+1})\}$ 的构建后，算法采用拟合 Q 迭代（FQI）执行动作价值函数估计。为了防止数据预处理引入的逐级误差与回归更新产生耦合破坏理论收敛性，预处理分位数估计与 FQI 策略训练采用独立样本分割策略。在每轮 FQI 迭代中，算法以最小二乘法更新线性参数化 Q 函数类 $\mathcal{F} = \{w^\top \phi(\tilde{s}, a) : \|w\|_1 \le \mathcal{B}\}$： $$\hat{f}_b = \arg\min_{f \in \mathcal{F}} \frac{1}{n} \sum_{i=1}^n \left( f(\hat{\tilde{s}}_i, a_i) - \left( \hat{\tilde{r}}_i + \gamma \max_{a'} \hat{f}_{b-1}(\hat{\tilde{s}}'_i, a') \right) \right)^2$$ 训练终止后导出的贪婪策略即为最终反事实公平策略 $\hat{\pi}(\tilde{s}) = \arg\max_{a} \hat{f}_B(\tilde{s}, a)$。论文给出的非渐近上界证明，由分位数估计误差引入的扰动在有限时间步内被平滑约束，保证了最终策略性能与公平性的高概率收敛。

实验关键数据¶

主实验¶

论文在具有真实临床干预背景的阿片类药物减害干预研究数据集（PowerED，207 名患者、12 周干预、每周 3 选 1 干预动作）上进行了全面评估。对比方法包括：使用全部特征的基线（Full）、直接剔除敏感属性的基线（Unaware）、完全随机策略（Random）、单步边际映射变体（FLAP_M、ECOCF_M）、基于加性噪声假设的强化学习方法（CFSDP）以及本文提出的 CFSMDM。评估指标包括反事实不公平度（CF Metric，越低越公平）与折扣累积回报（Value，越高越好）。

敏感属性	指标	Full	Unaware	CFSDP	ECOCF_M	FLAP_M	CFSMDM (本文)
受教育程度 (Education)	不公平度 ↓ 策略价值 ↑	0.45 (0.14) 57.25 (0.56)	0.17 (0.04) 57.38 (0.54)	0.14 (0.04) 57.28 (0.56)	0.16 (0.03) 57.30 (0.56)	0.17 (0.03) 57.33 (0.52)	0.11 (0.03) 57.27 (0.51)
种族背景 (Ethnicity)	不公平度 ↓ 策略价值 ↑	0.46 (0.15) 57.26 (0.69)	0.17 (0.04) 57.36 (0.73)	0.18 (0.05) 57.19 (0.71)	0.20 (0.04) 57.21 (0.73)	0.20 (0.04) 57.27 (0.72)	0.10 (0.03) 57.26 (0.77)
性别 (Sex)	不公平度 ↓ 策略价值 ↑	0.66 (0.15) 57.49 (0.52)	0.06 (0.02) 57.49 (0.54)	0.07 (0.02) 57.37 (0.57)	0.14 (0.04) 57.44 (0.57)	0.14 (0.04) 57.48 (0.58)	0.09 (0.05) 57.28 (0.55)
年龄 (Age)	不公平度 ↓ 策略价值 ↑	0.35 (0.17) 57.35 (0.66)	0.13 (0.03) 57.47 (0.65)	0.10 (0.03) 57.36 (0.67)	0.15 (0.03) 57.43 (0.63)	0.17 (0.04) 57.37 (0.65)	0.10 (0.03) 57.41 (0.61)

注：Random 策略在所有属性上不公平度均为 0.00 (0.00)，但策略价值仅为 56.92 ~ 57.04。表中数值为 50 次不同随机种子重复实验的均值（标准差）。

消融实验：分位数拟合网格数量敏感性分析¶

在仿真双变量状态非可加噪声环境（Data-generating CMDP 1，样本量 $N=500$，$T=20$，敏感偏置强度 $\delta=2.0$）下，检验分位数回归网格数量 $q \in \{9, 19, 49, 99, 199, 499\}$ 对 CFSMDM 公平度控制与策略价值的影响。

分位数网格数 $q$	反事实不公平度 (CF Metric) ↓	策略回报价值 (Value) ↑	说明
$q = 9$	0.0848 (0.0212)	-3.1881 (0.0911)	网格过疏，分位数估计粗糙导致不公平度偏高
$q = 19$	0.0528 (0.0152)	-3.2787 (0.0798)	不公平度明显下降，误差显著收敛
$q = 49$	0.0456 (0.0171)	-3.3039 (0.0840)	达到实用精度拐点，性能趋于稳定
$q = 99$	0.0444 (0.0173)	-3.3042 (0.0853)	默认实验配置，公平性与回报保持良好平衡
$q = 199$	0.0426 (0.0161)	-3.3035 (0.0791)	进一步微调提升，边际收益递减
$q = 499$	0.0430 (0.0159)	-3.3054 (0.0784)	极为密集的网格，计算耗时上升但指标基本恒定

关键发现¶

非可加动力学下的鲁棒性优势：在非可加噪声仿真实验中，CFSDP 的不公平度高达 0.15~0.25 且方差极大，而 CFSMDM 能稳定控制在 0.04 附近，证明了在违反加性噪声假设的复杂环境中分位数分布映射的有效性。
动态时序建模不可或缺：静态单步映射方法 FLAP_M 与 ECOCF_M 在序贯决策任务中无法对齐未来累积因果路径，在 PowerED 实验中其不公平度达到 0.16~0.20，显著劣于 CFSMDM（0.10~0.11）。
样本容量扩展与公平一致性：随着训练个体数量 $N$ 从 100 增加到 2000，CFSMDM 的不公平度呈现单调下降趋势，经验上验证了定理 4 中界随样本量收敛的理论断言。
分位数网格超参具有高度平稳性：消融实验表明，当分位数数量 $q \ge 49$ 时，算法的公平度度量与策略价值均高度平稳，说明在实际应用中无需花费大量算力进行极度精细的分位数超参调优。

亮点与洞察¶

弱假设扩展因果前沿：仅依靠单调性假设便建立起反事实潜能结果的精确分位数对齐，将反事实公平强化学习从严苛的加性线性/高斯噪声枷锁中解放出来。
解耦式即插即用预处理：SMDM 仅作为轨迹数据清洗器存在，生成的增强经验元组可以直接对接任意离线强化学习算法（如 CQL、IQL、TD3-BC），极大降低了实际部署与算法迁移门槛。
严谨的有限样本误差上界：建立了非平稳历史依赖诱导策略的次优差距界与不公平度上界，清晰刻画了分位数估计误差、FQI 迭代步数和样本量之间的权衡机制。

局限与展望¶

单调性假设与单变量噪声要求：算法理论依赖于每个状态维度和奖励仅由一个标量外生噪声决定的严格单调驱动假设；当单维度状态由多个相互冲突的高维未观测隐变量非单调复合影响时，分位数唯一逆映射将不再适用。
分位数交叉与维度灾难：在超高维连续状态空间中，独立拟合每个维度的边际条件分位数可能会忽略跨状态维度的条件协方差结构，且当采用复杂非参数拟合时可能出现分位数交叉现象。
未来改进路径：探索基于连续归一化流（Continuous Normalizing Flows）或多变量最优传输（Multivariate Optimal Transport）的高维分布映射，以替代逐维度边际分位数匹配。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将单调分位数分布映射拓展至序贯决策，彻底突破加性噪声假设。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖非可加仿真、加性仿真、长步长分析、分位数网格消融以及真实临床干预数据集。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从直觉算例到引理定理环环相扣。
价值: ⭐⭐⭐⭐⭐ 为医疗、信贷与公共资源序贯分配中的算法偏见治理提供了坚实可靠的工具。

分位数网格数 \(q\)	反事实不公平度 (CF Metric) ↓	策略回报价值 (Value) ↑	说明
\(q = 9\)	0.0848 (0.0212)	-3.1881 (0.0911)	网格过疏，分位数估计粗糙导致不公平度偏高
\(q = 19\)	0.0528 (0.0152)	-3.2787 (0.0798)	不公平度明显下降，误差显著收敛
\(q = 49\)	0.0456 (0.0171)	-3.3039 (0.0840)	达到实用精度拐点，性能趋于稳定
\(q = 99\)	0.0444 (0.0173)	-3.3042 (0.0853)	默认实验配置，公平性与回报保持良好平衡
\(q = 199\)	0.0426 (0.0161)	-3.3035 (0.0791)	进一步微调提升，边际收益递减
\(q = 499\)	0.0430 (0.0159)	-3.3054 (0.0784)	极为密集的网格，计算耗时上升但指标基本恒定