Quotient-Categorical Representations for Bellman-Compatible Average-Reward Distributional Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2605.11289
OpenReview: https://openreview.net/forum?id=qVHRXJt8X2
领域: 强化学习
关键词: 分布式强化学习, 平均奖励MDP, 商空间表示, 贝尔曼相容性, 随机逼近

一句话总结¶

针对平均奖励强化学习中偏差函数（Bias）因常数平移非唯一性导致分布无法在实数轴上良定义的难题，本文提出模去公共平移的商分类表示（Quotient-Categorical Representation）与投影算子，证明了坐标 Cramér 度量下的非扩张性与随机逼近有限样本收敛阶，并给出在线增益自适应耦合算法。

研究背景与动机¶

分布式强化学习（Distributional RL, DRL）在传统折扣因子 \(\gamma < 1\) 的马尔可夫决策过程中取得了巨大成功，其核心数学基石是折扣贝尔曼算子在Wasserstein或Cramér度量下的 \(\gamma\)-压缩性。然而，在诸多持续控制、工业调度与金融高频交互场景中，无折扣的平均奖励（Average-Reward）准则是更自然的物理目标。当去掉折扣因子（\(\gamma = 1\)）时，几何压缩性质彻底失效，策略评估不再收敛于固定的折现累积回报，而是解耦为两个核心物理量：长期稳态增益（Gain，即平均奖励 \(\bar{r}^\pi\)）与刻画瞬态非平稳差分性能的偏差（Bias，即相对价值函数 \(v^\pi\)）。偏差函数服从泊松方程（Poisson Equation）\(v^\pi = r^\pi - \bar{r}^\pi \mathbf{1} + P^\pi v^\pi\)，其解在实数空间内天然具有加性常数平移不唯一性，即若 \(v^\pi\) 是解，则对任意常数 \(c\)， \(v^\pi + c\mathbf{1}\) 亦是完全合法的解。

这种加性常数对称性为分布式建模构成了根本性的结构障碍：在经典标量强化学习中，常数平移不影响最优策略排序与差分动态规划；但在实数轴 \(\mathbb{R}\) 上，若直接为每个状态建模偏差概率分布，统一加上常数 \(c\) 会产生完全不同的概率测度。强行指定固定原点不仅破坏了泊松方程内在的平移对称性，而且导致贝尔曼相容的偏差分布更新算子在标准测度空间中根本不可良定义。以往对平均奖励 DRL 的探索多局限于刻画单步极限奖励分布或差分回报分位数，未能建立起一个在算子层面与平均奖励贝尔曼/泊松方程自洽、且能用于时序差分（TD）学习的偏差分布理论。

解决这一矛盾的切入点在于：既然物理上本质的偏差对象在加性常数平移下等价，就应当直接在商空间（Quotient Space）中刻画状态条件概率测度族，并构造与其对称性相容的离散分类参数化。核心 idea：将各状态的偏差概率测度置于模去全局公共平移的商空间 \(\mathcal{F}^\mathcal{S}/\approx\) 中建模，结合具备平移等变性的固定步长分类投影，构建在坐标 Cramér 度量下非扩张的投影分布算子，并基于随机 Krasnosel’skiĭ–Mann 迭代与在线增益估计建立首个收敛的平均奖励分布式 TD 学习体系。

方法详解¶

整体框架¶

本文构建了完整的商空间平均奖励分布式强化学习体系。输入为策略诱导的不可约非周期马尔可夫奖励过程样本转移 \((S, R, S')\)，目标是学习各状态的贝尔曼相容偏差分布 \([ \eta^p ]\) 与长期稳态增益 \(\bar{r}^\pi\)。整体流程包含四个有机阶段：首先将连续概率测度在状态索引族上建立模去公共平移的商空间等价类；其次定义均匀网格支撑集上的商分类参数化，利用投影的平移等变性诱导出良定义的离散投影算子 \(\mathcal{G}_g\)；随后在已知中心化奖励的理想场景下，将时序差分更新构建为非扩张算子的随机 Krasnosel’skiĭ–Mann（SKM）迭代；最后在增益未知场景下，引入在线滑动平均增益估计器，在分类概率与标量增益构成的乘积度量空间上实现协同非扩张更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境转移样本与未中心化奖励<br/>(S, R, S')"] --> B["商空间等价类与商分类参数化<br/>状态测度模去公共平移 & 均匀网格投影"]
    B --> C["投影平均奖励分布式算子<br/>坐标 Cramér 度量下的非扩张映射 G_g"]
    C --> D["中心化随机 Krasnosel'skiĭ–Mann 逼近<br/>i.i.d. 与马尔可夫链下的一步异步更新"]
    D --> E["在线增益估计与乘积空间耦合算法<br/>增益滑动平均与偏差概率协同迭代"]
    E --> F["输出：贝尔曼相容商分类偏差分布<br/>与稳态平均奖励估计"]

关键设计¶

1. 商空间等价类与商分类参数化：解决偏差分布在实数轴上的平移非唯一性

针对标量泊松方程解具有任意加性常数自由度 \(v^\pi + c\mathbf{1}\) 的痛点，直接建模实数轴测度会人为打破对称性。本文在状态索引的二阶矩概率测度族 \(\mathcal{F}^\mathcal{S} := \{ \eta = (\eta_i)_{i \in \mathcal{S}} : \eta_i \in \mathcal{P}_2(\mathbb{R}) \}\) 上定义等价关系：\(\eta \approx \zeta \iff \exists c \in \mathbb{R}\) 使得 \(\zeta = (\tau_c)_\# \eta\)，其中 \(\tau_c(x) := x + c\) 为平移映射，\((\tau_c)_\#\) 为前推测度（Pushforward）。由此建立商空间 \(\mathcal{F}^\mathcal{S}/\approx\)。为了将抽象的商空间测度转化为可计算的有限维表示，设计了固定跨度 \(\Delta := \theta_{k+1} - \theta_k > 0\) 的有序网格支撑集 \(\Theta = \{\theta_1 < \dots < \theta_d\}\)。对任意概率单纯形向量 \(p \in \Delta_d^\mathcal{S}\) 及代表元位移 \(c \in \mathbb{R}\)，定义代表元族：

\[\eta_i^{p,c} := \sum_{k=1}^d p_{i,k} \delta_{\theta_k + c}, \quad \forall i \in \mathcal{S}\]

系数矩阵 \(p\) 唯一决定了商等价类 \([\eta^p] := [\eta^{p,c}] \in \mathcal{F}^\mathcal{S}/\approx\)，且与位移 \(c\) 的选取完全无关。更关键的是，标准线性插值分类投影算子 \(\Pi_C^{\Theta_c}\) 严格满足平移等变性（Shift-Equivariance）：\(\Pi_C^{\Theta_c}((\tau_c)_\# \eta) = (\tau_c)_\# (\Pi_C^\Theta \eta)\)。该性质确保了分布平移后再投影与先投影再平移的等价性，使得算法内部的代数更新独立于代表元位移的选择。

2. 投影平均奖励分布式算子与坐标 Cramér 度量：在非压缩几何下确立非扩张性

在无折扣因子的平均奖励设定下，传统 Wasserstein 压缩性质不复存在。为在离散网格上建立良定义的动态规划与评估算子，本文利用网格累积质量 \(F_p(\theta_k) := \sum_{j=1}^k p_j\) 定义了坐标 Cramér 度量（Coordinate Cramér Metric）：

\[\ell_C^\Theta(p, q)^2 := \Delta \sum_{k=1}^{d-1} \bigl( F_p(\theta_k) - F_q(\theta_k) \bigr)^2, \quad \ell_{C,\infty}^\Theta(p, q) := \max_{i \in \mathcal{S}} \ell_C^\Theta(p_i, q_i)\]

该离散度量与连续分布间的 Cramér 距离在同位移代表元下完全等距：\(\ell_C(\eta_i^{p,c}, \eta_i^{q,c}) = \ell_C^\Theta(p_i, q_i)\)。针对任意中心化常数 \(g \in \mathbb{R}\)，定义作用于商分类系数上的投影算子 \(\mathcal{G}_g(p) = q \in \Delta_d^\mathcal{S}\)，其满足 \(\Pi_C^{\Theta_c}(\mathcal{T}_g \eta^{p,c})_i = \eta_i^{q,c}\)。论文严格证明了连续卷积与转移平均在 Cramér 度量下的非扩张性，叠加分类投影算子的非扩张性，证明了 \(\mathcal{G}_g\) 在 \(\ell_{C,\infty}^\Theta\) 下全局非扩张：

\[\ell_{C,\infty}^\Theta\bigl(\mathcal{G}_g(p), \mathcal{G}_g(q)\bigr) \leq \ell_{C,\infty}^\Theta(p, q)\]

由紧凸集上的 Schauder 不动点定理，其不动点集 \(\mathrm{fix}(\mathcal{G}_g)\) 非空，从而为分布式偏差学习奠定了坚实的目标不动点存在性基础。

3. 中心化随机 Krasnosel’skiĭ–Mann 逼近：建立 i.i.d. 与马尔可夫采样下的收敛阶

在实际强化学习中，转移概率 \(P_{ij}\) 与奖励分布无法显式获取，只能通过在线交互获得单步样本 \(Y = (S, B, S')\)（其中 \(B = R - \bar{r}^\pi\) 为已知增益下的中心化奖励）。针对每次仅更新单个状态的异步时序差分特性，本文定义单样本更新映射 \(H(p, Y)\)，其在采样状态 \(S=s\) 处执行单步投影回推 \(\Pi_C^\Theta((\tau_b)_\# \eta^{p_{s'}, 0})\)，而在其他状态保持不变。由于单步算子非严格压缩，经典 Robbins-Monro 分析失效，本文将其映射为非扩张映射的随机 Krasnosel’skiĭ–Mann（SKM）迭代：

\[p_{k+1} = p_k + \alpha_k \bigl( H(p_k, Y_k) - p_k \bigr)\]

其均值场映射 \(h_\rho(p) := p + D_\rho(\mathcal{G}(p) - p)\) 与目标算子 \(\mathcal{G}\) 具有完全相同的不动点集。论文证明： - 在 i.i.d. 采样下，步长指数 \(2/3 < a \le 1\) 保证 \(p_k\) 几乎必然收敛至不动点；在临界指数 \(a=2/3\) 下，结合双阶段步长（Two-Phase Schedule）微调，均值场残差与投影算子残差的上界达到 \(\mathcal{O}((k+1)^{-1/6} \log(k+1))\)。 - 在沿单条轨迹采样的马尔可夫转移下，利用泊松方程扰动分析，证明步长指数 \(4/5 < a \le 1\) 时几乎必然收敛；在临界指数 \(a=4/5\) 下，双阶段步长保证残差收敛速率为 \(\mathcal{O}((k+1)^{-1/10} \log(k+1))\)。这是无折扣分布式强化学习领域首个非渐近有限样本残差保证。

4. 在线增益估计与乘积空间耦合算法：消除真实环境中真实增益未知的先验依赖

在实际未中心化奖励交互中，真实增益 \(\bar{r}^\pi\) 事先未知，直接使用原始奖励 \(R\) 会导致更新漂移、完全破坏对 \(\mathcal{G}\) 的逼近。为解决该实用性瓶颈，算法将状态扩展到乘积空间 \(\mathcal{Z} := \Delta_d^\mathcal{S} \times [0,1]\)，同时维护分类概率 \(p_k\) 与标量在线增益估计 \(g_k\)：

\[p_{k+1} = p_k + \alpha_k \bigl( H_{g_k}(p_k, Y_k) - p_k \bigr), \quad g_{k+1} = g_k + \alpha_k (R_k - g_k)\]

其中单步备份使用动态中心化位移 \(R_k - g_k\)。为了在耦合系统中建立非扩张收敛分析，定义了加权乘积度量 \(d_\lambda((p,g), (q,g')) := \ell_{C,\infty}^\Theta(p,q) + \lambda |g - g'|\)。论文证明，只要权重因子满足 \(\lambda \ge \Delta^{-1/2}\)，单样本耦合映射与稳态均值场映射在度量 \(d_\lambda\) 下保持严格非扩张，且均值场映射的不动点严格对应于真实对 \((p^\star, \bar{r}^\pi)\)，其中 \(p^\star \in \mathrm{fix}(\mathcal{G})\)。此时乘积残差天然构成双重控制：\(\mu_{\min} \ell_{C,\infty}^\Theta(p_k, \mathcal{G}(p_k)) \le d_\lambda\) 且 \(|g_k - \bar{r}^\pi| \le \lambda^{-1} d_\lambda\)，在马尔可夫噪声下亦保证 \(\mathcal{O}((k+1)^{-1/10} \log(k+1))\) 的收敛上界。

损失函数 / 训练策略¶

算法的核心更新策略由公式 (30) 驱动，无需反向传播构建深度神经网络时的复杂梯度裁剪或高开销双层优化。在表格型或离散状态设定下，采用单步滑动平均。步长调度策略推荐采用兼顾瞬态快速下降与渐近稳定性的双阶段步长方案：

\[\alpha_k = \begin{cases} (k+1)^{-a_1}, & 1 \le k \le T \\ \gamma_T (k+1)^{-a_{\mathrm{crit}}}, & k > T \end{cases}\]

其中在马尔可夫采样下临界指数 \(a_{\mathrm{crit}} = 4/5\)，初级阶段可选 \(a_1 \in (4/5, 1)\)。切换点 \(T\) 取为满足 \((k+1)^{\varepsilon_{a_1}} \le \kappa_{a_1} \log(k+1)\) 的最大整数，有效规避了单阶段步长在暂态窗口中的对数因子恶化。在与神经网络结合的连续状态实验中（如 Pendulum-v1），损失函数通过对投影分布与当前预测分布计算离散交叉熵或 Cramér 距离损失，增益则采用指数滑动平均（EMA）独立更新。

实验关键数据¶

主实验¶

论文在五状态马尔可夫奖励过程（5-State MRP）和连续状态控制任务 Pendulum-v1 上进行了系统的定性和定量验证。在五状态 MRP 中，理论真值增益为 \(\bar{r}^\pi = \mu^\top r\)。比较方案包含：(i) 精确 Krasnosel’skiĭ–Mann（KM）算子迭代；(ii) 中心化 i.i.d. 随机逼近（SKM）；(iii) 中心化马尔可夫轨迹 SKM；(iv) 耦合在线增益估计 SKM；(v) 错误中心化消融基线（固定 \(g=0\)）。

| 算法配置 / 实验场景 | 状态空间 / 采样机制 | 投影算子残差 \(\ell_{C,\infty}^\Theta(p_k, \mathcal{G}(p_k))\) | 增益估计误差 \(|g_k - \bar{r}^\pi|\) | 理论收敛速率预期 | 实际收敛表现 | |---|---|---|---|---|---| | 精确 KM 迭代 (Exact KM) | 5-State MRP / 全量期望备份 | \(\to 0\) (单调快速下降) | 0 (真值已知) | 渐近收敛至 \(\mathrm{fix}(\mathcal{G})\) | 完全符合非扩张不动点预测 | | 中心化 i.i.d. SKM | 5-State MRP / 独立均匀采样 | \(\mathcal{O}(k^{-1/6})\) 稳步下降 | 0 (真值已知) | \(\mathcal{O}(k^{-1/6+\epsilon/2})\) | 快速收敛，方差显著低于马尔可夫 | | 中心化马尔可夫 SKM | 5-State MRP / 单轨迹时序采样 | \(\mathcal{O}(k^{-1/10})\) 波动下降 | 0 (真值已知) | \(\mathcal{O}(k^{-1/10+\epsilon/2})\) | 渐近收敛，存在时序相关性波动带 | | 耦合在线增益 SKM (本文完整方案) | 5-State MRP / 真实未中心化采样 | 协同收敛至 \(\mathrm{fix}(\mathcal{G})\) | \(\mathcal{O}(k^{-1/10})\) 降至 0 | \(\mathcal{O}(k^{-1/10+\epsilon/2})\) | 双指标协同单调衰减 | | 连续控制增益自适应 Critic (Ours) | Pendulum-v1 / 深度神经网络 | 显著低于非中心化 Baseline | 逼近 MC 真实增益 | - | 分布残差平稳收敛 | | 朴素原始奖励 Critic (Naive Baseline) | Pendulum-v1 / 深度神经网络 | 残差居高不下且发散 | 不估计增益 (\(g=0\)) | 不收敛至 \(\mathcal{G}\) | 验证了 Proposition 15 |

消融实验¶

消融实验重点验证了中心化增益参数对离散网格分类表示的决定性影响，揭示了“连续商测度空间中的增益无关性”与“离散固定网格下增益依赖性”之间的结构反差。

配置	增益中心化设定	投影算子残差表现	偏差分布原子形态	结构机理说明
正确中心化 (Exact / Online \(g \to \bar{r}^\pi\))	动态估计或真值 \(\bar{r}^\pi\)	残差随迭代完全衰减至 0	各状态分布形态平滑且保留多峰特征	严格逼近正确算子 \(\mathcal{G}\) 的不动点
错误零中心化 (\(g = 0\))	强制置零 \(g=0\)	残差平稳停滞，无法收敛至 0	概率质量严重崩塌在网格边界最大原子处	实际收敛到 \(\mathcal{G}_0\) 不动点而非目标 \(\mathcal{G}\)
固定扰动增益 (\(g \neq \bar{r}^\pi\))	固定偏移常数	残差收敛至非零下界	分布发生非均匀刚性平移畸变	网格截断与线性插值破坏了连续平移相容性

关键发现¶

增益中心化的必不可少性：虽然在理想的连续商空间中，算子 \(\overline{\mathcal{T}}\) 在代数意义上独立于中心化常数 \(g\)（不同 \(g\) 仅导致输出测度产生全局平移，属于同一商等价类），但在实际算法落盘的固定离散网格 \(\Theta\) 上，线性插值投影与网格边界截断会打破全局平移的完全刚性保持。若采用错误的增益（如 \(g=0\)），分布更新将收敛到 \(\mathcal{G}_0\) 而非 \(\mathcal{G}\)，导致概率质量坍缩至最大支持点，彻底丧失偏差分布的表征能力。
理论界与实验衰减率高度吻合：在 5-State MRP 中，i.i.d. 采样的残差衰减斜率显著优于单轨迹马尔可夫采样，完美印证了 \(k^{-1/6}\) 与 \(k^{-1/10}\) 的理论界差距。
深度函数逼近的可迁移性：Pendulum-v1 实验证实，在线增益估计不仅在表格型 MRP 中成立，在配合神经网络梯度优化时同样能自适应消除偏差漂移，实现平稳的分布式评判器（Critic）训练。

亮点与洞察¶

概念重塑的数学美感：传统平均奖励强化学习将常数平移不唯一性视为算法消除项（如借由参考状态减法强制 \(v(s_0)=0\)），而在测度空间中，这一做法极为生硬且破坏整体几何结构。本文将其提升至商空间 \(\mathcal{F}^\mathcal{S}/\approx\) 的高度，证明了商空间才是平均奖励分布式偏差学习的天然栖息地。
坐标 Cramér 空间下的非扩张统一：利用固定跨度网格下离散坐标 Cramér 距离与连续 Cramér 距离的保距性，将复杂的分布式卷积与分类投影转化为紧集上的非扩张算子，架起了强化学习与非扩张不动点随机逼近（SKM）理论的桥梁。
乘积度量下的优雅解耦与耦合：设计 \(\lambda \ge \Delta^{-1/2}\) 的加权乘积度量 \(d_\lambda\)，将在线增益估计的标量误差与离散概率分布的泛函误差在统一范数下紧密绑定，不仅保持了算子级非扩张性，更为未知增益系统提供了首个严格可证明收敛的联合训练范式。

局限与展望¶

状态与动作空间的离散与有限假设：当前严格收敛性定理（定理 13、14、19）建立在有限状态马尔可夫链和固定紧支撑网格 \(\Theta\) 之上，对于连续状态下的深层神经网络函数逼近（如 Appendix E 的 Pendulum 实验），定理仅具定性指导意义，缺乏非渐近误差界。
策略评估到控制（Control）的跨越：论文聚焦于给定固定策略 \(\pi\) 的策略评估问题。在控制策略优化中，贪心算子涉及分布分位数或期望的极值选取，是否仍能维持商空间的良定义非扩张结构仍待深入探索。
高维与多元奖励扩展：当前理论针对标量一维奖励分布，若扩展到多目标或高维状态表征，需要结合多维累积分布函数或多元投影几何进一步泛化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出商分类表示与商空间投影算子，彻底解决了平均奖励分布式强化学习长期存在的平移不相容理论阻碍。
实验充分度: ⭐⭐⭐⭐ 提供了严谨的五状态 MRP 解析对比、消融分析以及连续状态控制任务（Pendulum-v1）的概念验证。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密完备，从测度论推导到算法随机逼近层层递进，定理脉络与物理动机极其清晰。
价值: ⭐⭐⭐⭐⭐ 为无折扣/平均奖励分布式强化学习奠定了首个自洽的算子理论基础与有限样本收敛基准。