Policy Gradient Algorithms in Average-Reward Multichain MDPs¶

会议: NeurIPS 2026
arXiv: 2602.18003
OpenReview: https://openreview.net/forum?id=FCz7YgJAYl
领域: 强化学习
关键词: 平均奖励 MDP、多链马尔可夫决策过程、策略梯度定理、策略镜像上升、样本复杂度

一句话总结¶

首次针对具有多个常返类与瞬态状态的一般平均奖励多链 MDP（Multichain MDP）建立了完整的策略梯度定理，并提出带下界截断的策略镜像上升算法（$\alpha$-clipped PMA），证明了其在精确与生成模型设定下的收敛速率与样本复杂度上界。

研究背景与动机¶

平均奖励马尔可夫决策过程（Average-Reward MDP）是刻画无限视界序列决策中长程稳态回报的基础数学模型。在动态规划与强化学习文献中，针对折扣累积奖励 MDP 的策略梯度（Policy Gradient, PG）方法已有极其完善的收敛性与样本复杂度理论。然而，在平均奖励准则下，策略梯度的理论分析长期面临严重瓶颈，绝大多数经典与前沿成果（如 Sutton 1999、Murthy & Srikant 2023、Kumar et al. 2024）均严格局限在遍历（Ergodic）或单链（Unichain）MDP 设定。在单链设定下，任意确定性策略诱导的马尔可夫链仅包含唯一的常返类（Recurrent Class）及至多一个空集瞬态类，系统的平稳分布唯一且与初始状态无关，这使得平均奖励标量化，贝尔曼方程和性能差分引理（Performance Difference Lemma）能直接沿用单一稳态分布展开。

然而，更具普适性的一般 MDP 往往呈现多链（Multichain）拓扑结构，即转移概率矩阵包含两个或更多相互封闭的常返连通分支以及通向这些常返类的瞬态状态集合（Transient States）。在多链 MDP 中，平均奖励不仅高度依赖初始状态，而且根据 Schweitzer (1968) 的经典反例，平均奖励函数 $J^\pi(s)$ 在策略单形的拓扑边界上可能出现不连续跳跃。与此同时，平稳分布的多样性导致全局唯一稳态测度不复存在，使得传统策略梯度定理的基础假设彻底坍塌。自 Sutton 等人 1999 年奠基性工作发表以来的二十余年间，学术界在多链平均奖励 MDP 中仅发展了有限的值迭代与基于模型的算法，策略梯度定理是否存在、策略优化算法能否收敛，此前一直处于理论空白状态。

本文的核心切入点是揭示马尔可夫链状态分类在正策略空间内部的拓扑不变性：尽管在策略单形的相对边界上转移结构可能突变，但在严格正概率策略单形 $\Pi_+$（所有状态-动作对概率严格大于零，如 Softmax 策略）内部，状态空间分解为若干常返类与瞬态集合的结构是绝对不变的，完全由环境固有的转移核决定而与具体策略参数无关。基于这一关键几何与代数特性，本文的核心 idea 是：基于正策略下常返与瞬态状态划分的不变性，分别定义常返访问测度与瞬态访问测度，建立首个包含常返相对价值与瞬态平均奖励双流驱动的多链策略梯度定理，并设计 $\alpha$-截断策略镜像上升算法在紧子集内实现单调提升与可证收敛。

方法详解¶

整体框架¶

本文构建了一套完备的多链平均奖励强化学习分析体系：首先利用正策略集合 $\Pi_+$ 下常返集合 $\mathcal{R}$ 与瞬态集合 $\mathcal{T}$ 划分的不变性，定义了常返访问测度 $d_\mu^\pi$ 与瞬态访问测度 $\delta_\mu^\pi$；随后推导出多链性能差分引理与策略梯度定理；接着引入参数截断集合 $\Pi_\alpha$ 克服边界不连续并保证分布漂移系数 $C_\alpha$ 有界，将全局优化问题在加权 Bregman 散度下解耦为各状态独立的镜像上升更新；最后结合生成模型提出双视界 Critic 与基于经验采样的状态分类恢复算法，给出有限样本复杂度保证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多链 MDP 输入<br/>状态空间 S 包含多个常返类 R 及瞬态类 T"] --> B["常返与瞬态访问测度解耦<br/>构造常返测度 d 与瞬态测度 δ 刻画双流分布"]
    B --> C["Alpha截断策略单形约束<br/>限制策略空间至紧子集确保比值界 C_α 与 B_α 有限"]
    C --> D["双视界Critic与状态经验辨识<br/>利用覆盖时间判定状态归属 + 截断视界估计 G^π"]
    D --> E["广义梯度驱动的状态解耦镜像上升<br/>逐状态闭式求解 Bregman 极值投影更新策略序列"]
    E --> F["输出收敛策略 π_K<br/>获得关于正策略集的 ε-最优稳态平均回报"]

关键设计¶

1. 常返与瞬态访问测度解耦：建立多链性能差分与策略梯度定理 针对单链 MDP 平稳分布依赖单一常返类的缺陷，本文将全状态集合严格拆分为常返状态并集 $\mathcal{R} = \bigcup_{i=1}^m \mathcal{R}_i$ 与瞬态状态集合 $\mathcal{T}$。对于给定的初始分布 $\mu \in \mathcal{M}_+(\mathcal{S})$，常返访问测度 $d_\mu^\pi(s)$ 定义为转移矩阵 Cesàro 极限的期望 $d_\mu^\pi(s) = \mathbb{E}_{s_0 \sim \mu}[e_{s_0}^\top P_\star^\pi e_s]$，其在所有瞬态状态上严格为零；瞬态访问测度 $\delta_\mu^\pi(s)$ 则基于瞬态子块转移阵 $\bar{T}^\pi$ 构造 Neumann 级数 $\delta_\mu^\pi(s) = \mathbb{E}_{s_0 \sim \mu}[e_{s_0}^\top (I - \bar{T}^\pi)^{-1} e_s]$，其物理意义为吸收前对瞬态状态 $s$ 的总期望访问次数。通过分析极限投影矩阵的代数性质，本文推导出多链性能差分引理（Performance Difference Lemma）： $$J_\mu^\pi - J_\mu^{\pi'} = \sum_{s \in \mathcal{R}, a \in \mathcal{A}} d_\mu^\pi(s) (\pi(a|s) - \pi'(a|s)) Q^{\pi'}(s,a) + \sum_{s \in \mathcal{T}, a \in \mathcal{A}} \delta_\mu^\pi(s) (\pi(a|s) - \pi'(a|s)) K^{\pi'}(s,a)$$ 其中 $Q^{\pi'}(s,a) = r(s,a) + \sum_{s'} P(s'|s,a) V^{\pi'}(s') - K^{\pi'}(s,a)$ 为相对状态动作价值函数，$K^{\pi'}(s,a) = \sum_{s'} P(s'|s,a) J^{\pi'}(s')$ 为状态动作平均奖励。由此得到的策略梯度定理显示：在常返状态上，梯度的驱动力来自相对价值函数 $Q^\pi$；在瞬态状态上，由于状态转移终将离开瞬态并被某一常返类吸收，梯度的驱动力直接来源于其选择动作所引导进入的下游平均回报 $K^\pi$。当 MDP 退化为单链时，由于 $K^\pi$ 恒为常数向量，瞬态项因概率求和为零而自然消失，完美包容了 Sutton 等人 (1999) 的经典公式。

2. $\alpha$-截断策略单形约束：规避边界不连续并确保曲率常数有界 针对多链平均回报 $J^\pi$ 在策略单形边界不连续且状态访问分布比值可能发散的理论障碍，算法显式引入截断下界 $\alpha \in (0, 1/|\mathcal{A}|)$，将策略搜索限定在紧凸集 $\Pi_\alpha = \{\pi \mid \pi(a|s) \geq \alpha, \forall s \in \mathcal{S}, a \in \mathcal{A}\}$ 内。在 $\Pi_\alpha$ 上，所有正策略诱导相同的常返-瞬态拓扑划分，从而保证了 $J_\mu^\pi$ 映射的连续性，并确保了两个核心几何常数严格有限： $$B_\alpha := \max_{\pi \in \Pi_\alpha} \|\rho_\mu^\pi\|_1 < \infty, \qquad C_\alpha := \max_{s \in \mathcal{S}, \pi, \pi' \in \Pi_\alpha} \left\| \frac{\rho_\mu^\pi(s)}{\rho_\mu^{\pi'}(s)} \right\|_\infty < \infty$$ 其中复合访问权重定义为 $\rho_\mu^\pi(s) = d_\mu^\pi(s) \mathbf{1}_{\mathcal{R}}(s) + \delta_\mu^\pi(s) \mathbf{1}_{\mathcal{T}}(s)$。通过这一约束，优化目标转换为逼近正策略最优上界 $J_{+,\mu}^\star = \sup_{\pi \in \Pi_+} J_\mu^\pi$。当选择充分小的 $\alpha$ 时，$\Pi_\alpha$ 内部的最优策略 $J_\mu^{\pi_\alpha}$ 与 $J_{+,\mu}^\star$ 的差距可以任意逼近至 $\epsilon/2$。

3. 广义梯度场 $G^\pi$ 与状态解耦的策略镜像上升（$\alpha$-clipped PMA） 为了实现高效的策略参数更新，定义统一广义收益场 $G^\pi(s, \cdot) = Q^\pi(s, \cdot) \mathbf{1}_{\mathcal{R}}(s) + K^\pi(s, \cdot) \mathbf{1}_{\mathcal{T}}(s)$。此时策略梯度的内积可以紧凑表述为 $\nabla J_\mu^\pi(s,a) = \rho_\mu^\pi(s) G^\pi(s,a)$。利用加权 Bregman 散度 $D_{\rho_\mu^{\pi_k}}(\pi, \pi_k) = \sum_{s \in \mathcal{S}} \rho_\mu^{\pi_k}(s) D(\pi(\cdot|s), \pi_k(\cdot|s))$，更新目标函数中的全局状态权重 $\rho_\mu^{\pi_k}(s)$ 在各状态分量中均严格大于零，从而使整体优化在各状态之间完全解耦： $$\pi_{k+1}(\cdot|s) = \arg\max_{p \in \mathcal{M}_\alpha(\mathcal{A})} \left\{ \eta_k \sum_{a \in \mathcal{A}} G^{\pi_k}(s,a) p(a) - D\big(p(\cdot), \pi_k(\cdot|s)\big) \right\}, \qquad \forall s \in \mathcal{S}$$ 针对欧氏散度与 KL 散度，更新可直接化简为带有下界约束 $\alpha$ 的标准单形投影问题，其计算复杂度仅为 $\widetilde{\mathcal{O}}(|\mathcal{S}||\mathcal{A}|)$。借助三点下降引理（Three-Point Descent Lemma），该更新在确切梯度下保证了平均回报的单调递增 $J_\mu^{\pi_k} \leq J_\mu^{\pi_{k+1}}$。

4. 基于生成模型的双视界 Critic 与瞬态/常返状态经验辨识 在无模型转移核未知的实际采样设定下，算法必须同时解决两个问题：如何估计未知的广义场 $G^\pi$，以及如何区分状态究竟属于常返类还是瞬态集合。本文设计了由瞬态半衰期 $t_{1/2,\pi} = \min\{t \geq 1 \mid \|(\bar{T}^\pi)^t\|_\infty \leq 1/2\}$ 与覆盖时间 $t_{\mathrm{cov}}^\pi$ 决定的采样轨迹检测机制： - 状态经验辨识：从任意状态出发采样长度为 $M_1 + M_2$ 的单条轨迹（其中 $M_1 = \lceil t_{1/2,\pi} \log(2/\delta) \rceil$ 确保步入常返类，$M_2 = \lceil e t_{\mathrm{cov}}^\pi \log(2/\delta) \rceil$ 确保遍历该常返类的全部状态），若起始状态 $s_0$ 落在后半段集合内则为常返，否则为瞬态。重复该过程至多完成全状态分类，复杂度为 $\mathcal{O}((|\mathcal{T}| + m)(t_{1/2,\pi} + t_{\mathrm{cov}}^\pi) \log((|\mathcal{T}| + m)/\delta))$。 - 双视界估计 Critic：采用独立的视界截断分别估计 $K^\pi$ 与 $Q^\pi$。先用长度为 $H$ 的轨迹截断估计 $K^\pi$，再基于已估计的 $\hat{K}^\pi$ 展开双重累加轨迹估计相对价值 $Q^\pi$，保证以 $1-\delta$ 概率实现一致估计误差 $\|\hat{G}^\pi - G^\pi\|_\infty \leq \epsilon$。

损失函数 / 训练策略¶

算法根据步长设定提供两种不同的理论保证： - 恒定步长（Sublinear Convergence）：设步长为固定正标量 $\eta > 0$。算法满足单调性 $J_\mu^{\pi_k} \leq J_\mu^{\pi_{k+1}}$，且具备 $\mathcal{O}(1/(k+1))$ 的次线性收敛速率： $$J_\mu^{\pi_\alpha} - J_\mu^{\pi_k} \leq \frac{1}{k+1} \left( \frac{D_{\rho_\mu^{\pi_\alpha}}(\pi_\alpha, \pi_0)}{\eta} + C_\alpha (J_\mu^{\pi_\alpha} - J_\mu^{\pi_0}) \right)$$ - 自适应步长（Linear Convergence）：当已知常数 $C_\alpha$ 且步长满足递推条件 $(C_\alpha - 1)\eta_{k+1} \geq C_\alpha \eta_k > 0$ 时，算法达到线性收敛速率： $$J_\mu^{\pi_\alpha} - J_\mu^{\pi_k} \leq \left(1 - \frac{1}{C_\alpha}\right)^k \left( \frac{D_{\rho_\mu^{\pi_\alpha}}(\pi_\alpha, \pi_0)}{\eta_0 (C_\alpha - 1)} + J_\mu^{\pi_\alpha} - J_\mu^{\pi_0} \right)$$ 在生成模型采样下，随机策略镜像上升（Stochastic $\alpha$-clipped PMA）通过控制每轮 Critic 的采样误差 $\epsilon_k \leq \mathcal{O}(\epsilon / (k+1))$，在误差累积受控的前提下建立鲁棒收敛性。

实验关键数据¶

主实验¶

论文对提出的一般多链 MDP 策略镜像上升理论与过往经典平均奖励 MDP 方法的理论收敛性与样本复杂度进行了系统比较。

方法 / 理论框架	适用 MDP 结构	目标策略空间	收敛速率 (精确梯度)	样本复杂度 (生成模型)	是否依赖遍历性/单链假设
Sutton et al. (1999)	Unichain	参数化策略 $\Pi$	未给出非渐近收敛率	无样本界	是 (仅单链且 $K^\pi$ 恒定)
Murthy & Srikant (2023)	Ergodic	全策略单形 $\Pi$	$\mathcal{O}(1/\sqrt{K})$	未给出生成模型界	是 (严格不可约)
Kumar et al. (2024)	Ergodic	表格正策略	$\mathcal{O}(1/K)$ (次线性)	无采样泛化界	是 (平稳分布全正)
Bai et al. (2024)	Unichain	参数化策略 $\Pi$	Regret 框架	$\widetilde{\mathcal{O}}(1/\epsilon^4)$ (需方差缩减)	是 (依赖单链混合时间)
本文 (恒定步长 PMA)	Multichain (一般)	正策略紧子集 $\Pi_\alpha$	$\mathcal{O}(1/K)$ (次线性)	*$\widetilde{\mathcal{O}}\left(\frac{t_{\mathrm{tar}}^3 \|Q^\pi\|\infty^4 R^9 C*\alpha^6 B_\alpha^6	\mathcal{S}
本文 (自适应步长 PMA)	Multichain (一般)	正策略紧子集 $\Pi_\alpha$	$\mathcal{O}((1 - 1/C_\alpha)^K)$ (线性)	*$\widetilde{\mathcal{O}}\left(\frac{t_{\mathrm{tar}}^3 \|Q^\pi\|\infty^4 R^3 C*\alpha^6 B_\alpha^6	\mathcal{S}

消融实验¶

论文在附录中针对弱通信 MDP（Weakly Communicating MDP）进行了细化消融分析。在该特例下，$J^\star$ 为常数向量，$\alpha$ 可显式选为 $\epsilon$ 的函数，常数 $B_\alpha = 1$，理论界得到显著锐化。

配置分支	设定条件	截断参数 $\alpha$ 选择	迭代轮数 $K$ 对 $\epsilon$ 依赖	总样本复杂度	依赖的先验参数
一般 Multichain (恒定步长)	任意多链结构	固定常数 $\alpha$	$K = \mathcal{O}(1/\epsilon)$	$\widetilde{\mathcal{O}}(\epsilon^{-12})$	步长 $\eta$
一般 Multichain (自适应步长)	任意多链结构	固定常数 $\alpha$	$K = \mathcal{O}(\log(1/\epsilon))$	$\widetilde{\mathcal{O}}(\epsilon^{-6})$	分布漂移常数 $C_\alpha$
弱通信特例 (恒定步长)	Weakly Comm.	$\alpha = \frac{\epsilon}{2(	\mathcal{A}	+1)\|Q^{\pi^\star}\|_\infty}$	$K = \frac{4}{\epsilon}\left(\frac{D}{\eta} + C_\alpha \Delta J\right)$
弱通信特例 (自适应步长)	Weakly Comm.	$\alpha = \frac{\epsilon}{2(	\mathcal{A}	+1)\|Q^{\pi^\star}\|_\infty}$	$K = \mathcal{O}(\log(1/\epsilon))$
Critic 估计 (消融 $K^\pi$)	单独估计平均回报	无截断	视界 $H = \mathcal{O}(1/\epsilon)$	$\mathcal{O}(R^2 \|V^\pi\|_\infty	\mathcal{S}
Critic 估计 (联合估计 $G^\pi$)	联合估计相对价值	依赖已知状态分类	视界 $H' = \mathcal{O}(t_{\mathrm{tar}}/\epsilon)$	$\mathcal{O}(R^3 t_{\mathrm{tar}}^3 \|Q^\pi\|_\infty^4	\mathcal{S}

关键发现¶

首个多链策略梯度理论突破：彻底填补了自 Sutton et al. (1999) 提出策略梯度定理以来二十余年多链平均奖励 MDP 的理论空白，证明了平均奖励多链 MDP 中的梯度由常返状态的相对价值 $Q^\pi$ 与瞬态状态的平均回报 $K^\pi$ 联合驱动。
自适应步长实现几何级数级加速：在已知分布漂移系数 $C_\alpha$ 的情况下，自适应步长能够将收敛速率由次线性 $\mathcal{O}(1/K)$ 提升至几何收敛 $\mathcal{O}((1-1/C_\alpha)^K)$，同时将样本复杂度从 $\widetilde{\mathcal{O}}(\epsilon^{-12})$ 降低至 $\widetilde{\mathcal{O}}(\epsilon^{-6})$。
状态辨识样本开销极低：利用瞬态半衰期与覆盖时间的几何集中性，辨识多链环境中全部常返类与瞬态状态所需的采样开销仅关于 $(|\mathcal{T}| + m)$ 呈线性对数缩放，不会成为策略学习的主要性能瓶颈。

亮点与洞察¶

拓扑不变性的精妙运用：将正策略集合 $\Pi_+$ 的内部连续性与马尔可夫链状态分类的不变性相结合，巧妙绕过了 Schweitzer 边界不连续反例，为非遍历强化学习理论找到了严密的立足点。
双流梯度的直观物理诠释：首次将策略梯度的作用机制剖析为“常返状态优化稳态差值，瞬态状态优化分支选择”，这一机制对于设计分层强化学习与分支决策架构具有极高的理论启发价值。
通向一般多链分析的通用脚手架：构造的常返访问测度 $d_\mu^\pi$ 与瞬态访问测度 $\delta_\mu^\pi$ 构成了多链 MDP 的标准度量工具，未来可直接推广至自然策略梯度（NPG）、信赖域方法（TRPO）以及演员-评论家（Actor-Critic）框架中。

局限与展望¶

样本复杂度指数较高：在恒定步长下样本复杂度高达 $\widetilde{\mathcal{O}}(\epsilon^{-12})$，自适应步长下为 $\widetilde{\mathcal{O}}(\epsilon^{-6})$，主要由双重视界累积估计与高阶 Hoeffding 界引起。作者指出未来结合方差缩减（Variance Reduction）技术有望显著压缩样本指数。
依赖正策略紧集合下界：目前理论针对 $\Pi_\alpha$ 内部优化保证 $J_\mu^{\pi_\alpha}$ 的收敛，在一般多链 MDP 中尚未建立全局最优策略 $J^\star$ 与 $\alpha$ 之间的解析依赖关系（该依赖关系目前仅在弱通信特例下得到解决）。
参数化与连续状态扩展：现有理论主要基于表格型直接参数化（Direct Parameterization），如何推广到深度神经网络参数化策略（如 Softmax 策略网络）以及连续状态空间，仍有待进一步深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立了多链平均奖励 MDP 的策略梯度定理与首个样本复杂度上界，理论开创性极高。
实验充分度: ⭐⭐⭐⭐ 纯理论分析论文，建立了完备的收敛速率定理、生成模型采样界及弱通信特例消融推导。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，核心概念（常返/瞬态测度、广义梯度场）定义清晰，脉络连贯。
价值: ⭐⭐⭐⭐⭐ 解决了强化学习理论界二十余年未解的经典基础问题，为复杂多链系统的策略优化奠定了理论基石。

方法 / 理论框架	适用 MDP 结构	目标策略空间	收敛速率 (精确梯度)	样本复杂度 (生成模型)	是否依赖遍历性/单链假设
Sutton et al. (1999)	Unichain	参数化策略 \(\Pi\)	未给出非渐近收敛率	无样本界	是 (仅单链且 \(K^\pi\) 恒定)
Murthy & Srikant (2023)	Ergodic	全策略单形 \(\Pi\)	\(\mathcal{O}(1/\sqrt{K})\)	未给出生成模型界	是 (严格不可约)
Kumar et al. (2024)	Ergodic	表格正策略	\(\mathcal{O}(1/K)\) (次线性)	无采样泛化界	是 (平稳分布全正)
Bai et al. (2024)	Unichain	参数化策略 \(\Pi\)	Regret 框架	\(\widetilde{\mathcal{O}}(1/\epsilon^4)\) (需方差缩减)	是 (依赖单链混合时间)
本文 (恒定步长 PMA)	Multichain (一般)	正策略紧子集 \(\Pi_\alpha\)	\(\mathcal{O}(1/K)\) (次线性)	*$\widetilde{\mathcal{O}}\left(\frac{t_{\mathrm{tar}}^3 \|Q^\pi\|\infty^4 R^9 C*\alpha^6 B_\alpha^6	\mathcal{S}
本文 (自适应步长 PMA)	Multichain (一般)	正策略紧子集 \(\Pi_\alpha\)	\(\mathcal{O}((1 - 1/C_\alpha)^K)\) (线性)	*$\widetilde{\mathcal{O}}\left(\frac{t_{\mathrm{tar}}^3 \|Q^\pi\|\infty^4 R^3 C*\alpha^6 B_\alpha^6	\mathcal{S}

配置分支	设定条件	截断参数 \(\alpha\) 选择	迭代轮数 \(K\) 对 \(\epsilon\) 依赖	总样本复杂度	依赖的先验参数
一般 Multichain (恒定步长)	任意多链结构	固定常数 \(\alpha\)	\(K = \mathcal{O}(1/\epsilon)\)	\(\widetilde{\mathcal{O}}(\epsilon^{-12})\)	步长 \(\eta\)
一般 Multichain (自适应步长)	任意多链结构	固定常数 \(\alpha\)	\(K = \mathcal{O}(\log(1/\epsilon))\)	\(\widetilde{\mathcal{O}}(\epsilon^{-6})\)	分布漂移常数 \(C_\alpha\)
弱通信特例 (恒定步长)	Weakly Comm.	$\alpha = \frac{\epsilon}{2(	\mathcal{A}	+1)\|Q^{\pi^\star}\|_\infty}$	\(K = \frac{4}{\epsilon}\left(\frac{D}{\eta} + C_\alpha \Delta J\right)\)
弱通信特例 (自适应步长)	Weakly Comm.	$\alpha = \frac{\epsilon}{2(	\mathcal{A}	+1)\|Q^{\pi^\star}\|_\infty}$	\(K = \mathcal{O}(\log(1/\epsilon))\)
Critic 估计 (消融 \(K^\pi\))	单独估计平均回报	无截断	视界 \(H = \mathcal{O}(1/\epsilon)\)	$\mathcal{O}(R^2 \|V^\pi\|_\infty	\mathcal{S}
Critic 估计 (联合估计 \(G^\pi\))	联合估计相对价值	依赖已知状态分类	视界 \(H' = \mathcal{O}(t_{\mathrm{tar}}/\epsilon)\)	$\mathcal{O}(R^3 t_{\mathrm{tar}}^3 \|Q^\pi\|_\infty^4	\mathcal{S}