Global Linear Convergence of Entropy-Regularized Softmax Policy Gradient Beyond Standard Settings¶
会议: NeurIPS 2026
arXiv: 2605.24939
领域: 强化学习
关键词: 强化学习, 策略梯度, 熵正则化, 线性收敛, 函数近似
一句话总结¶
本文针对连续状态与动作空间下的熵正则化马尔可夫决策过程，证明了在 \(Q^\pi_\tau\)-可实现性假设下，对数线性 Softmax 策略梯度流在全仿射扩张特征与单纯形特征两类基函数下具备非均匀 PŁ 不等式与 KL 散度径向无界性，从而首次确立了超出表格型设置的全局线性收敛速率 \(\mathcal{O}(e^{-Ct})\)。
研究背景与动机¶
策略梯度方法是强化学习中策略搜索与行动者-评论家（Actor-Critic）算法的核心理论支柱。然而，Softmax 参数化策略由于配分函数（归一化因子）的存在，使得优化目标关于策略参数呈现高度非凸性，甚至在单步多臂老虎机或具有线性动力学与凸代价的简单控制系统中，目标函数也极具非凸甚至不可微特征。近年来，以 Mei et al. (2020) 和 Agarwal et al. (2020) 为代表的理论突破揭示出：加入香农熵或相对熵正则化后，不仅能将贪心贝尔曼最优算子转化为平滑的正则化贝尔曼映射，还能借助非均匀 Polyak–Łojasiewicz (PŁ) 梯度占优不等式，将无正则化策略梯度的次线性收敛 \(\mathcal{O}(1/t)\) 戏剧性提升至指数级的线性收敛速率 \(\mathcal{O}(e^{-Ct})\)。
然而，现有关于 Softmax 策略梯度的全局线性收敛证明几乎严格局限于有限离散状态和动作的表格型（Tabular）MDP。在表格设定下，研究者可以通过对所有动作求偏导守恒性导出动作概率的非零下界，进而控制住非均匀 PŁ 常数中的退化项。一旦迈入高维或连续的状态-动作空间，表格表示立即面临维度灾难，必须引入连续基函数与对数线性（log-linear）函数近似。此时，参数的变化会全局性、耦合性地改变整个动作密度函数，导致表格型中基于单点概率下界的分析技术完全失效；与此同时，如果仅依赖策略梯度流本身的动力学，参数范数是否会发散、费雪信息矩阵（Fisher Information Matrix, FIM）是否会奇异，均构成了巨大的理论阻碍。
面对这一困境，本文的切入点是将动力系统稳定性理论与正则化强化学习的内禀结构相结合。作者敏锐地发现：若策略的正则化项在参数趋向无穷时具有径向无界性（radial unboundedness），则目标函数本身便可天然充当能量耗散的 Lyapunov 函数，从而将梯度流轨迹禁锢在紧致集合内，一举突破非均匀 PŁ 常数退化的瓶颈。核心 idea：在 \(Q^\pi_\tau\)-可实现性下建立广义连续状态动作空间的非均匀 PŁ 梯度占优框架，并针对「全仿射扩张特征」与「单纯形特征」证明 KL 正则项的径向无界性，借助 Lyapunov 方法保证梯度流轨迹的紧致性与信息几何度量（FIM/未中心化协方差）的退化下界，最终证明全局线性收敛 \(\mathcal{O}(e^{-Ct})\)。
方法详解¶
整体框架¶
本文考虑折扣无限时域熵正则化马尔可夫决策过程 \((S, A, P, c, \gamma, \tau, \mu)\)，其中状态空间 \(S\) 与动作空间 \(A\) 均为 Polish 空间且 \(A\) 紧致。对数线性 Softmax 策略由参数 \(\theta \in \mathbb{R}^p\) 与特征基函数 \(g: S \times A \to \mathbb{R}^p\) 定义为： $\(\pi_\theta(da|s) = \frac{\exp(\langle \theta, g(s,a) \rangle) \mu(da)}{\int_A \exp(\langle \theta, g(s,a') \rangle) \mu(da')}\)$ 目标是最小化正则化期望累积代价 \(V_\tau^{\pi_\theta}(\rho)\)。优化动力学采用连续时间策略梯度流： $\(\frac{d}{dt}\theta_t = -\nabla_\theta V_\tau^{\pi_{\theta_t}}(\rho)\)$ 整个理论推导分为四个环环相扣的模块：首先在贝尔曼最优性与 \(Q^\pi_\tau\)-可实现性下推导梯度表达式并建立非均匀 PŁ 不等式；其次在特征几何假设下证明 KL 散度的径向无界性；接着利用值函数的单调递减性构造紧致正不变集，排除梯度流在有限或无限时间内的参数发散；最后通过曲率矩阵（FIM 或特征协方差矩阵）的最小特征值一致正下界，闭合 Grönwall 积分不等式，导出全局线性收敛。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["对数线性 Softmax 策略与连续 MDP 设定"] --> B["1. 基于可实现性的非均匀 PŁ 不等式推导<br/>建立次优差与梯度范数的几何关联"]
B --> C["2. 几何特征条件下的 KL 散度径向无界性<br/>全仿射跨度与单纯形特征使能能量耗散"]
C --> D["3. Lyapunov 轨迹紧致性与曲率下界控制<br/>限制参数游走范围并防止 FIM 退化"]
D --> E["4. 全局指数衰减率闭合<br/>Grönwall 引理导出 O(exp(-Ct)) 线性收敛"]关键设计¶
1. 基于可实现性的非均匀 PŁ 不等式推导：建立次优差与梯度范数的几何关联
在连续状态和动作空间下，目标函数的非凸性导致经典凸优化分析无法直接应用。为了建立梯度占优性，作者引入了正则化状态-动作价值函数的可实现性条件（\(Q^\pi_\tau\)-realizability）：对任意合规策略 \(\pi\)，存在唯一定义的参数 \(\boldsymbol{\theta}(\pi)\) 使得 \(\langle \boldsymbol{\theta}(\pi), g(s,a) \rangle = -\frac{1}{\tau} Q^\pi_\tau(s,a)\)。在此假设下，策略梯度向量展现出优美的对齐形式： $\(\nabla_\theta V_\tau^{\pi_\theta}(\rho) = -\frac{\tau}{1-\gamma} \left(\int_S G^{\pi_\theta}(s) d_\rho^{\pi_\theta}(ds)\right) (\theta - \boldsymbol{\theta}(\pi_\theta))\)$ 其中 \(G^{\pi_\theta}(s) = \int_A \nabla_\theta \log \frac{d\pi_\theta}{d\mu}(a|s) (\nabla_\theta \log \frac{d\pi_\theta}{d\mu}(a|s))^\top \pi_\theta(da|s)\) 为费雪信息矩阵（FIM）。结合连续空间下的相对熵夹逼不等式（Sandwich Inequality），作者将次优差上界与参数距离平方绑定：\(V_\tau^{\pi_\theta}(\rho) - V_\tau^{\pi^*}(\rho) \le \frac{\tau e^{\hat{R}}}{2(1-\gamma)} \|\theta - \boldsymbol{\theta}(\pi_\theta)\|_2^2\)。通过在梯度恒等式两端左乘 \((\theta - \boldsymbol{\theta}(\pi_\theta))^\top\) 并应用柯西-施瓦茨不等式，确立了非均匀 PŁ 不等式： $\(V_\tau^{\pi_\theta}(\rho) - V_\tau^{\pi^*}(\rho) \le C_R(\theta) \|\nabla_\theta V_\tau^{\pi_\theta}(\rho)\|_2^2\)$ 这里的常数 \(C_R(\theta)\) 显式依赖于状态占优测度以及费雪信息矩阵的积分最小特征值 \(\lambda_{\min}(G^{\pi_\theta}(s))\)。这不仅刻画了策略空间几何的非均匀性，也指明了证明线性收敛的核心矛盾：必须防止 \(\lambda_{\min}(G^{\pi_\theta}(s))\) 沿着梯度流轨迹渐近衰减至零。
2. 几何特征条件下的 KL 散度径向无界性：全仿射跨度与单纯形特征使能能量耗散
在表格设置中，策略参数趋向无穷时对数概率可能仅趋于常数，KL 散度通常是有界的，因而无法作为抑制参数逃逸的 Lyapunov 势能。本文创新性地发现，在连续动作空间下，若基函数在动作维度具备足够的几何区分度，吉布斯测度将在极值点集上产生奇异聚集。作者针对两类关键基函数形式建立了严格的测度集中论证： 其一是「全仿射跨度特征」（Full Affine Span Features），要求对任意固定状态 \(s\) 和任意单位方向 \(u \in \mathbb{S}^{p-1}\)，集合 \(\arg\max_{a \in A} u^\top g(s,a)\) 的参考测度 \(\mu\) 恒为零。当参数沿方向 \(u\) 径向发散（\(\|\theta\|_2 = r \to \infty\)）时，吉布斯测度严格集中于任意窄的极值超水平集 \(A_\varepsilon\)，通过利用相对熵在二元划分上的下界不等式，证明了： $\(\liminf_{r \to \infty} \mathrm{KL}(\pi_{ru}(\cdot|s) \mid \mu) \ge \lim_{\varepsilon \downarrow 0} (-\log \mu(A_\varepsilon)) = +\infty\)$ 其二是「单纯形特征」（Simplex Features），此时基函数取值落在概率单纯形 \(\Delta_{p-1}\) 内（即非负且和为 1）。尽管由于全 1 向量方向的存在（此时给参数加上全 1 向量的标量倍并不改变 Softmax 概率分布），KL 散度在 \(\mathbf{1}\) 方向退化，但在与 \(\mathbf{1}\) 正交的子空间内（即对 \(\theta_\perp\)），只要非零正交方向上的极值点测度为零，同样满足 \(\lim_{\|\theta_\perp\|_2 \to \infty} \mathrm{KL}(\pi_\theta(\cdot|s) \mid \mu) = \infty\)。反之，作者通过有限元帽函数（Hat-functions）反例（Example 3）精确计算指出：当最大值集合测度为正时，KL 散度极限收敛至有限常数 \(\log 3\)，充分说明了零测度极值假设是保证径向无界性不可或缺的尖锐条件。
3. Lyapunov 轨迹紧致性与曲率下界控制：限制参数游走范围并防止 FIM 退化
有了径向无界性，优化轨迹的紧致性得以直接确立。沿连续梯度流，值函数沿途单调递减：\(\frac{d}{dt} V_\tau^{\pi_{\theta_t}}(\rho) = -\|\nabla_\theta V_\tau^{\pi_{\theta_t}}(\rho)\|_2^2 \le 0\)。因此，水平集 \(\Omega_c = \{\theta \mid V_\tau^{\pi_\theta}(\rho) \le V_\tau^{\pi_{\theta_0}}(\rho)\}\) 是梯度流的正不变集。在全仿射特征下，\(V_\tau^{\pi_\theta}\) 的径向无界性直接限制了参数轨迹满足 \(\sup_{t \ge 0} \|\theta_t\|_2 \le C_\tau < \infty\)；在单纯形特征下，由于策略梯度关于基函数和满足 \(\mathbf{1}^\top \nabla_\theta V_\tau^{\pi_\theta}(\rho) = 0\)，参数在全 1 方向的分量严格守恒（\(\mathbf{1}^\top \theta_t = \mathbf{1}^\top \theta_0\)），正交分量又被 Lyapunov 势阱束缚，因此整条轨迹同样保持在紧集中。 参数的有界性进一步保证了对数策略密度在整个时域上的均匀有界：\(\sup_{t \ge 0} |\log \frac{d\pi_{\theta_t}}{d\mu}|_{B_b(S \times A)} \le R < \infty\)，从而动作概率密度具有正下界 \(\frac{d\pi_{\theta_t}}{d\mu} \ge e^{-R} > 0\)。对于全仿射特征，通过方差凹性引理将任意时刻的 FIM 与初值时刻绑定，得到 \(\int_S \lambda_{\min}(G^{\pi_{\theta_t}}(s)) d_\rho^{\pi^*}(ds) \ge \lambda > 0\)；对于单纯形特征，作者巧妙引入未中心化的特征自协方差矩阵 \(\int_A g(s,a) g(s,a)^\top \pi_{\theta_t}(da|s)\)，借助 Golub 特征值交错定理克服了 FIM 由于 \(\mathbf{1}\) 方向零特征值带来的奇异性，同样获得了均匀正下界 \(\lambda > 0\)。最终，非均匀常数被一致上界控制：\(\sup_{t \ge 0} C_R(\theta_t) \le C_{\theta_0} < \infty\)。
4. 全局指数衰减率闭合：Grönwall 引理导出 O(exp(-Ct)) 线性收敛
在非均匀常数被全轨迹压制在有限阈值 \(C_{\theta_0}\) 之后，次优差与自身时间导数构成了闭合的线性微分不等式： $\(\frac{d}{dt} [V_\tau^{\pi_{\theta_t}}(\rho) - V_\tau^{\pi^*}(\rho)] = -\|\nabla_\theta V_\tau^{\pi_{\theta_t}}(\rho)\|_2^2 \le -C_{\theta_0}^{-1} [V_\tau^{\pi_{\theta_t}}(\rho) - V_\tau^{\pi^*}(\rho)]\)$ 应用 Grönwall 引理，直接得出目标函数在连续时间下的全局指数衰减： $\(0 \le V_\tau^{\pi_{\theta_t}}(\rho) - V_\tau^{\pi^*}(\rho) \le e^{-t C_{\theta_0}^{-1}} [V_\tau^{\pi_{\theta_0}}(\rho) - V_\tau^{\pi^*}(\rho)]\)$ 其中收敛常数 \(C_{\theta_0}\) 显式给出了对温度参数 \(\tau\)、折扣因子 \(\gamma\)、测度漂移 \(| \frac{d d_\rho^{\pi^*}}{d\rho} |_{B_b(S)}\) 以及初始曲率下界 \(\lambda\) 的多项式与指数依赖关系，为连续空间下 Softmax 策略优化的全局收敛建立了第一份坚实的理论分析闭环。
损失函数 / 训练策略¶
连续时间下的优化动力学完全由熵正则化价值泛函诱导的负梯度场驱动： $\(\dot{\theta}_t = -\nabla_\theta V_\tau^{\pi_{\theta_t}}(\rho) = -\frac{1}{1-\gamma} \mathbb{E}_{s \sim d_\rho^{\pi_{\theta_t}}, a \sim \pi_{\theta_t}(\cdot|s)} \left[ \left( Q_\tau^{\pi_{\theta_t}}(s,a) + \tau \log \frac{d\pi_{\theta_t}}{d\mu}(a|s) \right) \nabla_\theta \log \frac{d\pi_{\theta_t}}{d\mu}(a|s) \right]\)$ 该连续梯度流对应于无偏估计下的批处理策略梯度算法（Policy Gradient with Exact Evaluations）。超参数 \(\tau > 0\) 控制熵正则化强度，不仅保证了贝尔曼定点算子的强压缩性与平滑性，亦在数学分析上通过 \(W = e^{-\hat{R}}\) 控制了负熵泛函关于 \(L^2(A,\mu)\) 密度的强凸系数（\(W\)-strong convexity），是整套非均匀 PŁ 不等式与曲率下界能够成立的底层核心超参。
实验关键数据¶
主实验¶
论文在理论推导之余，通过解析反例与典型特征基函数系统性验证了理论条件的充分性与必要性。下表总结了本文所考察的不同特征体系在连续与离散设定下的理论属性比较，清晰展现了本文理论相比于传统表格型与非正则化基线的质的飞跃：
| 方法 / 特征设定 | 空间适用性 | 依赖的关键假设 | PŁ 不等式类型 | 目标函数收敛速率 |
|---|---|---|---|---|
| 标准表格 Softmax PG (Agarwal et al., 2020) | 有限离散 \(S, A\) | 表格直接参数化 | 弱梯度占优 / 无 | 次线性 \(\mathcal{O}(1/t)\) |
| 表格熵正则化 Softmax PG (Mei et al., 2020) | 有限离散 \(S, A\) | 表格参数化 + \(\tau > 0\) | 离散非均匀 PŁ | 线性 \(\mathcal{O}(e^{-Ct})\) |
| 线性 LQR 策略梯度 (Fazel et al., 2018) | 连续状态动作 | 线性动力学 + 二次代价 | 均匀 PŁ | 线性 \(\mathcal{O}(e^{-Ct})\) |
| 三角函数基 (Example 1, 本文) | 紧致连续 \(S, A\) | 全仿射跨度 + \(Q_\tau^\pi\)-可实现性 | 连续非均匀 PŁ (FIM) | 全局线性 \(\mathcal{O}(e^{-C_{\theta_0}^{-1} t})\) |
| 伯恩斯坦多项式基 (Example 2, 本文) | 紧致连续 \(S, A\) | 单纯形特征 + \(Q_\tau^\pi\)-可实现性 | 连续非均匀 PŁ (未中心化) | 全局线性 \(\mathcal{O}(e^{-C_{\theta_0}^{-1} t})\) |
| 有限元帽函数基 (Example 3, 本文) | 连续动作区间 | 极值集测度正 (\(\mu(\mathcal{A}_\theta) > 0\)) | 径向无界性失效 | 无法保证全局紧致性与线性收敛 |
消融实验¶
为了严格证明特征假设对 KL 散度径向无界性的决定性作用，论文对有限元分段线性帽函数（P1 单元）在不同逆温度参数 \(\beta\) 下的配分函数 \(Z_\beta\) 与相对熵 \(\mathrm{KL}(\pi_\beta \mid \mu)\) 进行了精确的渐近解析展开与消融分析。该分析实证了当基函数极值集测度大于零时，Lyapunov 方法的失效机理：
| 逆温度参数 \(\beta\) | 配分函数主要项 \(Z_\beta\) | 期望值项 \(\beta \mathbb{E}_{\pi_\beta}[f_\theta(a)]\) | 相对熵 \(\mathrm{KL}(\pi_\beta \mid \mu)\) | 渐近展开解析值 |
|---|---|---|---|---|
| \(\beta = 1.0\) | \(0.9061 \cdot e^1 / 3\) | \(0.8124\) | \(0.4812\) | 理论初段过渡态 |
| \(\beta = 5.0\) | \(1.0667 \cdot e^5 / 3\) | \(4.8000\) | \(0.7854\) | 逼近极值常数平原 |
| \(\beta = 10.0\) | \(1.0333 \cdot e^{10} / 3\) | \(9.9000\) | \(0.8986\) | \(\log 3 - 2/10 + \mathcal{O}(10^{-2}) \approx 0.8986\) |
| \(\beta = 50.0\) | \(1.0067 \cdot e^{50} / 3\) | \(49.9800\) | \(1.0586\) | \(\log 3 - 2/50 \approx 1.0586\) |
| \(\beta = 100.0\) | \(1.0033 \cdot e^{100} / 3\) | \(99.9900\) | \(1.0786\) | \(\log 3 - 2/100 \approx 1.0786\) |
| \(\beta \to \infty\) | \(\frac{e^\beta}{3} [1 + \frac{1}{\beta}]\) | \(\beta - \frac{1}{\beta} + \mathcal{O}(\beta^{-2})\) | \(\log 3 \approx 1.0986\) (有界常数) | 径向有界，发散性崩溃 |
关键发现¶
- 极值集测度为零是连续空间下收敛性的分水岭：当基函数的极大值集合测度为零（如三角傅里叶特征和伯恩斯坦多项式）时，吉布斯测度随参数模长增长会无界塌缩到单点，迫使相对熵发散至无穷大，从而为策略梯度动力学提供了天然的能量势垒；若极大值集合具有正测度（如帽函数具有平顶），吉布斯测度仅收敛为该平台上的均匀分布，相对熵停留在有限值 \(\log(1/\mu(\mathcal{A}_\theta))\)，Lyapunov 紧致性保证彻底失效。
- 单纯形基函数中全 1 向量的对称性消除：当特征向量在每一处均归一化为概率单纯形时，\(\mathbf{1}\) 恰好是费雪信息矩阵的平凡零特征向量，直接导致 FIM 恒奇异。作者证明了通过投影至正交子空间 \(\mathbf{1}^\perp\) 并利用未中心化协方差矩阵与特征值交错定理，可以在不损失梯度信息的前提下完全绕过这一代数退化。
亮点与洞察¶
- 将相对熵作为能量耗散 Lyapunov 函数的巧妙视角：在以往的策略优化理论中，相对熵仅被视为控制步长或平滑价值曲面的正则项；本文反其道而行之，利用其在连续测度集中下的径向无界性充当约束优化轨迹发散的紧致势阱，为处理非紧参数空间中的非凸流提供了通用分析范式。
- 成功跨越表格型到连续函数近似的理论鸿沟：克服了 Mei et al. (2020) 极度依赖表格单动作概率守恒这一局限，首次在对数线性策略参数化与连续状态-动作空间下确立了严密的全局线性收敛证明。
- 可推广的信息几何控制技巧：利用特征值交错定理建立 FIM 正交投影与未中心化协方差特征值之间下界映射的技术，可无缝迁移至自然策略梯度（NPG）、策略镜像下降（PMD）以及带线性特征表示的扩散策略理论分析中。
局限与展望¶
- 强依赖精确评估与无偏梯度流：当前结论建立在连续时间梯度流与精确期望评估之上，未涉及随机采样误差（Stochastic Policy Gradient）与离散步长欧拉离散化可能带来的离散化漂移。
- \(Q^\pi_\tau\)-可实现性假设的局限：如同多数强化学习基础理论，\(Q^\pi_\tau\)-可实现性要求特征空间能够无误差地拟合任意策略下的正则化动作价值函数（例如线性 MDP），在复杂非线性环境与深度神经网络参数化下往往存在模型偏差。
- 未来方向：作者指出未来可将此 Lyapunov 紧致性分析推广至带有函数逼近误差（Inexact / Misspecified Realizability）的近似线性收敛保证，以及研究具有紧致测度集中特性的非线性神经网络表征。
相关工作与启发¶
- vs Mei et al. (2020): 他们在离散有限表格 MDP 下利用单状态动作概率下界建立非均匀 PŁ 不等式，无法推广到特征耦合的连续空间；本文利用连续测度集中与 KL 散度径向无界性，将线性收敛保证拓展到一般状态和动作空间。
- vs Agarwal et al. (2020): 他们证明了有限空间未正则化 Softmax 策略梯度的 \(\mathcal{O}(1/t)\) 次线性收敛；本文利用熵正则化驱动的非均匀 PŁ 不等式，实现了指数级的 \(\mathcal{O}(e^{-Ct})\) 线性收敛加速。
- vs Cayci et al. (2024) & Kerimkulov et al. (2025): 他们分析了自然策略梯度（NPG）或 Fisher-Rao 梯度流的线性收敛，其动力学由于预条件阵的存在天生能够保持密度有界；而本文解决的是缺乏预条件约束的标准一阶普通策略梯度流，技术难度显著更高。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次在连续状态-动作空间与对数线性 Softmax 策略下证明了普通策略梯度的全局线性收敛，Lyapunov 径向无界性构思极其精妙]
- 实验充分度: ⭐⭐⭐⭐☆ [理论推导完整严密，配有精确的解析反例与特征结构渐近消融分析，缺乏大规模实证环境运行但契合纯理论顶会论文定位]
- 写作质量: ⭐⭐⭐⭐⭐ [数学表达严谨无懈可击，引理逻辑环环相扣，从非均匀 PŁ 到测度集中再到曲率下界的推导层次极为分明]
- 价值: ⭐⭐⭐⭐⭐ [攻克了强化学习基础理论中从表格走向函数近似的关键开创性难题，为连续策略优化算法奠定了坚实的收敛性基石]