Bellman Residual Minimization for Control: Geometry, Stationarity, and Convergence¶

会议: NeurIPS 2026
arXiv: 2601.18840
OpenReview: https://openreview.net/forum?id=QblP84vh1D
领域: 强化学习
关键词: 强化学习, 贝尔曼残差最小化, 策略优化, 倾斜投影, 非光滑优化

一句话总结¶

本文首次为策略优化控制任务下的贝尔曼残差最小化（CBR与平滑化SCBR）建立了系统的几何结构、Clarke次微分与驻点收敛性理论，证明了其驻点等价于倾斜投影控制贝尔曼方程，并在函数近似下有效规避了传统投影值迭代的发散问题。

研究背景与动机¶

马尔可夫决策过程（MDP）的经典求解范式长期依赖基于动态规划的值迭代或策略迭代，其理论基石是贝尔曼最优算子的 $\gamma$-压缩性。然而，当面临大状态空间并引入函数近似（如线性函数近似或深度神经网络）时，投影算子与贝尔曼算子的复合映射往往丧失压缩性质，导致投影值迭代（P-VI）出现振荡甚至发散（即著名的强化学习“致命三要素”困境）。另一条平行路径是直接最小化均方贝尔曼残差（Bellman Residual Minimization），该方法将定点问题转化为确定性的数值优化问题，在函数近似下天然具备全局能量下界与更好的数值稳定性。

遗憾的是，过去的理论探索绝大多数局限于策略评估（Policy Evaluation）阶段。在策略评估中，贝尔曼残差目标关于近似参数是强凸二次函数，几何形态良好且全局最优解易于表征。一旦跨越到策略优化与控制问题，贝尔曼算子中必须引入非线性的动作最大化算子 $\max_{a\in\mathcal{A}}$，使得控制贝尔曼残差（CBR）目标函数高度非凸且非光滑（在贪心动作发生切换处存在不可微折面）。学术界长期缺乏对这一非光滑非凸控制目标的严格数学刻画，导致人们既不清楚其极小值点与最优策略的理论距离，也缺乏可证明收敛的梯度类优化算法。

针对这一理论空白，本文从变分分析与微分几何切入，系统探索了控制贝尔曼残差目标的内在结构，并进一步结合温度参数平滑构建了软控制贝尔曼残差（SCBR）。本文的核心 idea 是：证明非光滑控制贝尔曼残差目标具备分段二次与局部 Lipschitz 几何结构，刻画其 Clarke 次微分并证明广义梯度下降渐近收敛至满足“倾斜投影控制贝尔曼方程”的驻点；同时证明平滑化 SCBR 满足局部 PL 条件且享有线性收敛速度，彻底解除了传统投影动态规划对算子压缩性的依赖。

方法详解¶

整体框架¶

本文构建了覆盖“非平滑硬控制（CBR）”与“平滑软控制（SCBR）”的双层理论与算法体系。对于引入线性函数近似 $Q_\theta = \Phi\theta$ 的控制问题，CBR 直接将参数空间依据各状态下的贪心策略动作划分为有限个凸多面体锥，在每个锥内部目标函数退化为标准的二次型，从而形成分段二次几何。通过建立 Clarke 次微分，算法采用最小范数次梯度与 Armijo 回溯线搜索进行下降。为了获得连续可微性质，SCBR 进一步引入 Boltzmann 软化算子 $F_\lambda$，利用 Log-Sum-Exp 平滑替换 $\max$ 算子，进而允许执行标准梯度下降并建立更强收敛保证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["MDP 环境模型与特征矩阵 $\Phi$"] --> B["CBR / SCBR 目标函数构建"]
    B --> C["几何分析与次微分表征"]
    C --> D["倾斜投影控制贝尔曼方程 (OP-CBE) 驻点刻画"]
    D --> E["广义梯度下降 / 经典梯度下降优化"]
    E --> F["近似最优价值函数与贪心策略导出"]

关键设计¶

1. 分段二次锥覆盖与 Clarke 次微分表征：打通非光滑非凸优化的微积分基础

硬控制贝尔曼残差目标定义为 $f(\theta) = \frac{1}{2}\|T(\Phi\theta) - \Phi\theta\|_2^2$。由于 $\max$ 算子的存在，参数空间 $\mathbb{R}^m$ 被划分为对应不同确定性策略 $\pi \in \Theta$ 的有限覆盖族 $S_\pi := \{\theta \in \mathbb{R}^m : \pi(s) \in \arg\max_{a\in\mathcal{A}} Q_\theta(s,a), \forall s\}$。本文证明每个 $S_\pi$ 均为半空间的交集且是凸锥，在每个单策略活跃区域内 $f(\theta)$ 严格等价于一个光滑二次型。在不同多面体锥的交界面上，虽然经典梯度不存在，但 $f$ 处处局部 Lipschitz。通过引入有效策略集 $\Lambda_\Phi(\theta) := \{\pi \in \Theta : \theta \in \overline{\operatorname{int}(S_\pi)}\}$，本文推导出精确闭式的 Clarke 次微分： $$ \partial f(\theta) = \left{ \Phi^\top (\gamma P \Pi^\beta - I)^\top (T Q_\theta - Q_\theta) : \beta \in \operatorname{conv}(\Lambda_\Phi(\theta)) \right} $$ 其中 $\Pi^\beta$ 为策略 $\beta$ 对应的动作转移矩阵。该式表明，交界面处的次梯度集合由相邻活跃区域线性投影项的凸组合严密张成，为非光滑下降算法的设计奠定了坚实基础。

2. 倾斜投影控制贝尔曼方程（OP-CBE）：将驻点条件升华为斜投影定点几何

在传统值评估中，残差极小化与时序差分学习可被解释为不同几何投影下的正交或斜投影。本文将该观点首次推广到控制问题，证明任何使得 $0 \in \partial f(\bar{\theta})$ 的 Clarke 驻点 $\bar{\theta}$，必定存在 $\bar{\beta} \in \operatorname{conv}(\Lambda_\Phi(\bar{\theta}))$，使得残差向量正交于特定子空间，即 $\mathcal{R}((\gamma P \Pi^{\bar{\beta}} - I)\Phi) \bot (T Q_{\bar{\theta}} - Q_{\bar{\theta}})$。在斜投影正则性假设下，定义斜投影算子 $\Gamma_{\Phi|\Psi_{\bar{\beta}}}(x) = \Phi (\Psi_{\bar{\beta}}^\top \Phi)^{-1} \Psi_{\bar{\beta}}^\top x$（其中 $\Psi_{\bar{\beta}} = (\gamma P \Pi^{\bar{\beta}} - I)\Phi$），该驻点精确满足： $$ Q_{\bar{\theta}} = \Gamma_{\Phi|\Psi_{\bar{\beta}}} T Q_{\bar{\theta}} $$ 这一几何结论极为深刻：它指明 CBR 的所有驻点都是某种倾斜投影贝尔曼算子的定点。与传统要求复合算子 $\Gamma_{\Phi|\Phi} T$ 必须具有收缩性（往往不成立）的投影值迭代不同，斜投影定点总是客观存在于驻点处，解释了为什么即使在投影算子非压缩的情形下，优化算法仍能平稳求得近似解。

3. 软控制平滑化（SCBR）与 Polyak–Łojasiewicz 几何：驱动指数收敛的软化机制

为了摆脱非光滑优化中次梯度计算的复杂性，SCBR 采用平滑参数 $\lambda > 0$ 的软贝尔曼算子 $(F_\lambda Q)(s,a) := R(s,a) + \gamma \sum_{s'} P(s'|s,a) \lambda \ln \sum_u \exp(Q(s',u)/\lambda)$ 构建残差。此时目标函数跃升为 $C^\infty$ 无穷阶光滑函数，其梯度具有简洁形式 $\nabla_\theta f(\theta) = \Phi^\top (\gamma P \Pi^{\pi_\theta} - I)^\top (F_\lambda(\Phi\theta) - \Phi\theta)$，其中 $\pi_\theta$ 为对应的 Boltzmann 策略。更重要的是，在表格化设定下，本文严格证明了虽然 SCBR 是非凸函数，但其不仅存在唯一的平滑驻点（且精确等于软贝尔曼方程的唯一解 $Q_\lambda^*$），而且在任意紧水平集上恒满足 Polyak–Łojasiewicz (PL) 条件： $$ f(Q) - f(Q_\lambda^*) \leq L(C) |\nabla_Q f(Q)|_2^2 $$ 得益于 PL 几何，采用标准固定步长的梯度下降法无需凸性假设，即可在非凸流形上达成全局线性（指数）收敛速度。

损失函数 / 训练策略¶

对于 CBR 优化，采用最小范数次梯度选择配合 Armijo 回溯线搜索： $$ \theta_{k+1} = \theta_{k} - \alpha_k g_k, \quad g_k = \operatorname{Proj}_{\partial f(\theta_k)}(0) $$ 对于 SCBR 优化，直接采用标准平滑梯度更新：$\theta_{k+1} = \theta_k - \alpha \nabla_\theta f(\theta_k)$。当步长满足 $0 < \alpha < 2/L_\alpha$ 时，序列保证满足 $\lim_{k\to\infty} \|\nabla_\theta f(\theta_k)\|_2 = 0$。

当拓展至深度强化学习（Deep RL）非线性函数近似时，直接计算均方误差会遭遇双重采样难题（Double-Sampling Issue）。为此，文章设计了无偏近似解耦损失： $$ L(\theta) := \frac{1}{2} \sum_{(s,a,r,\bar{r},s',\bar{s}') \in B} \operatorname{no_grad}[\delta(s,a,\bar{r},\bar{s}';\theta)] \times \delta(s,a,r,s';\theta) $$ 该损失利用同一转移状态对 $(s,a)$ 下采集的两个独立后继状态样本 $s'$ 与 $\bar{s}'$，并通过 no_grad 截断一侧梯度流动，从而在不需要固定目标网络（Target Network）延迟同步的前提下，消除了经验梯度偏差。

实验关键数据¶

主实验¶

论文在随机生成的非压缩特征表示环境（Gym 8x8 FrozenLake-v1，状态动作空间 $|S\times A|=256$，特征维度 $m=120$）中对比了 SCBR 梯度下降法与传统投影值迭代（P-VI）的收敛稳定性与生成策略成功率。

环境与测试指标	传统投影值迭代 (P-VI)	本文方法 (SCBR 梯度下降)	效果差异 / 提升
FrozenLake-v1 评估误差 $\\|Q^* - Q_k\\|_\infty$	严重振荡并持续发散 ($> 10^1$)	单调稳定下降收敛至微小稳态常数	彻底解决非压缩特征引起的算法发散
FrozenLake-v1 策略成功率 (2000 episodes)	0.0%	20.7%	产生具备实际控制效能的可用策略 (+20.7%)
CartPole-v1 (Deep RL 平均回报)	剧烈震荡 (峰值波动大)	平稳攀升至 500 满分稳定维持	学习曲线平滑，方差显著降低
Acrobot-v1 (Deep RL 收敛步数)	约需 $8\times 10^4$ 步收敛	约 $5\times 10^4$ 步快速达标	收敛效率更高且方差更可控

消融实验¶

为了验证软化温度参数 $\lambda$、非光滑次梯度选择机制以及双重采样对算法行为的敏感性，研究在理论验证用例与控制基准上进行了系统消融与结构对比。

配置机制	收敛性表现	稳态残差值 / 性质	说明
CBR 最小范数次梯度 + Armijo	弱收敛（所有极限点均为驻点）	$f(\bar{\theta}) = 0.50$ (单状态双动作反例)	正确停留在 Clarke 驻点，但受非光滑限制收敛速度较慢
CBR 任意次梯度更新	不收敛 / 陷入闭合循环	无法评估	证实非光滑非凸场景下选取最小范数投影梯度的绝对必要性
SCBR 平滑梯度 ($\lambda = 0.5$)	强收敛（序列范数直达零）	收敛至对应驻点 ($\theta^* = \pm 0.2897$ 或 $0$)	平滑化大幅加速优化过程，验证多驻点共存的对称几何
Deep RL w/ 双重采样解耦	稳定学习，梯度无偏	曲线平稳爬升	成功消除二阶采样带来的系统性偏差
Deep RL w/ 单采样直接反传	梯度严重偏置，策略退化	回报崩溃至随机游走	证明双重采样机制在非线性残差优化中的结构必要性

关键发现¶

传统投影值迭代在函数近似下极度脆弱，只要复合算子 $\Gamma_{\Phi|\Phi}T$ 的谱半径超过 1 便会发生确定性发散；而 SCBR 与 CBR 将问题显式铸造成优化问题，只要沿着次梯度或平滑梯度前进，序列误差便受能量泛函严格约束，保持优异的单调下降性质。
软化参数 $\lambda$ 在平滑度和逼近精度之间形成了清晰的折元：增大 $\lambda$ 使得损失曲面更加光滑且提升全局曲率，但其对应的不动点 $Q_\lambda^*$ 与最优硬价值 $Q^*$ 的理论偏差会有所放宽。
在深度强化学习扩展中，SCBR 在低维连续控制任务（CartPole、Acrobot）上展现出甚至优于经典 DQN 的超平稳表现；但在部分稀疏奖励任务（MountainCar、LunarLander）中因探索信号微弱和双重采样限制，性能不及带有启发式经验回放与目标延迟机制的 DQN。

亮点与洞察¶

首次打通了非光滑控制贝尔曼残差的 Clarke 次微积分结构，推导出由相邻策略凸组合闭式表达的次微分公式，填补了控制理论在此处长达数十年的分析空白。
提出了基于斜投影的控制贝尔曼方程（OP-CBE），突破了过去将残差驻点仅视为经验极值点的局限，在几何流形上阐明了驻点即为斜投影算子的自洽不动点。
在表格化非凸领域证明了全局唯一驻点与 Polyak–Łojasiewicz (PL) 几何，使得非凸优化中极其罕见的“无鞍点/无伪局部极小”与“全局指数线性收敛”成为可能。

局限与展望¶

算法理论依赖于确定性模型或生成模型（Generative Model）以克服双重采样难题，在纯无模型（Model-Free）单轨迹在线交互设置下难以直接部署。
斜投影正则性假设（Assumption 1）要求 $\Psi_{\bar{\beta}}^\top \Phi$ 非奇异，虽然在通用特征矩阵下通常成立，但在特定退化特征分布下存在奇异风险。
未来有价值的研究方向包括：探索无需显式双重采样的解耦梯度近似估计器，以及将 SCBR 框架扩展到连续动作空间的 Actor-Critic 类算法中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统攻克控制贝尔曼残差的非光滑非凸几何、次微分与驻点收敛理论。
实验充分度: ⭐⭐⭐⭐ 包含严格解析反例、数值模拟、FrozenLake 非压缩对比及初步深度强化学习探索。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨精炼，符号系统规范统一，几何直观与物理意义阐释清晰。
价值: ⭐⭐⭐⭐⭐ 为强化学习在函数近似下的稳定控制优化提供了坚实的优化理论基石。

环境与测试指标	传统投影值迭代 (P-VI)	本文方法 (SCBR 梯度下降)	效果差异 / 提升
FrozenLake-v1 评估误差 \(\\|Q^* - Q_k\\|_\infty\)	严重振荡并持续发散 (\(> 10^1\))	单调稳定下降收敛至微小稳态常数	彻底解决非压缩特征引起的算法发散
FrozenLake-v1 策略成功率 (2000 episodes)	0.0%	20.7%	产生具备实际控制效能的可用策略 (+20.7%)
CartPole-v1 (Deep RL 平均回报)	剧烈震荡 (峰值波动大)	平稳攀升至 500 满分稳定维持	学习曲线平滑，方差显著降低
Acrobot-v1 (Deep RL 收敛步数)	约需 \(8\times 10^4\) 步收敛	约 \(5\times 10^4\) 步快速达标	收敛效率更高且方差更可控

配置机制	收敛性表现	稳态残差值 / 性质	说明
CBR 最小范数次梯度 + Armijo	弱收敛（所有极限点均为驻点）	\(f(\bar{\theta}) = 0.50\) (单状态双动作反例)	正确停留在 Clarke 驻点，但受非光滑限制收敛速度较慢
CBR 任意次梯度更新	不收敛 / 陷入闭合循环	无法评估	证实非光滑非凸场景下选取最小范数投影梯度的绝对必要性
SCBR 平滑梯度 (\(\lambda = 0.5\))	强收敛（序列范数直达零）	收敛至对应驻点 (\(\theta^* = \pm 0.2897\) 或 \(0\))	平滑化大幅加速优化过程，验证多驻点共存的对称几何
Deep RL w/ 双重采样解耦	稳定学习，梯度无偏	曲线平稳爬升	成功消除二阶采样带来的系统性偏差
Deep RL w/ 单采样直接反传	梯度严重偏置，策略退化	回报崩溃至随机游走	证明双重采样机制在非线性残差优化中的结构必要性