Inverting the Bellman Equation: From \(Q\)-Values to World Models¶

会议: NeurIPS 2026
arXiv: 2606.21173
论文: https://arxiv.org/abs/2606.21173
代码: https://github.com/aletcher/inverting-bellman
领域: 强化学习
关键词: 目标条件强化学习, 贝尔曼方程求逆, P-learning, 价值等价性, 世界模型抽取

一句话总结¶

针对无模型强化学习与基于模型强化学习的二元对立难题，本文提出通过反转贝尔曼方程从已训练的多目标 \(Q\) 值中直接抽取环境动力学转移核的 P-learning 算法，在理论上证明了多目标打破价值等价性的充分条件，并在连续控制任务中实现了零样本跨维度泛化规划。

研究背景与动机¶

在经典强化学习体系中，无模型（Model-Free, MF）与基于模型（Model-Based, MB）方法一直被视作相互割裂的两大流派。无模型方法绕开复杂的环境动力学转移核建模，通过与环境交互直接端到端拟合特定任务的策略或价值函数；但其学得的 \(Q\) 值通常与单一奖励函数高度绑定，既无法直接迁移到新目标，也难以解释智能体到底理解了物理世界的客观规律还是仅仅记住了状态的优劣取向。更关键的是，理论上存在不可消除的“价值等价性”（Value Equivalence）壁垒：在特定单任务奖励下，完全不同的环境转移核可能诱导出完全相同的最优价值函数与策略，导致单任务无模型智能体的内部表征在数学上无法唯一确定真实动力学。

然而随着目标条件强化学习（Goal-Conditioned RL, GCRL）与后继特征等技术的发展，智能体开始在大规模丰富多样的目标和奖励函数族下接受训练。这催生了一个深刻的基础理论问题：当智能体掌握了足够丰富的多目标价值函数时，其是否已经在其价值流形中隐式编码了客观环境的精确世界模型？过去的研究要么局限在严格线性的后继特征假设下，要么需要极高步数的多步任务能力，无法回答在实际单步目标与连续控制下，无模型智能体的参数内部究竟蕴含着多少关于物理世界的知识。

本文从这一根本矛盾切入，将多目标价值函数重新诠释为对未知转移分布的多维“贝尔曼探针”。如果固定已学得的多目标价值函数与奖励函数，将贝尔曼残差反向视作待学习世界模型参数的优化目标，就可以在数学上唯一逆解出环境转移核。核心 idea：将求解贝尔曼方程的反向问题形式化为 P-learning，利用多目标打破价值等价性，从固定的目标条件 \(Q\) 值中显式逆解出唯一的真实世界模型，证明高表现的无模型价值网络内部已无监督地编码了高精度的客观物理动力学。

方法详解¶

整体框架¶

P-learning 的核心范式是“固定价值函数、逆向优化动力学核”。在标准 \(Q\)-learning 中，转移核 \(P\) 保持客观固定，算法通过环境采样迭代更新参数 \(\theta\) 以满足贝尔曼最优方程 \(T^*(Q_\theta) = Q_\theta\)。而在 P-learning 中，输入是已训练智能体的目标条件价值函数集合 \((Q_g, \pi_g, r_g)_{g \in \mathcal{G}}\)，优化目标则是参数化世界模型 \(P_\phi: \mathcal{S} \times \mathcal{A} \to \Delta(\mathcal{S})\)。通过最小化关于模型参数 \(\phi\) 的贝尔曼残差，使候选动力学逼近与智能体内部主观信念完全自洽的定点。

整个流程包括三个核心阶段：首先从多目标智能体中读取固定的价值网络与策略分布，构建各目标下的贝尔曼探针矩阵或算子；随后依据状态空间类型采用表格伪逆解析解、约束线性规划或基于神经网络重参数化的残差梯度下降进行优化；最后将抽取得到的世界模型用于下游全新分布外任务的零样本规划与验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["固定目标条件智能体<br/>(Q_g, π_g, r_g)_{g∈G}"] --> B["构建贝尔曼探针矩阵<br/>M(s', g) = r(s', g) + γV_g(s')"]
    B --> C["P-learning 贝尔曼残差优化<br/>min_φ ||T_φ(Q) - Q||_d^2"]
    C --> D["反解环境动力学转移核<br/>离散伪逆投影 / 连续残差网络 P_φ"]
    D --> E["分布外全新目标规划<br/>角速度/复合目标零样本迁移"]

关键设计¶

1. P-learning 贝尔曼逆求解：将求价值函数转变为求动力学核 传统时序差分学习通过动态规划拟合标量价值，而 P-learning 将贝尔曼算子显式视作转移核 \(P_\phi\) 的泛函：\(T_{P_\phi}(Q)(s, a, g) = \mathbb{E}_{s' \sim P_\phi(s, a)} [r(s', g) + \gamma V(s', g)]\)。定义贝尔曼探针函数 \(M(s', g) := r(s', g) + \gamma V(s', g)\)，则贝尔曼一致性条件退化为对未知分布 \(P_\phi(s, a)\) 施加的矩匹配约束 \(\mathbb{E}_{s' \sim P_\phi(s, a)}[M(s', g)] = Q(s, a, g)\)。此时优化损失定义为静态监督学习目标 \(\mathcal{L}(\phi) = \frac{1}{2} \mathbb{E}_{(s, a, g) \sim d} [ (T_{P_\phi}(Q)(s, a, g) - Q(s, a, g))^2 ]\)。不同于标准 TD 学习由于目标网络随参数滑动导致的非平稳优化缺陷，P-learning 拥有严格平稳的目标函数，直接继承了标准随机梯度下降算法的渐进收敛性质。

2. 探测矩阵伪逆与打破价值等价性：多目标打破欠定性壁垒 在离散有限 MDP 场景下，设状态数 \(n = |\mathcal{S}|\)、目标数 \(L = |\mathcal{G}|\)，探针函数构成矩阵 \(M \in \mathbb{R}^{L \times n}\)，每个状态-动作对的贝尔曼方程成为线性方程组 \(M P(s, a) = Q(s, a)\)。当目标数量不足时，\(M\) 存在零空间，导致无穷多个转移模型产生完全相同的 \(Q\) 值（即经典价值等价性困境）。定理 1 严格证明，表格型 P-learning 迭代 \(P_{t+1}(s, a) = P_t(s, a) - \alpha M^\top (M P_t(s, a) - Q(s, a))\) 在步长 \(\alpha < 2/\sigma_{\max}^2(M)\) 下，收敛到全局唯一封闭解 \(P_\infty(s, a) = M^+ Q(s, a) + (I - M^+ M) P_0(s, a)\)，其中 \(M^+\) 为 Moore-Penrose 伪逆。当目标族张成状态空间（\(L \ge n\) 且 \(M\) 满列秩）时，投影算子 \(I - M^+ M = 0\)，初始猜测的影响完全消除，\(P_\infty\) 唯一收敛至真实动力学 \(P\)。对于确定性有限环境，仅需单个通用扰动目标（\(|G| \ge 1\)）即可实现列单射，通过贪心列匹配即可实现无偏精确恢复。

3. 连续空间残差动力学参数化：可微链式求导与局部-全局全变量泛化 在连续状态空间 \(\mathcal{S} \subseteq \mathbb{R}^d\) 中，定理 4 与定理 8 证明带终止条件的指示目标或高斯目标族具备点分离性（Point Separating）。实际建模中，将世界模型参数化为确定性残差多层感知机 \(P_\phi(s, a) = s + h_\phi(s, a)\)。梯度直接通过链式法则穿透下游价值网络与奖励函数进行反向传播：\(\nabla_\phi \mathcal{L}(\phi) = \delta_\phi(s, a, g) \nabla_\phi [r(P_\phi(s, a), g) + \gamma V_g(P_\phi(s, a))]\)。即使智能体在无模型训练阶段仅接收与末端执行器位置 \((x, y)\) 相关的稀疏指示奖励，由于物理转移在关节角与角速度空间中强耦合，P-learning 依然能精确迫使世界模型学会包括未在奖励中显式出现的角速度 \((\omega_1, \omega_2)\) 在内的全部潜变量动力学，实现了“局部奖励驱动全局动力学涌现”的现象。

损失函数 / 训练策略¶

对于通用随机性核，P-learning 采用双重采样构建对数似然无偏估计梯度：\(\nabla_\phi \mathcal{L}(\phi) = \mathbb{E}_{(s, a, g) \sim d, s_1', s_2' \sim P_\phi, a_1', a_2' \sim \pi} [\hat{\delta}_1 \hat{\delta}_2 \nabla_\phi \log P_\phi(s_2' | s, a)]\)，其中两次采样仅发生在模型内部前向传播中，无需与真实环境交互交互。在连续控制（Reacher 与 MountainCar）实验中，采用 \(\ell_1\) 范数贝尔曼残差损失，以 Adam 优化器配合学习率余弦/线性退火进行拟合。在有限网格世界中，采用 SciPy 约束线性规划（LP）单步求解概率单纯形上的投影解，或通过列匹配直接逆解后继状态。

实验关键数据¶

主实验¶

论文在 MuJoCo 连续控制基准 Reacher（4 目标）、MountainCar（4 目标）以及离散 FourRooms（68 状态）中进行世界模型抽取与分布外（OOD）下游规划验证。

| 环境类型 | 状态/动作维度 | 训练目标数 \(|G|\) | 抽取模型精度 (NMSE) | 原始 \(Q\) 值误差 (NMSE) | OOD 下游任务最优回报 \(R^\star\) | OOD 模型规划回报 \(R_{\text{WM}}\) | |---|---|---|---|---|---|---| | Reacher (Far Fingertip) | 6 维 / 9 动 | 4 | \(1.2 \times 10^{-4}\) | \(5.7 \times 10^{-1}\) | -1.16 ± 0.03 | -1.17 ± 0.03 | | Reacher (Target Angle) | 6 维 / 9 动 | 4 | \(1.2 \times 10^{-4}\) | \(5.7 \times 10^{-1}\) | -2.15 ± 0.04 | -2.18 ± 0.04 | | Reacher (Target Velocity) | 6 维 / 9 动 | 4 | \(1.2 \times 10^{-4}\) | \(5.7 \times 10^{-1}\) | -3.42 ± 0.05 | -3.46 ± 0.05 | | MountainCar (OOD Control) | 2 维 / 3 动 | 4 | \(6.7 \times 10^{-3}\) | - | - | 接近理论最优 | | FourRooms (确定性) | 68 状态 / 4 动 | 1 | \(0.0\) (精确恢复) | - | 理论最优 | 理论最优 | | FourRooms (局部风向随机) | 68 状态 / 4 动 | 4 | \(< 1.0 \times 10^{-3}\) | - | 理论最优 | 99% 最优回报 | | FourRooms (全局传送随机) | 68 状态 / 4 动 | 20 | \(< 1.0 \times 10^{-3}\) | - | 理论最优 | 99.9% 最优回报 |

消融实验¶

论文针对 Reacher 智能体开展了 42 种网络架构容量（深度 \(D \in \{1..6\}\)、宽度 \(W \in \{32..2048\}\)，共 420 次独立运行）的全面扫描，系统分析了无模型智能体能力与隐式世界模型精度的内在联系。

评估指标对 (Reacher 42 架构扫描)	Spearman 秩相关系数 \(\rho\) [95% CI]	Pearson 线性相关系数 \(r\) [95% CI]	核心结论分析
PQN Agent 回报 vs. 世界模型误差 (MSE)	-0.98 [-0.99, -0.95]	-0.82 [-0.88, -0.76]	智能体在原任务表现越好，其编码的隐式物理世界模型越精确
PQN Agent 回报 vs. OOD 规划回报	+0.95 [+0.89, +0.97]	+0.95 [+0.92, +0.97]	高性能无模型智能体天然蕴含极强的跨目标零样本规划能力
世界模型误差 (MSE) vs. OOD 规划回报	-0.96 [-0.98, -0.91]	-0.82 [-0.88, -0.77]	抽取动力学的物理精度直接决定了下游零样本控制的成败
位置目标模型 vs. 速度目标模型 (MountainCar)	NMSE = \(1.7 \times 10^{-4}\)	比各自对真实动力学误差小 42 倍	仅靠局部变量奖励驱动的不同智能体，秘密学到了极其同构的全状态物理模型

关键发现¶

低质量 \(Q\) 值蕴含超高精度模型：在 Reacher 中，\(Q\) 网络的归一化均方误差高达 \(0.57\)（仅学到粗糙的距离趋势），但反解出的转移模型误差低至 \(1.2 \times 10^{-4}\)。这表明价值流形的梯度结构比单点绝对数值更早且更纯粹地收敛到物理动力学。
跨维度隐式泛化能力：仅在末端位置 \((x, y)\) 上训练的智能体，抽取的动力学模型在角速度 \(\omega = (2, 2)\) 等正交变量目标上实现了近乎无损的最优控制（\(R_{\text{WM}} = -3.46\) vs \(R^\star = -3.42\)）。这种任务无法通过后继特征（Successor Features）的线性组合表征，验证了世界模型的本质涌现。
理论下界的大幅突破：随机 FourRooms 理论上限需要 \(|G| = |S| = 68\) 个目标以确保满秩，但在实际实验中，仅用 20 个目标（占状态空间不足 30%）即可将下游规划回报拉升至最优策略的 99.9% 以上。

亮点与洞察¶

哲学层面的概念反转：打破了三十年来无模型“只知得失、不识世界”的刻板教条，指出只要任务集具有足够的几何多样性，无模型学习本质上就是一种隐式的模型构建过程。
双重采样的免费性：传统基于时序差分的贝尔曼残差优化需要向真实环境进行两次独立物理采样以获得无偏估计，导致极其昂贵；而 P-learning 的双重采样完全发生在候选参数化模型内部，计算开销仅等价于一次轻量的神经网络前向推理。
可解释性与安全审计新范式：传统基于注意力的可解释性难以衡量智能体对物理规律的认知偏差，P-learning 可以无侵入式地抽取黑盒 RL 智能体内部认定的“主观物理定律”，从而在机器人部署前排查出危险的动力学幻觉。

局限与展望¶

理论假设的连续随机拓展：论文在连续状态空间下的满秩与点分离性证明主要涵盖了确定性转移核或无条件策略，针对具有高度连续随机性的完全一般化 GCRL 理论闭环仍留作猜想。
部分可观测（POMDP）暂未覆盖：方法高度依赖全状态马尔可夫性质，在历史依赖或高维隐空间视觉感知下的可逆贝尔曼公式尚未建立。
大规模极高维状态空间的伸缩性：虽然在 JAX 模拟器和百节点网格中表现惊艳，但在亿级参数端到端视觉控制（如真实机械臂像素级输入）中直接以解析或无约束网络拟合反问题仍面临计算伸缩性挑战。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆性地提出了贝尔曼方程的代数求逆框架，概念优雅且深刻。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾离散随机理论验证与连续物理引擎控制，更有 42 架构扫描证实强相关性。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密规范，图表清晰，论证层层递进。
价值: ⭐⭐⭐⭐⭐ 架起了无模型、基于模型与目标条件强化的桥梁，对表征学习与智能体审计具有深远意义。