Emergence of Physical Intelligence via Controllable Information Production¶

会议: NeurIPS 2026
arXiv: 2601.22449
论文: arXiv
领域: 机器人
关键词: 内在动机, 可控信息产生, 物理智能, 最优控制, 李雅普诺夫指数

一句话总结¶

本文提出基于开环正李雅普诺夫指数之和的可控信息产生（CIP）内在动机目标，直接从最优控制的值函数曲率中导出无先验物理技能发现机制，在无外在奖励下驱动复杂非线性欠驱动系统自主涌现出翻正与直立平衡等关键物理智能行为。

研究背景与动机¶

机器人学习在控制与技能获取上取得了显著的经验成功，但严重依赖于人工精心设计的奖励函数或操作员演示数据。这不仅在设计层面引入了强烈的先验偏差，限制了真正新颖行为的自主发现，而且在许多高度复杂的物理任务中，人类自身往往并不掌握解析解或最优控制策略。无监督的内在动机（Intrinsic Motivation, IM）提供了一种无需外部预设目标的替代范式，使智能体能够仅通过与动力系统的自主交互涌现出智能行为。

然而，现存的内在动机方法存在三个根本性的结构缺陷：首先，绝大多数方法构建在互信息（Mutual Information）、好奇心预测误差或状态空间熵覆盖率等代理指标上，这些指标充其量只是底层动力系统复杂性、混沌性或稳定性的粗糙代演，无法直接映射为有意义的物理控制能力；其次，互信息范式必须依赖设计者显式选定感知与动作的随机变量，引入了强烈的人工信息接口偏置；第三，现存启发式内在动机与最优控制（Optimal Control, OC）理论缺乏严格的数学联系，无法解释智能体为何能通过内在驱动达到动力学受控状态。

针对上述瓶颈，本文另辟蹊径，直接从动力系统的不变量理论出发，将智能体在轨迹上诱导的开环正李雅普诺夫指数（Lyapunov Exponents, LE）之和定义为信息产生率。核心 idea：从最优控制值函数的 Hessian 矩阵曲率中自然导出可控信息产生（CIP），证明其构成闭环信息产生（柯尔莫哥洛夫-辛奈熵）的严格上界，并以此作为内在动机驱使智能体自发寻找并稳固位于“混沌边缘”的高能动性关键物理状态。

方法详解¶

整体框架¶

CIP 的整体架构确立在连续动力系统的局部摄动传播与最优控制值函数几何曲率的深度对齐之上。给定非线性离散动力系统 $x_{t+1} = f(x_t, u_t)$，智能体执行控制动作序列诱导标称轨迹。CIP 并不衡量离散随机变量的互信息，而是度量系统沿轨迹的切空间扩张率。

整个机制由以下阶段构成：首先将最优控制策略解析解解耦为外在漂移项（由值函数梯度主导，与外在目标误差耦合）和内在扰动调节项（由值函数 Hessian 主导，与目标完全解耦）；其次通过拆解离散代数黎卡提方程（DARE），构建开环与闭环摄动演化的两组辅助逆向递推；进而证明开环累积敏感度矩阵的渐进对数行列式严格等于开环正李雅普诺夫指数之和 $\Lambda^+(f^{\mathbf{ol}})$，即定义为 CIP；最后借助矩阵行列式恒等式将指数级发散的敏感度递推转化为标量对数域中的稳定逆向递归，并嵌入采样模型预测控制（iCEM-MPC）中实现无监督物理技能自主发现。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["非线性动力学输入与轨迹摄动<br/>系统状态 x 与控制序列 u"] --> B["内在-外在策略正交解耦<br/>分离目标漂移与内在扰动反馈"]
    B --> C["值函数 Hessian 谱分解<br/>建立闭环与开环辅助递推"]
    C --> D["可控信息产生边界确立<br/>开环正 LE 和作为闭环熵上界"]
    D --> E["对数行列式逆向稳定估计<br/>Woodbury 逆矩阵化解数值发散"]
    E --> F["基于 iCEM 的无监督 MPC 控制<br/>最大化 CIP 涌现倒立/翻正平衡"]

关键设计¶

1. 内在-外在策略正交解耦：揭示值函数几何曲率与目标无关的动力学本质

传统最优控制理论通常将值函数（Value Function）的二阶 Hessian 矩阵 $V_{xx}^\pi$ 仅视为求解线性二次型调节器（LQR）增益的中间计算工具。本文通过对二次型代价函数 $J(x_s, u_s) = \frac{1}{2} \sum_{t=s}^T e_t^\top c_{xx_t} e_t + \frac{1}{2} \sum_{t=s}^{T-1} u_t^\top c_{uu_t} u_t$（其中 $e_t = x_t - g_t$ 为目标跟踪误差）沿标称轨迹的一阶摄动敏感度展开，证明了最优局部反馈策略 $\pi(x_s)$ 必然正交分解为前馈漂移项 $d_s$ 与状态反馈项 $\pi_{x_s}$： $$d_s = -(c_{uu_s} + f_{u_s}^\top V_{xx_{s+1}}^\pi f_{u_s})^{-1} (c_{uu_s} \bar{u}_s + f_{u_s}^\top V_{x_{s+1}}^\pi), \quad \pi_{x_s} = -(c_{uu_s} + f_{u_s}^\top V_{xx_{s+1}}^\pi f_{u_s})^{-1} f_{u_s}^\top V_{xx_{s+1}}^\pi f_{x_s}$$ 该推导直接揭示了根本机制：包含值函数一阶梯度 $V_x^\pi$ 的前馈项 $d_s$ 显式依赖于目标位置 $g_t$，属于外在任务驱动的漂移分量；而反馈项雅可比矩阵 $\pi_{x_s}$ 仅依赖于值函数 Hessian 矩阵 $V_{xx}^\pi$，完全不包含目标 $g_t$。这意味着值函数曲率天然编码了与外部目标完全无关的系统内在扰动衰减属性。

2. 值函数 Hessian 矩阵拆解与开环/闭环信息产生率分离

为了从值函数曲率中提取物理系统纯粹的信息动力学特征，本文分析了离散时间代数黎卡提方程（DARE）的逆向演化结构：$V_{xx_t}^\pi = c_{xx_t} + f_{x_t}^\top V_{xx_{t+1}}^\pi f_{x_t} - f_{x_t}^\top V_{xx_{t+1}}^\pi f_{u_t}(c_{uu_t} + f_{u_t}^\top V_{xx_{t+1}}^\pi f_{u_t})^{-1} f_{u_t}^\top V_{xx_{t+1}}^\pi f_{x_t}$。通过系统性地剥离控制项与代价权重，构造出两个辅助逆向递推矩阵 $X_t$ 和 $Y_t$： $$X_t = c_{xx_t} + (f_{x_t} + f_{u_t}\pi_{x_t})^\top X_{t+1}(f_{x_t} + f_{u_t}\pi_{x_t}), \quad Y_t = c_{xx_t} + f_{x_t}^\top Y_{t+1} f_{x_t}$$ 其中 $X_t$ 追踪闭环动力学总导数的敏感度累积，而 $Y_t$ 剥离了全部控制响应反馈项 $\pi_{x_t}$，专门度量系统不受调控时的开环自然发散特性。论文运用乘法各态历经定理（Oseledets 定理）与外尔不等式严格证明，对于任意正定且有界的状态代价权重矩阵 $c_{xx_t}$，时间平均的对数行列式渐进增长率具有权重不变性： $$\lim_{T \to \infty} \frac{1}{2T} \ln\det X_0 = \Lambda^+(f^{\mathbf{cl}}) = h_{\text{ks}}(f^{\mathbf{cl}}), \quad \lim_{T \to \infty} \frac{1}{2T} \ln\det Y_0 = \Lambda^+(f^{\mathbf{ol}}) = \text{CIP}$$ 这证明了开环递推的渐进增长率完全收敛到未受控开环系统的正李雅普诺夫指数之和 $\Lambda^+(f^{\mathbf{ol}})$，且因 Loewner 序偏序关系 $X_0 \preccurlyeq V_{xx_0}^\pi \preccurlyeq Y_0$，得出关键不等式 $h_{\text{ks}}(f^{\mathbf{cl}}) \le \text{CIP}$。最优控制器正是在通过反馈抵消开环不稳定性；最大化开环信息产生 CIP，本质上是在驱动智能体寻找开环最为敏感、闭环可控潜力最大的关键物理平衡区。

3. 对数行列式域递归与逆矩阵下溢的数值稳定估计器

在实际高维非线性系统中直接计算正李雅普诺夫指数之和面临严重挑战：经典 QR 分解重正化方法计算开销大且必须求解全谱后手动截断负指数，而在有限时间步上直接迭代 $Y_t = \mathbf{I} + f_{x_t}^\top Y_{t+1} f_{x_t}$ 会由于正特征值的存在而以指数速率发散，导致数值溢出（Overflow）。本文利用代数恒等式将敏感度递推转移至逆矩阵与对数行列式域进行递推计算：设 $c_{xx_t} = \mathbf{I}$，令 $Z_t = Y_t^{-1}$，利用 Woodbury 逆矩阵恒等式与 Sylvester 行列式定理，将对数行列式演化直接分解为增量计算： $$\ln\det Y_t = \ln\det Y_{t+1} + \ln\det (\mathbf{I} + f_{x_t} f_{x_t}^\top - f_{x_t} (\mathbf{I} + Y_{t+1}^{-1})^{-1} f_{x_t}^\top)$$ 在不稳定的发散流形方向上，$Y_t$ 的特征值呈指数级急剧增大，但在其逆矩阵 $Y_t^{-1}$ 中这些方向自然安全地下溢（Underflow）归零，避免了浮点溢出崩溃，同时天然消除了负李雅普诺夫指数对信息产生率的干扰。该估计器无需 QR 分解即可直接、精确跟踪正 LE 累加和，计算复杂度随维度扩展展现出优异的可扩展性。

损失函数 / 训练策略¶

在探索与技能发现阶段，智能体不需要任何外部任务奖励，仅采用基于改进交叉熵方法（iCEM）的无监督采样模型预测控制（MPC）。在当前状态 $x$，规划器在有限时间跨度 $T$ 内优化控制序列 $\mathbf{u}_{0:T-1} = \{u_0, \ldots, u_{T-1}\}$： $$\mathbf{u}_{0:T-1}^* = \arg\max_{\mathbf{u}_{0:T-1}} \mathcal{C}(x, \mathbf{u}_{0:T-1}) - \frac{\eta}{T} \|\mathbf{u}_{0:T-1}\|^2$$ 其中 $\mathcal{C}(x, \mathbf{u}_{0:T-1}) \approx \frac{1}{2T} \ln\det Y_0$ 为由稳定递归计算的有限时域开环信息产生近似值，$\eta \ge 0$ 为控制能量正则化惩罚因子。求解出最优序列后，智能体仅向环境执行第一步动作 $u_0^*$，并在下一时间步闭环重复滚动优化，直至收敛于 CIP 极大值点。

实验关键数据¶

主实验¶

实验在 MuJoCo-MJX 物理仿真引擎构建的四种不同动力学复杂度的基准环境（Cart Pole 倒立摆、Double Pendulum 双摆、Triple Pendulum 三摆、以及平面仿人挂吊 Gibbon 系统）中进行。所有系统均严格从完全下垂挂起（downright hanging，归一化高度 0.0）初始姿态启动，考察智能体能否仅依靠内在动机自发实现摆起并稳定在直立高耸构型（upright，归一化高度 1.0）。对比基线涵盖两类：具备真实动力学先验的模型规划方法（Empowerment、基于 MPC 粒子熵的 APT）与无监督强化学习方法（DIAYN、DADS、SMM、ICM）。

动力学系统	状态/控制属性	CIP (本文)	Empowerment	APT (MPC)	DIAYN	DADS	SMM	ICM
Cart Pole	欠驱动 / 1 被动关节	0.9996	0.9996	0.5488	0.0221	0.0684	0.6171	0.0005
Double Pendulum	欠驱动混沌 / 1 被动关节	0.9913	0.5433	0.4503	0.2339	0.0107	0.0112	0.0016
Triple Pendulum	全驱动高维强混沌 / 3 关节	0.9931	0.3430	0.4622	0.4865	0.0608	0.2513	0.0069
Gibbon (仿人挂吊)	高维欠驱动 / 双足固定点	0.9319	0.3988	0.2394	0.4649	0.1430	0.4458	0.5122

注：表中数值为轨迹最后 10% 时间步的末端平均高度（均值，10 个随机种子），高度按 [0.0, 1.0] 极值归一化，1.0 代表完全直立倒倒构型。

消融实验¶

为了验证估计器的数学精确性与高维可扩展性，作者在标准连续混沌系统 Lorenz-96（强迫项 $F=8$）上将本文递归估计器与经典 QR 分解正李雅普诺夫指数估算基准进行不同状态空间维度 $N \in [10, 100]$ 的跨度对标：

状态维度 $N$	本文递归估计器 $\Lambda^+$	经典 QR 谱基线 $\Lambda^+$	相对误差 / 吻合度	说明
$N = 10$	1.98 ± 0.01	1.98 ± 0.01	0.0%	低维混沌基准对齐
$N = 25$	6.27 ± 0.02	6.26 ± 0.02	+0.16%	中等维度高精度逼近
$N = 50$	12.80 ± 0.04	12.80 ± 0.04	0.0%	强混沌多尺度无漂移
$N = 75$	19.26 ± 0.02	19.25 ± 0.02	+0.05%	渐进扩张率保持稳定
$N = 100$	25.70 ± 0.03	25.69 ± 0.03	+0.04%	极高维直接输出正和

关键发现¶

纯内在动机驱动高难度翻正行为：在所有四个测试基准中，仅有 CIP 始终如一地使末端高度稳定在 93% 以上。对于高维欠驱动的仿人 Gibbon 系统，此前基于互信息与好奇心的无监督算法从未在纯内在驱动下实现由完全垂悬到自主翻正直立的完整动作。
基线方法的根本性缺陷分析：DIAYN、DADS 和 SMM 等基于可分辨技能的方法受制于状态空间划分的先验压力，直立不稳定平衡态极难维持，算法更倾向于在下垂区域学习容易保持的静止或晃动姿态来满足技能区分度；基于预测误差的好奇心（ICM）则会在动力学可预测后奖励消失，或深陷不可预测的高速随机振荡中。
CIP 极大值精确对应物理敏锐态：在平底弹球碰撞实验中，碰撞耗散会导致切空间扰动收缩并降低 CIP，因而 CIP 驱动智能体自发展开避墙和居中行动，与因果熵力及赋权度（Empowerment）具有一致的宏观物理表现，但其计算完全基于确定性动力系统局部几何结构。

亮点与洞察¶

将内在动机锚定于最优控制与动力学不变量：摒弃了人为指定随机变量计算互信息的启发式套路，从值函数曲率出发推导出李雅普诺夫特征指数与柯尔莫哥洛夫-辛奈熵的关系，为物理智能的无监督涌现建立了坚实的数理理论基础。
以逆矩阵下溢巧妙化解高维数值发散：在估计正李雅普诺夫指数和时，将爆炸性的矩阵乘积转换为逆矩阵对数行列式递推，令不稳定流形方向自动下溢至零，无需代价高昂的周期性 QR 正交化即可直接获取正 LE 总和。
跨任务可迁移的通用探索驱动源：该设计可天然迁移至强化学习的世界模型（World Models）中，将基于状态预测的虚拟雅可比矩阵作为内在好奇心信号，替代易发生后验崩溃的传统状态重构误差。

局限与展望¶

依赖解析或可微动力学雅可比：当前公式计算依赖于对物理模拟器动力学一阶偏导数矩阵 $f_x, f_u$ 的高效获取，限制了在非解析或不可微物理模拟环境中的即插即用能力。
有限时域随机采样 MPC 易陷入局部极值：iCEM 采用有限步长滚动态势，在高维多接触严重非线性场景中计算开销随自由度增长较快，且缺乏长期全局价值视界，可能遭遇局部次优解陷阱。
向基于学习的模型化强化学习拓展：未来工作可结合 DreamerV3 或 TD-MPC2 等先进世界模型，在神经隐空间中端到端学习前向雅可比，并将 CIP 作为 dense intrinsic reward 训练通用具身策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从最优控制值函数曲率严密推导出基于可控信息产生（正李雅普诺夫指数）的内在动机理论。
实验充分度: ⭐⭐⭐⭐☆ 涵盖从单摆到仿人系统的一系列经典非线性基准，并给出了高维混沌混沌系统的精确数学验证。
写作质量: ⭐⭐⭐⭐⭐ 数学论证严谨清晰，从引理、定理到算法推演环环相扣，实验图表表达极具说服力。
价值: ⭐⭐⭐⭐⭐ 为无奖励机器人自主探索、通用具身智能物理反射能力的自发涌现开辟了全新的控制论与信息论融合方向。

状态维度 \(N\)	本文递归估计器 \(\Lambda^+\)	经典 QR 谱基线 \(\Lambda^+\)	相对误差 / 吻合度	说明
\(N = 10\)	1.98 ± 0.01	1.98 ± 0.01	0.0%	低维混沌基准对齐
\(N = 25\)	6.27 ± 0.02	6.26 ± 0.02	+0.16%	中等维度高精度逼近
\(N = 50\)	12.80 ± 0.04	12.80 ± 0.04	0.0%	强混沌多尺度无漂移
\(N = 75\)	19.26 ± 0.02	19.25 ± 0.02	+0.05%	渐进扩张率保持稳定
\(N = 100\)	25.70 ± 0.03	25.69 ± 0.03	+0.04%	极高维直接输出正和