Shared Modular Recurrence in Contextual MDPs for Universal Morphology Control¶

会议: NeurIPS 2026
arXiv: 2506.08630
领域: 机器人
关键词: 通用形态控制、上下文MDP、部分可观测性、模块化循环神经网络、零样本泛化

一句话总结¶

本文提出在上下文马尔可夫决策过程（CMDP）框架下，将多形态机器人的未观测形态与动力学信息视为部分可观测上下文，通过在模块化 Transformer 架构中引入跨肢体参数共享的局部循环神经网络（LSTM/GRU），在不破坏变长动作空间兼容性的前提下实现隐式系统辨识，显著提升了在未见拓扑、运动学及动力学机器人上的零样本泛化性能。

研究背景与动机¶

学习单一通用控制器以驱动任意机器人形态（Morphology）是具身智能领域的核心愿景之一。若能实现通用形态控制，将大幅节省针对每一个新机器人个体重新采集数据、从头训练强化学习策略或繁琐调参的巨大算力开销。以 UNIMAL 为代表的设计空间包含了上千种拓扑、肢体数量与关节自由度差异极大的模块化机器人，为多任务、多形态强化学习提供了绝佳的评测基准。为了让智能体兼容不同的输入输出维度，前序代表性工作 MetaMorph 与 ModuMorph 采用了基于自注意力机制的模块化 Transformer，并显式引入各肢体的局部上下文特征（如质量、几何尺寸、父节点相对位置和关节活动范围）来调节智能体行为，在训练形态集上取得了亮眼的控制效果。

然而，现有方法在面对训练期间从未见过的全新机器人形态时，泛化性能依然会出现断崖式下跌。这种泛化瓶颈的本质根源在于：多形态控制问题名义上被形式化为完全可观测的上下文马尔可夫决策过程（Contextual MDP），但现实中可显式提取并输入的上下文特征本质上是严重“不完备”的。首先，机器人的全局拓扑拓扑关系并未显式提供，智能体仅能获取局部父子相对坐标，真正的图邻接结构难以通过静态特征直接编码；其次，多肢体协同运动时产生的复杂动态相互作用（如肢体间的动态功能耦合、惯性冲击与非线性力矩传递）属于高度抽象的高阶隐式特征，根本无法通过静态单步观测来刻画。在有限的训练形态集上，智能体极易依靠显式特征发生过拟合，但当置身于未见动力学或全新拓扑的测试机器人时，由于缺失了这部分隐式上下文，策略便迅速失效。

针对这一核心矛盾，本文摒弃了“单步观测足以支撑通用控制”的传统假设，转而将多机器人控制重新刻画为具有部分可观测上下文的强化学习问题。由于单步物理状态本身已知，历史轨迹中所蕴含的所有残差信息必然指向未观测的上下文。核心 idea：将多形态控制重新形式化为部分可观测上下文 MDP，在模块化 Transformer 架构的每个肢体分支中引入参数共享的循环神经网络，利用各肢体的局部动作-观测历史实现在线隐式系统辨识，在保留对变长肢体兼容性的同时实现对未见形态的强健零样本泛化。

方法详解¶

整体框架¶

本文针对 UNIMAL 模块化机器人设计空间，构建了基于循环神经网络与注意力机制相结合的通用控制架构。每个机器人由 $N$ 个肢体（Limbs/Nodes）构成，各个肢体具有同构的状态与动作空间维度。在每个控制步 $t$，智能体接收各肢体的基础运动学观测 $s_t'^i$ 以及静态可观测上下文 $c^{+,i}$。为了在不同肢体数量下保持架构的模块化与参数复用能力，系统不对全局拼接向量做朴素循环编码，而是在每个肢体节点上维护局部的动作-观测历史（Local Action-Observation History, AOH），并通过参数共享的循环层进行时序抽象。随后，各肢体的时序表征被送入跨肢体多头自注意力机制中，以捕获肢体间的空间协同与运动学依赖，最终解码输出各肢体局部的动作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多形态机器人输入<br/>各肢体观测 o_t^i 与上一动作 a_{t-1}^i"] --> RNN["局部历史循环建模<br/>共享 LSTM 编码时序轨迹 h_t^i"]
    Ctx["静态上下文特征 c^i<br/>质量、几何、关节限位"] --> Hyper["超网络参数生成<br/>动态生成编码/解码/注意力权重"]
    RNN --> Base["特征调制与融合<br/>结合局部时序与上下文嵌入"]
    Hyper -.->|调制参数| Base
    Base --> Trans["跨肢体自注意力 Transformer<br/>建模不同肢体间空间拓扑依赖"]
    Trans --> Act["共享动作解码器<br/>输出各肢体局部动作 a_t^i"]

关键设计¶

1. 局部动作-观测历史的共享循环建模：在变长肢体结构下隐式推断未观测上下文

传统循环强化学习通常将全局状态-动作序列送入单一 RNN，但在通用形态控制中，机器人的肢体数量 $N$ 在不同形态间高度动态（例如 2 到 12 个肢体不等），全局历史编码不仅破坏了对未知肢体数的排列不变性与尺寸自适应性，还会导致参数规模随维度剧烈震荡。为此，本文设计了局部动作-观测历史编码机制，对每个肢体 $i$ 单独记录其历史轨迹 $\tau_t^i = (o_0^i, a_0^i, \dots, o_{t-1}^i, a_{t-1}^i, o_t^i)$。鉴于所有肢体在物理模拟中共享标准化的状态与动作表示空间，本文在全部 $N$ 个肢体节点间完全共享同一个循环神经网络（默认使用单层 128 维隐状态的 LSTM，也可无缝替换为 GRU）的参数： $$h_t^i = \mathrm{RNN}(o_t^i, a_{t-1}^i, h_{t-1}^i)$$ 在每轮回合开始时，各肢体隐状态初始化为零向量。随着机器人开始动作交互，局部 RNN 仅凭单肢体的局部受力、运动反馈和历史动作输入，即可自发捕捉肢体质量变化、地面接触阻尼及连杆耦合等非显式动力学特性，完成在线“隐式系统辨识”。

2. 两阶段架构适配（R-MeMo 与 R-MoMo）：平衡超网络复杂度与时序特征表示

如何将循环模块无缝嵌入既有的顶尖通用控制架构是另一个关键工程难点。本文分别给出了对应 MetaMorph 的 R-MeMo 以及对应 ModuMorph 的 R-MoMo 两种整合方案：在 R-MeMo 中，底层运动状态与上一动作首先经由共享 RNN 映射为时序嵌入，静态上下文特征则通过轻量 MLP 映射，两者直接相加形成隐式表征并输入给后续的 Transformer 编码层。在基于超网络（Hypernetwork）调制的 R-MoMo 中，若将 RNN 置于超网络生成的嵌入层之前，由于隐状态维度（128）远大于原始单步状态维度（54），会导致超网络的输出参数暴增超过 100 万，引发显存占用激增和训练不稳定。因此，R-MoMo 巧妙地将共享 RNN 置于超网络生成的嵌入层之后、Transformer 注意力层之前。超网络仅需在回合开始时依据静态上下文执行一次前向推理即可生成节点投影权重，而共享 RNN 接收投影后的潜变量并维持时序状态。这种解耦设计使得 R-MoMo 在全模型仅增加约 33 万参数（从 5.23M 增至 5.56M，增幅仅 6%）的情况下，获得了强大的时序感知能力，且避免了单纯加深 MLP 所引发的训练发散问题。

3. 基于分块与预热的循环 PPO（Chunking & Burn-in）：解决长步长多任务采样的训练开销

在 UNIMAL 模拟环境中，任务视界（Task Horizon）长达 $H=1000$ 步，且多机器人并行采样的轨迹长度参差不齐。若直接使用完整的端到端 BPTT（随时间反向传播）来训练循环 PPO，梯度截断难度与显存消耗将无法承受。本文借鉴了分布式循环深度强化学习（R2D2）中的序列分块（Sequence Chunking）与状态预热（Burn-in）策略，对 PPO 的采样缓冲区与更新流程进行了改造：在采样轨迹时，将长轨迹切分为长度为 $m=80$ 的重叠数据块，并在采样时记录数据块起始位置的 RNN 隐藏状态；在优化更新时，前 $l=20$ 步作为预热期仅执行前向传递以重建因参数更新而偏移的真实隐状态，随后的 60 步才计算策略与价值损失并反向传播梯度。这一机制在严格保障长程时间依赖准确性的同时，极大地压降了循环架构的内存开销。

一个完整示例¶

考虑一个包含 4 个肢体、具有未见质量分布的四足机器人进行平地行走的控制过程： 1. 输入初始化：回合开始（$t=0$），4 个肢体的局部观测包含自身位置、线速度、角速度与关节状态（共 18 维），以及静态上下文如连杆尺寸和质量（共 36 维，合计 54 维输入）。4 个肢体的 LSTM 隐状态 $h_0^1, \dots, h_0^4$ 与细胞状态全部置零。 2. 超网络单次初始化（R-MoMo）：超网络输入 4 个肢体的静态特征，一次性生成该机器人在当前回合专用的节点嵌入层矩阵、多头注意力投影矩阵以及动作解码头参数。 3. 时序状态推进与隐式辨识：在 $t=1 \dots 10$，四足机器人尝试迈步。各肢体对应的共享 LSTM 分别输入 $(o_t^i, a_{t-1}^i)$ 更新隐状态 $h_t^i$。若前肢遭遇较大的反向冲击力或非对称质量阻力，局部时序观测在数步内便会在 $h_t^i$ 中形成特定残差表征，从而隐式编码了未直接给出的“质心偏移与接触刚度”信息。 4. 跨肢体信息聚合与动作生成：4 个包含时序隐式信息的 128 维向量通过 5 层 Transformer 进行全局自注意力交互，肢体间通过注意力权重对齐步态相位差。 5. 动作执行与控制闭环：解码层分别输出 4 个肢体关节电机的标量扭矩指令 $a_t^1, \dots, a_t^4$。在遭遇外力扰动或坡面时，即使静态特征未变，循环状态的动态调整亦能自适应修正支撑力矩。

损失函数 / 训练策略¶

智能体在 $K=100$ 个训练机器人构成的混合任务分布上进行联合优化。训练目标为最大化各机器人上的折扣累积期望回报： $$\max_{\theta} \frac{1}{K} \sum_{k=1}^K \mathbb{E}_{\pi_\theta} \left[ \sum_{t=0}^H \gamma^t r_t^k \right]$$ 策略采用循环 PPO（Recurrent PPO）进行优化，损失函数由剪切策略损失、截断价值函数损失与熵正则项构成： $$L^{\mathrm{PPO}}(\theta) = \hat{\mathbb{E}}_t \left[ \min\left( \frac{\pi_\theta(a_t|\tau_t)}{\pi_{\theta_{\mathrm{old}}}(a_t|\tau_t)} \hat{A}_t, \, \mathrm{clip}\left(\frac{\pi_\theta(a_t|\tau_t)}{\pi_{\theta_{\mathrm{old}}}(a_t|\tau_t)}, 1-\epsilon, 1+\epsilon\right) \hat{A}_t \right) \right] - c_1 L_t^V(\theta) + c_2 S[\pi_\theta]$$ 其中优势函数 $\hat{A}_t$ 采用广义优势估计（GAE, $\lambda=0.95$）计算。为防止策略更新步幅过大破坏形态多任务训练稳定性，Mini-batch 迭代阶段施加了早停机制：监测新旧策略间的近似 KL 散度，一旦超过设定阈值（经验证集调优设定为 $3 \times 10^{-2}$ 或 $5 \times 10^{-2}$）即提前终止当前批次更新，进入下一轮环境采样。

实验关键数据¶

主实验¶

实验在 MuJoCo 物理引擎下的 4 个环境（平坦地形 Flat Terrain、10度倾斜坡面 Incline、多阶梯随机起伏地形 Variable Terrain、随机障碍物地形 Obstacles）中进行，训练集固定为 100 个拓扑各异的机器人类别。测试集包含：(1) 未见动力学与运动学测试集：在 100 个训练机器人基础上扰动阻尼、电枢、齿轮比、密度、肢体形状与关节活动范围，生成共 2,400 个测试机器人；(2) 未见拓扑测试集：由全新演化出的 70 个独立拓扑机器人组成，肢体数多达 12 个，且关节数量与拓扑结构完全未见。

下表展示了 MetaMorph、ModuMorph 以及引入本文共享循环机制后的 R-MeMo、R-MoMo 在模型规模、训练开销及零样本泛化能力上的综合对比：

模型方案	核心架构组件	可训练参数量	100M步训练墙钟耗时 (Flat, A40)	未见动力学/运动学泛化表现 (2,400测试体)	未见拓扑零样本泛化表现 (70个全新拓扑体)
MetaMorph (ICLR 2022)	模块化 MLP + Transformer	3,312,515	16.3 ± 0.5 小时	基线水平；动力学扰动下回报明显下滑	各环境中泛化性能偏低，坡面与障碍物极易失稳
R-MeMo (本文)	共享 LSTM + 模块化 Transformer	3,568,259	21.8 ± 0.9 小时	全面优于 MetaMorph，部分扰动下逼近 ModuMorph	显著优于 MetaMorph，在未见拓扑上可与 ModuMorph 匹敌
ModuMorph (ICML 2023)	超网络 + 模块化 Transformer	5,232,774	21.9 ± 0.6 小时	优于 MetaMorph；依赖显式上下文静态调制	训练集回报极高，但未见拓扑泛化存在较多完全失效个体
R-MoMo (本文)	共享 LSTM + 超网络 + Transformer	5,563,526	26.0 ± 1.1 小时	4 个环境中各扰动项全面达到最高平均回报	在 4 个环境中全面显著主导，大幅降低失效个体比例

为细致评估在各环境 70 个未见拓扑机器人上的性能分布，各环境的回报归一化区间分别为：平地 [52, 5008]、坡面 [-74, 3751]、复杂地形 [71, 3000]、障碍物 [126, 2403]。单机器人逐一对比表明，R-MoMo 在绝大多数个体上取得了显著正向提升，特别是消除了 ModuMorph 中出现的严重失步（回报低于 500）机器人。

消融实验¶

为验证时序增益的来源并非源于纯参数量扩充、亦非专属于特定 RNN 算子，作者对架构位置、循环单元类型及非循环扩充进行了系统消融（均采用 10 随机种子评测）：

实验配置 / 变体	循环机制与位置	循环单元类型	训练稳定性 (10 seeds)	平坦地形 (Flat) 泛化表现	坡面地形 (Incline) 泛化表现	说明与结论
R-MoMo (完整模型)	嵌入层后、Transformer 前	LSTM (hidden=128)	完全稳定 (10/10)	最优，显著超越基线	最优，坡面强动力学优势凸显	默认主架构，时序特征提取与注意力完美解耦
GRU-MoMo	嵌入层后、Transformer 前	GRU (hidden=128)	完全稳定 (10/10)	与 LSTM 表现高度一致 (CI重叠)	与 LSTM 表现高度一致	证明时序增益具备通用性，不依赖特定门控结构
HyperR-MoMo	置于超网络内部 (每步生成权重)	LSTM (hidden=128)	较不稳定 (部分 seed 未学习)	介于 ModuMorph 与 R-MoMo 之间	接近 ModuMorph，且方差极大	每步动态改变基础策略参数带来较大训练抖动
ModuMorph+ (对齐参数)	无时序 (在原位置增加 2 层 MLP)	无	极不稳定 (多 seed 发散)	稳定 run 的平均回报未超基线	未带来增益，甚至恶化收敛	证明纯参数量增加无法替代时序记忆建模

此外，针对 RNN 隐状态功能的验证实验显示：若在前 100 步人为将隐状态强行置零（Figure 16），智能体在置零期间的单步奖励立即跌入低谷，而一旦恢复隐状态更新，数步内即可重新爬升回原策略水平，无可辩驳地证明了隐状态编码中承载着至关重要的隐式上下文信息。

关键发现¶

动力学主导环境获益最为剧烈：在倾斜坡面（Incline）环境中，重力与地面倾角放大了肢体间接触力矩的传递，非循环基线无法感知未观测的重心滑移，而 R-MoMo 在 Incline 环境中相对于 ModuMorph 的泛化提升幅度达到最大，且在小样本训练集（如仅有 25、50 个机器人）时优势依然稳定保持。
单特征极端稀疏场景展现鲁棒性：当环境仅提供单一上下文特征（如仅给 body_mass 或 gear）时，ModuMorph 由于过度依赖超网络静态拟合导致泛化严重退化或方差激增，而 R-MoMo 在信息量充足的单特征下展现出更快的性能恢复速度。
训练开销可控且推理无损：在 NVIDIA A40 显卡上，R-MoMo 在 100M 环境步下的训练时间为 $26.0 \pm 1.1$ 小时，相比 ModuMorph（$21.9 \pm 0.6$ 小时）虽增加约 18% 训练耗时，但在实际部署与推理阶段，由于观测天然是按步串行输入的，循环层前向计算不会带来额外的并发阻滞。

亮点与洞察¶

将形态控制泛化问题重新定性为部分可观测 CMDP：前人工作均聚焦于设计更强大的静态图网络或显式特征编码，本文率先指出了多形态控制中拓扑邻接与动态耦合在本质上的“不可观测性”，确立了通过历史轨迹进行隐式系统辨识的坚实理论基石。
肢体级参数共享循环设计精妙地保全了通用控制的模块性：摒弃对变长全局序列的朴素建模，在节点级别维护独立局部 AOH 并完全共享 RNN 参数，既把额外增加的参数量限制在 6% 以内，又天然免疫机器人肢体数量与关节自由度的变动。
解耦式超网络-循环集成避免了维度灾难：将 RNN 置于超网络生成的嵌入层之后，避免了隐状态大维度直接反噬超网络输出层尺寸，以极小的计算代价实现了超网络自适应调制与时序记忆的协同互补。

局限与展望¶

作者指出的局限：在训练阶段，由于必须存储和反向传播各肢体的时序隐藏状态，且序列处理存在天然时间依赖，导致单次训练迭代的墙钟时间相比无循环基线有所增加（增加约 4 小时）；此外，虽然零样本泛化能力显著超越 SOTA，但在新拓扑上的绝对表现与训练集上限之间依然存在一定的泛化差距（Generalization Gap）。
潜在的研究盲区与假设约束：本文依赖 UNIMAL 仿真环境下的刚体动力学建模，肢体节点的状态维度与物理属性完全规则化。在真实世界机器人中，不同构型机器人各关节传感器的频率、噪声水平与物理量纲可能完全不同，局部参数共享循环层可能需要更复杂的跨传感器模态对齐机制。
未来改进方向：探索类似 Mamba、S4 等现代状态空间模型（SSM）或线性注意力循环架构，进一步替代传统 LSTM 以削减时序前向的序列计算瓶颈；同时可将该方法扩展至 Sim-to-Real 的跨构型机器人泛化验证中。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将多机器人通用形态控制形式化为隐式 POMDP 并提出肢体级参数共享循环架构，思路清晰且极具启发性]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4 种地形、100 训练体、2,400 个动力学扰动测试体与 70 个未见全新拓扑，统计显著且消融完备]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，问题形式化严谨，架构设计图示清晰且工程细节完备]
价值: ⭐⭐⭐⭐⭐ [为跨形态机器人具身控制基座模型（Embodied Foundation Policies）的时序表征设计提供了极具实用价值的范例]