A latent control model for realistic rodent motion¶
会议: NeurIPS 2026
arXiv: 2610.27279
代码: https://aidansirbu.com/SCAMPER-site/
领域: 具身智能与控制
关键词: 神经AI, 具身智能, 虚拟啮齿动物, 运动先验, 行为探索
一句话总结¶
针对具身动物模型在强化学习与稀疏奖励探索中难以兼顾真实性与多样性的难题，本文提出了 SCAMPER 架构，通过结合用于目标导向控制的运动先验与用于随机探索的行为先验，使虚拟大鼠在目标控制与自主探索中均能产生生物学逼真的运动行为。
研究背景与动机¶
构建能够完整复现动物学习与运动行为的具身计算模型是神经AI（Neuro-AI）领域的核心目标之一。为了直接将人工智能体的内部计算机制与生物神经回路进行严谨对照，虚拟动物模型不仅需要在高层任务指标上达到目标，还必须在低层动力学与运动学细节上展现出与真实动物相符的物理与行为特征。虽然近年来基于物理仿真的生物力学身体模型和动作捕捉模仿学习取得了显著进展，但现存方案大多局限于纯粹的被动轨迹追踪模仿，一旦迁移到强化学习的下游任务中，学到的控制策略往往极易崩溃或退化为极其僵硬不自然的机械运动。
这一困境的核心矛盾在于结构化探索与运动自然度之间的权衡。在机器人与人形控制中，近期诸如 PULSE 等基于残差动作先验的变分架构能够生成局部的真实步态，但其学到的运动先验通常局限于局部运动的连续延拓。当智能体进行无监督随机采样探索时，往往会陷入单一的行为模式（如原地踏步或停滞），无法自发展开跨行为模式的自主跃迁。然而，神经科学实验中的大量真实任务（如气味搜寻、觅食导航等）都依赖于高度稀疏的外在奖励，缺乏有效、多样且符合生理特征的结构化探索机制，使得具身智能体无法在保持自然运动的同时求解稀疏奖励任务。
本文的切入角度是：解耦“目标导向的运动延拓”与“多样化行为模式的转移分布”。联合训练的变分运动先验受限于信息瓶颈与速率-失真折中，过度压缩了目标依赖的多样性；而若从冻结的目标条件编码器中单独蒸馏出一个边际后验估计，则能完美捕获跨行为模式的自然转换。核心 idea：构建双先验控制系统 SCAMPER，解耦用于残差目标控制的运动先验与用于结构化探索的行为先验，并通过自适应门控机制动态调度，实现高多样性生理探索与精准目标控制的统一。
方法详解¶
整体框架¶
SCAMPER（Simulated Control via Augmented Motor Priors for Embodied Reinforcement learning）的整体流程包含四阶段递进式训练管线。输入为智能体的本体感觉观测（包括关节角、角速度、力矩、质心高度、前庭方向、末端执行器相对位姿与接触传感器等），输出为驱动虚拟大鼠驱动关节的控制力矩。首先通过动作捕捉数据训练一个无瓶颈的专家模仿器；随后通过在线蒸馏将专家策略压缩为由编码器、解码器和本体感觉条件运动先验组成的潜空间控制器；接着冻结编码器并蒸馏出捕获行为模式转移的行为先验；最后在下游任务中利用自适应滞后门控在两套先验之间灵活切换。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["动捕数据集 + 专家模仿器训练<br/>PPO追踪真实自由大鼠3D位姿轨迹"] --> B["阶段二：在线学生蒸馏<br/>联合训练编码器/解码器/运动先验"]
B --> C["阶段三：冻结编码器蒸馏行为先验<br/>最小化KL散度逼近边际后验"]
C --> D["阶段四：下游任务迁移与自适应门控<br/>策略输出残差修正与门控变量"]
D -->|bt = 1 目标利用| E["运动先验残差控制<br/>高精度步态与稳定达标"]
D -->|bt = 0 生理探索| F["行为先验随机采样<br/>高多样性行为转移与空间探索"]关键设计¶
1. 理论解耦的双先验架构：消除信息瓶颈对探索多样性的限制
在阶段二的联合在线蒸馏中，编码器 \(q_\phi(\mathbf{z}_t|\mathbf{x}_t,\mathbf{g}_t)\) 与运动先验 \(p_\psi(\mathbf{z}_t|\mathbf{x}_t)\) 共同训练。理论推导表明，最小化二者之间的期望 KL 散度等价于同时最小化隐变量与目标之间的条件互信息 \(I_\phi(Z;G|X)\) 以及边际后验 \(m_\phi(\mathbf{z}_t|\mathbf{x}_t) = \mathbb{E}_{p(\mathbf{g}_t|\mathbf{x}_t)}[q_\phi(\mathbf{z}_t|\mathbf{g}_t,\mathbf{x}_t)]\) 与先验之间的散度：
这导致运动先验不得不向“单峰”的局部运动延续塌缩，无法表征多模态的行为模式转换。为了解决这一痛点，SCAMPER 在阶段三中彻底冻结阶段二训练得到的富目标信息编码器 \(q_\phi\)，单独训练行为先验 \(p_\varphi(\mathbf{z}_t|\mathbf{x}_t)\) 去最小化散度 \(D_{\mathrm{KL}}(q_\phi \parallel p_\varphi)\)。此时条件互信息项退化为优化过程之外的常数，行为先验得以精确拟合边际后验分布 \(m_\phi\)，将先验与编码器之间的 KL 散度从运动先验的 14.35 nats 显著压缩至 5.88 nats，从而完整吸收了数据集中自发直立、嗅探、修饰等不同行为模式之间的转移概率。
2. 滞后阈值自适应门控机制：平衡稀疏奖励下的探索与利用
在下游任务强化学习中，任务策略 \(\pi_T(\boldsymbol{\delta}_t, \beta_t | \mathbf{x}_t, \mathbf{o}_t)\) 既需要探索广阔环境，又需要在感知到微弱线索后精准追踪。策略网络联合输出一个 16 维的运动先验残差修正向量 \(\boldsymbol{\delta}_t \in [-1, 1]^{16}\) 和一个标量门控逻辑值 \(\beta_t \in [-1, 1]\)。为了避免控制信号在探索与利用之间高频抖动破坏动力学生理稳定性，系统引入滞后比较器将 \(\beta_t\) 离散化为二值选择变量 \(b_t \in \{0, 1\}\)（偏置 0.5，滞后区间 0.2，即 \(\beta_t > 0.7\) 置 1，\(\beta_t < 0.3\) 置 0）：
当 \(b_t = 0\) 时，模型直接从行为先验中注入固定对数方差（\(\sigma=0.32\)）的随机噪声，诱发广泛且逼真的大鼠自发运动；当 \(b_t = 1\) 时，系统切入运动先验的均值并叠加残差量 \(\boldsymbol{\delta}_t\)，交由预训练冻结的解码器 \(p_\theta\) 输出实际力矩。这种机制使智能体在未发现奖励时通过真实生理行为扩散探索，在锁定环境梯度后快速平滑收敛到目标。
3. 基于 MuJoCo MJX 的 GPU 高通量多阶段蒸馏训练体系
为了支撑覆盖全自由度生物骨骼（38 维驱动关节、74 维广义位姿坐标）的复杂接触仿真，本文基于 JAX 与 MuJoCo XLA（MJX）构建了大规模并行训练系统。阶段一使用 PPO 在 4,096 个并行环境中以 \(3\times 10^9\) 环境步训练专家模仿器，并配合包含地面摩擦系数、关节电枢惯量、躯干质量扰动等物理参数的域随机化；阶段二采用类似于 DAgger 的在线交互蒸馏协议，在学生控制策略走出的轨迹上查询专家动作；阶段三与阶段四均在 GPU 上高度向量化运行。整个架构克服了高维力矩控制极易不稳定的物理仿真难题，使得复杂四足动物的生物力学全身体仿真得以端到端收敛。
损失函数 / 训练策略¶
阶段二学生网络联合优化目标为：
其中 \(\mathcal{L}_{\mathrm{DAgger}} = \|\mathbf{a}_t - \hat{\mathbf{a}}_t\|_2^2\) 衡量解码器输出与专家输出的高斯分布均值均方误差；\(\mathcal{L}_{\mathrm{KL}} = D_{\mathrm{KL}}(q_\phi \parallel p_\psi)\) 为先验正则化项，权重 \(\lambda\) 在前 25% 训练阶段中从 \(10^{-3}\) 线性衰减至 \(10^{-4}\) 并保持恒定，以实现先强正则化后高保真重建的课程过渡；\(\mathcal{L}_{\mathrm{AR}} = \|\boldsymbol{\mu}_t^e - \boldsymbol{\mu}_{t-1}^e\|_2^2\) 为一阶自回归平滑惩罚，权重 \(\alpha = 5\times 10^{-3}\)，防止隐空间跳变。阶段三行为先验蒸馏目标为 \(\mathcal{L}_{\mathrm{behavior}} = D_{\mathrm{KL}}(q_\phi(\mathbf{z}_t|\mathbf{x}_t,\mathbf{g}_t) \parallel p_\varphi(\mathbf{z}_t|\mathbf{x}_t))\)，此时编码器权重冻结。下游阶段四采用标准 PPO 算法对策略网络与价值网络进行更新。
实验关键数据¶
主实验¶
在步态迁移评估中，将模型置于不同目标速度的密集奖励前向移动任务中，测量各方法生成的步态与真实大鼠生理实验数据（Danner et al.）在 18 项步态动力学指标上的归一化距离 \(|\mu_{\mathrm{emp}} - \mu_{\mathrm{virtual}}| / \sigma_{\mathrm{emp}}\)（数值越低越贴近真实大鼠）：
| 评估步态 | 评估类别 | SCAMPER（本文） | MIMIC-MJX | 从头训练（Scratch） | 提升幅度（vs MIMIC-MJX） |
|---|---|---|---|---|---|
| Walk（走步） | 协调性（Coord.） | 1.49 | 1.83 | 4.83 | ↓ 0.34 |
| 步态模式（Pattern） | 0.95 | 1.68 | 6.55 | ↓ 0.73 | |
| 全指标均值（All） | 0.59 | 1.28 | 3.44 | ↓ 0.69 | |
| Trot（小跑） | 协调性（Coord.） | 1.27 | 5.15 | 7.84 | ↓ 3.88 |
| 步态模式（Pattern） | 1.40 | 3.62 | 14.69 | ↓ 2.22 | |
| 全指标均值（All） | 1.19 | 2.72 | 11.01 | ↓ 1.53 | |
| Gallop（飞奔） | 协调性（Coord.） | 1.35 | 1.96 | 5.93 | ↓ 0.61 |
| 步态模式（Pattern） | 2.29 | 2.51 | 8.28 | ↓ 0.22 | |
| 全指标均值（All） | 1.91 | 2.74 | 5.91 | ↓ 0.83 |
在极度稀疏奖励的圆形场地觅食任务（Arena Foraging）中，随着奖励物生成的最小半径不断外推（强迫智能体必须在无气味梯度的广阔空间中自主探索），各模型每回合平均收集到的奖励物数量（满分 10.0）：
| 奖励物最小生成半径 | SCAMPER（完整双先验） | 仅运动先验（MP-only） | MIMIC-MJX | 从头训练（Scratch） |
|---|---|---|---|---|
| \(r_{\min} = 0.0\text{ m}\)（密集起步） | 9.98 | 9.95 | 9.91 | 9.85 |
| \(r_{\min} = 0.5\text{ m}\) | 9.96 | 9.82 | 8.20 | 7.45 |
| \(r_{\min} = 1.0\text{ m}\) | 9.95 | 6.40 | 3.10 | 1.20 |
| \(r_{\min} = 1.5\text{ m}\)（极度稀疏） | 9.94 | 0.00 | 0.00 | 0.00 |
消融实验¶
在极度稀疏觅食任务（\(r_{\min} = 1.5\text{ m}\)）中对比不同的双先验融合方式及门控机制变体（平均收集奖励数）：
| 配置 / 变体 | 关键超参数设定 | 平均收集奖励数（满分 10） | 说明与机理解析 |
|---|---|---|---|
| SCAMPER 自适应门控（Full） | 滞后阈值（0.5 偏置 / 0.2 裕度） | 9.94 ± 0.03 | 动态学习探索转向利用的临界点 |
| 固定调度（早期切换） | 预热 0.05 / 爬坡 0.25 | 9.94 ± 0.03 | 早期充分探索后由运动先验全权接管 |
| 固定调度（中期切换） | 预热 0.10 / 爬坡 0.60 | 0.00 ± 0.00 | 切换太晚导致任务利用策略学习不充分 |
| 固定调度（晚期切换） | 预热 0.25 / 爬坡 0.65 | 0.00 ± 0.00 | 错失利用时机，RL梯度发散 |
| 线性插值（偏向行为先验） | \(\rho = 0.25\)（运动先验权重） | 9.91 ± 0.04 | 保持足够随机探索强度，但需精细调参 |
| 线性插值（等权融合） | \(\rho = 0.50\) | 0.00 ± 0.00 | 连续混合破坏了两套先验原本的流形结构 |
| 仅运动先验控制（w/o BP） | \(b_t \equiv 1\) | 0.00 ± 0.00 | 局部单峰采样无法覆盖边缘外圈区域 |
| 仅行为先验残差控制（w/o MP） | \(b_t \equiv 0\) 且残差控制 | 0.00 ± 0.00 | 行为先验流形扰动大，残差控制极不稳定 |
关键发现¶
- 行为先验带来真实的自发多模态探索：在无目标输入下，行为先验采样的 Vendi Score 显著超越真实训练数据与运动先验，且核感知距离（KID）和直立高度分布的 Wasserstein 距离均大幅低于运动先验。即使在无边界物理空间中，运动先验仍缩在训练圆盘内，而行为先验能探索到更宽广的物理空间。
- 运动先验对残差控制的不可替代性：若强行对行为先验进行残差控制（SCAMPER-BP），在高航速下智能体完全无法发现飞奔（Gallop）步态，低速步态的生理误差也激增至 2.50。这是因为行为先验本质上拟合的是边际混合分布，其局部动力学梯度不够单峰平滑，因而难以支持稳定的微调梯度。
- 域外步态的自然涌现：训练数据仅包含 1 小时自由活动大鼠的慢速游走与修饰，未包含高速奔跑。但在速度跟踪任务中，SCAMPER 自然涌现出与真实大鼠高度一致的小跑（Trot）与飞奔（Gallop）步态，验证了运动先验对骨骼运动学流形的强大插值与外推能力。
亮点与洞察¶
- 信息瓶颈的理论推导解耦了两种先验的职责：通过严格证明在线联合训练与离线冻结训练对条件互信息的不同约束机制，从数学层面指出了单一先验不可能同时兼顾局部控制稳定度与全局转移多样性，为具身控制先验设计提供了坚实理论依据。
- 滞后阈值自适应门控巧妙化解了混合动力学冲突：连续混合会摧毁潜空间的非线性几何流形，而简单的二值离散切换又易引发高频振荡；引入带滞后区间的自适应判定，既允许策略网络自主感知探索需求，又维护了宏观动作的平滑持续性。
- 端到端纯力矩驱动的生物物理级仿真：区别于传统强化学习常用的 PD 位置控制，SCAMPER 实现了 38 个驱动关节纯力矩控制的稳定训练，使其步态和肌肉骨骼负荷能够真正与活体神经生物学记录展开深层次对照。
局限与展望¶
- 训练数据集规模与行为样态相对有限：当前仅使用了约 1 小时的大鼠开场自由运动数据，缺少攀爬、跳跃、社交互动以及复杂地形下的长时程导航行为，限制了先验所能覆盖的技能边界。
- 多模态环境感知能力依然缺失：虚拟大鼠目前仅依靠本体感觉和理想化的高斯气味场标量梯度，本质上处于“视听缺失”状态，难以应对复杂的富视觉动态物理环境。
- 执行器尚未采用真实的肌腱骨骼肌肉模型：模型目前基于刚体力矩电机驱动，而活体动物依赖肌纤维激活、肌腱弹性能量回收及本体反射弧协调，后续需迁移至生物肌肉骨骼仿真引擎。
相关工作与启发¶
- vs PULSE (Luo et al., 2024)：PULSE 首次提出了基于残差控制的通用运动潜空间，但针对人形角色设计且仅有单一运动先验，在随机采样时容易锁定在初始单一动作模式中；SCAMPER 将其扩展到四足啮齿动物，并首次提出了由冻结编码器蒸馏的行为先验与自适应门控，解决了稀疏奖励下的多模态探索难题。
- vs MIMIC-MJX (Zhang et al., 2025)：MIMIC-MJX 实现了基于 JAX 的跨物种高速模仿管线，但在下游任务迁移中缺乏结构化动作先验，速度超过 0.5 m/s 即无法泛化；SCAMPER 具备强大的域外泛化能力，能够成功外推至小跑与飞奔步态。
- vs 虚拟大鼠神经行为学 (Aldarondo et al., 2024 / Merel et al., 2019)：早期虚拟大鼠若无模仿预训练则动作完全失真，有模仿预训练时又局限于纯被动追踪回放；SCAMPER 首次实现了兼具自主目标迁移和高拟真生理探索的闭环具身智能体。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐（在具身控制中严格证明并实现了解耦的双先验结构与自适应探索门控）
- 实验充分度: ⭐⭐⭐⭐⭐（涵盖理论验证、Vendi多样性、KID真实性、18项详细步态指标及稀疏奖励觅食）
- 写作质量: ⭐⭐⭐⭐⭐（动机逻辑严密，数学推导完备，附录超参数与消融详尽透明）
- 价值: ⭐⭐⭐⭐⭐（为神经科学与AI闭环实验提供了高保真、可自主探索的虚拟啮齿动物基石工具）