Neural-Behavioral Representation of Natural Whole-body Movement in Monkeys¶

会议: NeurIPS 2026
arXiv: 2605.29355
领域: 其他
关键词: 神经行为表征, 脑机接口, 自由活动猕猴, 全身运动解码, 自回归先验

一句话总结¶

本文提出了一种软硬件协同的神经-行为建模框架，结合自由活动猕猴分布式硬膜外皮层记录与多视角三维动捕系统，通过条件自回归生成模型将皮层神经表征与紧凑行为先验深度融合，首次实现了无物理约束下灵长类自然连续全身运动的高保真神经解码。

研究背景与动机¶

理解大脑皮层群体神经元活动如何表征灵长类自然全身行为并实现行为重建，是计算神经科学与脑机接口（BCI）领域的长期核心挑战。以往的运动解码研究绝大部分聚焦于高度受约束的受限实验范式与简单肢体动作，例如坐姿下的上肢抓握、目标定向伸展或是跑步机上的单侧下肢周期性步态。这类实验依赖严格的外在任务指令与数百次高度同质的重复试次（trials），能够通过试次对齐平均显著压低噪声，却严重脱离了灵长类动物在无约束真实环境下的自然运动本貌。

从受限单肢解码迈向自由状态下的自然全身运动重建，面临三项本质维度的严峻挑战。首先是运动伪影与信号质量的冲突：自由大幅度剧烈运动会给颅内记录引入强烈的机械和电气运动伪影，微电极阵列（MEA）容易因组织相对位移产生损伤或信号漂移，而传统侵入性 ECoG 阵列在跨脑区覆盖与长期缓冲保护之间存在两难。其次是输出空间维度的剧烈膨胀：自然全身运动涵盖躯干与四肢的复杂协调，预测自由活动猕猴的骨骼运动学意味着极高维且连续的运动状态空间。第三是自然行为的高度自发性与异构性：自然运动缺乏对齐的重复试次，且伴随大量与即时运动无关的自发脑皮层活动，相同外在运动在不同上下文语境下可能对应迥异的神经动力学，导致传统的判别式直接回归模型（如 LSTM 或线性解码器）在多步推演中迅速崩溃，无法维持身体姿态的生物力学自洽与物理连贯性。

为突破上述瓶颈，研究团队从“多模态软硬件同步实验平台”与“条件生成式动力学先验”双重角度切入。硬件上采用保留颅骨与硬膜天然缓冲结构的分布式硬膜外电极，配合 8 视角同步动捕；算法上摒弃直接将神经特征粗暴映射为关节坐标的判别式思路，转而将解码建模为由神经信号与历史状态共同驱动的自回归生成过程。核心 idea：将自然全身运动重构形式化为神经特征条件引导的自回归生成建模，通过混合专家解码器将分布式皮层神经表征与紧凑运动学行为先验有机融合，在无需显式物理硬约束的前提下自洽推演多秒时间尺度的真实三维全身运动。

方法详解¶

整体框架¶

该框架主要由实验数据采集、运动学紧凑参数化表征、以及神经-行为条件自回归生成网络三大环节构成。在采集阶段，猕猴佩戴穿戴式无线脑电记录仪在透明活动舱内自由运动，由 8 台外置高速深度相机同步录制 30 Hz 多视角视频，颅骨植入的 62 通道硬膜外电极以 2000 Hz 采集跨 M1、S1、PMC 及 SIPL 的皮层电位。多视角视频经 DeepLabCut 2D 检测与 Anipose 3D 重建三角化后，通过逆运动学转换为具备 152 维的紧凑全身状态表示。

在神经-行为模型（Neural-Behavioral Model）中，系统接收降采样至 10 Hz 的神经频谱特征与运动序列。编码器将经时频多锥度变换的神经表征、前一时刻状态 \(\hat{p}_{t-1}\) 以及当前真实状态 \(p_t\) 压缩至 16 维潜在高斯空间；解码阶段则采用带有门控网络的混合专家（Mixture-of-Experts, MoE）架构，以采样潜变量 \(z_t\)、神经特征编码 \(ne_t\) 和前一时刻预测状态 \(\hat{p}_{t-1}\) 为输入，自回归递归生成当前时刻的全身运动学状态 \(\hat{p}_t\)。推断阶段完全脱离真实未来运动标签，仅由标准高斯先验噪声与实时神经信号序列驱动生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态采集<br/>8视角30Hz动捕 + 62通道2000Hz硬膜外皮层电位"] --> B["运动学紧凑状态构建<br/>15关节点/根坐标系分解/152维状态向量"]
    A --> C["时频神经特征提取<br/>ICA去伪影/多锥度PSD+小波分解/1-150Hz频谱"]
    C --> D["Transformer神经编码器<br/>通道位置编码+全局Token+自注意力跨脑区融合"]
    B --> E["潜在变量生成与变分推断<br/>行为状态与神经编码投影至16维高斯隐空间"]
    D --> E
    E --> F["混合专家自回归解码器<br/>6路专家MLP+3层门控网络递归生成当前状态"]
    D --> F
    F --> G["正向运动学解算<br/>递归输出全局三维关节轨迹与姿态推演"]

关键设计¶

1. 运动学紧凑状态表示：根坐标系正交解耦与解析逆运动学

自由活动猕猴的骨骼姿态在世界坐标系下包含复杂的平移与翻滚旋转，直接回归绝对世界坐标极易导致骨骼形变与累积漂移。本文以骶骨关节（Sacrum）为根坐标系原点，以骶骨到颈部的向量为 \(z\) 轴，正交投射确立 \(y\) 轴与 \(x\) 轴，将根旋转自由度严格压缩为 2 个旋转自由度，规避传统六自由度浮动基座的强非线性干扰。针对身体 15 个关键骨骼关节点，假定肢体骨长恒定，利用解析几何求解各关节局部欧拉角，并采用欧拉角的正弦与余弦值进行连续表示以避免角度环绕（angle wrapping）奇异性。最终将系统瞬时状态统一表达为 152 维紧凑向量：

\[ P = (t_{\mathrm{root}}, r_{\mathrm{root}}, j^{p}, j^{r}, j^{v}) \in \mathbb{R}^{152} \]

式中 \(t_{\mathrm{root}} \in \mathbb{R}^3\) 与 \(r_{\mathrm{root}} \in \mathbb{R}^2\) 分别代表根坐标系相对前一时刻的平移与旋转增量，\(j^p \in \mathbb{R}^{3 \times 15}\) 为当前根坐标系下的关节局部坐标，\(j^r \in \mathbb{R}^{4 \times 14}\) 为各子关节在局部坐标系下的正余弦旋转分量，\(j^v \in \mathbb{R}^{3 \times 15}\) 为表示在上一步根参考系下的关节速度向量。在推断时，通过前向运动学（Forward Kinematics）便可由预测出的增量与局部旋转严格重构出合乎骨骼定长约束的全局三维姿态。

2. Transformer 神经编码器：跨通道空间布局拓扑与全频段多锥度特征融合

自由活动中的皮层信号存在多通道非平稳性与运动耦合杂讯。预处理对 62 路信号在 1–300 Hz 带通滤波，通过独立成分分析（ICA）分离出眼睑闭合相关的眼电伪影并予以剔除，对双半球分别执行平均重参考（re-referencing）。针对 100 ms 滑动窗口（覆盖过去 0–500 ms 神经历时），提取 15 个对数空间小波频段与 15 个线性空间多锥度功率谱密度（PSD），构成 \(\mathbb{R}^{C \times 30}\) 的频域表征矩阵。神经编码器首先通过线性映射将频域特征投影至隐空间，由于 62 个电极在颅骨各功能脑区（M1、S1、PMC、SIPL）具备确切的物理分布，模型引入可学习的通道空间位置嵌入（Positional Embeddings），显式注入空间几何拓扑先验；随后拼入可学习的全局总结标记（Global Token），送入多层标准 Transformer 块建模电极通道间的动态协同交互，最终通过带 LayerNorm 的投影头输出全局神经条件向量 \(ne_t\)。

3. 混合专家（MoE）自回归解码网络：缓解后验塌陷与自适应多行为模式切换

自然全身运动在时间轴上高度不连续，包含静息坐立、四足行走、抓杆攀爬、摆臂跳跃等截然不同的动力学模式。单一的多层感知机解码器在结合变分隐变量与条件特征时，极易陷入后验塌陷（Posterior Collapse），退化为忽略潜在变量或直接输出平均静态姿势。本文在解码端设计了包含 6 个结构同质的专家 MLP 神经网络与一个 3 层 MLP 门控网络（Gating Network）。门控网络根据前一时刻运动学状态 \(\hat{p}_{t-1}\)、当前神经表征 \(ne_t\) 以及采样的隐空间噪声 \(z_t\)，动态计算分配给 6 个专家的归一化权重：

\[ \hat{p}_t = \sum_{k=1}^K g_k(z_t, \hat{p}_{t-1}, ne_t) \cdot \mathcal{E}_k(z_t, \hat{p}_{t-1}, ne_t), \quad K=6 \]

MoE 结构允许多个子网络分别专业化表征不同运动模式下的复杂动力学流形，使模型在长达数秒的多步递归推演中依然能够保持骨骼动作的敏捷切换与动态平衡，有效防止多步递归中的方差扩散。

损失函数 / 训练策略¶

模型的变分推断过程基于证据下界（ELBO）优化，训练目标由状态重构均方误差（MSE）与隐空间 KL 散度约束项共同构成：

\[ \mathcal{L} = \|p_t - \hat{p}_t\|^2 + \beta D_{\mathrm{KL}}\left(q_\phi(z_t \mid p_{t-1}, p_t, n_t) \;\|\; \mathcal{N}(0, I)\right) \]

由于从标准高斯隐变量反向重构高噪声颅外/硬膜外电信号极其病态，实验中未引入神经信号重构损失。为确保自回归模型在长时程推断下的稳健性，作者设计了三阶段退火训练策略： 1. 教师强迫阶段（Teacher-Forcing, 30 epochs）：完全使用真实的 \(p_{t-1}\) 与 \(p_t\) 作为输入，促使网络快速学习基础时序映射并加速收敛； 2. 斜坡渐进阶段（Ramping Transition, 30 epochs）：前一时刻输入 \(p_{t-1}\) 以线性增长的概率从真实标签平滑过渡至模型自生成的预测值 \(\hat{p}_{t-1}\)； 3. 学生自回归阶段（Student Fully Autoregressive, 100 epochs）：模型仅依据自身先前生成的 \(\hat{p}_{t-1}\) 迭代递推下一状态，进行严格的闭环自回归优化。全过程共训练 160 个 epoch，并施加基于梯度的范数约束正则化以稳定 KL 散度收敛。

实验关键数据¶

主实验¶

实验基于首个实验日采集的 30 分钟连续自由活动数据（共 18,000 帧样本，前 20 分钟用于训练，后 10 分钟用于测试评测）。测试集涵盖持续运动、动静转换及微幅肢体摆动等 10 段代表性行为序列，每段自初值起自回归推演 100 步（10 秒），对每次初始状态重复采样隐变量 5 次取平均。评测指标采用平均位移误差（ADE，单位 cm）、最终位移误差（FDE，单位 cm）以及三维关节轨迹与真实值的 Pearson 相关系数（\(r\)），并在 3 秒时间尺度下将水平运动与垂直方向运动（爬杆、垂荡等）分别统计：

评估模型	水平运动 ADE (cm) ↓	水平运动 FDE (cm) ↓	水平运动相关系数 \(r\) ↑	垂直运动 ADE (cm) ↓	垂直运动 FDE (cm) ↓	垂直运动相关系数 \(r\) ↑
Neural-Behavioral (本文)	6.97	14.94	0.47	6.18	13.56	0.40
Behavioral Model (仅行为先验)	10.54	23.62	0.11	10.56	28.54	0.20
LSTM (传统神经判别解码基线)	16.93	32.61	0.11	12.39	34.90	0.02

消融实验¶

论文通过去除神经引导信号验证了多模态表征对全身轨迹解码的决定性作用，并通过与受限范式下的经典 LSTM 解码网络对比，考察了无行为先验条件下的性能崩溃机制：

模型配置 / 消融设定	3秒综合位移误差 (ADE / FDE)	轨迹变化趋势相关性 (\(r\))	姿态物理合理性与时间连贯度
Neural-Behavioral (完整模型)	6.97 / 14.94 cm (水平) 6.18 / 13.56 cm (垂直)	0.47 (水平) 0.40 (垂直)	高：紧密跟随真实肢体轨迹，长时程运动趋势与身体各关节相对协调性保持高度真实。
w/o Neural Input (纯行为先验生成)	10.54 / 23.62 cm (水平) 10.56 / 28.54 cm (垂直)	0.11 (水平) 0.20 (垂直)	中：仅生成生物力学上合理但完全随机的虚构动作，无法与实际运动时序吻合。
w/o Behavior Prior (纯神经判别 LSTM)	16.93 / 32.61 cm (水平) 12.39 / 34.90 cm (垂直)	0.11 (水平) 0.02 (垂直)	极低：骨骼严重扭曲形变，无法预测全局朝向，依赖真实速度方向辅助修正后仍发生大幅漂移。

关键发现¶

神经信号是消除长时程发散的锚定关键：在超短时间窗口内（\(\le 1.0\) 秒），纯行为先验模型由于惯性约束在位移误差上与完整模型差异不显著；但推演超过 1.5 秒后，缺少神经特征引导的 Behavioral 模型迅速脱离真实意图，而 Neural-Behavioral 模型凭借持续皮层神经表征的约束，在 3 秒乃至 10 秒长尺度下仍能维持稳固的低误差与高相关性（Wilcoxon 符号秩检验经 FDR 校正后 \(p < 0.05\)）。
自然全身状态空间中传统判别回归失效：在受限伸展任务中表现优异的 LSTM 模型，由于无法建立高维骨骼运动的分布流形先验，在自由全身数据上面临严重的维度灾难与噪声放大，连基本的世界系运动方向都无法推断，证实了行为先验生成模型在此类高自由度非结构化任务中的不可或缺性。
运动与静止的自适应转换：模型展示了显著的状态鲁棒性。当以静止状态（如静坐）初始化时，模型能够保持稳定静止而不会发生伪随机发散；同时能够自发响应神经电位的爆发，精准解码“由静至动”的起步与“由动至静”的制动过程。但在身体大部静止、仅有腕关节等局部微幅摆动的精细动作中解码精度有所衰退。

亮点与洞察¶

软硬件一体化的颅内灵长类自然行为实验平台：开创性地将 64 点低损伤大范围颅骨固定式硬膜外记录与 8 视角 3D 无标记动捕融合，既规避了穿刺微电极在大动作下的机械位移伪影与组织损伤，又打破了传统 ECoG 视野受限的局限。
神经条件驱动的变分自回归 MoE 生成架构：巧妙地将运动解码从“端到端判别回归”重塑为“神经信号条件引导的先验流形采样”，利用混合专家网络分散多模态行为模式的表征压力，避免后验坍塌的同时赋予连续自回归极强的物理自洽性。
解析逆运动学与根坐标系解耦范式：通过锁定骶骨局部标架与欧拉角正弦/余弦化表征，把高维运动学重建转化为 2 自由度根更新与定长骨骼前向推演，无需在神经网络中增加繁琐的物理碰撞惩罚即可天然消除关节撕裂。

局限与展望¶

动物受试个体与长期纵向数据规模有限：论文当前的实验验证主要聚焦于单只食蟹猴（Macaca fascicularis）在特定天数内的记录会话，尚未展开多只个体间的跨被试表征对齐与长期纵向（几个月至数年）电极阻抗演变测试。
局部细粒度微小动作解码能力仍显不足：当猕猴整体姿态保持静止、仅末端肢体（如手腕屈伸或手指精细操作）存在小幅度动作时，由于全身体系中躯干与大关节的能量占据主导，模型容易将微动作平滑过滤。
未来方向：未来有望通过融合更高密度的局部柔性微电极阵列、扩充跨个体自然交互数据集，并引入结合物理仿真引擎（如 MuJoCo）的闭环自监督强化学习，实现更为精准的实时全身运动神经义肢控制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通自由活动灵长类大规模硬膜外脑区记录与连续三维全身自然运动生成的神经解码链路。
实验充分度: ⭐⭐⭐⭐ 包含多视角动捕、时频分析、3秒与长时程误差对比、跨轴向评估与多模型消融，若有跨被试复现则更佳。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，软硬件系统描述完备，图表数据及附录推算翔实。
价值: ⭐⭐⭐⭐⭐ 为新一代不侵入脑实质的全身运动神经义肢与神经行为表征学习开辟了突破性方向。